Affichage des abonnements et des statistiques Kafka

  • Rversion finale: Yokohama
  • Mis à jour 30 janv. 2025
  • 4 minutes de lecture
  • Affichez des informations détaillées sur un consommateur Kafka et ses performances, notamment le nombre d’enregistrements ajoutés à la rubrique, le nombre d’enregistrements traités et le nombre d’enregistrements restant à traiter.

    Un abonnement est un enregistrement associé à un consommateur. Il stocke les détails de configuration et de performance du consommateur. Un abonnement est créé lorsqu’un flux Kafka est activé.

    Chaque page d’abonnement comprend les sections suivantes.
    • Abonnement Kafka
    • Métriques
    • Groupes de partitions d’abonnement Kafka
    • Journaux des consommateurs
    • Statistiques des consommateurs Kafka

    Pour afficher un enregistrement d’abonnement, accédez à Centre d'intégration > Connexion au flux > Abonnements. Sélectionnez l’icône d’informations (icône d’informations) en regard de l’abonnement que vous souhaitez afficher, puis sélectionnez Ouvrir l’enregistrement.

    Figure 1. Exemple de page d’abonnement pour un consommateur Kafka
    Page d’abonnement Kafka avec les détails de l’abonnement, les mesures et des informations sur les groupes de partitions, les journaux des consommateurs et les statistiques des consommateurs.

    Abonnement Kafka

    La section Abonnement Kafka affiche les détails de configuration pour le consommateur et l’abonnement.
    Champ Description
    Numéro Numéro de l’enregistrement de l’abonnement.
    État État du consommateur. Les options sont les suivantes :
    • ACTIF
    • ACTUALISATION EN COURS
    • ARRÊT EN COURS
    Sujet Rubrique à partir de laquelle le consommateur traite les messages.
    ID de consommateur Identificateur unique pour le consommateur.
    Politique de positionnement automatique Kafka Spécifie l’emplacement où le consommateur commence à lire les messages de la rubrique. Les options sont les suivantes :
    • le plus tôt : le consommateur commence à lire le premier message disponible dans la rubrique.
    • le plus récent : le consommateur lit uniquement les messages remis à la rubrique après le démarrage du consommateur.
    Contient une erreur Indique si l’abonnement comporte des erreurs.
    Concurrence max. Nombre maximal de processeurs parallèles utilisés pour consommer des messages et nombre de groupes de partitions.
    Délai du groupe de partitions Durée maximale, en millisecondes, allouée à chaque groupe de partitions de l’abonnement.
    Partitions Kafka Nombre de partitions dans la rubrique.
    Taille du lot max. Nombre maximal de messages traités par exécution. Les options sont les suivantes :
    • automatiquement optimisé : le système choisit le nombre de messages.
    • un nombre : l’utilisateur a sélectionné manuellement un numéro.

    Métriques

    Chaque mesure est mesurée sur trois intervalles de temps : les cinq minutes précédentes, l’heure précédente et les 24 heures précédentes.
    • Débit d’entrée de la rubrique : nombre moyen d’enregistrements ajoutés à la rubrique par seconde.
    • Taux de traitement du consommateur : nombre moyen d’enregistrements traités par seconde.
    • Profondeur de la file d’attente de la rubrique : nombre moyen d’enregistrements restant à traiter dans la rubrique.

    Groupes de partitions d’abonnement Kafka

    L’onglet Groupes de partitions d’abonnement Kafka affiche les détails suivants.
    Champ Description
    Numéro Numéro du groupe de partitions.
    Propriétaire de ce groupe de partitions État de propriété du groupe de partitions. Les options sont les suivantes :
    • AUCUN : Le groupe de partitions n’appartient à aucune tâche de consommateur Kafka. Vous pouvez le récupérer et le traiter.
    • TRAITEMENT : le groupe de partitions appartient à une tâche de consommateur Kafka et traite les messages.
    • VERROUILLÉ : le groupe de partitions n’appartient pas à une tâche de consommateur Kafka et n’est pas disponible pour être récupéré.

    Lorsqu’une tâche de consommateur Kafka est activée, elle recherche l’enregistrement le plus mis à jour le plus tôt avec un propriétaire NONE et en sélectionne un.

    Ensuite, la tâche du consommateur change le propriétaire en TRAITEMENT et le traite pendant 10 secondes.

    Une fois le traitement terminé, l’état est redéfini sur NONE, de sorte qu’il peut être récupéré et traité à nouveau plus tard.

    Si la tâche du consommateur traite tous les messages, elle définit le propriétaire sur VERROUILLÉ pendant 10 secondes, après quoi il est à nouveau défini sur NONE.

    Mis à jour Date et heure de la dernière mise à jour du groupe de partitions.
    Quand la propriété est-elle perdue ? Date et heure auxquelles la propriété est perdue.
    Première partition Numéro de la première partition pour le groupe de partitions.
    Dernière partition (incluse) Numéro de la dernière partition du groupe de partitions.
    Débit d'entrée

    Donné pendant les cinq dernières minutes, la dernière heure et les dernières 24 heures.

    Nombre moyen d’enregistrements ajoutés au groupe de partitions par seconde.
    Traitement de consommateurs

    Donné pendant les cinq dernières minutes, la dernière heure et les dernières 24 heures.

    Nombre moyen de messages consommés à partir du groupe de partitions par seconde.
    Profondeur de la file d'attente

    Donné pendant les cinq dernières minutes, la dernière heure et les dernières 24 heures.

    Nombre moyen d’enregistrements restant à traiter dans le groupe de partitions.

    Journaux des consommateurs

    L’onglet Consumer Logs (Journaux du consommateur) affiche les entrées de journal du consommateur associé. Il indique la date de création de chaque entrée, son niveau de journalisation, le message et la source. Les journaux des consommateurs sont stockés dans la table Consumer Logs (Journaux des consommateurs) [sys_consumer_log].

    Vous pouvez augmenter le nombre de messages de journal ajoutés aux journaux des consommateurs en activant la glide.ih.kafka.debug.consume propriété.

    Statistiques des consommateurs Kafka

    L’onglet Statistiques des consommateurs Kafka affiche les détails suivants.
    Champ Description
    Date de création Date et heure de création de l’enregistrement des statistiques sur les consommateurs.
    Intervalle Durée de l’enregistrement des statistiques sur les consommateurs, exprimée en secondes.

    Vous pouvez modifier la longueur de l’intervalle avec la glide.ih.kafka.consumer.log_interval propriété. La valeur par défaut est de 60 secondes.

    Vous pouvez spécifier s’il faut consigner les messages dans le journal des consommateurs lorsqu’aucun message Kafka n’est produit ou consommé pendant l’intervalle avec la glide.ih.kafka.consumer.log_empty_stats propriété. La valeur par défaut est vrai.

    Messages produits Nombre de messages produits dans la rubrique pendant l’intervalle de temps.
    Messages consommés Nombre de messages traités par le consommateur pendant l’intervalle de temps.
    Octets consommés Nombre d’octets traités par le consommateur pendant l’intervalle de temps.
    Décalage Somme de tous les décalages pour le groupe de partitions.
    Messages de retard Différence entre le décalage de fin et le décalage actuel.
    Décalage de fin Somme de tous les décalages de fin pour le groupe de partitions.
    Groupe de partitions Enregistrement pour le groupe de partitions.