Affichage des abonnements et des statistiques Kafka

  • Rversion finale: Xanadu
  • Mis à jour 1 août 2024
  • 4 minutes de lecture
  • Affichez des informations détaillées sur un consommateur Kafka et ses performances, y compris le nombre d’enregistrements ajoutés à la rubrique, le nombre d’enregistrements traités et le nombre d’enregistrements restant à traiter.

    Un abonnement est un enregistrement associé à un consommateur. Elle stocke les détails de configuration et de performance du consommateur. Un abonnement est créé lorsqu’un flux Kafka est activé.

    Chaque page d’abonnement comprend les sections suivantes.
    • Abonnement Kafka
    • Mesures
    • Groupes de partitions d’abonnement Kafka
    • Journaux des consommateurs
    • Statistiques des consommateurs Kafka

    Pour afficher un enregistrement d’abonnement, accédez à Centre d'intégration > Connexion au flux > Abonnements. Sélectionnez l’icône d’informations ( icône d’informations) en regard de l’abonnement que vous souhaitez afficher, puis sélectionnez Ouvrir l’enregistrement.

    Figure 1. Exemple de page d’abonnement pour un consommateur Kafka
    Page d’abonnement Kafka avec les détails de l’abonnement, les mesures et les informations sur les groupes de partitions, les journaux des consommateurs et les statistiques des consommateurs.

    Abonnement Kafka

    La section Abonnement Kafka affiche les détails de configuration du consommateur et de l’abonnement.
    Champ Description
    Numéro Numéro de l’enregistrement d’abonnement.
    État État du consommateur. Les options sont les suivantes :
    • ACTIVE
    • REFRESHING
    • STOPPING
    Rubrique Rubrique à partir de laquelle le consommateur traite les messages.
    ID de consommateur Identificateur unique pour le consommateur.
    Politique de positionnement automatique Kafka Spécifie à quel point le consommateur commence à lire les messages de la rubrique. Les options sont les suivantes :
    • le plus tôt : le consommateur commence à lire à partir du premier message disponible dans la rubrique.
    • latest : le consommateur lit uniquement les messages remis à la rubrique après qu’il a démarré.
    Contient une erreur Indique si l’abonnement comporte des erreurs.
    Concurrence max. Nombre maximal de processeurs parallèles utilisés pour consommer des messages et nombre de groupes de partitions.
    Délai du groupe de partitions Durée maximale, en millisecondes, allouée à chaque groupe de partitions de l’abonnement.
    Partitions Kafka Nombre de partitions dans la rubrique.
    Taille du lot max. Nombre maximal de messages traités par exécution. Les options sont les suivantes :
    • Optimisé automatiquement : le système choisit le nombre de messages.
    • un nombre : l’utilisateur a sélectionné manuellement un nombre.

    Mesures

    Chaque mesure est mesurée sur trois intervalles de temps : les cinq minutes précédentes, l’heure précédente et les 24 heures précédentes.
    • Taux d’entrée de rubrique : nombre moyen d’enregistrements ajoutés à la rubrique par seconde.
    • Taux de traitement du consommateur : nombre moyen d’enregistrements traités par seconde.
    • Profondeur de la file d’attente des rubriques : nombre moyen d’enregistrements restant à traiter dans la rubrique.

    Groupes de partitions d’abonnement Kafka

    L’onglet Groupes de partitions d’abonnement Kafka affiche les détails suivants.
    Champ Description
    Numéro Numéro du groupe de partitions.
    Propriétaire de ce groupe de partitions État de propriété du groupe de partitions. Les options sont les suivantes :
    • AUCUN : le groupe de partitions n’appartient à aucun emploi de consommateur Kafka. Il est disponible pour être récupéré et traité.
    • TRAITEMENT : le groupe de partitions appartient à une tâche de consommateur Kafka et traite les messages.
    • VERROUILLÉ : le groupe de partitions n’appartient pas à une tâche de consommateur Kafka et n’est pas disponible.

    Lorsqu’une tâche de consommateur Kafka est activée, elle recherche l’enregistrement le plus tôt mis à jour avec un propriétaire NONE et en sélectionne un.

    Ensuite, la tâche du consommateur change le propriétaire en TRAITEMENT et le traite pendant 10 secondes.

    Une fois le traitement terminé, l’état redevient NONE, de sorte qu’il puisse être récupéré et traité à nouveau ultérieurement.

    Si la tâche consommateur traite tous les messages, elle définit le propriétaire sur VERROUILLÉ pendant 10 secondes, après quoi elle est à nouveau définie sur NONE.

    Mis à jour Date et heure de dernière mise à jour du groupe de partitions.
    Quand la propriété est-elle perdue ? Date et heure auxquelles la propriété est perdue.
    Première partition Numéro de la première partition pour le groupe de partitions.
    Dernière partition (incluse) Numéro de la dernière partition pour le groupe de partitions.
    Débit d’entrée

    Donné pour les cinq dernières minutes, la dernière heure et les dernières 24 heures.

    Nombre moyen d’enregistrements ajoutés au groupe de partitions par seconde.
    Traitement des consommateurs

    Donné pour les cinq dernières minutes, la dernière heure et les dernières 24 heures.

    Nombre moyen de messages consommés à partir du groupe de partitions par seconde.
    Profondeur de la file d’attente

    Donné pour les cinq dernières minutes, la dernière heure et les dernières 24 heures.

    Nombre moyen d’enregistrements restant à traiter dans le groupe de partitions.

    Journaux des consommateurs

    L’onglet Journaux du consommateur affiche les entrées de journal du consommateur associé. Il indique la date de création de chaque entrée, son niveau de journalisation, le message et la source. Les journaux du consommateur sont stockés dans la table Journaux du consommateur [sys_consumer_log].

    Vous pouvez augmenter le nombre de messages de journal ajoutés aux journaux du consommateur en activant la glide.ih.kafka.debug.consume propriété.

    Statistiques des consommateurs Kafka

    L’onglet Statistiques des consommateurs Kafka affiche les détails suivants.
    Champ Description
    Créé Date et heure de création de l’enregistrement des statistiques du consommateur.
    Intervalle Durée de l’enregistrement des statistiques sur les consommateurs, exprimée en secondes.

    Vous pouvez modifier la longueur de l’intervalle avec la glide.ih.kafka.consumer.log_interval propriété. La valeur par défaut est de 60 secondes.

    Vous pouvez spécifier s’il faut consigner des messages dans le journal du consommateur lorsqu’il n’y a pas de messages Kafka produits ou consommés pendant l’intervalle avec la glide.ih.kafka.consumer.log_empty_stats propriété. La valeur par défaut est vrai.

    Messages produits Nombre de messages produits dans la rubrique pendant l’intervalle.
    Messages consommés Nombre de messages traités par le consommateur pendant l’intervalle.
    Octets consommés Nombre d’octets traités par le consommateur pendant l’intervalle de temps.
    Décalage Somme de tous les décalages pour le groupe de partitions.
    Messages de retard Différence entre le décalage de fin et le décalage actuel.
    Décalage de fin Somme de tous les décalages de fin pour le groupe de partitions.
    Groupe de partitions Enregistrement pour le groupe de partitions.