Erstellen Sie einen Kafka-Stream

  • Freigeben Version: Zurich
  • Aktualisiert 31. Juli 2025
  • 2 Minuten Lesedauer

    • Definieren Sie einen Datenstrom für einen ETL-Verbraucher (Extrahieren Transformationsladung), eine Transformationszuordnung oder einen Skriptverbraucher. Ein Kafka-Stream definiert den Datenstrom für Ihren Verbraucher.

    Vorbereitungen

    Warum und wann dieser Vorgang ausgeführt wird

    Sie müssen einen Kafka-Stream erstellen, um einen ETL-, Transformationszuordnung- oder Skriptverbraucher zu verwenden. Nachdem Sie einen Verbraucher konfiguriert und einen Stream erstellt und aktiviert haben, können Sie mit dem Empfang von Nachrichten aus Ihrer Kafka-Umgebung beginnen.

    Prozedur

    1. Öffnen Sie den Datensatz für Ihren ETL-, Transformationszuordnung- oder Skriptverbraucher.
      Um einen Verbraucherdatensatz zu suchen, navigieren Sie zu Alle > IntegrationHub > Verbraucher Und wählen Sie aus ETL-Verbraucher , Transformationszuordnungs-Verbraucher , Oder Skript-Verbraucher .
    2. Suchen Sie den Abschnitt „Kafka-Streams“, und wählen Sie aus Neu .
    3. Füllen Sie die Felder des Formulars aus.
      Tabelle : 1. Kafka-Stream
      Felder Beschreibung
      Name Name des Kafka-Streams.
      Thema Name des Themas, das auf Nachrichten überwacht werden soll.
      Max. Gleichzeitigkeit

      Maximale Anzahl paralleler Prozessoren, die zum Verbrauchen von Nachrichten verwendet werden sollen, und die Anzahl der zu erstellenden Partitionsgruppen.

      Standardwert: 1
      Relative Gewichtung

      Für jeden Zyklus die maximale Zeit, die dem Verbraucher für die Verarbeitung von Nachrichten im Verhältnis zu anderen Verbrauchern zugewiesen ist. Zum Beispiel erhält ein Verbraucher mit einer relativen Gewichtung, die doppelt so hoch ist wie das eines anderen Verbrauchers, doppelt so viel Zeit. Verbraucher mit derselben relativen Gewichtung erhalten dieselbe Zeit.

      Der Mindestwert ist 5. Der Höchstwert ist 2000. Der Standardwert ist gleich der maximalen Gleichzeitigkeit multipliziert mit dem Wert von glide.ih.kafka.consumer.max_seconds_per_partition_groupEigenschaft. Die glide.ih.kafka.consumer.max_seconds_per_partition_groupDie Eigenschaft gibt die maximale Zeit in Sekunden an, die jeder Partitionsgruppe zugewiesen ist. Der Standardwert ist 10.

      Das System verwendet die relative Gewichtung, um die Zeitüberschreitung der Partitionsgruppe für das Abonnement zu berechnen. Die Zeitüberschreitung der Partitionsgruppe gibt die maximale Zeit in Millisekunden an, die jeder Partitionsgruppe in einem bestimmten Abonnement zugewiesen ist.

      Dieses Feld wird nur angezeigt, wenn Erweitert Ist ausgewählt.
      Verwendung beginnen Option zum Festlegen, wo mit dem Verbrauchen von Nachrichten aus dem Thema begonnen werden soll. Wählen Sie eine der folgenden Antworten aus.
      • Nachrichten, die nach der ersten Aktivierung empfangen wurden : Verbraucht nur Nachrichten, die das Thema empfangen hat, nachdem der Stream aktiviert wurde.
      • Alle im Thema gespeicherten Nachrichten : Verbraucht alle Nachrichten im Thema, auch Nachrichten, die vor der Aktivierung des Streams empfangen wurden.
      Nachrichtenverarbeitung Option zum Festlegen der Anzahl der pro Ausführung verarbeiteten Nachrichten oder zum Festlegen der Anzahl der Nachrichten durch das System. Wählen Sie eine der folgenden Antworten aus.
      • Automatisch optimieren : Das System bestimmt die Anzahl der pro Ausführung zu verarbeitenden Nachrichten.
      • Manuell überschreiben : Sie geben die Anzahl der Nachrichten an, die pro Ausführung verarbeitet werden sollen.
      Dieses Feld wird nur angezeigt, wenn Erweitert Ist ausgewählt.
      Maximale Nachrichten

      Maximale Anzahl von Nachrichten, die pro Ausführung verarbeitet werden sollen.

      Dieses Feld wird nur angezeigt, wenn Manuell überschreiben Ist aus ausgewählt Nachrichtenverarbeitung .
      Ausführen als Option zum Ausführen des Verbrauchers mit den Anmeldeinformationen eines angegebenen Anwenders.
      Verbraucher Der Name des Verbrauchers, an den Daten gestreamt werden sollen. Dieses Feld wird automatisch auf den Namen des Verbrauchers festgelegt, von dem Sie mit dem Hinzufügen des Streams begonnen haben.
      Aktiv Option zum Aktivieren des Streams.
      Erweitert Option zum Anzeigen der erweiterten Felder Relative Gewichtung Und Nachrichtenverarbeitung .
    4. Wählen Sie unter zugehörige Links die Option aus Aktivieren .
      Nachdem der Stream aktiviert wurde, erstellt das System automatisch ein Kafka-Abonnement für den zugehörigen Verbraucher.
    5. Wählen Sie Absenden.

    Ergebnisse

    Wenn Sie den Stream aktivieren, sucht der Verbraucher nach Nachrichten, die im angegebenen Thema verarbeitet werden sollen. Sie können detaillierte Informationen über den Verbraucher und seine Leistung anzeigen, indem Sie die Abonnementseite besuchen. Details finden Sie unter Kafka-Abonnements und -Statistiken anzeigen.