Erstellen Sie einen Kafka-Stream

Definieren Sie einen Datenstrom für einen ETL-Verbraucher (Extrahieren der Transformationsladung), eine Transformationszuordnung oder einen Skriptverbraucher. Ein Kafka-Stream definiert den Datenstrom an Ihren Verbraucher.

Vorbereitungen

• Erforderliche Rolle: Integration_Hub_admin
• Kafka-Streams sind Teil von Stream ConnectWas erfordert Stream ConnectAbonnement. Weitere Informationen finden Sie unter https://www.servicenow.com/now-platform/workflow-data-fabric.html.

Warum und wann dieser Vorgang ausgeführt wird

Sie müssen einen Kafka-Stream erstellen, um einen ETL-, Transformationszuordnung- oder Skriptverbraucher zu verwenden. Nachdem Sie einen Verbraucher konfiguriert und einen Stream erstellt und aktiviert haben, können Sie Nachrichten aus Ihrer Kafka-Umgebung empfangen.

Prozedur

1. Öffnen Sie den Datensatz für Ihren ETL-, Transformationszuordnung- oder Skriptverbraucher.
   Navigieren Sie zu, um einen Verbraucherdatensatz zu suchen Alle > IntegrationHub > Verbraucher Und wählen Sie aus ETL-Verbraucher , Transformationszuordnungsverbraucher , Oder Skript-Verbraucher .
2. Suchen Sie den Abschnitt „Kafka-Streams“, und wählen Sie aus Neu .
3. Füllen Sie im Formular die Felder aus.

   Tabelle : 1. Kafka-Stream

   Felder	Beschreibung
   Name	Name des Kafka-Streams.
   Thema	Name des Themas, das auf Nachrichten überwacht werden soll.
   Max. Gleichzeitigkeit	Maximale Anzahl paralleler Prozessoren, die zum Verbrauchen von Nachrichten verwendet werden sollen, und Anzahl der zu erstellenden Partitionsgruppen. Standardwert: 1
   Relative Gewichtung	Für jeden Zyklus die maximale Zeit, die dem Verbraucher für die Verarbeitung von Nachrichten im Verhältnis zu anderen Verbrauchern zugewiesen ist. Beispiel: Ein Verbraucher mit einer relativen Gewichtung, die doppelt so hoch ist wie das eines anderen Verbrauchers, erhält doppelt so viel Zeit. Verbraucher mit derselben relativen Gewichtung erhalten dieselbe Zeit. Der Mindestwert ist 5. Der Höchstwert ist 2000. Der Standardwert ist gleich der maximalen Gleichzeitigkeit multipliziert mit dem Wert von glide.ih.kafka.consumer.max_seconds_per_partition_groupEigenschaft. Die glide.ih.kafka.consumer.max_seconds_per_partition_groupEigenschaft gibt die maximale Zeit in Sekunden an, die jeder Partitionsgruppe zugewiesen ist. Der Standardwert ist 10. Das System verwendet die relative Gewichtung, um die Zeitüberschreitung der Partitionsgruppe für das Abonnement zu berechnen. Die Zeitüberschreitung der Partitionsgruppe gibt die maximale Zeit in Millisekunden an, die jeder Partitionsgruppe in einem bestimmten Abonnement zugewiesen ist. Dieses Feld wird nur angezeigt, wenn Erweitert Ist ausgewählt.
   Verwendung beginnen	Option zum Festlegen, wo mit dem Verbrauchen von Nachrichten aus dem Thema begonnen werden soll. Wählen Sie eine der folgenden Antworten aus. Nachrichten, die nach der ersten Aktivierung empfangen wurden : Verbraucht nur Nachrichten, die das Thema empfangen hat, nachdem der Stream aktiviert wurde. Alle im Thema gespeicherten Nachrichten : Verbraucht alle Nachrichten im Thema, auch Nachrichten, die vor der Aktivierung des Streams empfangen wurden.
   Nachrichtenverarbeitung	Option zum Festlegen der Anzahl der pro Ausführung verarbeiteten Nachrichten oder zum Festlegen der Anzahl der Nachrichten durch das System. Wählen Sie eine der folgenden Antworten aus. Automatisch optimieren : Das System bestimmt die Anzahl der Nachrichten, die pro Ausführung verarbeitet werden sollen. Manuell überschreiben : Sie geben die Anzahl der Nachrichten an, die pro Ausführung verarbeitet werden sollen. Dieses Feld wird nur angezeigt, wenn Erweitert Ist ausgewählt.
   Maximale Nachrichten	Maximale Anzahl von Nachrichten, die pro Ausführung verarbeitet werden sollen. Dieses Feld wird nur angezeigt, wenn Manuell überschreiben Ist aus ausgewählt Nachrichtenverarbeitung .
   Ausführen als	Option zum Ausführen des Verbrauchers mit den Anmeldeinformationen eines angegebenen Anwenders.
   Kafka-ETL-Verbraucher	Der Name des Verbrauchers, an den Daten gestreamt werden sollen. Dieses Feld wird automatisch auf den Namen des Verbrauchers festgelegt, von dem Sie mit dem Hinzufügen des Streams begonnen haben.
   Aktiv	Option zum Aktivieren des Streams.
   Erweitert	Option zum Anzeigen der erweiterten Felder Relative Gewichtung Und Nachrichtenverarbeitung .

4. Wählen Sie unter zugehörige Links die Option aus Aktivieren .
   Nachdem der Stream aktiviert wurde, erstellt das System automatisch ein Kafka-Abonnement für den zugehörigen Verbraucher.
5. Wählen Sie Absenden.

Ergebnisse

Wenn Sie den Stream aktivieren, sucht der Verbraucher nach Nachrichten, die im angegebenen Thema verarbeitet werden sollen. Sie können detaillierte Informationen zum Verbraucher und seiner Leistung anzeigen, indem Sie die Abonnementseite besuchen. Details finden Sie unter Kafka-Abonnements und -Statistiken werden angezeigt.