Stream Connect Kurzanleitung
Diese Schnellstartanleitung gibt Ihnen einen Überblick darüber, wie Sie die einzelnen sechs Stream Connect-Produzenten und -Verbraucher für den Datenaustausch zwischen einrichten und verwenden ServiceNow Instanz und eine Kafka-Umgebung.
- Kafka-Ersteller Schritt ein Workflow-Studio
- ProducerV2-API
- Kafka-Nachrichtenauslöser in Workflow-Studio
- ETL-Verbraucher (Transformationsladen) extrahieren
- Transformationszuordnungsverbraucher
- Skript-Verbraucher
Zum Verknüpfen von ServiceNow Instanz in einer Kafka-Umgebung, Stream Connect verwendet Hermes Messaging-Service. Das folgende Diagramm zeigt jeden der Hersteller und Verbraucher und wie sie eine Verbindung zu Ihrer Kafka-Umgebung herstellen, hier als Kundenstandort , Über Hermes.
Weitere Informationen finden Sie unter Stream Connect für Apache Kafka verwenden Und .
Erste Schritte
Zur Darstellung der Kundenwebsite verwendet dieser Leitfaden Apache Kafka Befehlszeilen-Tools werden auf Ihrem Computer ausgeführt. Die mit diesem Tool verwendeten Konfigurationsparameter können verwendet werden, um eine beliebige Client-Verbindung zum Gateway „Anwendungsbereitstellung“, Version 2 (ADCv2), mithilfe des Kafka-Protokolls zu konfigurieren.
Alle angegebenen Befehle werden mit OpenSSL-Version (LibreSSL 2,8.3) und getestet Apache Kafka Binärverteilungsversion kafka_2,13-3,4.0.tgz. Alle Befehle sollten jedoch mit jeder Version in Ihrer lokalen Umgebung funktionieren.
Schnellstartschritte
Diese Schnellstartanleitung besteht aus fünf Schritten. Schritte 1 und 2 behandeln das Einrichten und Testen einer Verbindung zu Hermes. Die Schritte 3 bis 5 zeigen Ihnen, wie Sie jeden der Stream Connect-Hersteller und -Verbraucher konfigurieren und verwenden, um Daten zu senden und zu empfangen.
- Das ADCv2-Gateway verwendet gegenseitige Authentifizierung, um Anforderungen zu authentifizieren. Der erste Schritt besteht in der Erstellung eines Schlüsselspeichers und eines Truststores, die mit Ihrem bevorzugten Kafka-Client verwendet werden können. Die folgende Seite zeigt, wie Sie die erforderlichen Zertifikate erstellen: Richten Sie eine sichere Verbindung mit ein Hermes Messaging-Service.
- Nachdem Sie eine sichere Verbindung zu Hermes eingerichtet haben, überprüfen Sie, ob der Schlüsselspeicher und der Truststore korrekt von generiert wurden Testen der Verbindung zu Hermes über das ADCv2-Gateway .
- Jetzt können Sie es Verwenden Sie den Kafka-Nachrichtenauslöser und den Skriptverbraucher, um Nachrichten zu verbrauchen. Der erste Teil dieser Seite zeigt, wie Sie den Kafka-Nachrichtenauslöser in verwenden Workflow-Studio Zum Abrufen von Nachrichten aus Kafka. Der zweite Teil zeigt, wie Sie den Skriptverbraucher zum Abrufen von Nachrichten verwenden.
- Und Verwenden Sie ETL und Transformationszuordnungsverbraucher, um Daten zu importieren. ETL-Definitionen und Transformationszuordnungen geben die Transformationslogik an, die beim Abrufen von Daten über geplante Importe verwendet werden soll. Sie können dieselben ETL-Definitionen und Transformationszuordnungen verwenden, um die über Kafka empfangenen Ereignisse umzuwandeln.Hinweis:Um den ETL-Verbraucher zu verwenden, benötigen Sie einen Robuster Importsatz-Umwandler . Ebenso benötigen Sie zur Verwendung des Verbrauchers der Transformationszuordnung einen Transformationszuordnung .
- Endlich können Sie es Verwenden Sie den Kafka-Ersteller-Schritt und die ProducerV2-API, um Nachrichten zu veröffentlichen. Auf dieser Seite wird gezeigt, wie Sie beide Schritte des Kafka-Erstellers in verwenden Workflow-Studio Und die ProducerV2-API zum Verschieben von Nachrichten an Kafka.
Richten Sie eine sichere Verbindung mit ein Hermes Messaging-Service
Sichern Sie Ihre Kafka-Themen, indem Sie einen generieren ServiceNow® Von Instanz signiertes Zertifikat.
Vorbereitungen
Wird eingerichtet Hermes Messaging-Service Erfordert Koordination mit Ihrem Netzwerkadministrator und Ihrem Kafka-Administrator. Arbeiten Sie mit Ihrem Netzwerkadministrator zusammen, um die erforderlichen Sicherheitszertifikate zu erhalten und die erforderlichen Ports zu öffnen. Arbeiten Sie mit Ihrem Kafka-Administrator zusammen, um sicherzustellen, dass Ihre Kafka-Umgebung korrekt konfiguriert ist und dass Ihre Anwendungen eine Verbindung mit herstellen können Hermes Messaging-Service Mit dem standardmäßigen Kafka-Protokoll.
Stellen Sie sicher, dass das folgende Setup vorhanden ist:
- Die Hermes Messaging-Service Ist aktiviert. Weitere Informationen finden Sie unter .
- Das Plugin „Schlüsselverwaltungs-Framework“ (com.Glide.kmf.global) ist aktiviert.
- Die Tabelle „Zertifikate [sys_kmf_certificate]“ enthält einen ServiceNow CA-Stammzertifikat der Instanz.
- Die Instanz ist nicht mit einer anwenderdefinierten URL konfiguriert. Anwenderdefinierte URLs werden mit dem Instanz-PKI-Zertifikatgenerator nicht unterstützt.
Erforderliche Rolle: hermes_admin, sn_kmf.cryptographic_Manager oder admin
Details zum Zuweisen von KMF-Rollen finden Sie unter .
Prozedur
Ergebnisse
Sie können jetzt eine sichere Verbindung mit erstellen Hermes Messaging-Service.
Testen Sie die Verbindung zu Hermes über das ADCv2-Gateway
Überprüfen Sie, ob der Schlüsselspeicher und der Truststore korrekt generiert wurden, indem Sie die Verbindung zu Hermes über das ADCv2-Gateway testen.
Vorbereitungen
- Erforderliche Rolle: Integration_Hub_admin
Prozedur
Verwenden Sie den Kafka-Nachrichtenauslöser und den Skriptverbraucher, um Nachrichten zu verbrauchen
Ruft Nachrichten von Hermes mit dem Kafka-Nachrichtenauslöser in ab Workflow-Studio Und der Skriptverbraucher.
Vorbereitungen
- Erforderliche Rolle: Integration_Hub_admin
- Der erste Teil dieses Abschnitts zeigt, wie Sie den Kafka-Nachrichtenauslöser in verwenden Workflow-Studio Zum Verbrauchen von Nachrichten. Weitere Informationen zum Auslöser finden Sie unter .
- Der zweite Teil dieses Abschnitts zeigt, wie Sie den Skriptverbraucher zum Verbrauchen von Nachrichten verwenden. Weitere Informationen finden Sie unter Konfigurieren Sie einen Skriptverbraucher.
Prozedur
-
Erstellen Sie ein Thema, um Nachrichten zu verbrauchen.
-
Erstellen Sie einen Flow-Auslöser, um Nachrichten aus dem Thema zu verarbeiten.
-
Veröffentlichen Sie Nachrichten mit dem Kafka-Befehlszeilentool im Thema.
-
Erstellen Sie einen Skriptverbraucher, um Nachrichten aus dem Thema zu verbrauchen.
Verwenden Sie ETL und Transformationszuordnungsverbraucher, um Daten zu importieren
Verwenden Sie ETL-Definitionen und Transformationszuordnungen, um Kafka-Ereignisse zu verarbeiten. ETL-Definitionen und Transformationszuordnungen geben die Transformationslogik an, die beim Abrufen von Daten über geplante Importe verwendet werden soll. Sie können dieselben ETL-Definitionen und Transformationszuordnungen verwenden, um die über Kafka empfangenen Ereignisse umzuwandeln.
Vorbereitungen
- Erforderliche Rolle: Integration_Hub_admin
- Der erste Teil dieses Abschnitts zeigt, wie Sie den ETL-Verbraucher zum Verbrauchen von Nachrichten verwenden. Um den ETL-Verbraucher zu verwenden, benötigen Sie einen Robuster Importsatz-Umwandler .
- Der zweite Teil dieses Abschnitts zeigt, wie Sie einen Transformationszuordnungs-Verbraucher verwenden, um Nachrichten zu verbrauchen. Um den Verbraucher der Transformationszuordnung zu verwenden, benötigen Sie einen Transformationszuordnung .
Prozedur
-
Erstellen Sie ein Thema, um ETL zu nutzen und Verbrauchernachrichten zu transformieren.
-
Erstellen Sie einen ETL-Verbraucher, um Daten aus dem Thema zu verbrauchen.
-
Veröffentlichen Sie Nachrichten in Themen2.
-
Erstellen Sie einen Transformationszuordnungsverbraucher, um Daten zu verbrauchen.
-
Veröffentlichen Sie Nachrichten in Themen2.
Verwenden Sie den Kafka-Ersteller-Schritt und die ProducerV2-API, um Nachrichten zu veröffentlichen
Daten von übertragen ServiceNow An Hermes, damit die Kafka-Verbraucher sie lesen können.
Vorbereitungen
- Erforderliche Rolle: Integration_Hub_admin
- Der erste Teil dieses Abschnitts zeigt, wie Sie den Schritt „Kafka-Ersteller“ in verwenden Workflow-Studio Zum Veröffentlichen von Nachrichten in Hermes. Weitere Informationen zum Schritt finden Sie unter .
- Der zweite Teil dieses Abschnitts zeigt, wie Sie die ProducerV2-API zum Veröffentlichen von Nachrichten verwenden. Weitere Informationen finden Sie unter ProducerV2-API .
- Um alle Nachrichten zu empfangen, müssen Sie zwei Verbraucher für verschiedene Rechenzentren ausführen. Details siehe .
Prozedur
-
Starten Sie zwei Verbraucher, um Nachrichten zu erhalten.
-
Veröffentlichen Sie Nachrichten aus der Instanz mithilfe eines Flow-Schritts.
-
Veröffentlichen Sie Nachrichten aus der Instanz mithilfe eines Skripts.