Verwenden Sie ETL und Transformationszuordnungsverbraucher, um Daten zu importieren

Verwenden Sie ETL-Definitionen und Transformationszuordnungen, um Kafka-Ereignisse zu verarbeiten. ETL-Definitionen und Transformationszuordnungen geben die Transformationslogik an, die beim Abrufen von Daten über geplante Importe verwendet werden soll. Sie können dieselben ETL-Definitionen und Transformationszuordnungen verwenden, um die über Kafka empfangenen Ereignisse umzuwandeln.

Vorbereitungen

• Erforderliche Rolle: Integration_Hub_admin
• Diese Seite ist Teil von Stream Connect Schnellstartanleitung.
• Dieses Dokument zeigt, wie Sie Nachrichten über Ihre Verbindung mit Hermes verbrauchen. Informationen zum Einrichten und Testen Ihrer Verbindung finden Sie unter Richten Sie eine sichere Verbindung mit ein Hermes Messaging-ServiceUnd Testen der Verbindung zu Hermes über das ADCv2-Gateway .
• Der erste Teil dieser Seite zeigt, wie Sie den ETL-Verbraucher zum Verbrauchen von Nachrichten verwenden. Um den ETL-Verbraucher zu verwenden, benötigen Sie einen Robuster Importsatz-Umwandler .
• Der zweite Teil dieser Seite zeigt, wie Sie einen Transformationszuordnungsverbraucher verwenden, um Nachrichten zu verbrauchen. Um den Verbraucher der Transformationszuordnung zu verwenden, benötigen Sie einen Transformationszuordnung .

Prozedur

1. Erstellen Sie ein Thema, um ETL zu nutzen und Verbrauchernachrichten zu transformieren.
   1. Verwenden Sie den folgenden Befehl, um ein Thema in Hermes zu erstellen.
      In diesem Beispiel lautet der Themenname topic2.

      bin/kafka-topics.sh --create --command-config config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002, <instance name>.service-now.com:4003 --topic snc.<instance name>.topic2

      Ersetzen Sie unbedingt <instance name> Mit dem Namen Ihrer Instanz.
   2. Um das Thema anzuzeigen, melden Sie sich bei der Instanz an, und navigieren Sie zu Alle > IntegrationHub > Stream Connect > Themenan.
      Hinweis:

      Das Erstellen eines Themas dauert etwa 10 Minuten.
2. Erstellen Sie einen ETL-Verbraucher, um Daten aus dem Thema zu verbrauchen.
   1. Navigieren zu Alle > IntegrationHub > Verbraucher > ETL-Verbraucheran.
   2. Wählen Sie Neu.
   3. Geben Sie im Formular „Kafka-Verbraucher“ einen Namen in ein Name Feld.
      In diesem Beispiel wird der Name Mitgliedsimport verwendet.
   4. Für Robuster Importsatz-Umwandler Wählen Sie einen vorhandenen robusten Importsatz-Umwandler aus.
      Wählen Sie für den robusten Importsatz-Umwandler einen aus, der die Option zum Speichern von Daten in einer einzelnen Spalte nicht verwendet. Um die Nachrichten anzuzeigen, stellen Sie sicher, dass der robuste Importsatz-Umwandler über verfügt Ausführlich Option aktiviert.
   5. Deaktivieren Sie Daten in einer Spalte Option.
      Diese Option sollte nur für Importsatztabellen mit Daten in einer einzelnen Spalte ausgewählt werden.
   6. Legen Sie fest Spaltenzuordnung Bis Bezeichnung .

      Dies bedeutet, dass die JSON-Schlüssel der Eingabenachricht den Spaltenbezeichnungen der Importsatztabelle zugeordnet sind.

      

   7. Speichern Sie das Formular.
   8. Erstellen Sie einen Kafka-Stream Für den Verbraucher.
   9. Legen Sie im Kafka-Stream-Formular die folgenden Feldwerte fest.
      • Name Bis Themen2-Stream .
      • Thema Zu dem zuvor erstellten Thema, topic2.
      • Max. Gleichzeitigkeit Bis 1 .
      • Mit Dem Verbrauch Beginnen Bis Nachrichten, die nach der ersten Aktivierung empfangen wurden .
      • Nachrichtenverarbeitung Bis Automatisch optimieren .
   10. Wählen Sie aus Aktivieren Link unter zugehörigen Links.

       Sie sollten das aktivierte Abonnement sehen können.

       

3. Veröffentlichen Sie Nachrichten in Themen2.
   1. Führen Sie den folgenden Befehl aus, um Nachrichten in Themen2 zu veröffentlichen.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Ersetzen Sie unbedingt <instance name> Mit dem Namen Ihrer Instanz.

      Dieser Befehl fordert Sie zur Eingabe von Nachrichten auf.

   2. Senden Sie die folgende JSON-Nachricht.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Sie können diese Nachricht mit beliebigen Werten senden, aber der JSON-Nachrichtenschlüssel muss mit den Tabellenbezeichnungen des Importsatzes übereinstimmen.
   3. Navigieren Sie zurück zu dem von Ihnen erstellten ETL-Verbraucher.

      Nach etwa einer Minute sollten die Daten über den Importsatz importiert worden sein.

      

   4. Um detaillierte Informationen zum Importsatz anzuzeigen, wählen Sie die Importsatznummer aus.

      

   5. Um detaillierte Informationen zu einer Importsatzzeile anzuzeigen, wählen Sie die Zeilennummer des Importsatzes aus.

      

4. Erstellen Sie einen Transformationszuordnungsverbraucher, um Daten zu verbrauchen.
   1. Navigieren zu Alle > IntegrationHub > Verbraucher > Verbraucher der Transformationszuordnungan.
   2. Wählen Sie Neu.
   3. Geben Sie im Formular „Verbraucher der Kafka-Transformationszuordnung“ einen Namen in ein Name Feld.
   4. Für Transformationszuordnung Feld, wählen Sie eine vorhandene Transformationszuordnung aus.

      

   5. Speichern Sie das Formular.
   6. Erstellen Sie einen Kafka-Stream Für den Verbraucher.
   7. Legen Sie im Kafka-Stream-Formular die folgenden Feldwerte fest.
      • Name Bis Transformationszuordnungsstrom .
      • Thema Zu dem zuvor erstellten Thema, topic2.
      • Max. Gleichzeitigkeit Bis 1 .
      • Mit Dem Verbrauch Beginnen Bis Nachrichten, die nach der ersten Aktivierung empfangen wurden .
      • Nachrichtenverarbeitung Bis Automatisch optimieren .
   8. Wählen Sie aus Aktivieren Link unter zugehörigen Links.

      Sie sollten das aktivierte Abonnement sehen können.

      

5. Veröffentlichen Sie Nachrichten in Themen2.
   1. Führen Sie den folgenden Befehl aus, um Nachrichten in Themen2 zu veröffentlichen.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Ersetzen Sie unbedingt <instance name> Mit dem Namen Ihrer Instanz.

      Dieser Befehl fordert Sie zur Eingabe von Nachrichten auf.

   2. Senden Sie die folgende JSON-Nachricht.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Sie können diese Nachricht mit beliebigen Werten senden, aber der JSON-Nachrichtenschlüssel muss mit den Tabellenbezeichnungen des Importsatzes übereinstimmen.
   3. Wechseln Sie zu dem von Ihnen erstellten Verbraucher der Transformationszuordnung.
      Nach etwa einer Minute sollten die Daten über den Importsatz importiert worden sein.
   4. Um detaillierte Informationen zum Importsatz anzuzeigen, wählen Sie die Importsatznummer wie oben in Schritt 3d aus.

Nächste Maßnahme

Verwenden Sie den Kafka-Ersteller-Schritt und die ProducerV2-API, um Nachrichten zu veröffentlichen.