Verwenden Sie ETL und Transformationszuordnung Verbraucher, um Daten zu importieren

Verwenden Sie ETL-Definitionen und Transformationszuordnungen, um Kafka-Ereignisse zu verarbeiten. ETL-Definitionen und Transformationszuordnungen geben die Transformationslogik an, die beim Abrufen von Daten über geplante Importe verwendet werden soll. Sie können dieselben ETL-Definitionen und Transformationszuordnungen verwenden, um die über Kafka empfangenen Ereignisse zu transformieren.

Vorbereitungen

• Erforderliche Rolle: Integration_Hub_admin
• Diese Seite ist Teil von Stream Connect Kurzanleitung.
• In diesem Dokument erfahren Sie, wie Sie Nachrichten über Ihre Verbindung mit Hermes verbrauchen. Informationen zum Einrichten und Testen Ihrer Verbindung finden Sie unter Richten Sie eine sichere Verbindung mit ein Hermes Messaging-Service Und Testet die Verbindung zu Hermes über das ADCv2-Gateway .
• Der erste Teil dieser Seite zeigt, wie Sie den ETL-Verbraucher zum Verbrauchen von Nachrichten verwenden. Um den ETL-Verbraucher zu verwenden, benötigen Sie einen Robuster Importsatz-Umwandler .
• Der zweite Teil dieser Seite zeigt, wie Sie einen Verbraucher der Transformationszuordnung verwenden, um Nachrichten zu verbrauchen. Um den Verbraucher der Transformationszuordnung zu verwenden, benötigen Sie einen Transformationszuordnung .

Prozedur

1. Erstellen Sie ein Thema, um ETL zu nutzen und Verbrauchernachrichten zu transformieren.
   1. Verwenden Sie den folgenden Befehl, um ein Thema in Hermes zu erstellen.
      In diesem Beispiel lautet der Themenname topic2.

      bin/kafka-topics.sh --create --command-config config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002, <instance name>.service-now.com:4003 --topic snc.<instance name>.topic2

      Stellen Sie sicher, dass Sie ersetzen <instance name> Mit dem Namen Ihrer Instanz.
   2. Um das Thema anzuzeigen, melden Sie sich bei der Instanz an, und navigieren Sie zu Alle > IntegrationHub > Stream Connect > Themenan.
      Hinweis:

      Es dauert etwa 10 Minuten, um ein Thema zu erstellen.
2. Erstellen Sie einen ETL-Verbraucher, um Daten aus dem Thema zu verbrauchen.
   1. Navigieren zu Alle > IntegrationHub > Verbraucher > ETL-Verbraucheran.
   2. Wählen Sie Neu.
   3. Geben Sie im Formular „Kafka-Verbraucher“ einen Namen in ein Name Feld.
      In diesem Beispiel wird der Name Member Import verwendet.
   4. Für Robuster Importsatz-Umwandler Wählen Sie einen vorhandenen robusten Importsatz-Umwandler aus.
      Wählen Sie für den robusten Importsatz-Umwandler einen aus, der die Option zum Speichern von Daten in einer einzelnen Spalte nicht verwendet. Um die Nachrichten anzuzeigen, stellen Sie sicher, dass der robuste Importsatz-Umwandler über verfügt Ausführlich Option aktiviert.
   5. Deaktivieren Sie Daten in einer Spalte Option.
      Diese Option sollte nur für Importsatztabellen mit Daten in einer einzelnen Spalte ausgewählt werden.
   6. Legen Sie fest Spaltenzuordnung Bis Bezeichnung .

      Dies bedeutet, dass die JSON-Schlüssel der Eingabenachricht den Spaltenbezeichnungen der Importsatztabelle zugeordnet sind.

      

   7. Speichern Sie das Formular.
   8. Erstellen Sie einen Kafka-Stream Für den Verbraucher.
   9. Legen Sie im Kafka-Stream-Formular die folgenden Feldwerte fest.
      • Name Bis Topic2-Stream .
      • Thema Zu dem zuvor erstellten Thema, topic2.
      • Max. Gleichzeitigkeit Bis 1 .
      • Beginnen Sie Mit Dem Verbrauch Bis Nachrichten, die nach der ersten Aktivierung empfangen wurden .
      • Nachrichtenverarbeitung Bis Automatisch optimieren .
   10. Wählen Sie aus Aktivieren Link unter zugehörige Links.

       Sie sollten das aktivierte Abonnement sehen können.

       

3. Veröffentlichen Sie Nachrichten in Topic2.
   1. Führen Sie den folgenden Befehl aus, um Nachrichten in Topic2 zu veröffentlichen.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Stellen Sie sicher, dass Sie ersetzen <instance name> Mit dem Namen Ihrer Instanz.

      Dieser Befehl fordert Sie zur Eingabe von Nachrichten auf.

   2. Senden Sie die folgende JSON-Nachricht.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Sie können diese Nachricht mit beliebigen Werten senden, der JSON-Nachrichtenschlüssel muss jedoch mit den Tabellenbezeichnungen des Importsatzes übereinstimmen.
   3. Navigieren Sie zurück zu dem von Ihnen erstellten ETL-Verbraucher.

      Nach etwa einer Minute müssen die Daten über den Importsatz importiert worden sein.

      

   4. Um detaillierte Informationen zum Importsatz anzuzeigen, wählen Sie die Importsatznummer aus.

      

   5. Um detaillierte Informationen zu einer Importsatzzeile anzuzeigen, wählen Sie die Zeilennummer des Importsatzes aus.

      

4. Erstellen Sie einen Verbraucher der Transformationszuordnung, um Daten zu verbrauchen.
   1. Navigieren zu Alle > IntegrationHub > Verbraucher > Verbraucher der Transformationszuordnungan.
   2. Wählen Sie Neu.
   3. Geben Sie im Formular „Verbraucher umwandeln – Zuordnung umwandeln“ einen Namen in ein Name Feld.
   4. Für Transformationszuordnung Wählen Sie eine vorhandene Transformationszuordnung aus.

      

   5. Speichern Sie das Formular.
   6. Erstellen Sie einen Kafka-Stream Für den Verbraucher.
   7. Legen Sie im Kafka-Stream-Formular die folgenden Feldwerte fest.
      • Name Bis Transformationszuordnungs-Stream .
      • Thema Zu dem zuvor erstellten Thema, topic2.
      • Max. Gleichzeitigkeit Bis 1 .
      • Beginnen Sie Mit Dem Verbrauch Bis Nachrichten, die nach der ersten Aktivierung empfangen wurden .
      • Nachrichtenverarbeitung Bis Automatisch optimieren .
   8. Wählen Sie aus Aktivieren Link unter zugehörige Links.

      Sie sollten das aktivierte Abonnement sehen können.

      

5. Veröffentlichen Sie Nachrichten in Topic2.
   1. Führen Sie den folgenden Befehl aus, um Nachrichten in Topic2 zu veröffentlichen.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Stellen Sie sicher, dass Sie ersetzen <instance name> Mit dem Namen Ihrer Instanz.

      Dieser Befehl fordert Sie zur Eingabe von Nachrichten auf.

   2. Senden Sie die folgende JSON-Nachricht.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Sie können diese Nachricht mit beliebigen Werten senden, der JSON-Nachrichtenschlüssel muss jedoch mit den Tabellenbezeichnungen des Importsatzes übereinstimmen.
   3. Wechseln Sie zu dem von Ihnen erstellten Verbraucher der Transformationszuordnung.
      Nach etwa einer Minute müssen die Daten über den Importsatz importiert worden sein.
   4. Um detaillierte Informationen zum Importsatz anzuzeigen, wählen Sie die Importsatznummer wie oben in Schritt 3d aus.

Nächste Maßnahme

Verwenden Sie den Kafka-Ersteller-Schritt und die ProducerV2-API, um Nachrichten zu veröffentlichen.