Verwenden Sie die ETL- und Transformationszuordnungs-Verbraucher, um Daten zu importieren

Verwenden Sie ETL-Definitionen und Transformationszuordnungen, um Kafka-Ereignisse zu verarbeiten. ETL-Definitionen und Transformationszuordnungen geben die Transformationslogik an, die beim Abrufen von Daten über geplante Importe verwendet werden soll. Sie können dieselben ETL-Definitionen und Transformationszuordnungen verwenden, um die über Kafka empfangenen Ereignisse zu transformieren.

Vorbereitungen

• Erforderliche Rolle: integration_hub_admin
• Diese Seite ist Teil von Stream Connect Schnellstarthandbuch.
• In diesem Dokument erfahren Sie, wie Sie Nachrichten über Ihre Verbindung zu Hermes verbrauchen. Informationen zum Einrichten und Testen Ihrer Verbindung finden Sie unter Set up a secure connection to the Hermes Messaging Service und Verbindung mit Hermes über das ADCv2-Gateway testen.
• Im ersten Teil dieser Seite erfahren Sie, wie Sie mit dem -ETL-Verbraucher Nachrichten verbrauchen. Zur Verwendung des -ETL-Verbrauchers benötigen Sie einen robusten Importsatz-Umwandler.
• Im zweiten Teil dieser Seite erfahren Sie, wie Sie mit einem Transformationszuordnungs-Verbraucher Nachrichten verbrauchen. Zur Verwendung des Transformationszuordnungsverbrauchers benötigen Sie eine Transformationszuordnung.

Prozedur

1. Erstellen Sie ein Thema, um ETL zu verbrauchen und Verbrauchernachrichten für Transformationszuordnungen zu transformieren.
   1. Verwenden Sie den folgenden Befehl, um ein Thema in Hermes zu erstellen.
      In diesem Beispiel lautet der Themenname topic2.

      bin/kafka-topics.sh --create --command-config config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002, <instance name>.service-now.com:4003 --topic snc.<instance name>.topic2

      Ersetzen Sie unbedingt<instance name> mit dem Namen Ihrer Instanz.
   2. Um das Thema anzuzeigen, melden Sie sich bei der Instanz an, und navigieren Sie zu Alle > IntegrationHub > Stream Connect > Themen.
      Hinweis:

      Das Erstellen eines Themas dauert ungefähr 10 Minuten.
2. Erstellen Sie einen -ETL-Verbraucher, um Daten aus dem Thema zu verbrauchen.
   1. Navigieren zu Alle > IntegrationHub > Verbraucher > ETL-Verbraucher.
   2. Wählen Sie Neu.
   3. Geben Sie im Formular „Kafka-Verbraucher“ im Feld Name einen Namen ein.
      In diesem Beispiel wird der Name Mitgliedsimport verwendet.
   4. Wählen Sie für das Feld „ Robuster Importsatz-Umwandler “ einen vorhandenen robusten Importsatz-Umwandler aus.
      Wählen Sie für den robusten Transformator für Importsatz einen Umwandler aus, bei dem die Option zum Speichern von Daten in einer einzelnen Spalte nicht verwendet wird. Um die Nachrichten sehen zu können, stellen Sie sicher, dass für den robusten Importsatz -Umwandler die Option Ausführlich aktiviert ist.
   5. Deaktivieren Sie die Option Daten in einzelner Spalte.
      Diese Option sollte nur für Importsatztabellen mit Daten in einer einzelnen Spalte ausgewählt werden.
   6. Legen Sie die Spaltenzuordnung auf Bezeichnung fest.

      Dies bedeutet, dass die JSON-Schlüssel der Eingabenachricht den Spaltenbezeichnungen der Importsatztabelle zugeordnet sind.

      

   7. Speichern Sie das Formular.
   8. Erstellen Sie einen Kafka-Stream für den Verbraucher.
   9. Legen Sie im Formular „Kafka-Stream“ die folgenden Feldwerte fest.
      • Name des Streams „Thema2“.
      • Thema zum zuvor erstellten Thema, topic2.
      • Max. Gleichzeitigkeit bis 1.
      • Verwendung von für Nachrichtenstarten, die nach der ersten Aktivierung empfangen wurden.
      • Nachrichtenverarbeitungautomatisch optimieren.
   10. Wählen Sie unter Zugehörige Links den Link Aktivieren aus.

       Sie sollten das aktivierte Abonnement sehen können.

       

3. Veröffentlichen Sie Nachrichten in topic2.
   1. Führen Sie den folgenden Befehl aus, um Nachrichten in topic2 zu veröffentlichen.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Ersetzen Sie unbedingt<instance name> mit dem Namen Ihrer Instanz.

      Dieser Befehl fordert Sie zur Eingabe von Nachrichten auf.

   2. Senden Sie die folgende JSON-Nachricht.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Sie können diese Nachricht mit beliebigen Werten senden, aber der JSON-Nachrichtenschlüssel muss mit den Tabellenbezeichnungen des Importsatzes übereinstimmen.
   3. Navigieren Sie zurück zu dem von Ihnen erstellten -ETL-Verbraucher.

      Nach etwa einer Minute sollten die Daten über den Importsatz importiert worden sein.

      

   4. Um detaillierte Informationen zum Importsatz anzuzeigen, wählen Sie die Importsatznummer aus.

      

   5. Um detaillierte Informationen zu einer Importsatzzeile anzuzeigen, wählen Sie die Nummer der Importsatzzeile aus.

      

4. Erstellen Sie einen Transformationszuordnungsverbraucher, um Daten zu verbrauchen.
   1. Navigieren zu Alle > IntegrationHub > Verbraucher > Verbraucher der Transformationszuordnung.
   2. Wählen Sie Neu.
   3. Geben Sie im Formular „Verbraucher der Kafka-Transformationszuordnung“ im Feld Name einen Namen ein.
   4. Wählen Sie im Feld Transformationszuordnung eine vorhandene Transformationszuordnung aus.

      

   5. Speichern Sie das Formular.
   6. Erstellen Sie einen Kafka-Stream für den Verbraucher.
   7. Legen Sie im Formular „Kafka-Stream“ die folgenden Feldwerte fest.
      • Name für die Transformation des Zuordnungs-Streams.
      • Thema zum zuvor erstellten Thema, topic2.
      • Max. Gleichzeitigkeit bis 1.
      • Verwendung von für Nachrichtenstarten, die nach der ersten Aktivierung empfangen wurden.
      • Nachrichtenverarbeitungautomatisch optimieren.
   8. Wählen Sie unter Zugehörige Links den Link Aktivieren aus.

      Sie sollten das aktivierte Abonnement sehen können.

      

5. Veröffentlichen Sie Nachrichten in topic2.
   1. Führen Sie den folgenden Befehl aus, um Nachrichten in topic2 zu veröffentlichen.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Ersetzen Sie unbedingt<instance name> mit dem Namen Ihrer Instanz.

      Dieser Befehl fordert Sie zur Eingabe von Nachrichten auf.

   2. Senden Sie die folgende JSON-Nachricht.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Sie können diese Nachricht mit beliebigen Werten senden, aber der JSON-Nachrichtenschlüssel muss mit den Tabellenbezeichnungen des Importsatzes übereinstimmen.
   3. Wechseln Sie zu dem von Ihnen erstellten Verbraucher der Transformationszuordnung.
      Nach etwa einer Minute sollten die Daten über den Importsatz importiert worden sein.
   4. Um detaillierte Informationen zum Importsatz anzuzeigen, wählen Sie die Importsatznummer wie in Schritt 3d oben beschrieben aus.

Nächste Maßnahme

Verwenden Sie den Kafka-Ersteller-Schritt und die ProduzentenV2-API, um Nachrichten zu veröffentlichen.