Schemaverwaltung in Stream Connect

  • Freigeben Version: Yokohama
  • Aktualisiert 30. Januar 2025
  • 3 Minuten Lesedauer

    • Importieren und erstellen Sie Schemas zum Senden und Empfangen von Nachrichten in einem ApacheAvro-Format. Die Verwendung eines Avro-Formats kann die Größe der Nutzlast reduzieren und Ihre Integration in Ihre lokale Kafka-Instanz vereinfachen.

    Avro ist ein Open Source-Datenserialisierungssystem, das Schemas zum Strukturieren codierter Daten verwendet. Mit einem Avro-Schema können Daten aus nur-Text-JSON in ein Avro-Binärformat und zurück konvertiert werden. Sie können Schemas in speichern ServiceNow, Damit Ihre Stream Connect-Ersteller und -Verbraucher die Schemas verwenden können, um Avro-Nachrichten zu serialisieren.

    Das folgende Bild zeigt eine Übersicht über die Schemaverwaltung in Stream Connect. Schemas, die in Schemaregistrierungen gespeichert sind, ermöglichen die Konvertierung von Nachrichten in Erstellern und Verbrauchern von nur-Text in ein Avro-Format und zurück.

    Diagramm, das zeigt, wie Stream Connect Schemas verwendet, die in den Schemaregistrierungen gespeichert sind, um Kafka-Nachrichten in verschiedene Formate zu konvertieren.

    Schemata

    Sie können ein Schema aus der Confluent-Registrierung importieren oder ein eigenes eigenständiges Schema erstellen, indem Sie eine JSON-Datei hochladen oder ein Schema direkt als JSON-formatierte Zeichenfolge eingeben.

    Nachdem Ihr Schema importiert oder erstellt wurde, können Sie es in der Tabelle „Stream Connect-Schemas“ [Stream_Connect_Schema] anzeigen, in der sowohl Confluent- als auch eigenständige Schemas gespeichert werden. Darüber hinaus sind Confluent-Schemas in der Tabelle „Confluent Stream Connect-Schema [confluent_stream_connect_schema]“ sichtbar. Eigenständige Schemata befinden sich in der Tabelle „eigenständiges Stream Connect-Schema [standalone_stream_connect_schema]“.

    Alle Schemas haben eine Schema-ID, einen global eindeutigen Bezeichner des Schemas. Bei Confluent-Schemas wird die Schema-ID aus der Confluent-Registrierung importiert. Bei eigenständigen Schemas wird die Schema-ID lokal generiert und ist in der Instanz eindeutig. Standardmäßig ist der generierte Schema-ID-Wert die nächsthöchste verfügbare Schema-ID in der Instanz. Wenn Ihre Schemas beispielsweise die ID-Nummern eins bis fünf haben, hat das nächste von Ihnen erstellte Schema eine Schema-ID von sechs. Sie können den Standardwert ändern.

    Schema-IDs sind pro Registrierung eindeutig. Beispielsweise können zwei Schemas beide eine ID von 1 haben, solange sie sich in verschiedenen Registrierungen befinden.

    Schemaregistrierungen

    Jedes Schema gehört zu einer Registrierung. Es gibt zwei Arten von Schemaregistrierungen in ServiceNow: Die Confluent-Schemaregistrierung und die eigenständige Schemaregistrierung.

    Beide Schemaregistrierungen haben die Option zu Im Update-Satz nachverfolgen . Wenn diese Option aktiviert ist, werden die Schemas in dieser Registrierung im Update-Satz gespeichert. Durch das Speichern der Schemas im Update-Satz können Sie sie aus einer Umgebung in eine andere verschieben. Standardmäßig ist diese Option für die Confluent-Schemaregistrierung deaktiviert, da sich Schema-IDs von einer Umgebung in eine andere ändern können. Diese Option ist für die eigenständige Schemaregistrierung aktiviert, da die Schema-ID bei manueller Erstellung von Schemas weniger wahrscheinlich von einer Umgebung in eine andere geändert wird. Navigieren Sie zu , um die Standardeinstellung für eine der Registrierungen zu ändern Alle > IntegrationHub > Schemaregistrierungen, Wählen Sie die Registrierung aus, und ändern Sie Im Update-Satz nachverfolgen Option.

    Nachrichtenformat auf Draht-Ebene

    Für Interoperabilität, ServiceNowVerwendet ein Nachrichtenformat auf Draht-Ebene, das dem von anderen Systemen verwendet wird. Das erste Byte ist auf 0 festgelegt. Die nächsten 4 Byte werden für die Schema-ID verwendet. Die verbleibenden Bytes werden für die Daten verwendet, serialisiert in einem Avro-Format.
    Byte 0 Magisches Byte.
    Byte 1–4 Schema-ID.
    Verbleibende Byte Daten, serialisiert in einem Avro-Format.

    Hersteller und Verbraucher

    Stream Connect-Ersteller und -Verbraucher können so konfiguriert werden, dass sie ein Avro-Format verwenden.

    Geben Sie beim Konfigurieren eines Erstellers einfach an, welches Schema Sie verwenden möchten. Wenn Sie dann den Ersteller ausführen, wird die Nachrichtennutzlast in JSON generiert und automatisch mit dem angegebenen Schema in ein Avro-Format konvertiert. Weitere Informationen zu Herstellern finden Sie unter Kafka Producer stepOder ProducerV2-API .

    Die Konfiguration eines Verbrauchers ist ähnlich. Geben Sie das Serialisierungsformat als an Codiert Und wählen Sie eine Schemaregistrierung aus. Wenn der Verbraucher eine Nachricht im Avro-Format erhält, wird sie gemäß dem Schema für die in der Nachricht empfangene Schema-ID automatisch in JSON konvertiert. Weitere Informationen finden Sie unter Kafka-Nachrichtenauslöser Oder ETL , Transformationszuordnung , Oder Skript Verbraucher.

    Plugin

    Schemaverwaltungsfunktionen erfordern ServiceNowStream Connect-Installationsprogramm [Plugin com.glide.hub.stream_connect.installer].