Stream Connect Nachrichtenreplikation
Replizieren Sie Daten zwischen Apache Kafka Umgebung und ServiceNow.
Mit Stream Connect Nachrichtenreplikation können Sie Nachrichtenreplikationen direkt über konfigurieren und verwalten ServiceNow Instanz.
Stream Connect Die Nachrichtenreplikation verwendet einen MID-Server Oder MID-Server Cluster zum Ausführen der Datenreplikationen, sodass Sie keine zusätzlichen Replikationsservices konfigurieren oder hosten müssen. Außerdem wird das Setup der Nachrichtenreplikation vereinfacht, indem die erforderlichen Zertifikate automatisch generiert werden.
Aktivieren von MID-Server Zum Replizieren von Daten
Stream Connect Die Nachrichtenreplikation verwendet einen MID-Server Mit einer Replikatorerweiterung zum Replizieren von Daten auf und von Ihrem lokalen Kafka. Für Anweisungen zur Konfiguration von MID-Server, Siehe Configuring MID Servers.
- Hersteller: 4000–4050
- Consumer1: 4100–4150
- Consumer2: 4200–4250
Mit MID-Server Cluster
Sie können verwenden MID-Server Cluster anstelle eines einzelnen Clusters MID-Server, Für Nachrichtenreplikation. Mit MID-Server Cluster, wenn einer der beiden ist MID Servers Im Cluster schlägt fehl, der andere MID Servers Kann die Last des fehlgeschlagenen freigeben MID-Server.
In einem MID-Server Cluster, werden die Themenpartitionen auf alle verfügbaren verteilt MID Servers Im Cluster. Wenn ein MID-Server Wird nicht verfügbar, werden die Partitionen auf die verbleibenden neu verteilt MID Servers. Wenn zusätzlich MID-Server Wird im Cluster verfügbar, dann werden die Partitionen über verteilt MID Servers Erneut.
Konfigurieren von Verbindungen und Anmeldeinformationen für Kafka
- Erstellen Sie Kafka-SSL-Anmeldeinformationen Mit den für die Verbindung erforderlichen Authentifizierungsdaten.
- Konfigurieren Sie eine Kafka-Verbindung Um eine Verbindung mit Ihrer Kafka-Umgebung herzustellen.
- Create a Connection & Credential alias, Um die Verbindungsinformationen und Anmeldeinformationsdaten zuzuordnen. Der Alias für Verbindungen und Anmeldeinformationen muss einen haben Verbindungstyp Von Kafka Und müssen über zugänglich sein MID-Server.
Diese Schritte dienen zum Konfigurieren eines Alias für Verbindungen und Anmeldeinformationen für die Verbindung mit Kafka. Sie müssen keine Verbindungen oder Anmeldeinformationen für die Verbindung mit einrichten Hermes, Weil MID-Server Verarbeitet automatisch die Erstellung des erforderlichen Schlüsselspeichers, Truststore und Zertifikate.
Nachrichten- und Themenreplikationen werden erstellt
Die Nachrichtenreplikation erfordert Nachrichtenreplikationsdatensätze und Kafka-Themenreplikationsdatensätze.
Ein Nachrichtenreplikationsdatensatz stellt einen einzelnen Kafka-Cluster dar. Wenn Sie beispielsweise zwei Kafka-Cluster haben, erstellen Sie zwei verschiedene Nachrichtenreplikationsdatensätze, einen für jeden Cluster. Ein Nachrichtenreplikationsdatensatz ist der übergeordnete Datensatz für alle Themen, die in oder aus diesem Cluster repliziert werden. Nachrichtenreplikationsdatensätze werden in der Tabelle „Nachrichtenreplikationen“ [sys_sc_message_Replication] gespeichert.
Ein Kafka-Themenreplikationsdatensatz gibt die Replikation von einem einzelnen Quellthema zu einem einzelnen Zielthema an. Sie können ein einzelnes Quellthema nicht an mehrere Ziele replizieren. Sie können nur einmal auf jedes Ziel replizieren. Datensätze der Kafka-Themenreplikation werden in der Tabelle „Kafka-Themenreplikationen“ [sys_kafka_topic_Replication] gespeichert.
Eine Schritt-für-Schritt-Anleitung zum Erstellen von Nachrichten- und Themenreplikationsdatensätzen finden Sie unter Erstellen Sie Nachrichten- und Kafka-Themenreplikationen in Stream Connect.
Nachrichtenreplikationsstatistiken anzeigen
Sobald Replikationen ausgeführt werden, erstellt das System alle 60 Sekunden einen Metrikdatensatz für jede aktive Themenreplikation. Metrikdatensätze enthalten Informationen zu Themenreplikationen, einschließlich Nachrichtenanzahl , Der die Anzahl der in jedem Sammlungsintervall replizierten Nachrichten anzeigt.
Sie können Metrikdatensätze in der Tabelle „Nachrichtenreplikationsstatistiken“ [sys_sc_Channel_Replication_metric] anzeigen. Sie können auch Metrikdatensätze für ein bestimmtes Thema anzeigen, indem Sie die Nachrichtenreplikationsstatistiken im Kafka-Themenreplikationsdatensatz überprüfen.
Eine Liste der Metriken für die Nachrichtenreplikation und ihre Beschreibungen finden Sie unter Statistiken zur Stream Connect-Nachrichtenreplikation anzeigen.
Benötigte Plugins
Stream Connect Für die Nachrichtenreplikation ist erforderlich ServiceNow Stream Connect Installationsprogramm [com.glide.hub.stream_connect.installer]-Plugin.
Rollen
Die Rolle „message_Replication_admin“ kann Datensätze in allen Nachrichtenreplikationstabellen erstellen, ändern und löschen, einschließlich der Verbindungs- und Anmeldeinformationstabellen sowie der Nachrichten- und Themenreplikationstabellen.
Die Rolle message_Replication_user kann Datensätze in den Nachrichtenreplikationstabellen anzeigen.
Protokollierung
Die meisten Probleme werden in protokolliert MID-Server Protokoll. Zusätzliche Debug-Protokollierung kann durch Festlegen von aktiviert werden glide.stream_connect.message_replication.debug MID-Server Eigenschaft bis Wahr .