Gestão de esquemas em Stream Connect

  • Versão de lançamento: Zurich
  • Atualizado 31 de jul. de 2025
  • 3 min. de leitura

    • Importe e crie esquemas para enviar e receber mensagens em um Apache Formato Avro. Usar um formato Avro pode reduzir o tamanho da carga útil e simplificar sua integração com sua instância Kafka local.

    Avro é um sistema de serialização de dados de código aberto que usa esquemas para estruturar dados codificados. Com um esquema Avro, os dados podem ser convertidos de JSON de texto sem formatação para um formato binário Avro e vice-versa. Você pode armazenar esquemas em ServiceNow, Para que seus produtores e consumidores do Stream Connect possam usar os esquemas para serializar mensagens Avro.

    A imagem a seguir mostra uma visão geral do gerenciamento de esquemas no Stream Connect. Os esquemas, armazenados em registros de esquema, permitem que as mensagens em produtores e consumidores sejam convertidas de texto sem formatação para um formato Avro e vice-versa.

    Diagrama que mostra como o Stream Connect usa esquemas armazenados nos registros de esquema para converter mensagens do Kafka em diferentes formatos.

    Esquemas

    Você pode importar um esquema do registro confluent ou criar seu próprio esquema autônomo carregando um arquivo JSON ou inserindo um esquema diretamente como uma cadeia de caracteres formatada em JSON.

    Depois que o esquema for importado ou criado, você poderá vê-lo na tabela Esquemas de conexão de fluxo [stream_connect_schema], que armazena esquemas confluentes e autônomos. Além disso, os esquemas confluent estão visíveis na tabela Esquema de conexão de fluxo confluent [confluent_stream_connect_schema]. Esquemas autônomos estão na tabela Esquema de conexão de fluxo autônomo [standalone_stream_connect_schema].

    Todos os esquemas têm um ID de esquema, um identificador exclusivo globalmente do esquema. Para esquemas confluentes, o ID do esquema é importado do registro confluent. Para esquemas autônomos, o ID do esquema é gerado localmente e é exclusivo na instância. Por padrão, o valor de ID do esquema gerado é o próximo ID de esquema mais alto disponível na instância. Por exemplo, se seus esquemas tiverem números de ID de um a cinco, o próximo esquema criado terá um ID de esquema de seis. Você pode mudar o valor padrão.

    Os IDs de esquema são exclusivos por registro. Por exemplo, dois esquemas podem ter um ID de um, desde que estejam em registros diferentes.

    Registros de esquemas

    Cada esquema pertence a um registro. Há dois tipos de registros de esquema em ServiceNow: O Registro de esquema confluent e o Registro de esquema autônomo.

    Ambos os registros de esquema têm uma opção para Rastrear no conjunto de atualizações . Quando esta opção está habilitada, os esquemas nesse registro são salvos no conjunto de atualizações. Salvar os esquemas no conjunto de atualizações torna possível movê-los de um ambiente para outro. Por padrão, esta opção está desativada para o Registro de esquema confluent porque os IDs de esquema podem mudar de um ambiente para outro. Esta opção está habilitada para o Registro de esquema autônomo, porque se você estiver criando esquemas manualmente, o ID do esquema terá menos probabilidade de mudar de um ambiente para outro. Para alterar a configuração padrão de qualquer registro, navegue até Tudo > IntegrationHub > Registros de esquemas, selecione o registro e altere Rastrear no conjunto de atualizações opção.

    Formato de mensagem no nível da conexão

    Para interoperabilidade, ServiceNow usa um formato de mensagem em nível de fio semelhante aos usados por outros sistemas. O primeiro byte é definido como 0. Os próximos 4 bytes são usados para o ID do esquema. Os bytes restantes são usados para os dados, serializados em formato Avro.
    Byte 0 Byte mágico.
    Byte 1 a 4 ID do esquema.
    Bytes restantes Dados, serializados em formato Avro.

    Produtores e consumidores

    Os produtores e consumidores do Stream Connect podem ser configurados para usar um formato Avro.

    Ao configurar um produtor, basta especificar qual esquema você deseja usar. Em seguida, quando você executa o produtor, a carga da mensagem é gerada em JSON e convertida automaticamente em um formato Avro usando o esquema especificado. Para obter mais informações sobre produtores, consulte Kafka Producer step ou API ProducerV2 .

    Configurar um consumidor é semelhante. Especifique o formato de serialização como Codificado e selecione um registro de esquema. Quando o consumidor recebe uma mensagem em um formato Avro, ela é convertida automaticamente em JSON de acordo com o esquema do ID do esquema recebido na mensagem. Para obter mais informações, consulte Gatilho Mensagem do Kafka ou ETL , Mapa de transformação ou Script consumidores.

    Plug-in

    Os recursos de gestão de esquemas exigem ServiceNow Instalador do Stream Connect [plug-in com.glide.hub.stream_connect.installer].