Gestão de esquemas no Stream Connect

  • Versão de lançamento: Xanadu
  • Atualizado 1 de ago. de 2024
  • 3 min. de leitura

    • Importe e crie esquemas para enviar e receber mensagens em um formato Apache Avro. O uso de um formato Avro pode reduzir o tamanho da carga e simplificar sua integração com a instância local do Kafka.

    O Avro é um sistema de serialização de dados de código aberto que usa esquemas para estruturar dados codificados. Com um esquema Avro, os dados podem ser convertidos de JSON de texto sem formatação para um formato binário Avro e vice-versa. Você pode armazenar esquemas em ServiceNow, para que os produtores e consumidores do Stream Connect possam usar os esquemas para serializar mensagens Avro.

    A imagem a seguir mostra uma visão geral do gerenciamento de esquema no Stream Connect. Os esquemas, armazenados em registros de esquema, permitem que as mensagens em produtores e consumidores sejam convertidas de texto sem formatação para um formato Avro e vice-versa.

    Diagrama que mostra como o Stream Connect usa esquemas armazenados nos registros de esquema para converter mensagens do Kafka em diferentes formatos.

    Esquemas

    Você pode importar um esquema do registro do Confluent ou criar seu próprio esquema autônomo carregando um arquivo JSON ou inserindo um esquema diretamente como uma cadeia de caracteres no formato JSON.

    Depois que o esquema for importado ou criado, você poderá vê-lo na tabela Esquemas de conexão de fluxo [stream_connect_schema], que armazena esquemas confluentes e autônomos. Além disso, os esquemas do Confluent estão visíveis na tabela Esquema de conexão de fluxo do Confluent [confluent_stream_connect_schema]. Os esquemas autônomos estão na tabela Esquema de conexão de fluxo autônomo [standalone_stream_connect_schema].

    Todos os esquemas têm um ID de esquema, um identificador globalmente exclusivo do esquema. Para esquemas Confluent, o ID do esquema é importado do registro Confluent. Para esquemas autônomos, o ID do esquema é gerado localmente e é exclusivo na instância. Por padrão, o valor de ID de esquema gerado é o próximo ID de esquema disponível mais alto na instância. Por exemplo, se seus esquemas tiverem números de ID de um a cinco, o próximo esquema criado terá um ID de esquema de seis. Você pode alterar o valor padrão.

    Os IDs de esquema são exclusivos por registro. Por exemplo, dois esquemas podem ter um ID de um, desde que estejam em registros diferentes.

    Registros de esquemas

    Cada esquema pertence a um registro. Existem dois tipos de registros de esquema em ServiceNow: o Registro de Esquema Confluente e o Registro de Esquema Autônomo.

    Ambos os registros de esquema têm uma opção para rastrear no conjunto de atualizações. Quando esta opção está habilitada, os esquemas nesse registro são salvos no conjunto de atualizações. Salvar os esquemas no conjunto de atualizações possibilita movê-los de um ambiente para outro. Por padrão, esta opção está desativada para o Registro de esquemas confluentes porque os IDs de esquema podem mudar de um ambiente para outro. Esta opção está habilitada para o Registro de esquema autônomo porque, se você estiver criando esquemas manualmente, é menos provável que o ID do esquema mude de um ambiente para outro. Para alterar a configuração padrão de qualquer registro, navegue até Todos > IntegrationHub > Registros de esquemas, selecione o registro e altere a opção Rastrear no conjunto de atualizações.

    Formato de mensagem no nível da transferência

    Para interoperabilidade, ServiceNow usa um formato de mensagem no nível de fio semelhante aos usados por outros sistemas. O primeiro byte é definido como 0. Os próximos 4 bytes são usados para o ID do esquema. Os bytes restantes são usados para os dados, serializados em um formato Avro.
    Byte 0 Byte Mágico.
    Byte 1–4 ID do esquema.
    Bytes restantes Dados serializados em um formato Avro.

    Produtores e consumidores

    Os produtores e consumidores do Stream Connect podem ser configurados para usar um formato Avro.

    Ao configurar um produtor, basta especificar qual esquema você deseja usar. Em seguida, quando você executa o produtor, a carga da mensagem é gerada em JSON e convertida automaticamente para um formato Avro usando o esquema especificado. Para obter mais informações sobre produtores, consulte a Kafka Producer step ou a API ProducerV2.

    Configurar um consumidor é semelhante. Especifique o formato de serialização como Codificado e selecione um registro de esquema. Quando o consumidor recebe uma mensagem em um formato Avro, ela é convertida automaticamente em JSON de acordo com o esquema do ID de esquema recebido na mensagem. Para obter mais informações, consulte o gatilho de mensagem do Kafka ou os consumidores de ETL, Mapa de transformaçãoou Script.

    Plug-in

    Os recursos de gestão de esquema exigem o plug-in ServiceNow Stream Connect Installer [com.glide.hub.stream_connect.installer].