Configuração assistida para consumidores do Kafka
Implemente as etapas a seguir para obter uma configuração assistida completa para consumidores do Kafka.
Antes de Iniciar
Função necessária: administrador
Procedimento
-
Analise o diagnóstico do Serviço de envio de mensagens Hermes.
É recomendável verificar se o Serviço de envio de mensagens Hermes está instalado e funcionando com a ferramenta de diagnóstico Hermes, que é exibida na tela durante essa etapa. Se você vir um erro de "Página não encontrada" nessa página, o Hermes não está instalado e é necessário entrar em contato com o administrador do sistema.
- Informações de configuração: as informações de inicialização a seguir são usadas para a conexão ao Serviço de envio de mensagens Hermes. A “Inicialização do produtor” representa a conexão usada para o envio de mensagens para o Hermes, e “Inicialização do consumidor 1 e 2” são usadas para recuperação de mensagens do Hermes.
- Inicialização do produtor
- Inicialização do consumidor 1
- Inicialização do consumidor 2
- PKI da instância: o componente de infraestrutura de chave pública (PKI) da instância permite que uma instância da ServiceNow atue como um emissor em uma hierarquia de confiança X.509.
- Conectividade de inicialização: Selecione Executar teste confirmar que o cliente externo pode se conectar às portas de instância definidas (produtor e consumidor).
- Conectividade da instância: Selecione Executar teste para confirmar que a instância pode enviar e receber mensagens.
- Exibir tópicos: Selecione o tópico listado para recuperar o carimbo de data/hora da última mensagem conhecida.
Nota:Você pode acessar Hermes Diagnósticos no futuro para solucionar possíveis problemas de conectividade retornando a esta etapa da configuração assistida ou navegando até Tudo > Serviço de envio de mensagens Hermes > Diagnósticos. - Informações de configuração: as informações de inicialização a seguir são usadas para a conexão ao Serviço de envio de mensagens Hermes. A “Inicialização do produtor” representa a conexão usada para o envio de mensagens para o Hermes, e “Inicialização do consumidor 1 e 2” são usadas para recuperação de mensagens do Hermes.
-
Gere certificados para uma conexão segura ao Serviço de envio de mensagens Hermes e extraia eventos de log dele.
Você vai usar esses certificados ao conectar o sistema externo.
Configure uma conexão segura ao Serviço de envio de mensagens Hermes. Consulte Configure uma conexão segura com o Hermes Messaging Service para LES para obter mais informações. Você vai precisar desses certificados para autenticação e autorização no cliente que extrairá os logs do Hermes.
Nota:As funções de administrador ou Hermes_admin são necessárias para essa etapa. -
Configure o produtor de log: escolha as origens de log para exportar e configurar os filtros.
Realize as seguintes tarefas para configurar o produtor de log.
- Configure as origens de log para exportar: crie um registro de origem para cada uma das origens de log que você quer exportar.Nota:As funções de administrador ou sn_logstoanalytics.admin são necessárias para concluir essa etapa
- Selecione Novo no canto superior direito
- Selecione um tipo de origem
- Selecionar uma tabela
- Selecione um Nível de log que possa ser usado para controlar a saída de registro em log
- Selecione ou crie um tópico para o qual essa origem de log será exportada. Se você estiver criando um novo tópico, preencha os seguintes campos:
- Nome Nome do tópico que você está criando
- ID da aplicação : Enter
sn_logstoanalytics - Namespace : Insira namespace padrão
- Partição : O campo de partição de um tópico no Hermes se refere às partições nas quais os dados do tópico são divididos. Desempenha um papel fundamental na escalabilidade e no paralelismo.
- Selecione um Tipo de filtro condição para encaminhar logs seletivamente.Nota:Os filtros são diferentes dependendo do tipo de origem selecionado
- Selecione Atualizar
O campo "Ativo" controla se a origem de log será exportada ou não. Caso encontre erros, volte para a tarefa "Verificar o Diagnóstico do Hermes" e confira o status dele.
- Validar produtor de log: Depois de criar uma origem para produzir logs, você poderá ver os registros de log em tempo real no tópico usando Serviço de envio de mensagens Hermes > Inspetor de tópicos do Hermes.
- Selecione "Tópicos externos"
- Selecione Listar tópicos
- Selecione a linha com o tópico da etapa anterior (listado em "Origens")
- Ajuste a data de início das mensagens, se necessário
- Selecione Exibir para ver uma mensagem de log que foi exportada para o tópico
- Configure as origens de log para exportar: crie um registro de origem para cada uma das origens de log que você quer exportar.
-
Conecte o consumidor do Kafka: conecte o consumidor do Kafka escolhido para extrair eventos de log do Hermes de acordo com estas tarefas.
- Identifique o consumidor do Kafka: você tem duas opções baseadas na arquitetura de análise de log.
- Se você tiver seu próprio sistema Kafka e escolhê-lo para agregação de log, poderá se conectar diretamente ao serviço de envio de mensagens Hermes usando o protocolo Kafka nativo.
- Se você preferir conectar a ferramenta de análise de log diretamente ao serviço de envio de mensagens Hermes, será preciso implantar um conector do Kafka compatível com o sistema de análise de log (ou seja, Splunk Connect para Kafka).
Nota:Nos dois casos, é preciso trabalhar com o administrador desses sistemas para coordenar a conexão com o serviço de envio de mensagens Hermes. - Importe os certificados do Hermes para o sistema do consumidor do Kafka: faça login em seu sistema do consumidor do Kafka e verifique se você tem os direitos de administrador apropriados para configurá-lo e conectá-lo a um sistema externo. Importe os certificados gerados na tarefa "Configurar uma conexão segura com o serviço de envio de mensagens Hermes" para o conector ou o servidor do Kafka. Siga as instruções da documentação do consumidor do Kafka escolhido.
- Configure os processos do Kafka: o serviço de envio de mensagens Hermes foi desenvolvido para oferecer alta disponibilidade. Dois processos são necessários para consumir mensagens do Hermes. Dois processos são necessários porque o Hermes usa alguns clusters do Kafka para fins de failover. Se um cluster ficar inativo, os dados serão produzidos para o outro cluster do Kafka do Hermes.Em seu sistema de consumidor do Kafka, será preciso criar dois processos de consumidor separados para se conectar aos dois clusters do Kafka do Hermes. Para os dois processos, especifique o mesmo tópico do Kafka do Hermes, mas configure dois endereços de inicialização separados:
- <instance_name>.service-now.com:4100,<instance_name>.service-now.com:4101,<instance_name>.service-now.com:4102,<instance_name>.service-now.com:4103
- <instance_name>.service-now.com:4200,<instance_name>.service-now.com:4201,<instance_name>.service-now.com:4202,<instance_name>.service-now.com:4203
Observações importantes:- Ao acessar o tópico do Kafka em sistemas externos, anexe "snc.<instance name>." ao tópico para o qual os logs são encaminhados.
- Configure cada consumidor com o mesmo ID de grupo de consumidores do Kafka.
- Instale os arquivos de repositório de chaves e repositório de confiança em um local em que os consumidores possam acessá-los.
- Se os consumidores pedirem, especifique as propriedades dos conversores JSON do Kafka para desabilitar esquemas: “key.converter.schemas.enable=false”, “value.converter.schemas.enable=false”
- Verifique se o consumidor do Kafka extrai logs do Hermes: verifique no consumidor do Kakfa escolhido se é possível extrair eventos de log do serviço de envio de mensagens Hermes.
- Identifique o consumidor do Kafka: você tem duas opções baseadas na arquitetura de análise de log.