Elasticsearch campos de configuração de entrada de dados

  • Versão de lançamento: Xanadu
  • Atualizado 1 de ago. de 2024
  • 9 min. de leitura

    • Descrição dos campos no formulário de configuração de entrada de dados Elasticsearch.

    Configuração básica

    Campo Descrição
    Nome Nome da nova entrada de dados. Este campo é obrigatório.
    Descrição Descrição da entrada de dados.
    Executar nos(as) Opção para determinar se deve ser usado um MID Server específico ou um cluster de MID Server.

    Este recurso é compatível com a aplicação Análise de logs de integridade, versão 26.0.17 - fevereiro de 2023 e posterior, disponível na ServiceNow Store.
    MID

    (Somente quando o campo Executar em estiver definido como MID Server específico)

    MID Server para o qual os dados de log dos índices Elasticsearch são extraídos.
    Nota:
    • Você pode selecionar somente MID Servers que oferecem suporte à autenticação básica. MID Servers que oferecem suporte a mTLS não estão listados.
    • O número máximo padrão de registros de fluxo de entradas de dados para um único MID Server é 10. Você pode modificar este número nas propriedades do MID Server.
    • Se a ingestão de log não estiver habilitada para o MID Serverselecionado, Análise de logs de integridade a habilitará automaticamente.
    Este campo é obrigatório.
    Cluster do MID Server

    (Somente quando o campo Executar em estiver definido como Cluster específico MID Server )

    O cluster MID Server para o qual os dados de log são extraídos.

    A entrada de dados é executada em um único MID Server no cluster até que MID Server falhe. O sistema move todas as tarefas de entrada de dados para o próximo MID Server disponível no cluster de acordo com a ordem configurada.

    Este recurso é compatível com a aplicação Análise de logs de integridade, versão 26.0.17 - fevereiro de 2023 e posterior, disponível na ServiceNow Store.

    Nota:
    • Análise de logs de integridade oferece suporte somente a clusters de failover MID Server. Nesses clusters, vários MID Servers são agrupados para proteção de failover. Ao selecionar um cluster no formulário de entrada de dados, a lista MID Server Clusters exibe somente clusters de failover.
    • O cluster MID Server deve incluir somente MID Servers que oferecem suporte à autenticação básica. O mTLS não é compatível com a ingestão de log.
    • A ingestão de log deve ser habilitada para cada MID Server no cluster. Se a ingestão de log não estiver habilitada para o MID Serverativo, Análise de logs de integridade a habilitará automaticamente.
    • Se Elasticsearch usar certificado de cliente ou autenticação de certificado de CA, todos os MID Servers no cluster deverão ter os certificados apropriados.
    • O número máximo padrão de registros de fluxo de entradas de dados para um único MID Server é 10. Um cluster será aprovado na validação de capacidade se contiver pelo menos um MID Server com menos de 10 entradas de dados em execução, mesmo quando esse MID Server estiver inativo.
    Para obter mais informações sobre clusters do MID Server, consulte Configuração de um cluster do MID Server.

    Este campo é obrigatório.
    Serviço de aplicações O serviço de aplicativos ao qual os dados de log serão vinculados. Este campo é obrigatório.
    Nota:
    Se não existir nenhum serviço de aplicações relevante, Criar um Serviço de aplicações e adicione ICs a ele. Defina o status do novo serviço de aplicativos como Operacional.

    Os seguintes campos mostram informações somente leitura:

    Campo Descrição
    Status Status da entrada de dados.
    Transporte Protocolo usado para transmitir os dados de log.

    Esta entrada de dados usa o Elastic para transmitir dados de log para sua instância.
    Contagem de fontes O número de origens de log que esta entrada de dados criou.
    Desativado desde A hora em que a entrada de dados parou ou falhou.
    Hora do último log A hora em que o último log foi transmitido na entrada de dados.
    Tabela 1. Guia Transporte
    Campo Descrição
    URL do servidor URL usada para acessar o cluster. Este campo é obrigatório.
    Máximo de conexões por rota Número máximo de conexões a serem abertas por nó. Padrão: 2.
    Partes máximas de rolagem O número de fragmentos configurados para o índice relevante em Elasticsearch.

    Esse número informa ao Elastic quantas consultas paralelas devem ser executadas em cada solicitação de pesquisa.
    Host do proxy Nome do host do proxy HTTP por meio do qual as solicitações são enviadas.
    Porta do proxy Porta do proxy HTTP por meio da qual as solicitações são enviadas.
    Método de autenticação O método de autenticação usado para autenticar a entrada de dados para Elasticsearch. As opções são: autenticação básica, apiKey ou certificado de cliente.
    Nota:
    Quando você seleciona o método de autenticação necessário, os campos de credenciais correspondentes são exibidos no formulário.
    Credenciais básicas de autenticação Nome de usuário e senha usados para se conectar ao mecanismo de pesquisa Elasticsearch.
    Nota:
    Preencha este campo ou o campo de credenciais da AWS.
    Credenciais AWS Credenciais da AWS a serem usadas para se conectar ao mecanismo de pesquisa Elasticsearch hospedado na AWS.
    Nota:
    Preencha este campo ou o campo Credenciais de autenticação básica.
    Região da AWS Região da AWS em que o cluster Elasticsearch é executado.
    Credenciais de chave de API A chave de API usada para se conectar ao mecanismo de pesquisa Elasticsearch.
    Certificado do cliente O certificado do cliente usado para se conectar ao mecanismo de pesquisa Elasticsearch.
    Usar verificação de política de certificação MID Opção para habilitar a verificação da política de certificação MID.

    Selecione esta opção se quiser enviar seus logs criptografados usando SSL TLS. Em seguida, navegue até Todos > MID Server > Política de segurança de MID e adicione a verificação da política de certificação MID à tabela. Para obter mais informações, consulte Políticas de verificação de certificado do MID Server.
    Tabela 2. Guia Configurações de consulta
    Campo Descrição Exemplo
    De/Para Datas e horas iniciais e finais para leitura dos dados.
    • De: não leia dados anteriores a esta data.
      Nota:
      Definir este valor como uma data passada pode exigir que o sistema leia grandes quantidades de dados, causando congestão.
    • Para: não leia dados mais recentes que esta data. Para dados dinâmicos, defina esta data em um futuro distante.
    		 De: 1970-01-01 15:59:59

    Para: 2300-01-01 15:59:59
    Usar pesquisa entre clusters Opção para pesquisar dados em Elasticsearch clusters.

    Quando esta caixa de seleção está marcada, o campo Clusters a serem pesquisados é exibido.

    Nota:
    Suas configurações na caixa de seleção Usar privilégios mínimos e no campo Atraso na leitura do carimbo de data/hora atual (segundos) no formulário Configuração avançada afetam como os dados são coletados em vários clusters.
    Clusters para pesquisa Os Elasticsearch clusters a serem pesquisados.

    Este campo é exibido somente quando a caixa de seleção Usar pesquisa entre clusters está marcada.

    Siga um destes procedimentos:
    • Deixe este campo em branco ou insira "*" para pesquisar todos os clusters remotos definidos em Elasticsearch.
    • Especifique os clusters a serem pesquisados em uma lista separada por vírgulas.
      Nota:
      Para pesquisar também o cluster local, adicione uma vírgula no início ou no final ou adicione duas vírgulas sucessivas à lista. Por exemplo: “east,,west” ou “,east,west” ou “*”,
    		 leste, oeste, sul
    Prefixo do índice Prefixo para os índices Elasticsearch lerem. A entrada de dados lê somente de índices com este prefixo. Este campo é obrigatório. somente-ler-estes-índices-*
    Usar privilégios mínimos Opção para ler dados de log diretamente dos índices Elasticsearch com o prefixo configurado.
    • Quando selecionada, a entrada de dados lê os dados do log diretamente dos índices Elasticsearch com o prefixo configurado. Para executar esta tarefa, ela precisa apenas de privilégios de leitura.
      Nota:
      Quando esta caixa de seleção está marcada e você está usando a pesquisa entre clusters, os dados são coletados de todos os clusters simultaneamente.
    • Quando desmarcada, a entrada de dados busca todos os índices com o prefixo, os filtra e lê os dados de log dos índices filtrados. A execução desta tarefa requer privilégios adicionais.
      Nota:
      Deixar esta caixa de seleção desmarcada ao usar a pesquisa entre clusters afeta a forma como os dados são coletados dos clusters. Para obter mais informações, consulte o artigo Como habilitar e usar a pesquisa entre clusters para entradas de dados do Elasticsearch na Análise de logs de integridade [KB1556079] na Base de conhecimento Now Support.

    Para obter informações adicionais sobre logs de streaming usando a entrada de dados Elasticsearch, consulte o artigo Logs de fluxo usando entrada de dados do Elasticsearch - Guia avançado [KB1080162] na Base de conhecimento Now Support.
    Campo de carimbo de data/hora do documento Campo de carimbo de data/hora em documentos armazenados nos índices de leitura. Este campo é obrigatório.
    Formato do campo de carimbo de data/hora Formato do campo de carimbo de data/hora nos documentos.

    Se nenhum formato for especificado, o formato de tempo de época padrão do Unix será usado, em milissegundos. Por exemplo:

    1684168407 (15 de maio de 2023 16:33:27)

    		 aaaa-MM-dd'T'HH:mm:ss.SSSSSSS'Z'
    Filtros de termo Mapa JSON dos termos a serem filtrados.
    Nota:
    Evite usar a consulta de termo para campos de texto. Se o campo de destino estiver mapeado como texto e palavra-chave, faça referência à palavra-chave usando fieldname.keyword.
    		 {"severidade": ["erro", "aviso"]}
    Máximo de documentos por consulta Número máximo de documentos obtidos em uma única consulta.
    Desempate de rolagem em partes Valor usado para dividir os dados. Cada fatia é rolada em paralelo. Padrão: _id
    Desempate pós-pesquisa Valor exclusivo por documento a ser usado como desempate ao classificar entradas de log por carimbo de data/hora.
    Usar a API de pós-pesquisa Opção para alternar entre o uso de APIs de rolagem em partes e pós-pesquisa.
    Nota:
    As APIs de rolagem em partes são preferenciais ao ler dados históricos, enquanto as APIs de pesquisa posterior são melhores para ler dados em tempo real.
    Formato de sufixo de tempo do índice Formato do sufixo de tempo ao usar nomes de índice baseados em tempo, como [logstash-]YYYY.MM.DD.

    Ao usar aliases, deixe este campo em branco.

    		 uau.MM.dd

    Configuração avançada

    Tabela 3. Formulário de configuração avançada
    Campo Descrição
    Tempo limite de leitura de dados (milissegundos) A duração de tempo, em milissegundos, antes que uma solicitação para o cluster Elasticsearch atinja o tempo limite.
    Intervalo de descoberta do índice (segundos) O número de segundos entre solicitações MID Server intermitentes ao cluster Elasticsearch para novos índices dos quais os dados serão lidos.
    Tempo do contexto de rolagem (milissegundos) O tempo de vida da rolagem criada ao usar a API de rolagem para ler dados de Elasticsearch. Para obter mais informações, consulte a Elasticsearch documentação da API de rolagem.
    Trabalhadores de processador de eventos O número máximo de núcleos de CPU usados em paralelo para processar eventos obtidos de Elasticsearch. Uma configuração mais alta aumenta o rendimento de entrada de dados ao custo de maior uso da CPU.
    Tamanho da fila do trabalhador O número máximo de lotes na fila para processamento. Uma configuração mais alta aumenta o rendimento, ao custo de maior uso de RAM.
    Fuso horário padrão O fuso horário padrão se a data e a hora do evento não incluírem informações de fuso horário.
    Proporção de soltura de subamostra O número de eventos a serem agrupados em lote, dos quais um será descartado. Esta configuração é usada para reduzir o número de eventos obtidos.
    Taxa de recebimento de subamostra O número de eventos a serem agrupados em lote, dos quais todos, exceto um, serão descartados. Esta configuração é usada para diminuir o número de eventos recebidos.
    Codificação de caracteres A codificação de caracteres para esta entrada de dados.
    Intervalo de espera (segundos) O intervalo, em segundos, de espera antes de consultar novamente depois que uma consulta não retornou dados.
    Tamanho máximo em bytes O tamanho máximo, em bytes, das mensagens de log.
    Atraso na leitura do carimbo de data/hora atual (segundos) O número de segundos antes da hora atual para consultar para incluir dados atrasados.

    O número configurado de segundos é subtraído da hora atual para ler o último carimbo de data/hora.

    Nota:
    Se este valor for 0 e os dados forem coletados de vários clusters simultaneamente, a consulta poderá não incluir dados que foram enviados com atraso em um dos clusters,