IntegrationHub ETL (3.2)
Use a aplicação da Store IntegrationHub ETL para criar e gerenciar mapas de transformação de ETL, que integram dados de terceiros no CMDB ou em tabelas não pertencentes ao CMDB sem comprometer a integridade dos dados. O IntegrationHub ETL fornece uma interface de usuário simplificada que o orienta durante o processo de integração de ponta a ponta, incluindo uma execução de integração de teste de dados de amostra.
O plug-in do IntegrationHub ETL (sn_int_studio) fornece a funcionalidade do IntegrationHub ETL.
- Use o painel de integrações do CMDB para rastrear o andamento, os resultados e os erros associados ao uso de integrações personalizadas criadas no IntegrationHub ETL. O painel de integrações do CMDB está incluído na aplicação da Store Integration Commons for CMDB.
- Assista ao vídeo IntegrationHub ETL | Importação de recursos para o CMDB para obter uma introdução e orientações sobre a ferramenta IntegrationHub ETL.
Solicitar aplicativos na Store
Acesse o site ServiceNow Store para ver todos os aplicativos disponíveis e obter informações sobre como enviar solicitações para a loja. Para obter informações sobre notas de versão cumulativa para todos os aplicativos liberados, consulte as ServiceNow Store notas de versão do histórico de versão.
Funções necessárias
Usuários com a função cmdb_inst_admin podem usar o IntegrationHub ETL para criar integrações ou personalizar uma integração pré-existente fornecida por ServiceNow ou por um fornecedor em ServiceNow Store. Um fornecedor pode criar uma nova integração e fornecê-la como uma aplicação para qualquer um usar.
Suporte para tabelas não CMDB
Começando com a versão Washington DC, o IntegrationHub ETL oferece suporte à integração de dados de terceiros em algumas tabelas não pertencentes ao CMDB. O IntegrationHub ETL é compatível com as tabelas não pertencentes ao CMDB, compatíveis com a Identificação e Reconciliação (IRE). Para obter detalhes sobre quais tabelas não pertencentes ao CMDB são compatíveis e eventuais configurações necessárias, confira Suporte do IRE para tabelas não pertencentes ao CMDB.
- Especificar associações de classe não é obrigatório para tabelas não pertencentes ao CMDB.
- Adicionar relacionamentos não se aplica a tabelas não pertencentes ao CMDB.
- As associações de classe para tabelas não pertencentes ao CMDB são baseadas em um campo de referência em vez de um relacionamento do CMDB.
Processo
- RTE (Robust Transform Engine): usado para transformar dados de origem brutos armazenados em tabelas de preparação em dados mapeados e integrados ao CMDB. O RTE usa mapas de transformação de ETL que foram criados para a integração durante a transformação de dados.
- Mecanismo de Identificação e Reconciliação (IRE): usado como uma estrutura centralizada para processos de identificação e reconciliação em diferentes fontes de dados. Os processos de IRE ajudam a manter a integridade dos dados no CMDB e em tabelas compatíveis não pertencentes ao CMDB.
O IntegrationHub ETL usa RTE e IRE, que trabalham juntos para processar e integrar dados. Os dados são importados primeiro de uma fonte de dados e, em seguida, armazenados em tabelas de preparação temporárias nos sistemas do Import Sets. Usando os dados nas tabelas de preparação e o mapa de transformação de ETL criado pelo IntegrationHub ETL, o RTE cria cargas de IRE que são processadas pelo IRE. O IRE aplica processos de reconciliação para evitar possíveis problemas, como ICs duplicados, garantindo que tabelas do CMDB ou não pertencentes ao CMDB permaneçam íntegras e, em seguida, integra os dados resultantes.
Ao criar uma integração, você importa dados de origem, transforma os dados se necessário e seleciona classes CMDB de destino (ou tabelas não pertencentes ao CMDB) e atributos para os quais os dados serão mapeados. Eventualmente, você executa um teste de integração dos dados de amostra, usando suas configurações no IntegrationHub ETL. Então você pode visualizar os resultados da integração e ajustar as configurações antes de programar execuções de integrações recorrentes para grandes conjuntos de dados. Se você desenvolver e testar o mapa de transformação de ETL em uma instância de desenvolvimento, poderá testar e ajustar a configuração antes da implementação em uma instância de produção.
Por exemplo, você pode integrar os dados do SCCM (Microsoft System Center Configuration Manager).
Confira a página da comunidade IntegrationHub-Extract Transform Load (IH-ETL) está em GA na ServiceNow Store para obter uma visão geral do IntegrationHub ETL, incluindo os componentes e fluxo de trabalho dele.
Configuração assistida
Uma configuração orientada organiza todas as tarefas na ordem correta, rastreia a conclusão das tarefas e impõe todas as dependências de tarefa. Tarefas que dependem da conclusão de outras tarefas são habilitadas ou desabilitadas conforme você percorre a ferramenta e conclui as tarefas.
Modo somente leitura
Ao abrir um Conector do Service Graph no qual o IntegrationHub ETL não está detectando nenhum dado de entrada da fonte de dados, a integração fica disponível no modo somente leitura. No modo somente leitura, você pode acessar todas as tarefas de configuração orientadas na página do Assistente de mapa de transformação de ETL. Você pode examinar todas as configurações e definições da integração, mesmo que ela não seja preenchida com dados reais. No entanto, você não pode fazer atualizações em uma conexão somente leitura.
O modo somente leitura é útil para estudar uma conexão existente com a finalidade de criar uma nova conexão semelhante à conexão somente leitura. O modo somente leitura também pode ajudar na solução de problemas da conexão.
IntegrationHub ETL e Import Sets
- Os processos do Mecanismo de Identificação e Reconciliação (IRE) são incorporados ao IntegrationHub ETL para que todos os dados sejam processados automaticamente pelo IRE como parte da integração. Usar conjuntos de importação e mapas de transformação não fornece uma maneira simples de aplicar processos de IRE.
- O IntegrationHub ETL usa configuração orientada que fornece diretrizes e uma interface de usuário simples para todo o processo de integração de dados de terceiros.
- O IntegrationHub ETL inclui um teste de integração para um pequeno conjunto de dados usando o novo mapa de transformação de ETL. Esse teste permite a você revisar os resultados e ajustar as configurações antes de programar integrações recorrentes.
Termos
- Aplicação do CMDB
- Nome do fornecedor terceirizado, como SCCM 2019. Uma aplicação do CMDB tem dois atributos associados: Name e Discovery Source. Ao criar uma nova integração, configure uma origem de descoberta para a aplicação do CMDB que você planeja usar, antes de usar o IntegrationHub ETL.
- Fonte de dados
- Feed de origem, como o Computer Identity do SCCM 7.0, de onde os dados de origem brutos são importados. Se você usar vários pontos de extremidade REST para diferentes tipos de dados, cada ponto de extremidade REST será associado a sua própria fonte de dados e a um mapa de transformação do ETL.
- Mapa de transformação do ETL
- Saída gerada pelo IntegrationHub ETL. Você pode integrar dados de terceiros no CMDB ou em tabelas não pertencentes ao CMDB usando um mapa de transformação do ETL que está configurado para a respectiva integração.
- Dados de origem
- Dados brutos originais que foram importados para o IntegrationHub ETL. Os dados de origem podem ser usados em seu formato original ou você pode transformar os dados antes do mapeamento e da integração.
- Transformação
- Uma operação que você pode aplicar a uma coluna de dados específica para transformar os valores de dados. Por exemplo, para transformar o formato dos valores de dados. Use transformações para padronizar formatos de dados e atender a outros requisitos do sistema.
- Dados transformados
- Alguns dados de origem podem não estar em conformidade com os requisitos dos atributos e classes de destino do CMDB ou das tabelas não pertencentes ao CMDB. Nesses casos, você pode aplicar vários tipos de transformações aos dados de origem antes de mapear os dados para as classes e atributos do CMDB de destino ou para as tabelas não pertencentes ao CMDB. As transformações podem, por exemplo, converter o formato de dados, substituir valores e concatenar valores de várias colunas de dados.
Cada aplicação do CMDB pode ter várias conexões a fim de recuperar dados brutos. Cada conexão usada para recuperar um determinado tipo de dados tem um par de fontes de dados e um mapa de transformação de ETL próprios. Portanto, uma aplicação do CMDB pode ter vários mapas de transformação do ETL e cada um desses mapas de transformação do ETL está associado a uma só fonte de dados.
| Aplicação CMDB | Mapa de transformação do ETL | Fonte de Dados |
|---|---|---|
| SCCM | SCCM Computer Identify | /sccm/2019/comp |
| Disco SCCM | /sccm/2019/disk | |
| Aplicação SCCM | /sccm/2019/appl |
Cargas de dados aninhadas
Para processar cargas de dados aninhadas, primeiro você deve garantir que a fonte de dados usada na integração esteja definida como a opção Dados em coluna única. Com essa configuração, você pode representar corretamente os dados aninhados em uma carga do JSON que o IntegrationHub ETL processa como dados aninhados, em vez de dados simples.
{
"u_computer_fqdn": "computer2-fqdn",
"u_computer_id": 2,
"u_computer_ip": "computer2-ip",
"u_computer_location": "PDX",
"u_computer_mac": "computer2-mac",
"u_computer_name": "nested-payload-computer2",
"u_computer_os": "computer2-os",
"interfaces": [
{
"u_interface_ip": "computer2-eth1-ip",
"u_interface_mac": "computer2-eth1-mac",
"u_interface_name": "computer2-eth1",
"ip": ""
},
{
"u_interface_ip": "computer2-eth2-ip",
"u_interface_mac": "computer2-eth2-mac",
"u_interface_name": "computer2-eth2",
"ip": {
"u_ip_address": "computer2-eth2-ip",
"u_mac_address": "computer2-eth2-mac"
}
}
],
"software": [
{
"u_software_name": "computer2-software2",
"u_software_version": "computer2-software2-1.0",
"instance": {
"u_software_instance_name": "computer2-software1-instance"
}
},
{
"u_software_name": "computer2-software2",
"u_software_version": "computer2-software2-2.0",
"instance": {
"u_software_instance_name": "computer2-software2-instance"
}
}
]
},
Os nomes de campo precisam começar com uma letra (entre A-Z ou a-z) ou com "_" e conter somente letras (entre A-Z ou a-z), dígitos (0-9) ou o caractere "_".
Por exemplo, um nome de campo não pode conter caracteres especiais como *, [, ], #, $, espaços ou ponto.
- Os nomes de campo não podem ser "temp" ou "object", que são termos reservados para uso interno.
- De forma consistente em toda a carga, você deve usar uma matriz ou um objeto para representar dados em um nível específico, independentemente do número de itens no nível. Se você usar uma matriz para vários itens em um objeto, também deverá usar uma matriz para representar um só item em outros objetos.
Para obter uma demonstração sobre como trabalhar com dados de carga aninhados, assista ao vídeo Demonstração de recursos de carga útil aninhada do Integration Hub - ETL no canal do YouTube da ServiceNow.