IntegrationHub - Importar
Automatize tarefas de importação de dados por meio de uma interface consolidada que fornece uma experiência guiada passo a passo. Defina fontes de dados externas, especifique tabelas de destino, mapeie como os dados de origem se tornam dados de destino e programe importações regulares.
Gerenciar importações por meio de IntegrationHub simplifica o processo de importação de dados de fontes externas e transformação para ServiceNow tabelas. Você pode configurar, executar e programar suas importações de dados por meio de uma única interface.
Você pode acessar IntegrationHub - Importar diretamente por meio de App Engine Studio para criar integrações de dados para suas aplicações personalizadas. Para obter mais informações, consulte Adição de dados no App Engine Studio.
Benefícios
- Consolida vários recursos de integração de dados em um único ambiente, eliminando a necessidade de criar e gerenciar vários formulários em toda a plataforma.
- Permite que você gerencie várias integrações por meio de uma única interface.
- Orienta você na configuração de fontes de dados e tabelas de destino.
- Permite mapear e transformar dados de uma única interface simplificada.
- Permite programar importações de dados ou importar dados manualmente sob demanda.
- Fornece informações de uso sobre a execução de importações de dados e detalhes sobre linhas importadas, atualizações e erros.
Visão geral do processo de importação
Existem três etapas para importar dados.
- 1. Configure uma fonte de dados.
- A fonte de dados especifica como e onde obter os dados para importar. Em IntegrationHub, a fonte de dados usa um arquivo do Excel, um arquivo CSV ou uma ação de Fluxo de dados para obter dados de uma fonte externa. Uma ação de Fluxo de dados envia uma solicitação REST, SOAP ou JDBC para uma API e retorna um fluxo de dados.
- 2. Mapeie os dados para as tabelas de destino.
- As tabelas de destino são as tabelas para as quais você deseja transformar os dados. Depois de selecionar as tabelas de destino, você pode especificar como os dados de origem devem ser transformados nelas. A criação de um mapa de dados descreve como transformar os dados. Os dados não são transformados até que você execute a importação.
- 3. Execute ou programe a importação.
- Depois de configurar a fonte de dados e determinar o mapeamento de dados, você pode executar a importação. Você também pode programar a importação para ser executada mais tarde. Quando a importação é executada, os dados são coletados da origem, movidos para uma tabela de preparação e transformados nas tabelas de destino de acordo com as especificações do seu mapeamento.
Para obter mais detalhes sobre como funciona a importação de dados, consulte Import Sets.
IntegrationHub ambiente de importação
O ambiente de importação IntegrationHub inclui as seguintes interfaces.
- Página principal
- Configuração da origem
- Mapear para destino
- Importações programadas
- Detalhes da execução
As seções a seguir explicam cada interface com mais detalhes.
Página principal
Crie e acesse integrações por meio da página principal.
- 1. Lista de integrações
- As integrações criadas por meio da interface de importação IntegrationHub podem ser acessadas aqui.
- 2. Botão Criar nova integração
- Botão para começar a criar uma nova integração.
Configuração da origem
Defina uma fonte de dados para uma importação por meio da página de configuração de origem. A fonte de dados deve ser um arquivo do Excel, um arquivo CSV ou uma ação de Fluxo de dados.
- 1. Seletor de tipo de origem
- Menu para selecionar o tipo de fonte de dados. Ele tem as seguintes seções.
- AD-HOC: selecione um arquivo Excel ou CSV como fonte de dados.
- SPOKES: selecione uma ação de fluxo de dados como fonte de dados. Exibe fluxos de dados ativos organizados por spoke e listados em ordem alfabética.
- 2. Carregamento de arquivo ou seção Conexão (a seção Conexão não é mostrada)
Se a fonte de dados for um arquivo Excel ou CSV, a seção Carregamento de arquivo aparecerá aqui. Você pode arrastar um arquivo ou navegar para carregar. Aceita arquivos XLSX, XLS, CSV e ZIP.
Se a fonte de dados for uma ação de Fluxo de dados, a seção Conexão aparecerá aqui. Para ações de Fluxo de dados que usam um alias de conexão, você pode substituir o alias de conexão padrão por qualquer um dos aliases secundários. Selecione o alias de conexão no menu. Para obter mais informações, consulte Criar um alias de conexão e credencial.
- 3. Seção de configuração
- Seção para configurar a fonte de dados selecionada. Os campos disponíveis dependem do tipo de fonte de dados que você está usando.
- Para um arquivo do Excel, você pode selecionar a planilha e especificar qual número de linha usar para o cabeçalho.
- Para um arquivo CSV, selecione o delimitador.
- Para uma ação de Fluxo de dados, insira as entradas para ela aqui. Esta seção será exibida somente se a ação de Fluxo de dados tiver entradas. As ações de Fluxo de dados com entradas têm entradas exclusivas, portanto, os campos que aparecem aqui dependem de qual ação de Fluxo de dados está selecionada e de sua configuração. Todos os valores padrão já configurados pelas entradas do spoke são preenchidos previamente.
- 4. Visualização da estrutura de dados de origem
- Seção que mostra a estrutura dos dados de origem. Para um arquivo Excel ou CSV, a visualização exibe os cabeçalhos das colunas. Para uma ação de Fluxo de dados, exibe a saída do objeto complexo.
- 5. Botão Propriedades
- Botão para exibir o nome da integração, sua descrição e o escopo da aplicação. Você pode editar o nome e a descrição a qualquer momento. O escopo da aplicação não pode ser editado e deve ser selecionado quando a integração é criada.
- 6. Botão Salvar
- Botão para salvar a configuração de origem. Este botão só é habilitado quando a configuração de origem é atualizada. Quando você seleciona um tipo de origem, a estrutura dos dados de origem é carregada automaticamente no painel de visualização da estrutura de dados de origem. Se você editar a configuração de origem, clique em Salvar para recarregar os dados de origem. Os dados devem ser visualizados pelo menos uma vez antes de serem mapeados para uma tabela de destino.
Mapear para destino
Selecione as tabelas de destino e determine como os dados de origem são mapeados para elas. Mapeie os dados arrastando cápsulas de dados da origem para o destino, usando o seletor de cápsula ou selecionando Mapeamento automático. Transforme os dados nas tabelas de destino aplicando funções de transformação.
A seção Mapear para destino tem duas partes. Na primeira parte, selecione as tabelas de destino. Na segunda parte, mapeie os dados para as tabelas de destino.
A seção de seleção de tabela tem esses componentes.
- 1. Adicionar uma tabela
- Botão para adicionar tabelas de destino.
- 2. Configurações de transformação
Botão para definir as configurações de transformação da sua integração. Você pode especificar o tamanho do lote e a manipulação de campos vazios, habilitar o modo detalhado ou executar um script antes ou depois da integração. Para obter mais informações, consulte Configurações de transformação.
O botão Transformar configurações não aparece até que você adicione pelo menos uma tabela de destino.
- 3. Cartões da tabela de destino
- Cada cartão tem o nome da tabela de destino, os detalhes da criação e se ela foi mapeada. Selecione o cartão para abrir a interface de mapeamento de dados.
- 4. Lista suspensa da tabela de destino
- Lista de opções para a tabela de destino. Inclui o seguinte.
- Propriedades: abre a janela Propriedades de mapeamento, na qual é possível exibir ou editar as opções para executar as regras de negócios da tabela ao importar e para executar a importação de forma síncrona.
- Editar mapeamento: abre a seção de mapeamento de dados em que você pode criar ou editar seu mapeamento de dados.
- Configuração da tabela: Abre Construtor de tabelas, onde você pode configurar a tabela de destino. Esta opção só estará disponível se você tiver Construtor de tabelas instalado. Para obter mais informações, consulte Table Builder.
- Revalidar: verifica se há alguma mudança no esquema da entidade de destino. Se forem detectadas mudanças, o cartão da tabela de destino exibirá uma mensagem informando que o esquema de destino foi alterado. Selecionar o cartão da tabela de destino abre uma janela na qual você pode Atualizar o esquema da entidade de destino ou Cancelar para manter o esquema igual. Revalide sua tabela sempre que editar a configuração da tabela de destino.
- Excluir: exclui a tabela de destino da integração.
A seção de mapeamento de dados tem esses componentes.
- 1. Nome da tabela de destino
- Nome da tabela de destino para a qual você está mapeando.
- 2. Seção de dados de origem
- Seção que exibe os dados de origem como cápsulas de dados. Para mapear os dados, arraste as cápsulas de dados para a seção de dados da tabela de destino. Você também pode usar o seletor de cápsula. Depois de mapear um campo de origem para um campo de destino, um pequeno ícone de marca de seleção ( ícone de
) aparece ao lado do nome do campo de origem. Se você mover o cursor para a marca de seleção, a dica da ferramenta listará os campos de destino para os quais o campo de origem foi mapeado, até cinco campos. - 3. Seção de dados da tabela de destino
- Seção que exibe como os dados de origem são mapeados para cada campo na tabela de destino selecionada. Você pode exibir todos os campos na tabela de destino ou selecionar campos individuais com o botão Adicionar um campo. Para campos de opção e referência, você pode especificar para qual coluna os dados serão mapeados ou usar a coluna de exibição padrão.
- 4. Corresponder comutador
- Alterne o comutador para especificar os campos em que o sistema deve verificar se há dados correspondentes e, se encontrados, atualizar os registros existentes em vez de criar novos. Nesta imagem, o comutador de alternância Corresponder está ativado para o campo de ID do usuário. Se um registro nos dados de origem tiver um ID de usuário que corresponda ao ID de usuário de um registro na tabela de destino, o sistema atualizará o registro existente na tabela de destino em vez de criar um novo.
- 5. Botão Propriedades de mapeamento
- Botão para exibir ou editar as opções para executar as regras de negócios da tabela ao importar e para executar a importação de forma síncrona.
- 6. Botão Mapeamento automático
- Botão para mapear automaticamente entidades de origem para entidades de destino com nome semelhante.
- 7. Selecionador de cápsula de dados
- Botão para abrir o seletor de cápsula de dados. Você pode usar o seletor de cápsula para mapear cápsulas de dados de origem para valores de campo na tabela de destino.
- 8. Ícone da função de transformação
- Botão para abrir a lista de funções de transformação disponíveis. Use funções de transformação para mudar ou modificar seus dados. Por exemplo, a função de transformação Trim remove o espaço em branco do início e do final de uma cadeia de caracteres de entrada.
Importações programadas
Execute uma importação imediatamente ou programe-a para ser executada em um horário específico, em intervalos regulares ou após uma importação primária. Programe importações grandes para serem executadas simultaneamente para reduzir o tempo de processamento.
A seção de importações de programação tem esses componentes.
- 1. Importações programadas
- Lista de programações de importação. Cada programação de importação aparece em seu próprio botão.
- 2. Botão Programar uma importação
- Botão para criar uma programação de importação.
- 3. Seção de execuções
- Seção com informações sobre importações executadas. Inclui links para registros de execução, registros de contexto de execução e registros de importação programada. Esta seção é exibida somente após a execução de uma importação.
- 4. Registros de execução
- Lista de registros de execução. Cada registro de execução fornece informações sobre uma execução, incluindo as linhas importadas, erros e mensagens de log.
- 5. Registros do contexto de execução
- Lista de registros de contexto de execução. Cada registro de contexto de execução especifica a próxima importação programada a ser usada ao processar uma importação hierárquica programada.
- 6. Registros de importação programada
- Lista de registros de importação programada. Cada registro fornece o nome, a fonte de dados, a programação e o método de partição para a importação programada.
- 7. Botão Executar importação
- Botão para executar a importação uma vez.
Detalhes da execução
Exiba detalhes de cada importação, como a hora e a data de execução e o contexto de execução. Abra os registros de execução da importação para exibir o estado da importação e as linhas, os erros e os logs importados.
A seção de detalhes de execução tem esses componentes.
- 1. Informações de execução
- Seção que fornece detalhes sobre a execução, incluindo o número do registro de execução, o nome da importação programada, o número do conjunto de importação e a data em que foi atualizado.
- 2. Detalhes da execução
Seção com cartões mostrando o número total de linhas importadas, processadas, pendentes ou ignoradas e o número de erros ocorridos. Se a importação for processada simultaneamente, esta seção também incluirá um cartão de Partições. Para obter mais informações, consulte Importações simultâneas.
Você pode clicar nos cartões para filtrar os resultados. Os resultados filtrados são exibidos na guia Linhas do conjunto de importação na parte inferior da página. Por exemplo, clicar no cartão Pendente exibe as linhas pendentes. Clicar em Total de linhas importadas ou em Limpar seleção limpa os filtros.Nota:A filtragem de cartão está disponível somente para linhas de conjunto de importação. Para ver a lista filtrada, verifique se você está na guia Linhas do conjunto de importação.- 3. Cartão de partições
- Exibição gráfica das partições do conjunto de importação. O cartão de partições aparece somente para conjuntos de importação simultâneos. Você pode clicar em uma partição para exibir seus detalhes. Você também pode usar os cartões de Detalhes de execução para filtragem adicional. Quando você combina o filtro de partição com os filtros de cartão, o sistema usa uma operação AND para filtragem. Por exemplo, se você clicar em uma partição e, em seguida, clicar no cartão Erros, a guia Linhas do conjunto de importação exibirá somente os erros dessa partição.
- 4. Exibição da lista de partições
- Opção para exibir os detalhes de cada partição, incluindo o número do conjunto de importação e o tipo e o estado de cada trabalho do conjunto de importação. A exibição da lista de partições aparece somente para conjuntos de importação simultâneos. A exibição de lista de partições fornece os mesmos recursos de filtragem que o cartão Partições, portanto, você pode usar qualquer um para filtrar uma partição.
- 5. Importar detalhes
- Seção que detalha as linhas do conjunto de importação, solicitações HTTP de saída, histórico de execução de ação, logs de importação e erros para cada registro de execução.
IntegrationHub termos de importação
- Fonte de dados
- Uma fonte de dados é um registro de configuração que define o tipo de dados a ser importado e o endpoint de onde sua instância pode obtê-lo.
- Ação de Fluxo de Dados
- Uma ação de Fluxo de dados é uma ação que envia solicitações REST, SOAP ou JDBC de Flow Designer para APIs e retorna um fluxo de dados de resposta. Use ações de Fluxo de dados para recuperar dados maiores que 10 MB ou ao trabalhar com APIs que retornam resultados paginados.
- Tabela de destino
- Uma tabela de destino é a tabela para a qual você deseja que seus dados de origem sejam transformados.
- Função de transformação
- Uma função de transformação é uma função que muda ou modifica seus dados. Por exemplo, uma função que transforma uma cadeia de caracteres de entrada em caracteres maiúsculos.
- Execução
- Uma execução é um registro de tempo de execução que contém os detalhes da execução de uma única importação. Cada execução fornece detalhes de importação para um destino específico, incluindo linhas importadas, mensagens de log e erros.
- Contexto de execução
- Um contexto de execução é um registro que especifica a próxima importação programada a ser usada ao processar uma importação hierárquica programada.
- Conjunto de importação
- Um conjunto de importação é um conjunto de registros de tempo de execução que contém os dados brutos importados de uma fonte de dados. O sistema armazena registros importados em uma tabela de preparação de Conjunto de importação.
Considerações de design
Siga estas diretrizes para obter os benefícios oferecidos pelas importações de IntegrationHub.
- Criar todas as importações IntegrationHub de dentro de IntegrationHub
- Somente integrações criadas no ambiente de importação IntegrationHub podem ser acessadas lá. Por exemplo, você não pode configurar uma fonte de dados e um mapeamento por meio de formulários de plataforma, mas programar a importação de dentro de IntegrationHub. Somente integrações criadas em IntegrationHub aparecem na página principal.
- Não altere registros de configuração fora de IntegrationHub
- Alterar diretamente os registros de configuração pode mudar se e como os dados são importados e mapeados. Se você precisar mudar a configuração da fonte de dados, do mapeamento ou da programação de importação, faça-o na interface de importação IntegrationHub.
- Evite modificar ações de Fluxo de dados usadas em fontes de dados
- Modificar ações de Fluxo de dados usadas como fontes de dados pode mudar o mapeamento da origem para o destino. Quando a saída de uma ação de Fluxo de dados muda, a página Mapear para destino exibe um aviso de que o esquema de objeto complexo foi alterado. Pode ser necessário reconfigurar o mapeamento.