Integration Hub - Importar

Benefícios

Gerenciando suas importações por meio de Integration Hubfornece esses benefícios.

Consolida várias capacidades de integração de dados em um único ambiente, eliminando a necessidade de criar e gerenciar vários formulários em toda a plataforma.
Permite gerenciar várias integrações por meio de uma única interface.
Orienta você na configuração de fontes de dados e tabelas de destino.
Permite mapear e transformar dados a partir de uma única interface simplificada.
Permite programar importações de dados ou importar manualmente dados sob demanda.
Fornece informações de uso sobre a execução de importações de dados e detalhes sobre linhas importadas, atualizações e erros.

Visão geral do processo de importação

Há três etapas para importar dados.

1. Configure uma fonte de dados.: A fonte de dados especifica como e onde obter os dados a serem importados. Em Integration Hub, A fonte de dados usa um arquivo do Excel, um arquivo CSV ou uma ação de Fluxo de dados para obter dados de uma fonte externa. Uma ação Fluxo de dados envia uma solicitação REST, SOAP ou JDBC para uma API e retorna um fluxo de dados.
2. Mapeie os dados para as tabelas de destino.: As tabelas de destino são as tabelas nas quais você deseja transformar os dados. Depois de selecionar as tabelas de destino, você pode especificar como os dados de origem devem ser transformados para elas. A criação de um mapa de dados descreve como transformar os dados. Os dados não são transformados até que você execute a importação.
3. Execute ou programe a importação.: Depois de configurar a fonte de dados e determinar o mapeamento de dados, você pode executar a importação. Você também pode programar a importação para ser executada mais tarde. Quando a importação é executada, os dados são coletados da origem, movidos para uma tabela de preparação e transformados nas tabelas de destino de acordo com as especificações no mapeamento.

Para obter mais detalhes sobre como a importação de dados funciona, consulte Conjuntos de importação .

Integration Hub ambiente de importação

. Integration Hubo ambiente de importação inclui as seguintes interfaces.

Página principal
Configuração da origem
Mapear para destino
Importações programadas
Detalhes da execução

As seções a seguir explicam cada interface em mais detalhes.

Página principal

Crie e acesse integrações por meio da página principal.

A página principal tem estes componentes.

1. Lista de integrações: Integrações criadas por meio de Integration Huba interface de importação pode ser acessada aqui.
2. Botão Criar nova integração: Botão para começar a criar uma nova integração.

Configuração da origem

Defina uma fonte de dados para uma importação por meio da página de configuração de origem. A fonte de dados deve ser um arquivo do Excel, um arquivo CSV ou uma ação de fluxo de dados.

Interface do usuário para a seção de configuração de origem de importação do IntegrationHub. — Figura 2. Interface do usuário da seção de configuração de origem

A seção de configuração de origem tem estes componentes.

1. Seletor de tipo de origem

Para selecionar o tipo de fonte de dados. Ele tem as seções a seguir.

AD-HOC: Selecione um arquivo Excel ou CSV como fonte de dados.
SPOKES: Selecione uma ação de Fluxo de dados como uma fonte de dados. Exibe fluxos de dados ativos organizados por spoke e listados em ordem alfabética.

2. Carregamento de arquivo ou seção Conexão (a seção Conexão não é mostrada)

Se a fonte de dados for um arquivo Excel ou CSV, a seção Carregamento de arquivo aparecerá aqui. Você pode arrastar um arquivo ou navegar para carregar. Aceita arquivos XLSX, XLS, CSV e ZIP.

Se a fonte de dados for uma ação Fluxo de dados, a seção Conexão será exibida aqui. Para ações de fluxo de dados que usam um alias de conexão, você pode substituir o alias de conexão padrão por qualquer um dos aliases secundários. Selecione o alias de conexão no menu. Para obter mais informações, consulte Crie um alias de conexão e credencial .

3. Seção de configuração

Seção para configurar a fonte de dados selecionada. Os campos disponíveis dependem do tipo de fonte de dados que você está usando.

Para um arquivo do Excel, você pode selecionar a planilha e especificar qual número de linha usar para o cabeçalho.
Para um arquivo CSV, selecione o delimitador.
Para uma ação Fluxo de dados, insira as entradas para ela aqui. Esta seção só aparece se a ação Fluxo de dados tiver entradas. As ações de fluxo de dados com entradas têm entradas exclusivas, portanto, os campos que aparecem aqui dependem de qual ação de fluxo de dados está selecionada e de sua configuração. Todos os valores padrão já configurados pelas entradas do spoke são pré-preenchidos.

4. Visualização da estrutura de dados de origem

Seção que mostra a estrutura dos dados de origem. Para um arquivo Excel ou CSV, a visualização exibe os cabeçalhos da coluna. Para uma ação Fluxo de dados, ela exibe a saída de objeto complexo.

5. Botão Propriedades

Botão para exibir o nome da integração, sua descrição e o escopo da aplicação. Você pode editar o nome e a descrição a qualquer momento. O escopo da aplicação não pode ser editado e deve ser selecionado quando a integração é criada.

6. Botão Salvar

Botão para salvar a configuração de origem. Este botão só é habilitado quando a configuração de origem é atualizada. Quando você seleciona um tipo de origem, a estrutura dos dados de origem é carregada automaticamente no painel de visualização da estrutura de dados de origem. Se você editar a configuração de origem, clique em Salvar para recarregar os dados de origem. Os dados devem ser visualizados pelo menos uma vez antes de serem mapeados para uma tabela de destino.

Mapear para destino

Selecione as tabelas de destino e determine como os dados de origem são mapeados para elas. Mapeie dados arrastando cápsulas de dados da origem para o destino, usando o seletor de cápsulas ou selecionando Mapeamento automático . Transforme os dados nas tabelas de destino aplicando funções de transformação.

O mapa para a seção de destino tem duas partes. Na primeira parte, selecione as tabelas de destino. Na segunda parte, mapeie os dados para as tabelas de destino.

Seção de seleção da tabela IntegrationHub. — Figura 3. Interface do usuário de seleção de tabela

A seção de seleção de tabela tem estes componentes.

1. Adicione uma tabela

Botão para adicionar tabelas de destino.

2. Configurações de transformação

Botão para definir as configurações de transformação para sua integração. Você pode especificar o tamanho do lote e a manipulação de campo vazio, habilitar o modo detalhado ou executar um script antes ou depois da integração. Para obter mais informações, consulte Configurações de transformação.

. Configurações de transformação o botão não aparece até que você adicione pelo menos uma tabela de destino.

3. Cartões da tabela de destino

Cada cartão tem o nome da tabela de destino, seus detalhes de criação e se ela foi mapeada. Selecione o cartão para abrir a interface de mapeamento de dados.

4. Lista suspensa da tabela de destino

Lista de opções para a tabela de destino. Inclui o seguinte.

Propriedades : Abre a janela Propriedades de mapeamento, na qual você pode exibir ou editar as opções para executar as regras de negócios da tabela ao importar e executar a importação de forma síncrona.
Editar mapeamento : Abre a seção de mapeamento de dados, na qual você pode criar ou editar o mapeamento de dados.
Configuração da tabela : Abre Construtor de tabelasonde você pode configurar a tabela de destino. Esta opção só está disponível se você tiver Construtor de tabelasinstalado. Para obter mais informações, consulte Table Builder.
Revalidar : Verifica se há mudanças no esquema da entidade de destino. Se forem detectadas mudanças, o cartão da tabela de destino exibirá uma mensagem informando que o esquema de destino foi alterado. Selecionar o cartão da tabela de destino abre uma janela onde você pode Atualizar o esquema da entidade de destino ou Cancelar para manter o esquema igual. Revalide sua tabela sempre que editar a configuração da tabela de destino.
Excluir : Exclui a tabela de destino da integração.

Interface do usuário para a seção de mapeamento de dados de importação do IntegrationHub. — Figura 4. Interface do usuário de mapeamento de dados

A seção de mapeamento de dados tem estes componentes.

1. Nome da tabela de destino: Nome da tabela de destino para a qual você está mapeando no momento.
2. Seção de dados de origem: Seção que exibe os dados de origem como cápsulas de dados. Para mapear os dados, arraste as cápsulas de dados para a seção de dados da tabela de destino. Você também pode usar o seletor de cápsulas. Após mapear um campo de origem para um campo de destino, um pequeno ícone de marca de seleção ( ) aparece ao lado do nome do campo de origem. Se você mover o cursor para a marca de seleção, a dica de ferramenta listará os campos de destino para os quais o campo de origem foi mapeado, até cinco campos.
3. Seção de dados da tabela de destino: Seção que exibe como os dados de origem são mapeados para cada campo na tabela de destino selecionada. Você pode exibir todos os campos na tabela de destino ou selecionar campos individuais com Adicione um campo botão. Para campos de escolha e referência, você pode especificar para qual coluna mapear os dados ou pode usar a coluna de exibição padrão.
4. Combine o interrutor de alternância: Alterne a chave para especificar campos em que o sistema deve verificar se há dados correspondentes e, se encontrados, atualizar registros existentes em vez de criar novos registros. Nesta imagem, o. Correspondência a chave de alternância está ligada para id do usuário campo. Se um registro nos dados de origem tiver um ID de usuário que corresponda ao ID de usuário de um registro na tabela de destino, o sistema atualizará o registro existente na tabela de destino em vez de criar um novo.
5. Botão de propriedades de mapeamento: Botão para exibir ou editar as opções para executar as regras de negócios da tabela ao importar e para executar a importação de forma síncrona.
6. Botão Automap: Botão para mapear automaticamente entidades de origem para entidades de destino com nomes semelhantes.
7. Selecionador de cápsula de dados: Botão para abrir o seletor de cápsula de dados. Você pode usar o seletor de cápsula para mapear cápsulas de dados de origem para valores de campo na tabela de destino.
8. Ícone de função de transformação: Botão para abrir a lista de funções de transformação disponíveis. Use funções de transformação para mudar ou modificar seus dados. Por exemplo, a função Transformar Aparar remove o espaço em branco do início e do fim de uma cadeia de caracteres de entrada.

Importações programadas

Execute uma importação imediatamente ou programe-a para ser executada em um horário específico, em intervalos regulares ou após uma importação primária. Programe importações grandes para serem executadas simultaneamente para reduzir o tempo de processamento.

Interface do usuário para a seção Importações de programação de importação do IntegrationHub. — Figura 5. Interface do usuário da seção de importações de programação

A seção de importações de programação tem estes componentes.

1. Importações agendadas: Lista de cronogramas de importação. Cada programação de importação aparece em seu próprio botão.
2. Agende um botão de importação: Botão para criar uma programação de importação.
3. Seção Execuções: Seção com informações sobre importações executadas. Inclui links para registros de execução, registros de contexto de execução e registros de importação agendada. Esta seção só aparece depois que uma importação é executada.
4. Registros de execução: Lista de registros de execução. Cada registro de execução fornece informações sobre uma execução, incluindo as linhas importadas, erros e mensagens de log.
5. Registros de contexto de execução: Lista de registros de contexto de execução. Cada registro de contexto de execução especifica a próxima importação agendada a ser usada ao processar uma importação agendada hierárquica.
6. Registros de importação agendada: Lista de registros de importação agendada. Cada registro fornece o nome, a fonte de dados, a programação e o método de partição para a importação agendada.
7. Executar o botão Importar: Botão para executar a importação uma vez.

Detalhes da execução

Exiba detalhes de cada importação, como a data e hora de execução e o contexto de execução. Abra os registros de execução da importação para exibir o estado da importação e as linhas, erros e logs importados.

A seção de detalhes da execução tem estes componentes.

1. Informações de execução: Seção que fornece detalhes sobre a execução, incluindo o número do registro de execução, o nome da importação agendada, o número do conjunto de importação e a data em que foi atualizada.
2. Detalhes da execução: Seção com cartões mostrando o número total de linhas importadas, processadas, pendentes ou ignoradas e o número de erros que ocorreram. Se a importação for processada simultaneamente, esta seção também incluirá um cartão de partições. Para obter mais informações, consulte Importações simultâneas .

Você pode clicar nos cartões para filtrar os resultados. Os resultados filtrados são exibidos na guia Linhas do conjunto de importação na parte inferior da página. Por exemplo, clicar em Pendente o cartão exibe as linhas pendentes. Clicando Total de linhas importadas ou Limpar seleção limpa os filtros.
Nota:
A filtragem de cartão só está disponível para linhas de conjunto de importação. Para ver a lista filtrada, verifique se você está na guia Linhas do conjunto de importação.
3. Cartão de partições: Exibição gráfica das partições do conjunto de importação. O cartão de partições só aparece para conjuntos de importação simultâneos. Você pode clicar em uma partição para exibir seus detalhes. Você também pode usar os cartões Detalhes da execução para filtragem adicional. Quando você combina o filtro de partição com os filtros de cartão, o sistema usa uma operação AND para filtragem. Por exemplo, se você clicar em uma partição e clicar no cartão Erros, a guia Linhas do conjunto de importação exibirá somente os erros dessa partição.
4. Exibição de lista de partições: Opção para exibir os detalhes de cada partição, incluindo o número do conjunto de importação e o tipo e o estado de cada trabalho de conjunto de importação. A exibição da lista de partições só aparece para conjuntos de importação simultâneos. A exibição da lista de partições fornece os mesmos recursos de filtragem que o cartão de partições, para que você possa usar qualquer um para filtrar uma partição.
5. Importar detalhes: Seção que detalha as linhas do conjunto de importação, solicitações HTTP de saída, histórico de execução de ação, logs de importação e erros para cada registro de execução.

Integration Hub importar termos

Importações em Integration Hubtêm estes componentes.

Fonte de dados: R fonte de dados é um registro de configuração que define o tipo de dados a serem importados e o endpoint onde sua instância pode obtê-los.
Ação de Fluxo de Dados: R Ação de fluxo de dados É uma ação que envia solicitações REST, SOAP ou JDBC de Workflow StudioPara APIs e retorna um fluxo de dados de resposta. Use ações de fluxo de dados para recuperar dados com mais de 10 MB ou ao trabalhar com APIs que retornam resultados paginados.
Tabela de destino: R tabela de destino é a tabela na qual você deseja que os dados de origem sejam transformados.
Função de transformação: R função de transformação é uma função que muda ou modifica seus dados. Por exemplo, uma função que transforma uma cadeia de caracteres de entrada em caracteres maiúsculos.
Execução: Um execução é um registro de tempo de execução que contém os detalhes de execução de uma única importação. Cada execução fornece detalhes de importação para um destino específico, incluindo linhas importadas, mensagens de log e erros.
Contexto de execução: Um contexto de execução é um registro que especifica a próxima importação agendada a ser usada ao processar uma importação agendada hierárquica.
Conjunto de importação: Um conjunto de importação é um conjunto de registros de tempo de execução que contém os dados brutos importados de uma fonte de dados. O sistema armazena registros importados em uma tabela de preparação do conjunto de importação.

Considerações de design

Siga estas diretrizes para obter os benefícios oferecidos por Integration Hubimportações.

Criar tudo Integration Hubimportações de dentro de Integration Hub: Somente integrações criadas no Integration Hubo ambiente de importação está acessível lá. Por exemplo, você não pode configurar uma fonte de dados e mapeamento por meio de formulários da plataforma, mas programar a importação de dentro de Integration Hub. Somente integrações criadas em Integration Hubaparecer na página principal.
Não altere registros de configuração fora de Integration Hub: A alteração direta dos registros de configuração pode mudar se e como os dados são importados e mapeados. Se você precisar mudar a configuração da fonte de dados, mapeamento ou programação de importação, faça isso no Integration Hubinterface de importação.
Evite modificar ações de fluxo de dados usadas em fontes de dados: A modificação de ações de fluxo de dados usadas como fontes de dados pode mudar o mapeamento da origem para o destino. Quando a saída de uma ação Fluxo de dados muda, a página Mapear para destino exibe um aviso de que o esquema de objeto complexo foi alterado. Talvez seja necessário reconfigurar o mapeamento.