Crie um coletor de metadados dbt Cloud

Crie um coletor para importar metadados do dbt Cloud.

Antes de Iniciar

Antes de começar, verifique o seguinte:

• Um MID Server está configurado para os coletores. Para obter mais informações, consulte MID Server para coletores de metadados.
• Todas as tarefas por requisito foram concluídas. Para obter mais informações, consulte Prepare-se para executar o coletor de nuvem dbt.
• Função necessária: Connection-admin

Procedimento

1. Navegar até Tudo > Malha de dados do fluxo de trabalho > Página inicial da malha de dados de fluxo de trabalho.
2. Selecione o Connect Hub na barra lateral esquerda.
3. Selecionar Criar > Coletor de metadados.
4. Na lista Sistema, selecione Nuvem dbt .
5. No formulário, preencha os campos.

   Tabela 1. Novo formulário de coletor de metadados dbt na nuvem

   Campo	Descrição
   Nome da conexão	Identificador exclusivo da conexão. Este campo não pode ser modificado depois que a conexão for estabelecida.
   Descrição resumida	Finalidade e detalhes da conexão.

6. Insira os detalhes da configuração do dbt Cloud.

   Tabela 2. Detalhes da configuração

   Campo	Descrição
   Chave de API de nuvem dbt	Uma chave de API dbt emitida na nuvem com permissões para acessar a conta especificada.
   Host de nuvem dbt	O host da conta da sua organização na nuvem dbt. Se não for especificado, o host padrão será assumido como cloud.getdbt.com.
   ID da conta de nuvem do dbt	A conta de nuvem dbt que possui o projeto do qual coletar artefatos de metadados dbt.
   Projeto de nuvem dbt	O nome ou identificador numérico do projeto do qual coletar artefatos de metadados dbt.
   ID de execução na nuvem do dbt	O identificador numérico da execução que produziu os artefatos a serem colhidos. Se não for especificada, a execução bem-sucedida mais recente que produziu artefatos no projeto será colhida.
   Ambiente de nuvem dbt	O ambiente de nuvem dbt (ID ou nome) usado para filtrar as execuções de trabalho das quais coletar artefatos de metadados dbt.
   Trabalho de nuvem dbt	O trabalho de nuvem dbt (ID ou nome) usado para filtrar as execuções de trabalho das quais coletar artefatos de metadados dbt.

7. Insira os detalhes do banco de dados de destino.
   Nota:

   Você deve definir Banco de dados de destino para Substituições do Snowflake Para colher relacionamentos de linhagem do Snowflake entre colunas especificadas por meio de exibições.

   Tabela 3. Detalhes do banco de dados de destino

   Campo	Descrição
   Banco de dados de destino	Opção para substituir as informações de conexão do banco de dados configuradas no projeto na nuvem dbt Nenhuma substituição do banco de dados de destino : Permite que o coletor ignore a conexão com um data warehouse e colha somente ativos dbt. Nenhuma linhagem está disponível para exibições Substituições do Snowflake : Selecione para colher relacionamentos de linhagem do Snowflake entre colunas especificadas por meio de exibições
   Autenticação (substituições do Snowflake)
   Autenticação	Método de autenticação a ser usado se Substituições do Snowflake está selecionado Nenhuma substituição de autenticação do Snowflake Substituições de nome de usuário e senha do Snowflake Substituições de arquivo de chave privada do Snowflake Nota: Se você selecionar Substituições do Snowflake e não fornecer detalhes de autenticação, o coletor obterá informações de conexão (conta, função e depósito do Snowflake) da execução identificada do dbt Cloud.
   Substituições de nome de usuário e senha do Snowflake
   Nome de usuário do banco de dados	Credencial do usuário a ser usada na conexão com o banco de dados de destino
   Senha do banco de dados	Credencial de senha a ser usada na conexão com o banco de dados de destino
   Substituições de arquivo de chave privada do Snowflake
   Nome de usuário do banco de dados	Nome de usuário a ser usado na conexão com o banco de dados de destino
   Caminho do arquivo de chave do Snowflake	Arquivo de chave privada a ser usado para autenticação com o Snowflake (por exemplo rsa_key.p8). Use esta opção para substituir o perfil dbt
   Senha do arquivo de chave do Snowflake	Senha do arquivo de chave privada se a chave estiver criptografada e uma senha tiver sido definida. Use esta opção para substituir o perfil dbt ou a configuração de nuvem
   Outras configurações opcionais
   Aplicação Snowflake	Parâmetro de conexão da aplicação a ser usado na conexão com o banco de dados do Snowflake de destino. Use esta opção para substituir o perfil dbt ou a configuração de nuvem Padrão: Datadotworld
   Conta do Snowflake	Conta do Snowflake ou locatário
   Função do Snowflake	Função a ser usada na conexão com o banco de dados do Snowflake de destino. Use esta opção para substituir o perfil dbt ou a configuração de nuvem. Este campo não diferencia maiúsculas de minúsculas
   Depósito do Snowflake	Depósito a ser usado na conexão com o banco de dados do Snowflake de destino. Use esta opção para substituir o perfil dbt ou a configuração de nuvem. Este campo não diferencia maiúsculas de minúsculas

8. Insira as opções avançadas.

   Tabela 4. Opções avançadas

   Campo	Descrição
   Máximo de novas tentativas	O número de vezes que o sistema tenta novamente uma chamada de API com falha. Padrão: 5
   Atraso de nova tentativa	O número de segundos a aguardar entre as tentativas de nova tentativa para uma chamada de API com falha. Padrão: 2 segundos
   Cabeçalho HTTP da API	Pares nome-valor incluídos como cabeçalhos HTTP em chamadas de API feitas pelo coletor. Adicione um valor por linha para especificar vários cabeçalhos.
   Propriedades do driver JDBC	Propriedades do driver JDBC para passar para a conexão do driver. Especifique várias propriedades do driver JDBC adicionando um valor por linha. Se você estiver usando a autenticação NTLM, defina duas propriedades JDBC como: IntegratedSecurity: Verdadeiro NTLM

9. Selecione Save (Salvar).

Resultado

O coletor de metadados é criado e aparece na página Conectores com um status configurado. Agora, ele está pronto para se conectar ao sistema de origem e colher metadados.

O que Fazer Depois

Depois de criar o coletor, você pode executar qualquer uma das seguintes tarefas:

• Execute o coletor manualmente para colher metadados imediatamente. Consulte Execute coletores de metadados manualmente.
• Automatize a coleta de metadados programando execuções regulares do coletor. Consulte Execuções do coletor de metadados de programação.
• Monitore o status de execução e solucione problemas exibindo os logs de tempo de execução. Consulte Exibir logs de tempo de execução para execuções do coletor.
• Descubra e avalie os ativos de dados coletados no Catálogo de dados. Consulte Que rege o. Catálogo de dados.