Crie um coletor de metadados do Snowflake
Crie um coletor para importar metadados do Snowflake.
Antes de Iniciar
Antes de começar, verifique o seguinte:
- Um MID Server está configurado para os coletores. Para obter mais informações, consulte MID Server para coletores de metadados.
- Todas as tarefas por requisito foram concluídas. Para obter mais informações, consulte Prepare-se para executar o coletor do Snowflake.
- Função necessária: Connection-admin
Procedimento
- Navegar até Tudo > Malha de dados do fluxo de trabalho > Página inicial da malha de dados de fluxo de trabalho.
-
Selecione o Connect Hub
na barra lateral esquerda.
- Selecionar Criar > Coletor de metadados.
- Na lista Sistema, selecione Snowflake .
-
Preencha o formulário.
Tabela 1. Novo formulário de coletor de metadados do Snowflake Campo Descrição Nome da conexão Identificador exclusivo da conexão. Este campo não pode ser modificado depois que a conexão for estabelecida. Descrição resumida Finalidade e detalhes da conexão. -
Configure as opções de autenticação.
Tabela 2. Opções de autenticação Campo Descrição Autentique usando nome de usuário e senha Nome do usuário Nome de usuário a ser usado para fazer a conexão JDBC. Senha Senha do usuário. Autentique usando uma chave privada Nome do usuário Nome de usuário a ser usado para fazer a conexão JDBC. Arquivo de chave privada do Snowflake Carregue o arquivo de chave privada a ser usado para autenticação. Senha do arquivo de chave privada Senha do arquivo de chave privada, se a chave estiver criptografada e uma senha estiver definida. -
Selecione de Colete todos os esquemas e. Especifique qual esquema coletar .
Tabela 3. Opções de coleta de esquema Campo Descrição Colete todos os esquemas Colete todos os esquemas Catálogo de todos os esquemas aos quais o usuário tem acesso. Esquema de exclusão Nome ou expressão regular do esquema do banco de dados a ser excluído. Incluir esquema de informações Inclua o Esquema de informações do banco de dados na coleção do catálogo. Especifique qual esquema coletar Especifique qual esquema coletar Catálogo somente os esquemas especificados. Esquema Nome do esquema de banco de dados para catálogo. -
Insira os detalhes da conexão do Snowflake.
Tabela 4. Detalhes da conexão Campo Descrição Servidor Nome de host do servidor de banco de dados ao qual se conectar. Porta do servidor Porta do servidor de banco de dados (se não for o padrão). Banco de dados Nome do banco de dados ao qual se conectar. Especifique vários bancos de dados adicionando um valor por linha. Função do Snowflake A função usada para executar a consulta. Banco de dados excluído Nome ou expressão regular que indica bancos de dados que não devem ser catalogados quando o campo Banco de dados está vazio. Nota:Este parâmetro será ignorado se o campo Banco de dados for especificado. -
Configure as estatísticas e as opções de amostragem.
Tabela 5. Escopo de coleta e opções de linhagem Campo Descrição Coletar informações da função de métrica de dados Opção para colher metadados sobre funções de métrica de dados e suas associações a tabelas. Contagem de observação da métrica de dados Número de observações de métrica de dados mais recentes a serem colhidas. Ignorado, a menos que Coletar informações da função de métrica de dados esteja habilitado. Padrão: 1
Habilite a coleta de estatísticas de coluna Opção para colher estatísticas de coluna, ou seja, perfil de dados. Nota:A ativação desta opção pode estender o tempo de execução do coletor porque o coletor lê os dados da tabela para coletar metadados de criação de perfil.Tamanho de amostra de destino para estatísticas de coluna Número de linhas amostradas para calcular estatísticas de coluna e histogramas de valor de cadeia de caracteres. Por exemplo, para obter uma amostra de 1000 linhas, defina o valor como 1000. Padrão: 100000
Nota:Aplica-se somente se Habilitar coleta de estatísticas de coluna estiver habilitado.Colete informações de uso da tabela do Snowflake Opção para colher metadados sobre o uso da tabela do Snowflake em consultas, incluindo popularidade. Para cada tabela no banco de dados, calcula a porcentagem de tabelas consultadas não menos vezes do que a tabela de assunto. Dias de retrospectiva de uso da tabela Número de dias no passado a partir dos quais iniciar o uso da tabela de colheita. Padrão: 7 dias
Desabilite a coleção de linhagem Opção para ignorar a coleta de metadados de linhagem intrabanco de dados. Desabilite a coleção de metadados estendidos Opção para ignorar a coleta de metadados estendidos para tipos de ativos de dados, como banco de dados, esquema, tabela, colunas, funções, procedimentos armazenados, tipos definidos pelo usuário e sinônimos. Os metadados básicos para esses tipos de ativos de dados ainda são coletados. -
Configure o escopo de colheita e as opções de limites.
Tabela 6. Opções de escopo e limites de colheita Campo Descrição Colete informações do marcador do Snowflake Opção para colher metadados sobre marcadores do Snowflake no banco de dados especificado na configuração do banco de dados ou associados a ele. Colete todas as informações do marcador do Snowflake Opção para colher metadados sobre marcadores do Snowflake, independentemente do banco de dados em que residem. Colete informações da política do Snowflake Opção para colher metadados sobre mascaramento do Snowflake e políticas de acesso à linha no banco de dados especificado na configuração do banco de dados ou associados a ele. Colete todas as informações da política do Snowflake Opção para colher metadados sobre mascaramento do Snowflake e políticas de acesso à linha, independentemente do banco de dados em que residem. Colete informações do app Streamlit Opção para colher metadados sobre aplicações do Snowflake Streamlit. Habilitar coleta de valores de cadeia de caracteres de amostra Opção para colher valores de amostra e histogramas para colunas que contêm dados de cadeia de caracteres. Nota:Aplica-se somente se Habilitar coleta de estatísticas de coluna estiver habilitado.Exclua funções do sistema Opção para excluir funções integradas do sistema da colheita. -
Configure as opções de conexão e confiabilidade.
Tabela 7. Opções de conexão e confiabilidade Campo Descrição Snowflake Warehouse Depósito do Snowflake a ser usado ao conectar. Padrão: Depósito padrão atribuído ao usuário
Ambiente de servidor Nome amigável para o ambiente em que o servidor de banco de dados é executado. Útil quando o nome do servidor é localhost e você precisa diferenciá-lo de outros ambientes. ID do banco de dados Identificador exclusivo para este banco de dados, usado para gerar o ID do banco de dados quando o nome do banco de dados não é suficientemente exclusivo. Propriedades de JDBC Propriedades do driver JDBC passadas para a conexão do driver. Tempo limite de análise de SQL Tempo limite em segundos para análise SQL durante a coleta de linhagem. Padrão: 60
- Selecione Save (Salvar).
Resultado
O coletor de metadados é criado e aparece na página Conectores com um status configurado. Agora, ele está pronto para se conectar ao sistema de origem e colher metadados.
O que Fazer Depois
Depois de criar o coletor, você pode executar qualquer uma das seguintes tarefas:
- Execute o coletor manualmente para colher metadados imediatamente. Consulte Execute coletores de metadados manualmente.
- Automatize a coleta de metadados programando execuções regulares do coletor. Consulte Execuções do coletor de metadados de programação.
- Monitore o status de execução e solucione problemas exibindo os logs de tempo de execução. Consulte Exibir logs de tempo de execução para execuções do coletor.
- Descubra e avalie os ativos de dados coletados no Catálogo de dados. Consulte Que rege o. Catálogo de dados.