Coletor de metadados do Snowflake

O coletor de metadados do Snowflake fornece acesso somente leitura aos metadados de uma conta externa do Snowflake.

O coletor coleta metadados do Snowflake Data Cloud. Ele coleta objetos tabulares, objetos do Horizon, como políticas e marcadores, e artefatos de qualidade de dados do Snowflake. Ele também coleta funções e procedimentos armazenados. O coletor pode coletar estatísticas de coluna e contagens de consulta de tabela. Além disso, ele pode coletar metadados para aplicações Streamlit.

Metadados catalogados

O coletor do Snowflake cataloga as seguintes informações.

Nota:

O coletor coleta todas as versões de funções sobrecarregadas e procedimentos armazenados. Cada versão tem seu próprio título/nome no catálogo, mas um identificador distinto.

Tabela 1. Metadados coletados

Objeto	Informações catalogadas
Coluna	Nome, Comentários, Tipo de dados, É nulo, Valor padrão, tipo de chave (primária, externa)
Tabela	Nome, Comentários, Chave primária, Esquema, URL externa (Snowsight) Metadados estendidos: É iceberg, é dinâmico, é transitório, data de criação, data da última modificação, Atualizado pela última vez por (Snowflake LAST_ddl_BY), Proprietário (função do Snowflake que possui a tabela), Data alterada da definição, Tamanho da tabela
Exibição	Nome, Comentários, Esquema, URL externa (Snowsight), Data alterada da definição, Modificado pela última vez por (Snowflake LAST_ddl_BY), é iceberg, é dinâmico, é temporário, data de criação, data da última modificação, Proprietário (função do Snowflake que possui a tabela), definição de SQL
Exibição materializada	Nome, Comentários, Esquema, URL externa (Snowsight), Data alterada da definição, Modificado pela última vez por (Snowflake LAST_ddl_BY), é iceberg, é dinâmico, é temporário, data de criação, data da última modificação, responsável (função do Snowflake que possui a tabela)
Esquema	Identificador, Nome Metadados estendidos: Comentários, Data de criação, Atualizado
Banco de dados	Tipo, Nome, Identificador, Servidor, Porta, URL JDBC Metadados estendidos: Comentários
Função definida pelo usuário (Isso inclui funções definidas pelo usuário criadas no Snowpark)	Nome Metadados estendidos: Definição da função, comentários, data de criação, responsável (função do Snowflake), tipo de função do Snowflake (tipo de retorno), assinatura da função, idioma da função, pacotes, versão do tempo de execução, atualizado
Procedimento armazenado (Isso inclui procedimentos armazenados criados no Snowpark)	Nome Metadados estendidos: Definição de função, Proprietário (função do Snowflake), Comentários, Tipo de retorno, Idioma da função, pacotes, Data de criação, Assinatura de função, Tipo de função do Snowflake, Versão de tempo de execução, tipo de procedimento armazenado atualizado

Relacionamentos entre objetos

Os metadados colhidos incluem páginas de catálogo para os seguintes tipos de ativos de dados. Cada página do catálogo tem um relacionamento com os outros tipos de ativos de dados relacionados.

Tabela 2. Relações entre páginas de ativos de dados coletados

Página de ativo de dados	Relacionamentos
Políticas de acesso à linha do Snowflake	Tabelas
Políticas de mascaramento do Snowflake	Valor do marcador
Tabela	Função de colunas, valor do marcador, métrica de dados que analisa, exibições, tabelas ou funções das quais a tabela depende
Marcadores do Snowflake	Valor do marcador
Colunas	Valor do marcador, Valor do marcador, Valor do marcador do sistema
Exibição	Esquema que contém exibições, colunas que fazem parte de exibições, função de métrica de dados que analisa exibição, exibições, tabelas ou funções das quais a exibição depende
Exibição materializada	Esquema que contém exibições materializadas, colunas que fazem parte de exibições materializadas
Esquema	Banco de dados que contém Esquema, Tabela que faz parte do Esquema, Exibição que faz parte do Esquema, Exibição materializada que faz parte do Esquema, app Streamlit que faz parte do esquema
Aplicativo Streamlit	Esquema que contém o app Streamlit
Banco de dados	Esquema contido no banco de dados
Função de métrica de dados	Tabela ou exibição analisada por esta função de métrica de dados do Snowflake, tabela, exibições, tabelas ou funções das quais a função depende

Linhagem e dependências do Snowflake

As seguintes informações de linhagem são coletadas pelo coletor do Snowflake. Não há suporte para qualquer linhagem de instruções SQL definidas por meio de instruções variáveis.

Coisas importantes a serem observadas:

• Nenhuma linhagem de instruções SQL definida por meio de instruções variáveis é compatível.
• O coletor rastreia esses relacionamentos das colunas de uma exibição até as colunas da tabela de origem final em expressões SQL e subconsultas.

Tabela 3. Disponibilidade de linhagem de objeto

Objeto	Linhagem disponível
Coluna na exibição	O coletor identifica a coluna associada em uma exibição ou tabela ascendente: De onde os dados são obtidos Que classificam as linhas por meio de ORDENAR POR Que filtram as linhas por WHERE/HAVING Que agregam as linhas por meio de AGRUPAR POR
Função definida pelo usuário	Uma função e: Exibições referenciadas na função Tabelas referenciadas na função Funções referenciadas na função Uma exibição e função que fazem referência à exibição
Procedimento armazenado	O coletor identifica: A coluna associada em uma exibição ou tabela ascendente De onde os dados são obtidos Que classificam as linhas por meio de ORDENAR POR Que filtram as linhas por WHERE/HAVING Que agregam as linhas por meio de AGRUPAR POR A tabela descendente que tem seus dados atualizados por este procedimento armazenado. Observação: Os seguintes procedimentos armazenados não são compatíveis: Procedimentos armazenados com inserções de várias tabelas. No entanto, várias instruções INSERT separadas que são inseridas em uma tabela são compatíveis . Procedimento armazenado com várias instruções SELECT e INSERT não separadas por um delimitador de ponto e vírgula. Procedimentos armazenados usados para criar tabelas ou quaisquer tabelas transitórias criadas durante o escopo de execução de um procedimento armazenado.

Dependências

O coletor do Snowflake cataloga dependências entre tabelas, exibições e funções usando a exibição OBJECT_DEPENDENCIES de uso da conta do Snowflake. Consulte a documentação do Snowflake para obter mais informações sobre a exibição OBJECT_DEPENDENCIES.

Se você incluir os parâmetros específicos de criação de perfil e amostragem ao executar o coletor, as seguintes informações adicionais serão coletadas para Colunas.

Nota:

O usuário/função deve ter acesso de leitura aos dados para poder coletar informações de perfil (estatísticas de coluna).

Tabela 4. Informações específicas de criação de perfil e amostragem

Objeto	Informações catalogadas
Coluna	Tamanho médio (amostra) Valor médio (amostra) Distribuição de dados Valores distintos Valores distintos estimados Valores não nulos estimados Tamanho máximo (amostra) Valor máximo (amostra) classificado numericamente ou alfabeticamente (z-a) Tamanho mínimo (amostra) Valor mínimo (amostra) classificado numericamente ou alfabeticamente (a-z) Valores não nulos (amostra) Valores de cadeia de caracteres de amostra (primeiros 5 itens em uma coluna)
Tabela	Contagem de linhas Contagem de amostras (tamanho da amostra de destino)

As informações adicionais a seguir são catalogadas quando você executa o coletor com as opções Coletar informações de política do Snowflake e Coletar informações de marcador do Snowflake habilitadas.

Tabela 5. Marcadores e políticas do Snowflake catalogados

Objeto	Informações catalogadas
Colunas	Políticas de mascaramento do Snowflake
Marcadores do Snowflake	Nome, Valores permitidos, Comentários
Valores de marcador do Snowflake	Nome, valor
Políticas de mascaramento do Snowflake	Nome, Comentários , Data de criação, Marcadores do Snowflake, Proprietário, tipo, Corpo da política, Esquema, Banco de dados
Políticas de acesso à linha do Snowflake	Nome, Comentários , Data de criação, Marcadores do Snowflake, Proprietário, tipo, Corpo da política, Esquema, Banco de dados

As informações adicionais a seguir são catalogadas quando você executa o coletor com as opções Coletar informações de uso da tabela do Snowflake e Dias de retrospectiva de uso da tabela habilitadas.

Tabela 6. Contagens de consultas de tabela do Snowflake catalogadas

Objeto	Informações catalogadas
Tabela	Contagem de consultas

Informações adicionais a seguir sobre métricas de qualidade de dados É catalogado quando você executa o coletor com a opção Coletar informações da função de métrica de dados habilitada.

Tabela 7. Funções de métricas de dados do Snowflake catalogadas

Objeto	Informações catalogadas
Função de métrica de dados	Identificador: Nome da função Título: Nome da função Descrição Definição do corpo da função
Tabela	Programação: Expressões cron Observações da função da métrica de dados: Nome da função, argumentos da coluna, tempo da métrica mais recente, valor

As seguintes informações adicionais são catalogadas quando você executa o coletor com a opção Collect Streamlit app information habilitada.

Tabela 8. Aplicações Streamlit do Snowflake catalogadas

Objeto	Informações catalogadas
Aplicativo Snowflake Streamlit	Identificador: Nome da aplicação Título: Título da aplicação Descrição: Comentários do app Arquivo principal Local raiz Data de criação Responsável

• Prepare-se para executar o coletor do Snowflake
  Configure a autenticação e conceda permissões de função para habilitar a coleta de metadados do Snowflake.
• Crie um coletor de metadados do Snowflake
  Crie um coletor para importar metadados do Snowflake.