Crie uma conexão do Apache Iceberg
Estabeleça uma conexão de cópia zero com o Apache Iceberg no Central de Conectores cópia zero.
Antes de Iniciar
Função necessária: df_connection_admin
Por Que e Quando Desempenhar Esta Tarefa
Trabalhe com o administrador da fonte de dados para criar uma conexão com o Apache Iceberg. Para obter informações adicionais sobre conexão, consulte Documentação do conector iceberg.
Procedimento
-
Navegue até os Conectores primários disponíveis em Central de Conectores cópia zero de uma das seguintes maneiras:
- Navegar até Tudo > Hub do Workflow Data Fabric > Conectores disponíveis > Conectores primários.
- Navegar até Administrador > Hub do Workflow Data Fabric > Conectores disponíveis > Conectores primários.
- Encontre o Conector Apache Iceberg e selecione Conecte .
-
No formulário, preencha os campos.
Tabela 1. Novo formulário de conexão Apache Iceberg Campo Descrição Nome e descrição Rótulo da conexão Nome exclusivo para esta conexão. Isso ajuda a identificar a conexão em seu sistema. Nome da conexão Nome gerado pelo sistema com base no rótulo de conexão. Este campo não pode ser modificado depois que a conexão for estabelecida. Descrição resumida Descrição da conexão explicando do que se trata. Autenticação de armazenamento de objetos Sistema de armazenamento de objetos Sistema de armazenamento usado. As opções disponíveis são: - Amazon S3 (o padrão)
- Armazenamento de data lake do Azure (ADLS)
- Compatível com S3
Amazon S3 Chave de acesso da AWS Chave de acesso usada para acessar o AWS S3. Chave secreta da AWS Chave secreta usada para acessar o AWS S3. Região da AWS Região da AWS onde o bucket do AWS S3 está localizado. Compatível com S3 URL do endpoint do S3 URL do endpoint para o sistema de armazenamento de objetos compatível com S3. Chave de acesso do S3 Chave de acesso usada para autenticar com seu serviço de armazenamento compatível com S3. Chave secreta do S3 Chave secreta usada para autenticar com seu serviço de armazenamento compatível com S3. Região do S3 Região onde o bucket de armazenamento de objetos compatível com S3 está localizado. Armazenamento de data lake do Azure (ADLS) Chave de acesso do Azure Chave de acesso para ADLS. -
Configure o sistema de armazenamento de objetos que você deseja usar com o Apache Iceberg.
Opção Descrição Amazon S3 - Insira a chave de acesso usada para acessar o S3.
- Insira a chave secreta usada para acessar o S3.
- Insira a região da AWS onde o bucket do S3 está localizado.
- Configure o metastore que você deseja usar com o Apache Iceberg.
Compatível com S3 - Insira o URL do endpoint para o sistema de armazenamento de objetos compatível com S3.
- Insira a chave de acesso usada para autenticar com seu serviço de armazenamento compatível com S3.
- Insira a chave secreta usada para autenticar com seu serviço de armazenamento compatível com S3.
- Insira a região onde o bucket de armazenamento de objetos compatível com S3 está localizado.
- Configure o metastore que você deseja usar com o Apache Iceberg.
Armazenamento de data lake do Azure (ADLS) Insira a chave de acesso ADLS. -
Configure o metastore que você deseja usar com o Apache Iceberg.
Opção Descrição Hive Thrift - Anexe o arquivo truststore usando uma das seguintes opções:
- Carregue o arquivo truststore selecionando Anexar arquivo truststore e selecionando o arquivo.
- Copie e cole o conteúdo do arquivo truststore.
- Insira a senha do truststore.
- Insira o URI do metastore ao qual você deseja se conectar usando o protocolo Thrift. Por exemplo:
<host>:<port>://thrift
AWS Glue - Insira a chave de acesso da AWS para se conectar ao Catálogo do Glue.
- Insira a chave secreta da AWS a ser usada para se conectar ao Catálogo do Glue.
- Insira a região AWS do Catálogo do Glue.
Nota:O AWS Glue aparece quando o Amazon S3 é selecionado como o sistema de armazenamento de objetos.Descanso - Insira o URI do seu servidor do catálogo REST do iceberg.
- Insira o local onde os arquivos de dados da tabela são armazenados (Depósito).
- Insira o ID do cliente usado para autenticar sua aplicação via OAuth2.
- Insira o segredo do cliente usado com o ID do cliente para autenticar sua aplicação via OAuth2.
- Insira o escopo que especifica quais recursos e operações a aplicação está autorizada a acessar via OAuth2.
Nota:REST aparece quando compatível com S3 é selecionado como o sistema de armazenamento de objetos. - Anexe o arquivo truststore usando uma das seguintes opções:
- Selecione Conecte .
Resultado
Uma conexão de teste é feita com a fonte de dados externa, verificando se os detalhes da conexão estão corretos e se a fonte de dados está acessível.
O que Fazer Depois
Se a conexão for bem-sucedida, configure o acesso de administrador de dados no Controle de acesso guia. Consulte Gerencie o acesso a uma conexão estabelecida usando funções.
Se a conexão falhar, verifique os detalhes da conexão com o administrador da fonte de dados e tente novamente.