Configurar credenciais de API para um conector de modelo de linguagem grande (LLM) genérico

Use um conector LLM genérico para conectar o Now Platform a um provedor de IA externo para usar capacidades de IA generativa em tópicos Virtual Agent, fluxos ou scripts personalizados, como scripts de regra de negócio e plano de fundo.

Antes de Iniciar

Você deve ter acesso à API de um LLM externo para configurar as credenciais.

Função necessária: administrador

Por Que e Quando Desempenhar Esta Tarefa

Você pode conectar um LLM externo ao Now Platform criando um alias de conexão com o modelo, criando um registro de modelo que aponta para o alias, criando um registro de prompt para o modelo e, em seguida, criando um registro de transformador para transformar a solicitação ou resposta de o LLM.

Procedimento

1. Navegar até Todos > Conexões e Credenciais > Credenciais.
2. Selecionar credenciais de chave de API
3. No campo Nome, dê um nome à credencial da API.
   Incluir o nome do modelo na credencial de chave de API facilita a identificação posterior.
4. No campo Chave de API, insira a chave de API do seu modelo.
   
5. Selecione Enviar para criar a credencial.
   Nesta etapa, você tem as informações da chave de API para o LLM externo configurado.
6. Navegar até Todos > Conexões e Credenciais > Aliases de conexões e credenciais.
7. Selecione Novo.
8. No campo Nome, insira um nome para o alias de credencial.
   Você não precisa alterar nenhum outro valor de campo.
9. Selecione Enviar.
10. Depois de ser redirecionado para a exibição de lista, localize e abra o registro que você acabou de criar.
11. Selecione Novo na lista relacionada Conexões para criar um novo registro de Conexão.
12. Insira o nome da conexão no campo Nome.
13. No campo Credencial, selecione o registro de credencial que você criou com a chave de API do modelo.
    Você pode pesquisar a lista de credenciais digitando o nome da credencial no campo. Você também pode selecionar o ícone de pesquisa () para abrir um modal com a lista completa.
14. No campo Alias de conexão, selecione o registro de alias que você criou.
15. Para a URL de conexão, insira a URL do endpoint para o modelo.
    Por exemplo, um modelo de Abraçando o rosto pode começar com "https://api-inference.huggingface.co". Você pode deixar os campos restantes como estão.
16. Selecione Enviar.

Resultado

Você tem o alias de conexão e credencial a ser usado para conectar um LLM genérico para usar recursos de IA generativos na Now Platform. Você pode confirmar isso navegando até Todos > Conexões e Credenciais > Aliases de conexões e credenciais e confirmando que a conexão aparece na lista relacionada.

O que Fazer Depois

Para obter mais informações sobre como configurar um LLM genérico, consulte configuração de um conector de LLM genérico