Configurer les informations d’identification d’API pour un connecteur générique de grand modèle de langage (LLM)

  • Rversion finale: Xanadu
  • Mis à jour 1 août 2024
  • 2 minutes de lecture
  • Utilisez un connecteur LLM générique pour vous connecter à un fournisseur d’IA externe afin d’utiliser Now Platform les options de l’IA générative dans des rubriques, des flux ou des scripts personnalisés Agent virtuel , tels que les scripts d’arrière-plan et de règle métier.

    Avant de commencer

    Vous devez avoir accès à l’API d’un LLM externe afin de configurer les informations d’identification.

    Rôle requis : administrateur

    Pourquoi et quand exécuter cette tâche

    Vous pouvez connecter un LLM externe au Now Platform en créant un alias de connexion au modèle, en créant un enregistrement de modèle qui pointe vers l’alias, en créant un enregistrement d’invite pour le modèle, puis en créant un enregistrement de transformateur pour transformer la demande ou la réponse à partir du LLM.

    Procédure

    1. Accédez à la Tout > Connexions et informations d'identification > Informations d'identification.
    2. Sélectionner les informations d’identification de clé API
    3. Dans le champ Nom , donnez un nom à vos informations d’identification API.
      L’inclusion du nom du modèle dans les informations d’identification de clé API facilite l’identification ultérieure.
    4. Dans le champ Clé API , saisissez la clé API de votre modèle.
      Formulaire d’informations d’identification de clé API rempli avec le nom et la clé API.
    5. Sélectionnez Soumettre pour créer les informations d’identification.
      À cette étape, vous avez configuré les informations de clé API pour le LLM externe.
    6. Accédez à la Tout > Connexions et informations d'identification > Alias de connexion et d’informations d’identification.
    7. Sélectionnez Nouveau.
    8. Dans le champ Nom , saisissez un nom pour l’alias d’informations d’identification.
      Vous n’avez pas besoin de modifier les autres valeurs de champ. Enregistrement d’alias de connexion et d’informations d’identification avec le nom renseigné.
    9. Sélectionnez Soumettre.
    10. Une fois que vous êtes redirigé vers la vue de liste, recherchez et ouvrez l’enregistrement que vous venez de créer.
    11. Sélectionnez Nouveau dans la liste connexe Connexions pour créer un enregistrement de connexion.
    12. Entrez le nom de la connexion dans le champ Nom.
    13. Dans le champ Informations d’identification , sélectionnez l’enregistrement d’informations d’identification que vous avez créé avec la clé API du modèle.
      Vous pouvez rechercher dans la liste des informations d’identification en tapant le nom des informations d’identification dans le champ. Vous pouvez également sélectionner l’icône de recherche (Cette image montre l’icône de recherche de liste utilisée dans la console d’administration Now Assist.) pour ouvrir un modal avec la liste complète.
    14. Dans le champ Alias de connexion , sélectionnez l’enregistrement d’alias que vous avez créé.
    15. Pour l’URL de connexion, saisissez l’URL du point de terminaison du modèle.
      Par exemple, un modèle de Hugging Face peut commencer par « https://api-inference.huggingface.co ». Vous pouvez laisser les champs restants tels quels. Enregistrement de connexion HTTP(s) rempli avec les informations d’identification Mon modèle, l’alias et l’URL de connexion.
    16. Sélectionnez Soumettre.

    Résultats

    Vous avez l’alias de connexion et d’informations d’identification à utiliser pour connecter un LLM générique afin d’utiliser les options de l’IA générative sur la Now Platform. Vous pouvez le confirmer en accédant à Tout > Connexions et informations d'identification > Alias de connexion et d’informations d’identification et en confirmant que la connexion apparaît dans la liste connexe. Informations d’identification et alias terminés pour LLM personnalisé.

    Que faire ensuite

    Pour plus d’informations sur la configuration d’un LLM générique, consultez Configurer un connecteur LLM générique