Activer la protection contre le caractère offensant pour l’IA générative

Activez la détection de caractère offensant pour enregistrer ou bloquer le contenu offensant généré par Now Assist les compétences et les workflows.

Avant de commencer

Rôle requis : sn_generative_ai.nsa_admin

Pourquoi et quand exécuter cette tâche

La sortie de l’IA générative est probabiliste, ce qui signifie qu’une même entrée peut produire des sorties différentes. Certains contenus générés par l’IA peuvent être offensants, notamment un langage toxique, sexiste ou autre préjudiciable. Gardien Now Assist Détecte le contenu offensant à la fois dans les entrées et les sorties, et consigne l’événement lorsqu’il est détecté. Vous pouvez également le configurer pour bloquer le matériel offensant afin que les utilisateurs voient un message d’erreur standard au lieu de la réponse générée.

Remarque :

La détection de caractère offensant s’applique uniquement à des compétences et à des workflows spécifiques Now Assist . Il n’est pas disponible pour toutes les Now Assist applications. Pour plus d’informations sur la liste des compétences qui prennent en charge la détection de caractère offensant, consultez Gardien Now Assist.

Vous pouvez exporter des journaux pour les examiner. Pour plus d’informations, consultez Exporter des journaux de Gardien Now Assist.

Procédure

1. Accédez à la Tous > Administrateur Now Assist > Paramètres.
2. Dans le panneau latéral, sélectionnez l’icône Gardien Now Assist > Caractère offensant onglet.
3. Accédez à l’onglet Disponible pour vous pour voir les workflows que vous pouvez choisir.

   Les garde-fous de Caractère offensant qui sont déjà activés apparaissent dans l’onglet Actif .

4. Sélectionnez Activer pour le workflow dans lequel vous souhaitez activer la détection de caractère offensant.
5. Dans la section Choisir une action lorsqu’un contenu offensant est détecté , sélectionnez l’une des options suivantes.
   • Pour enregistrer les événements lorsqu’un contenu offensant est détecté tout en gardant le contenu visible pour l’utilisateur, sélectionnez Enregistrer la sortie. Le contenu offensant est toujours affiché à l’utilisateur.
   • Pour enregistrer l’événement et empêcher l’affichage du contenu à l’utilisateur, sélectionnez Bloquer la réponse et consignez la sortie. L’utilisateur voit un message d’erreur standard à la place.

   

6. Dans la section Sélectionner le niveau de gravité du contenu pour vérifier le caractère offensant , sélectionnez l’une des options suivantes.
   • Pour signaler le moindre indice de contenu offensant, sélectionnez Faible.
   • Pour signaler un contenu offensant clair ou modéré, sélectionnez Moyen.
   • Pour signaler uniquement le contenu très offensant, sélectionnez Élevé.
7. Sélectionnez Enregistrer et activer.
8. Sélectionnez Enregistrer.

Résultats

Le garde-fou de détection de caractère offensant est activé sur votre instance pour le workflow sélectionné. Les événements sont consignés lorsqu’un contenu offensant est détecté ou généré.

Que faire ensuite

Vous pouvez activer la détection du caractère offensant séparément pour chaque application et workflow pris en charge Now Assist . Répétez cette tâche pour chaque workflow sur lequel vous souhaitez activer la protection contre le caractère offensant.

Pour modifier l’impact de détection pour un workflow actif, sélectionnez plus d’options ( dans la liste des workflows actifs, puis sélectionnez Modifier.

Pour désactiver la protection contre le caractère offensant pour un workflow, sélectionnez l’icône Plus d’options (icône Plus dans la liste des workflows actifs, puis sélectionnez Désactiver.