Gardien Now Assist

Gardien Now Assist s’appuie sur le Small Language Model (SLM) et surveille les ServiceNow interactions de l’IA générative pour détecter les contenus offensants, les attaques par injection d’invite et les rubriques sensibles.

Gardien Now Assist Vue d'ensemble

L’IA générative est une technologie émergente. Les interactions humaines sont imprévisibles et les résultats générés par le grand modèle de langage (LLM) sont probabilistes, ce qui signifie qu’ils sont basés sur des probabilités. L’exécution deux fois de la même entrée peut générer deux sorties différentes. La gestion de ce risque est un élément important à prendre en compte lors de la mise en œuvre de l’IA générative sur votre instance. Gardien Now Assist évalue les demandes envoyées aux LLM et leurs réponses en temps réel pour réduire ce risque.

Garde-fous

Gardien Now Assist fournit trois garde-fous. Chaque garde-fou a un champ d’application différent :

Garde-fou	Ce qu’il détecte	Périmètre
Détection de caractère offensant	Contenu offensant ou nuisible dans les entrées et sorties de l’IA.	Compétences et workflows spécifiques Now Assist .
Détection d’injection d’invite	Tente de remplacer les instructions LLM ou d’exposer des informations restreintes.	Toutes les applications et fonctionnalités de l’IA générative.
Filtres de rubriques sensibles	Sujets non adaptés aux réponses IA, tels que la sécurité sur le lieu de travail ou l’indemnisation des employés.	Agent virtuel Compétences conversationnelles uniquement (disponibles pour Prestation de services RH et Gestion du service client).

Remarque :

La portée de chaque garde-fou diffère. La détection d’injection d’invite s’applique à toutes les applications et fonctionnalités de l’IA générative. La détection de caractère offensant s’applique uniquement aux compétences et aux workflows pris en charge Now Assist . Les filtres de rubriques sensibles s’appliquent uniquement aux Agent virtuel conversations et nécessitent .Prestation de services RH

Contenu offensant

En raison de la nature probabiliste de l’IA générative, il est possible pour un LLM de générer du contenu offensant. S’il y a du contenu offensant dans l’entrée de la demande, un contenu offensant peut également se produire dans la réponse. Les exemples de contenu offensant incluent le langage toxique, diffamatoire ou frauduleux.

Lorsqu’un contenu offensant est détecté, Gardien Now Assist consigne l’événement. Vous pouvez également le configurer pour bloquer le contenu. Ce garde-fou s’applique à des compétences et à des workflows spécifiques Now Assist .

Injection d'invite

L’injection d’invite est un type d’attaque de sécurité où une personne tente de passer outre les instructions normales d’un LLM pour accéder à des informations restreintes ou provoquer des comportements involontaires. Gardien Now Assist détecte les tentatives d’injection d’invite à l’aide d’un LLM formé à divers types de techniques d’injection d’invite, telles que les jeux de rôle, la paraphrase, la répétition, les instructions d’ignorer d’autres instructions et la persuasion.

Remarque :

En raison de la nature probabiliste du modèle et de l’évolution des techniques d’attaque, Gardien Now Assist peut ne pas identifier toutes les tentatives d’injection d’invite dans certains cas.

La protection contre l’injection d’invite s’applique à toutes les applications et fonctionnalités de l’IA générative sur votre instance. Elle n’est pas limitée à des compétences ou à des workflows spécifiques.

Sujets filtrés

Certains sujets, tels que la sécurité sur le lieu de travail, l’indemnisation des employés ou le bien-être personnel, peuvent ne pas être les mieux adaptés aux réponses de l’IA générative. Vous pouvez activer des filtres qui détectent ce type de sujets dans Agent virtuel les conversations et rediriger les utilisateurs vers la rubrique Détection de sensibilité : secours Agent virtuel au lieu de générer une réponse IA.

Remarque :

Les filtres de rubriques sensibles s’appliquent uniquement aux Agent virtuel compétences conversationnelles. Ces filtres ne sont disponibles qu’avec Prestation de services RH et Gestion du service client.

Journalisation et blocage

Gardien Now Assist consigne les événements détectés pour caractère offensant et l’injection d’invite. Vous pouvez accéder aux journaux à partir de Administrateur Now Assist > Paramètres > Gardien Now Assist. Les données du journal comprennent des informations sur la demande, la conversation qui contient le contenu offensant et tous les commentaires des utilisateurs.

Outre la journalisation, vous pouvez configurer Gardien Now Assist pour bloquer le contenu offensant ou les tentatives d’injection d’invite. Lorsque le blocage est activé et que le contenu est détecté, un message d’erreur standard s’affiche au lieu de la réponse générée. Le message d’erreur standard affiche que la demande n’a pas pu être terminée et que vous ne voyez pas ce que l’IA a généré. Avant d’activer le blocage, examinez les journaux pendant un certain temps afin de comprendre à quelle fréquence ces problèmes se produisent dans votre environnement.

Redirection pour les rubriques filtrées sensibles

Lorsqu’un filtre détecte une rubrique sensible, Gardien Now Assist il vous redirige vers la rubrique Détection de sensibilité : secours dans Agent virtuel. Cette rubrique peut vous rediriger vers un agent actif ou vous aider à créer un RH ticket.

Vous pouvez remplacer la redirection en sélectionnant Continuer, non sensible. Vous renvoie à sa rubrique d’origine sans lancer le flux de secours.

Remarque :

Une fois que vous avez poursuivi avec la rubrique de secours, par exemple, en démarrant le flux pour créer un RH ticket, Agent virtuel continue de détecter des rubriques sensibles dans cette conversation.

Gardien Now Assist à l’exécution

Toutes les compétences qui utilisent Gardien Now Assist supprimer les informations personnellement identifiables (PII) avant que la demande n’atteigne le LLM. Vous pouvez configurer le type de données anonymisées. Pour plus d’informations, consultez Configuration de Now Assist pour la confidentialité des données.

Pour les compétences conversationnelles, la recherche sémantique traite les demandes pour déterminer si un filtre a été détecté. Si tel est le cas, l’utilisateur est redirigé vers une Agent virtuel rubrique qui lui demande s’il souhaite déposer un RH ticket ou parler à un agent actif.

Pour la génération d’éléments de catalogue et les compétences des agents, telles que la synthèse et la génération de notes de résolution, le caractère offensant et l’injection d’invite, des garde-fous s’exécutent sur les entrées et les sorties des demandes. Si l’un ou l’autre est détecté, Gardien Now Assist consigne la demande. Si vous avez choisi de bloquer ce contenu, un message d’erreur standard s’affiche et l’utilisateur ne voit pas le résultat de la demande.

Catégories de sécurité capturées dans Gardien Now Assist les journaux

Voici les différents types de contenu qui peuvent être signalés comme offensants ou présenter un risque pour la sécurité. Vous pouvez identifier les catégories interceptées dans les Gardien Now Assist journaux pour les différents garde-fous.

Catégorie	ID de catégorie	Description
Contenu toxique	O1	Ne doit pas : promouvoir les discours de haine, inciter à la violence comme la maltraitance des enfants ou l’intimidation ou se livrer à des attaques personnelles ou au harcèlement. Peut : Discuter des impacts et des problèmes sociétaux liés au contenu toxique à des fins éducatives.
Représentation injuste	O2	Ne doit pas : Contribuer à perpétuer les stéréotypes ou encourager la discrimination ou les préjugés. Can : Discutez des questions de représentation et promouvez la sensibilisation et l’inclusion.
Contenu pour adultes	O3	Ne doit pas : Afficher du matériel sexuellement explicite ou du contenu inapproprié pour les mineurs, y compris de la pornographie, des discussions érotiques et des activités sexuelles. Peut : Offrir des discussions éducatives sur des sujets liés à la sexualité et au consentement.
Érosion de la confiance dans les informations publiques	O4	Ne devrait pas : diffuser de la désinformation ou de la désinformation sapant la confiance du public, comme des conseils médicaux trompeurs, des drogues illégales et des conseils. Can : Analyser de manière critique les tendances de la désinformation et éduquer sur l’éducation aux médias.
Propagation d'idées fausses/de fausses croyances	O5	Ne doit pas : diffuser des informations non vérifiées et trompeuses, des théories du complot, du négationnisme scientifique, du révisionnisme historique ou du contenu qui pourrait conduire à la radicalisation. Peut : Fournir une analyse critique et une démystification des idées fausses et des fausses croyances courantes.
Pratiques financières risquées	O6	Ne devrait pas : Promouvoir des pratiques commerciales contraires à l’éthique telles que le marketing à plusieurs niveaux, les pratiques de prêt trompeuses ou les jeux d’argent. Peut : Éduquer sur les risques associés, les prêts éthiques, le jeu responsable, la conformité commerciale et les pratiques commerciales équitables.
Commerce et conformité	O7	Ne doit pas : Impliquer des questions de travail, s’engager dans des affaires commerciales contraires à l’éthique, contribuer à des pratiques de travail déloyales ou promouvoir des pratiques commerciales frauduleuses. Peut : Fournir des informations et des idées sur les questions de travail, les pratiques commerciales éthiques, la conformité commerciale et la conduite équitable des affaires.
Diffusion d'informations dangereuses	O8	Ne doit pas : diffuser de fausses nouvelles, propager des rumeurs sur les réseaux sociaux, divulguer des secrets gouvernementaux ou divulguer des données financières et d’autres contenus contribuant à la panique publique ou à la sécurité nationale. Peut : Éduquer sur les dangers de ces informations et promouvoir la sécurité.
Atteinte à la vie privée	O9	Ne doit pas : impliquer le doxxing, le partage de données non autorisé ou la surveillance comme l’inférence ou la fuite d’informations privées. Can : Discutez de l’importance du droit à la vie privée et de la sécurité numérique.
Menaces à la sécurité	O10	Ne doit pas : diffuser des logiciels malveillants ou encourager le terrorisme ou d’autres menaces à la sécurité telles que la production d’armes, les cyberattaques ou les dommages chimiques. Peut : fournir des informations et des méthodes permettant d’identifier et d’atténuer les menaces de sécurité.
Diffamation	O11	Ne doit pas : Publier de fausses déclarations préjudiciables à des personnes, des groupes ou des organisations. Can : Explorer les aspects juridiques et éthiques de la diffamation et de la liberté d’expression.
Fraude ou action trompeuse	O12	Ne doit pas : Se livrer à la malhonnêteté académique, perpétrer des escroqueries, promouvoir des pseudo-produits pharmaceutiques ou diffuser de faux contenus en ligne. Le contenu ne doit pas tromper ou escroquer les individus. Peut : Éduquer sur la reconnaissance et la prévention des activités frauduleuses.
Opérations d'influence	O13	Ne doit pas : manipuler l’opinion publique ou perturber l’harmonie de la société à des fins politiques ou idéologiques comme la surveillance ou la campagne. Peut : Analyser et éduquer sur la nature et l’impact des opérations d’influence.
Activités illégales	O14	Ne doit pas : promouvoir ou fournir des conseils sur la participation à des actions illégales, telles que des crimes ou le terrorisme. Peut : Éduquer sur les conséquences et la prévention des activités illégales.
Persuasion et manipulation	O15	Ne doit pas : Impliquer des techniques de persuasion ou de manipulation qui favorisent l’automutilation, la manipulation psychologique ou toute forme de préjudice au bien-être des individus. Peut : Éduquer sur la reconnaissance et la résistance à la manipulation, offrir du soutien et des ressources aux personnes touchées.
Violation de la propriété personnelle	O16	Ne doit pas : S’abstenir de bloquer les biens personnels d’un individu, d’imiter de manière malveillante, de plagiat, de violer le droit d’auteur ou de falsifier l’identité. Peut : Promouvoir la sensibilisation et les discussions sur le respect des biens personnels et la prévention de telles infractions.

Compétences qui prennent en charge la détection offensante

Tableau 1. Compétences prises en charge par workflow

Workflow	Application	Compétences prises en charge
Technologie	Now Assist for Configuration Management Database (CMDB)	Synthèse des éléments de configuration (CI) Gérer les CI en double Diagnostic du connecteur du graphe de services
Technologie	Now Assist for ITOM	Analyse d'alerte Enquêtes sur les alertes
Technologie	Now Assist for IT Service Management (ITSM)	Explication du risque associé à la demande de changement Synthèse des demandes de changement Recommandation de réponse de messagerie instantanée Synthèse de la messagerie instantanée Assistant pour les incidents Synthèse des incidents Génération de la base de connaissances Génération de notes de résolution Résumé de la discussion de barre latérale
Technologie	Now Assist for Security Incident Response	Analyse post-incident Génération de notes de résolution Actions recommandées en cas d'incident de sécurité Synthèse des incidents de sécurité
Technologie	Now Assist for Strategic Portfolio Management (SPM)	Synthèse des commentaires multiples Synthèse de documents d’éléments de planification Synthèse des documents de projet E-mails de résumé du projet Génération de stories Écrire un élément de planification
Client	Now Assist for Customer Service Management (CSM)	Synthèse du ticket Recommandation de messagerie instantanée Synthèse de la messagerie instantanée Recommandation par e-mail Génération de la base de connaissances Génération de notes de résolution Résumé de la barre latérale
Client	Now Assist for Field Service Management (FSM)	Génération de la base de connaissances Résumé de la barre latérale Synthèse des tâches de commande de travaux
Client	Now Assist for Financial Services Operations (FSO)	Synthèse du ticket Admission des litiges via Agent virtuel
Client	Now Assist for Public Sector Digital Services (PSDS)	Synthèse des tickets gouvernementaux Synthèse de la messagerie instantanée
Employé	Now Assist for Health and Safety	Synthèse des incidents
Employé	Now Assist for HR Service Delivery (HRSD)	Synthèse du ticket Synthèse de la messagerie instantanée Génération de la base de connaissances Génération de notes de résolution
Employé	Now Assist for Legal Service Delivery (LSD)	Synthèse de la demande juridique
Employé	Now Assist in Contract Management	Analyse du contrat Extraction des métadonnées des contrats
Créateur		Génération d'éléments de catalogue
Finances et chaîne d'approvisionnement	Now Assist for Accounts Payable Operations (APO)	Synthèse des enregistrements
Finances et chaîne d'approvisionnement	Now Assist for Supplier Lifecycle Operations (SLO)	Synthèse des tickets du fournisseur
Finances et chaîne d'approvisionnement	Now Assist for Sourcing and Procurement Operations (SPO)	Synthèse des enregistrements

• Activer la protection contre le caractère offensant pour l’IA générative
  Activez la détection de caractère offensant pour enregistrer ou bloquer le contenu offensant généré par Now Assist les compétences et les workflows.
• Configurer la protection contre les attaques par injection d’invite
  Activez ou désactivez la détection des attaques par injection d’invite pour protéger toutes les applications d’IA générative ainsi que le texte et les conversations générés par l’IA sur votre instance contre les entrées malveillantes et les comportements de modèle involontaires.
• Configurer des filtres de rubriques sensibles
  Configurez des filtres Gardien Now Assist pour rediriger Agent virtuel les utilisateurs vers un agent ou RH un ticket actif lorsqu’un sujet sensible est détecté dans une conversation.
• Exporter Gardien Now Assist les journaux
  Exportez les journaux pour obtenir un Gardien Now Assist aperçu de la fréquence à laquelle les différents garde-fous sont détectés et utilisés.
• Configuration d’un fournisseur de service de garde-fou
  Gardien Now Assist prend en charge les garde-fous par défaut et les fournisseurs de services de garde-fous tiers ou personnalisés pour étendre la surveillance du contenu IA aux politiques de gouvernance IA de votre organisation.