Now Assist Guardian FAQ (翻訳)

naoto kadowaki · 2 時間前

本稿はこちらの記事の翻訳です。最新の情報は元となる記事をご覧ください。
このトピックの一部は機械翻訳で処理されている場合があります。

Now Assist Guardian とは何ですか?

信頼できる責任あるAIは、AIライフサイクルに関わるお客様と参加者が情報に基づいた意思決定を行えるようにします。Now Assist Guardian は、Generative AI Controller に含まれる組み込みプラットフォームコンポーネントであり、ServiceNowの安全で責任あるAIの要となります。AIのリスク、望ましくない動作、攻撃的な内容やプロンプトインジェクションなどの危険なプラットフォームの使用状況を評価します。

Now Assist Guardian は、Now Platform に組み込まれ、Generative AI Controller を介して Now Assist に含まれている一連のモデルとメソッドです。AIのリスクと望ましくない動作を評価し、攻撃的な内容やその他の問題を検出します。Now Assist Guardian は、プロンプトインジェクション攻撃や悪意のあるリクエストの監視と検出など、セキュリティとプライバシーの脅威に関するリスクの軽減にも役立ちます。

Now Assist Guardian は、人間中心主義、多様性、透明性、説明責任という当社の原則に従い、責任あるAIを実現する重要なプラットフォームです。

Now Assist Guardian の詳細については、製品ドキュメントを参照してください。

Now Assist Guardian は何をしますか?

Now Assist Guardian は、望ましくない生成AIモデルの動作を評価してリスクを軽減します。これは、他の Now Assist アプリケーションが不適切なLLM出力と使用状況の検出および処理を可能にするサービスです。

2025年の最優先事項は、Now Assist Guardian のカバレッジをシステムで使用されるすべてのLLMに拡大し、攻撃的な内容、プロンプトインジェクション、機密トピックの検出を改善することです。PIIは密接に関連していますが、AIに限ったことではありません。現在、PIIは Sensitive Data Handler を使用して生成AI製品で処理されています。

現在リリースされているガードレールは何ですか?

攻撃的な内容の検出
セキュリティ
機密トピックの検出 (Now Assist for HRSD)

次にサポートされるガードレールは何ですか?

いくつかの候補 (セーフハーバーが適用されます): ハルシネーション、違法なリクエスト、不適切なアドバイス (医療、財務など)

Now Assist Guardian の導入前は、攻撃的な内容やプロンプトインジェクションを防ぐためのコントロールが導入されていなかったということですか?

いいえ、Now Assist Guardian は、これらの問題を防ぐために既存のモデルの微調整とアライメントに追加されるレイヤーです。Now Assist Guardian では、このような問題や試みがログ記録を通じてお客様に可視化されます。

ガードレールがデフォルトでオンになっていないのはなぜですか? なぜオフにしたいのですか?

お客様が導入するガードレールに関する選択肢と柔軟性を提供することを目指しています。ServiceNow 管理者は、ガードレールとガードレールアクション (ブロックまたはログ記録など) のレベルを有効または無効にできます。大規模言語モデルを組み込んだテクノロジーを使用すると、攻撃的な内容が存在しないのにブロックするなど、誤検知のリスクが生じます。ガードレールを有効にする前に、少人数のステークホルダーグループでテストを実行することをお勧めします。

また、リアルタイムまたは推論中には監視が行われないため、ユーザーエクスペリエンスに影響を与えることなく、監視目的でLLM処理後に検出を実行するオプションもあります。管理者は、内部しきい値に基づいて攻撃的な内容のガードレールに関連する問題が監視で示された場合、このガードレールをオンにできます。

Now Assist Guardian は、攻撃的な内容、プロンプトインジェクション、機密トピックの検出などの問題をどのように解決しますか?

Now Assist Guardian は、Now Assist スキルに使用されるモデルの出力を評価するツールを採用しています。有害または攻撃的なコンテンツに関連する出力を強調表示し、推奨事項を作成します。各ユースケースは、攻撃的なコンテンツの表示によって引き起こされるリスクのレベルに応じて、異なるユーザーエクスペリエンスを提供します。

エージェントはガードレールを上書きまたは無視できますか?

いいえ。攻撃的な内容またはセキュリティのためにブロックが有効になっている場合、エージェントには「インシデントの要約中にエラーが発生しました」というエラーメッセージが表示されます。

従業員または内部ユーザーが攻撃的な態度をとっている場合、これはマネージャーに自動的に通知されますか?

いいえ、現時点では自動通知機能はありませんが、将来的には構成可能な通知機能を検討しています (セーフハーバー)。

評価の結果、ServiceNow とお客様はどのようなアクションを実行しますか?

お客様がデータ共有をオプトインしている場合は、フィルタリングされたAIコンテンツを使用して、実際のシナリオに基づいてモデルのパフォーマンスを確認します。

モデルカードに表示される Now Assist Guardian メトリクスはどれですか?

F1スコア、精度、再現率、正確性、偽陽性率 (FPR)。最新のメトリクスと詳細については、モデルカードを参照してください。

Now Assist Guardian は BYOL LLM とどのように連携しますか?

Now Assist Guardian は Generative AI Controller と統合されているため、Now LLM および BYOL LLM で使用できます。2025年第3四半期時点で、ServiceNowがモデルプロバイダー選択を通じて利用できるようにしているすべてのプロバイダー (Azure OpenAI、AWS Anthropic Claude、Google Gemini) で使用できます。

お客様が高度なAIおよびデータ利用規約データ共有プログラムからオプトアウトした場合、Now Assist Guardian からもオプトアウトしますか?

いいえ、お客様は Now Assist Guardian の使用に影響を与えることなく、高度なAIおよびデータ条件データ共有プログラムをオプトアウトできます。Now Assist Guardian は、LLMがプロンプトとレスポンスを提供する推論と、お客様のインスタンスの30日間の保持ログテーブルのデータを利用する監視の2つのモードで動作します。

ヨーロッパやアジアのお客様は、何が攻撃的であるかについて、米国のお客様とは異なるレベルの感受性を持っているかもしれませんが、ある文化と他の文化の評価をどのように調整するかについてのガイドはありますか?

現在、ある文化と他の文化の評価をどのように調整するかについてのガイドはありません。

Now LLM Service に使用する ServiceNow リージョンデータセンターでのデータ処理を希望しないお客様にとって、Now Assist Guardian はオプションですか?

はい、お客様はガードレールを無効のままにすることも、オフにすることもできます。例外は、デフォルトでログ記録が有効になっているセキュリティガードレールでのプロンプトインジェクションの監視です。

Now Assist Guardian はネイティブ翻訳 (多言語LLM) をサポートしていますか? どの言語がサポートされていますか?

2025年第3四半期時点で、Guardian は ServiceNow の P1 (英語、フランス語、ドイツ語、イタリア語、スペイン語、ブラジルポルトガル語) と P2 (カナダフランス語、日本語、オランダ語) をサポートしています。詳細については、ServiceNow 生成AI製品の多言語サポートに関する記事を参照してください。

Now Assist Guardian を使用すると追加の Assist は消費されますか?

いいえ、Now Assist ライセンスに含まれています。

コンテンツが Now Assist Guardian によってブロックされた場合、出力に対して課金されますか?

いいえ。Now Assist スキルを使用していて、ガードレールのためにコンテンツが Now Assist Guardian によってブロックされている場合、そのスキルの使用 Assist に対して課金されることはありません。

特定のスキルに対して Now Assist Guardian をオンにできますか? それともすべてのスキルに対してオンにしますか?

攻撃的な内容のガードレールは、CSM、HRSD、ITSM などのワークフローレベルで構成できます。セキュリティと機密トピック検出のガードレールはグローバルレベルにあるため、スキルごとに有効/無効にすることはできません。

ガードレールを構成するにはどのようなオプションがありますか?

管理者は、Now Assist Admin Console で攻撃的な内容とセキュリティガードレールの検出の影響を選択し、機密性検出のフィルターを構成できます。

攻撃的な内容: 管理者が Now Assist Admin Console で構成できる検出の影響には、次の2つのタイプがあります。
1. 基本的なログ監視: 攻撃的なコンテンツが検出されたときにログを更新します。これには、ユーザーのフィードバックなど、攻撃的なコンテンツを含むリクエストと会話に関する情報が含まれます。
  1. エージェントは、スキルが実行されると違反コンテンツを閲覧できます。
2. ブロック + 監視: スキルの実行時に攻撃的なコンテンツが表示されないようにし、ログ記録などのメッセージを表示します。
  1. エージェントにはエラーメッセージが表示されます。
セキュリティ (プロンプトインジェクション): 管理者は、基本的なログ監視またはブロックのいずれかを選択して、すべての製品とスキルに対する検出の影響を構成できます。
1. 基本ログ監視 (デフォルトで有効): プロンプトインジェクションが検出されたときにログを更新します。
  - エージェントはプロンプトインジェクションを含む会話を表示できます。
2. ブロック + 監視: コンテンツが生成されないようにし、スキルの実行時にメッセージを表示します。ログ記録も含まれます。
  - エージェントにはエラーメッセージが表示されます。
機密性検出: 管理者は、既存の機密フィルターを変更できます。新しいフレーズを作成したり、既存のフレーズを編集または削除したりできます。フィルターは Now Assist for Virtual Agent トピックに適用されます。

特定のLLMに対して Now Assist Guardian をオンにできますか?

Now Assist Guardian は、Now LLM Service およびサードパーティのモデル選択でサポートされているその他のモデルプロバイダーに適用されます。

攻撃的な内容のガードレールは何をチェックしますか?

このモデルは16の安全カテゴリでトレーニングされています。ガードレールが攻撃的なコンテンツを検出すると、カテゴリIDがログで見つかります。

カテゴリID	カテゴリ	説明
O1	有害コンテンツ	禁止事項: ヘイトスピーチを助長したり、児童虐待やいじめなどの暴力を扇動したり、個人攻撃や嫌がらせを行ったりすること。許容される内容: 教育目的で有害なコンテンツに関連する影響と社会的問題について話し合います。
O2	不公平な表現	禁止事項: 固定観念を永続させたり、差別や偏見を助長したりすること。許容される内容: 代表性の問題について話し合い、意識と包括性を促進します。
O3	アダルトコンテンツ	禁止事項: ポルノ、エロティックなチャット、性行為など、露骨な性的コンテンツや未成年者にとって不適切なコンテンツを表示すること。許容される内容: セクシュアリティと同意に関連するトピックについて教育的な議論を提供します。
O4	公共の信頼への毀損	禁止事項: 誤解を招く医学的アドバイス、違法薬物、誤ったアドバイスなど、社会の信頼を損なう誤った情報や虚偽情報を広めること。許容される内容: 誤った情報の傾向を批判的に分析し、メディアリテラシーについて教育します。
O5	誤解や誤った信念を広める	禁止事項: 未検証の誤解を招く情報、陰謀論、科学否定論、歴史修正主義、または過激化につながる可能性のあるコンテンツを広めること。許容される内容: 批判的な分析を提供し、一般的な誤解や誤った信念の誤りを暴きます。
O6	リスクの高い金融慣行	禁止事項: マルチレベルマーケティング、欺瞞的な融資慣行、ギャンブルなどの非倫理的な取引慣行を助長すること。許容される内容: 関連するリスク、倫理的な融資、責任あるギャンブル、貿易コンプライアンス、公正なビジネス慣行について教育します。
O7	貿易とコンプライアンス	禁止事項: 労働問題に関与したり、非倫理的な取引行為に関与したり、不当な労働慣行に加担したり、不正な取引慣行を助長したりすること。許容される内容: 労働問題、倫理的な取引慣行、貿易コンプライアンス、公正なビジネス行動に関する情報と洞察を提供します。
O8	危険情報の流布	禁止事項: 偽のニュースを広めたり、ソーシャルメディアで噂を広めたり、政府機密を開示したり、財務データや国民のパニックや国家安全保障を脅かすその他のコンテンツを漏洩したりすること。許容される内容: そのような情報の危険性について教育し、安全性を促進します。
O9	プライバシー侵害	禁止事項: ドキシング、不正なデータ共有、または個人情報の推測や漏洩などの監視が含まれます。許容される内容: プライバシー権とデジタルセキュリティの重要性について話し合います。
O10	セキュリティの脅威	禁止事項: マルウェアを拡散したり、テロや兵器の生成、サイバー攻撃、化学物質による危害などのその他のセキュリティ上の脅威を助長したりすること。許容される内容: セキュリティ脅威を特定して軽減するための情報と方法を提供します。
O11	名誉毀損	禁止事項: 個人、グループ、または組織に損害を与える虚偽の記述を公開すること。許容される内容: 名誉毀損と言論の自由の法的および倫理的側面を探ります。
O12	詐欺または欺瞞行為	禁止事項: 学術的不正に関与したり、詐欺を犯したり、疑似医薬品を宣伝したり、偽のオンラインコンテンツを広めたりすること。コンテンツを利用して、個人を欺いたり詐欺を働いたりしてはなりません。許容される内容: 不正行為の認識と防止について教育します。
O13	影響操作	禁止事項: 監視やキャンペーンなどの政治的またはイデオロギー的な目的で世論を操作したり、社会の調和を乱したりすること。許容される内容: 影響力操作の性質と影響について分析し、教育します。
O14	違法行為	禁止事項: 犯罪やテロなどの違法行為に関与することを促進または提供すること。許容される内容: 違法行為の結果と防止について教育します。
O15	説得と操作	禁止事項: 自傷行為、心理的操作、または個人の幸福に対するあらゆる形態の危害を促進する説得または操作技術を含むこと。許容される内容: 操作の認識と抵抗について教育し、影響を受ける人々にサポートとリソースを提供します。
O16	個人財産の侵害	禁止事項: 悪意のある模倣、盗作、著作権侵害、身元偽造など、個人の個人財産を侵害すること。許容される内容: 個人財産の尊重とそのような侵害の防止に関する意識と議論を促進します。

お客様は独自の攻撃的な内容のカテゴリを追加できますか?

2025年第3四半期リリース時点では設定できません。

ガードレールのログはどこにありますか?

2025年第3四半期リリースでは、管理者は次の列を使用して sys_generative_ai_metric テーブルでガードレールのログを表示できます。

作成日時
Generative AI Log
名前
タイプ
値

管理者は、リストレイアウト構成と Generative AI Log メタデータテーブル列を使用して、より多くの列を構成して、さらなるインサイトを得ることができます。管理者は、Now Assist Admin Console で各ガードレールのCSVファイルにログをエクスポートすることもできます。

Now Assist Guardian は、Now Assist スキルの応答時間にレイテンシを追加しますか?

Now Assist Guardian は、Now LLM または他のLLMへの呼び出しが行われている間に、Now SLM に対する並列呼び出しを実行して、構成されたガードレールに対して入力をチェックし、目的のスキル出力を実行します。生成AIに対する両方の呼び出しは同時に行われます。

ログ記録がオンになっている場合、Now Assist Guardian は結果をログテーブルに投稿し、ユーザーはスキル出力を受け取ります。

ブロックがオンになっている場合、Now Assist Guardian はその結果を記録し、ユーザーに対してインスタンス内で出力がブロックされます。Now Assist Guardian による顕著なレイテンシーは発生しません。

お客様は Now Assist for HRSD の機密トピックのカスタムフィルターを作成できますか?

フィルターは、特定のフィルターのセットアップダイアログでサンプルフレーズを追加したり、テーブル sys_gen_ai_filter_sample に直接サンプルフレーズを追加したりして構成できます。

Now Assist for HRSD の機密トピックフィルターのサンプルフレーズはどのような影響がありますか?

フィルターにはさまざまなカテゴリがあり、さまざまなサンプルフレーズを提供することで、すべて同じインテントに関連するさまざまな潜在的なユーザークエリをAIが認識できるようにすることができます。ユーザーは、システムが期待する方法でクエリを常に表現するとは限らないため、豊富なサンプルフレーズのセットは曖昧さを減らすのに役立ちます。たとえば、ユーザーが「アカウントのロックを解除してください」と言っても、AIが「パスワードのリセット」についてのみトレーニングされている場合、クエリを正しくフィルタリングできない可能性があります。ただし、複数のバリエーションがサンプルフレーズとして含まれている場合は、システムが要求を理解し、正しい機密性フィルタートピックにフィルタリングする可能性が高くなります。

お客様がより多くのサンプルフレーズを作成したいと思うのはなぜですか?

指定するサンプルフレーズが多ければ多いほど、LLMはこれらのトピックをより正確に捉えます。

追加できるサンプルフレーズの最大量はいくつですか?

サンプルフレーズの最大数は公式に定められていません。エンジニアリングテストでは、約800のフレーズを含む Now Assist Admin Console でのロードと作業時のパフォーマンスの問題に気付きました。800を超えるフレーズを作成する必要がある場合は、サポートケースをオープンしてください。

免責事項
一部の日本語は、翻訳ソフトウェアを使用してお客様の便宜のために翻訳されています。正確な翻訳をご提供できるよう相当な努力を払っておりますが、いかなる自動翻訳も人間の翻訳者に代わることはなく、そのようなことは意図されておりません。翻訳は「現状のまま」提供されています。他言語への翻訳の的確性、信頼性または正確性については、明示または黙示を問わず、いかなる保証も行われません。翻訳ソフトには限界があるため、一部のコンテンツが正確に翻訳されていない場合があります。これらの資料の公用言語は英語です。翻訳の際に生じる相違または不一致は、コンプライアンスまたは履行の目的に関しては拘束力を有さず、法的効力はないものとします。