AI Academy - Ask the Experts: Now LLM Service 2024年7月23日

[ddeboskey]

🎥 ビデオ: https://www.youtube.com/watch?v=fxfzkGO0_xo

このセッションでは、当社の Now LLM Service が構築された背景、当社製品で Now LLM を活用するメリット、およびモデルのトレーニング方法について取り上げました。また、ServiceNow における Responsible AI (責任あるAI) の取り組み、製品開発の各ライフサイクルステップへの組み込み方、データ共有によるモデル改善の方法、当社の StarCoder LLM のための BigCode プロジェクトにおける作業、そしてこれらのトピックに関する参加者からの質疑応答についても説明いたしました。

以下に、セッションで説明したリンクを示します。KB リンクにはサポートログインが必要ですのでご注意ください。サポートログインをお持ちでない場合は、情報へのアクセスについてアカウントチームにお問い合わせください。

• Now LLM – エンタープライズ AI ユースケースのための生成系 LLM (https://www.servicenow.com/community/now-assist-articles/now-llm-generative-llm-for-enterprise-ai-us...)
• Now LLM Service の更新情報 (https://docs.servicenow.com/csh?version=latest&topicname=now-llm-model-updates)
• KB1648406 – データ共有とモデル開発 (https://support.servicenow.com/kb?id=kb_article_view&sysparm_article=KB1648406)
• KB1584490 – 高度な AI およびデータ製品の概要: アーキテクチャ、適用される規約、データ処理 (https://support.servicenow.com/kb?id=kb_article_view&sysparm_article=KB1584490)
• KB1584492 – 高度な AI およびデータ製品のデータ処理に関する FAQ (https://support.servicenow.com/kb?id=kb_article_view&sysparm_article=KB1584492)
• KB1648413 – 統合されたデータ処理とセキュリティに関する FAQ への補足 (https://support.servicenow.com/kb?id=kb_article_view&sysparm_article=KB1648413)

以下は、このセッションでの質疑応答 (Q&A) です。この情報は変更される可能性があることにご注意ください。このブログに記載されている Q&A は、2024年7月時点の当社の現在の機能と慣行のスナップショットです。当社のモデルに関する情報については、モデルカードの最新版をご確認いただくことをお勧めします。

Q: これはバーチャルエージェントにどのような影響を与えますか？ A: Now LLM は、いくつかの方法でバーチャルエージェントに組み込まれています。

1. ナレッジベースの要約による質疑応答
2. マルチターンサービスカタログインテーク
3. 管理者向けの Now LLM ベースのバーチャルエージェントトピック (ツリー型バーチャルエージェントトピックとは異なります)

Q: ITSM でセンチメント分析は利用できますか？アンケートの入力データをセンチメント分析にかけたいのですが、ServiceNow からはセンチメント分析にはサードパーティの LLM が必要であると言われました。 A: 当社の標準搭載のスキルでは、センチメント分析を具体的にサポートしていません。その機能を実施するには外部の LLM が必要となり、その機能を実現するためには生成AIコントローラーを活用する必要があります。しかし、この分野を広げる Xanadu リリースで新機能が提供される予定ですので、ご注目ください。9月17日に、お客様のユースケースに沿った内容を扱う AI Academy を予定していると思います。

Q: 各顧客は、自身のインスタンスのデータに基づいて特別にトレーニングされた NowLLM を使用することになるのでしょうか、それとも全員が同じフォークを使用することになるのでしょうか？ A: 現在、すべてのお客様が同じフォークを使用しており、これは定期的に更新されています。

Q: ナレッジ記事の要約の有効性を測定する方法にはどのようなものがありますか？要約されたコンテンツに関するメトリクスはありますか？閲覧数が減少すると考えられます。 A: ベストプラクティスとして、ナレッジベース生成の関連性をレビューするためにヒューマン・イン・ザ・ループが必要です。公開されたナレッジ記事自体の有効性は、問題解決率、フィードバック、記事の検索統計などで測定できます。

Q: 複数の LLM を使用できますか？例えば、Now LLM または Google や他のベンダーの LLM はどうですか？ A: 1つのモデルで、プラットフォームエクスペリエンスにおける1つ以上のスキルを動かすことができます。当社では複数のモデルを組み合わせ、タスクに最適なモデルを実装しています。さらに、お客様はご希望に応じて、ServiceNow 以外のモデルを選択してカスタムユースケースを実装することも可能です。

Q: 複数の LLM を同時に使用できますか？例えば、NowLLM と Google の LLM はどうですか？ A: はい、生成AIコントローラーを使用すると、カスタム作成されたスキルを設計された LLM サービスに接続できます。ただし、現在、標準搭載のスキルで使用される LLM を上書きすることはできません。

Q: Now Assist は一度に複数のチケットを要約できますか？例えば、レポートや詳細分析で傾向を把握するために、一度に1000件のチケットを要約できますか？ A: 現状では、これは標準で利用できません。生成AIコントローラーを使用してカスタムワークフローを構築するか、Xanadu リリースでお役に立てる機能が提供されるまでお待ちください 🙂

Q: ITサポート SLM のような、よりターゲットを絞った業界特化型小規模言語モデルは登場しますか？ A: これは業界トレンドに沿った素晴らしい質問です。この可能性については調査中ですが、現時点では実行ロードマップには含まれていません。

Q: ServiceNow AI モデルへの AI および顧客情報の取り込みは、ServiceNow の商用版と政府機関版でどのように異なりますか？ A: 政府機関版のお客様は、それらの環境が規制されている性質上、データを提供することはできません。

Q: 顧客データと入力は、ServiceNow AI モデルのトレーニングにどのように活用されますか？ A: 当社のモデルをトレーニングするために、どのような顧客データと入力が活用されるかについての詳細は、KB1648406 をご参照ください。

Q: ServiceNow AI および LLM は、ServiceNow の商用インスタンスと政府機関インスタンスでどのように異なりますか？ A: 違いはありませんが、インフラストラクチャと配布は異なります。

Q: これを試せる場所 (PDI のプラグイン、デモなど) はありますか？当社の環境にどのように適合するかを確認したいです。 A: デモについてはアカウントチームにお問い合わせください。

Q: 競合他社とどのように差別化していますか？どの企業もデータを抽出し、正しく取得できるのではないでしょうか？ A: スタンフォード大学のファウンデーションモデル透明性インデックスにおける当社の位置付けについて、Sean がビデオの26分45秒で回答しています。ビデオのその部分には、当社のインデックススコアと、透明性の主要な側面において競合他社とどのように差別化しているかを示すチャートがあります。

Q: ITサポート SLM のような、よりターゲットを絞った業界特化型小規模言語モデルは登場しますか？ A: これは業界トレンドに沿った素晴らしい質問です。この可能性については調査中ですが、現時点では実行ロードマップには含まれていません (セーフハーバー声明)。

Q: Now LLM の代わりに、お客様は他の LLM モデルを ServiceNow の外部にある何らかのコントローラーを使用して ServiceNow と統合できますか？これが可能であれば、ServiceNow Now Assist サブスクリプション (ITSM PRO +) は不要になりますか？ A: はい、当社には、自社以外の LLM に接続できる生成AIコントローラーがあります。ただし、これにより標準搭載のスキルで使用されるモデルを変更することはできません。それらのスキルは NowLLM に紐付けられています。また、コントローラーの使用には Pro/Pro+ ライセンスが必要です。例をこちらでご覧いただけます: https://www.youtube.com/watch?v=1P1qWidrh9Q&list=PLkGSnjw5y2U407_1UQQaVVrD13-MFi5ia&index=2

Q: 生成AI のユースケースに関するもう一つの質問です。ServiceNow にはドキュメント添付ファイルを含むナレッジベース記事がありますが、生成AI はそれらの添付ファイルの内容から関連情報を見つけるのに役立ちますか？ A: 2024年7月現在、Now Assist の AI 検索では添付ファイルを検索していませんが、ロードマップには含まれています (セーフハーバー声明)。詳細についてはアカウントチームにご確認ください。

Q: データ主権はどのように保証されていますか？ A: リンクされている KB をご参照いただくか、この件についてさらに詳しく知るにはアカウント担当者にご確認ください。

Q: 確認ですが、ServiceNow はお客様がデータの使用を承認しない限り、お客様のデータを使用したことはありませんよね？ A: はい、そのとおりです。お客様は、それについて積極的に契約に署名し、オプトインする必要があります。

Q: LLM はどのくらいの頻度で更新されますか？また、オプトインした顧客は、長期的に LLM の最適な動作を保証するために、定期的にデータを提供することが「期待」されますか？ A: お客様はデータ共有のために継続的にオプトインする必要はありません。これは一回限りのプロセスです。データ共有に関する詳細については、KB1648406 をご参照ください。ServiceNow はモデルの改善に継続的に取り組んでおり、ユースケースごとにモデルを更新しています。最新のモデルに関する情報は、スケジュールされた ServiceNow リリースごとのモデルカードの最新版で確認できます。さらに、モデルが ServiceNow リージョナルデータセンターに導入および更新されると、Now Assist スキルが利用可能なすべての Now Platform バージョンで、すべての依存する Now Assist スキルが利用できるようになります。ServiceNow がスキルを動かすために使用するモデルを変更すると、管理者によって開始される次回のプラットフォームアップグレードの時点から新しいモデルが使用されます。詳細については、KB1648406 をご参照ください。

Q: PDI (Personal Developer Instances) でコード生成を有効にするにはどうすればいいですか？ A: この機能は現在、PDI では利用できません。デモについてはアカウント担当者にお問い合わせください。

Q: 当社の AI 推論は「データ保持ゼロ」と言えますか？ A: はい。インシデント要約などの推論にデータが使用される場合、プロンプトと応答はメモリ内でのみ処理され、推論のためのディスクストレージはありません。データは処理後、共有インフラストラクチャから直ちに削除されます。これにより、お客様のプロンプトと応答が他のお客様に利用されることがなく、データプライバシーと機密性が維持されます。詳細については、KB1584492 をご参照ください。

免責事項: 一部の日本語は、翻訳ソフトウェアを使用してお客様の便宜のために翻訳されています。正確な翻訳をご提供できるよう相当な努力を払っておりますが、いかなる自動翻訳も人間の翻訳者に代わすることはなく、そのようなことは意図されておりません。翻訳は「現状のまま」提供されています。他言語への翻訳の的確性、信頼性または正確性については、明示または黙示を問わず、いかなる保証も行われません。翻訳ソフトには限界があるため、一部のコンテンツが正確に翻訳されていない場合があります。これらの資料の公用言語は英語です。翻訳の際に生じる相違または不一致は、コンプライアンスまたは履行の目的に関しては拘束力を有さず、法的効力はないものとします。

この記事は機械翻訳されております。最新は元となる記事をご覧ください: https://www.servicenow.com/community/now-assist-blog/ai-academy-ask-the-experts-now-llm-service-july...