大規模言語モデル (LLM) について
大規模言語モデルは生成型であり、検索ベースではありません。確率を使用して動的に応答を作成するため、毎回同じ出力を期待することはできません。この変動性は、柔軟性、創造性、適応性を可能にするため、バグではなく機能です。
LLM の仕組み
ChatGPT や Copilot などの大規模言語モデル (LLM) は、人間のような言語を理解して生成するために大量のテキストでトレーニングされた高度な AI システムです。彼らは言語の統計モデルを構築するため、百科事典のように固定された答えを格納しません。質問をすると、モデルは一度に 1 つの単語 (またはトークン) の回答を生成し、トレーニング中に学習した確率に基づいて次に最も可能性の高い単語を選択します。この予測プロセスにより、ロボットは強力になりますが、非 決定論的である理由でもあります。これは、システムが同じプロンプト (入力) に対して常にまったく同じ結果 (出力) を生成するとは限らないことを意味します。
結果が異なる理由
同じ質問やプロンプトを 2 回入力した場合でも、応答が異なる場合があります。その理由は次のとおりです。
- 確率的サンプリング
- モデルが常に最も可能性の高い単一の単語を選択するとは限りません。これは、いくつかの考えられるオプションからサンプリングします。これにより、バリエーションが発生します。
- 温度設定
- 温度はランダム性を制御し、この内部パラメーターは LLM モデルによって異なります。温度が高いほどより創造的な反応が得られますが、温度が低いほど繰り返しになる傾向があります。
- 複数の有効な回答
- 多くの質問には、何かを説明する正しい方法が複数あります。モデルが毎回異なる言い回しや強調を選択する場合があります。
- コンテキスト依存度
- 句読点や以前の会話に少しでも変更があると、出力が変化する可能性があります。
- システムレベルの要素
- ハードウェアの並行処理性、浮動小数点演算、バックエンドの更新により、他のすべてが修正されている場合でも、わずかなばらつきが生じる可能性があります。
たとえば、サイコロを振って単語を選ぶようなものだと考えてください。質問するとき、モデルは固定されたスクリプトに従いません。代わりに、次に考えられる多くの単語を調べ、重みのあるサイコロを振るような確率に基づいて単語を選択します。サイコロは最も可能性の高い単語に重み付けされますが、まだ変動の可能性があります。もう一度ロールすると (同じ質問をする)、ルールは変更されていなくても、わずかに異なるシーケンスが得られる可能性があります。このランダム性は意図的なものです。これにより、モデルが硬直的で反復的ではなく、柔軟で創造的なものになります。
サポートされている LLM モデルの詳細については、「 」を参照してください。
検索のバリエーション
Now Platform® にはさまざまな検索ツールが用意されており、同じまたは類似の検索に対して異なる回答が返される場合があります。この結果の格差は予想されることです。詳細は、以下のトピックを参照してください。