ストップワード

ストップワードは、インデックス付きレコードの大部分に現れる一般的な用語です。このような用語の例としては、冠詞、接続詞、人称代名詞、前置詞などがあります。これらの用語をストップワードとして定義することで、ユーザーの検索精度と結果の関連性を向上させることができます。

検索プロファイルのデフォルトのストップワード辞書でストップワードを定義することも、検索プロファイルにリンクされた独自のストップワード辞書を作成することもできます。各辞書のストップワードを作成して公開します。辞書を公開して、リンクされた検索プロファイルを使用する検索でストップワードを有効にします。

どの検索プロファイルにもリンクされていないストップワード辞書は削除できます。

検索でのストップワードの使用

検索クエリにストップワードとして定義された用語が含まれている場合、 AI 検索は検索クエリからその用語を削除します。

たとえば、ストップワードによって、upgrade my laptop の検索クエリから my という用語が削除される場合があります。この変更された検索クエリは、より関連性の高い用語 upgrade と laptop を含むレコードにのみ一致します。

ストップワードの有効性の条件

検索クエリの用語からの削除対象となるには、ストップワードは次の条件を満たしている必要があります。

アクティブである必要があります。
これを含むストップワードディクショナリーを公開する必要があります。
その長さがディクショナリ用語の長さの制限を超えていてはなりません。

ストップワードディクショナリーの中で対象となるストップワードは次のように特定されます。


条件	結果
検索クエリに指定された検索プロファイルが、検索クエリの言語の公開ストップワードディクショナリーにリンクされている場合。	リンクされたストップワードディクショナリーからのストップワードのみが考慮されます。例として、検索アプリケーションの検索プロファイルがフランス語のストップワードディクショナリーにリンクしていたとします。ユーザーがこのアプリケーションでフランス語を検索する場合、リンクされたフランス語のストップワードディクショナリーからのストップワードのみが、検索クエリ用語の削除対象となります。
検索クエリに指定された検索プロファイルが、検索クエリの言語の公開ストップワードディクショナリーにリンクされていない場合。	デフォルト (英語) のストップワードディクショナリーからのストップワードのみが考慮されます。例として、検索アプリケーションの検索プロファイルがスペイン語のストップワードディクショナリーにリンクしていなかったとします。ユーザーがこのアプリケーションでスペイン語を検索する場合、デフォルト (英語) のストップワードディクショナリーからのストップワードのみが、検索クエリ用語の削除対象となります。

ストップワードディクショナリーでの言語のサポートの詳細については、「言語依存」を参照してください。

ディクショナリー用語の長さの制限

デフォルトでは、AI 検索は長さが 256 文字を超えるストップワード用語を無視します。query.maxDictionaryTermLength システムプロパティを追加することで、このデフォルトの制限を上書きできます。このシステムプロパティの整数値は、ストップワードおよび同義語ディクショナリーの用語の最大許容文字数を示します。

システムプロパティの追加については、「システムプロパティを追加する」を参照してください。

警告:

ディクショナリー用語の長さの制限をデフォルト値より大きくする場合は注意が必要です。長いディクショナリー用語を処理すると AI 検索のメモリ使用率が増加し、場合によってはメモリ不足エラーで検索クエリが失敗することがあります。

複数単語フレーズ

ストップワードには、単一の単語または複数単語のフレーズを含めることができます。AI 検索は、検索クエリ用語がストップワード定義内のフレーズ化された単語の順序と近接性と完全に一致する場合に、検索クエリから複数単語のフレーズを削除します。ユーザーがこれらの単語を別の配置で検索した場合、用語削除は行われません。

たとえば、次の表は、複数単語のフレーズ retirement account を含むストップワードの AI 検索のストップワード削除動作を説明するものです。


検索クエリ用語	ストップワード削除動作
my retirement account	AI 検索により、用語 `retirement account` が検索クエリから削除されます。
my bank retirement account	AI 検索により、用語 `retirement account` が検索クエリから削除されます。
my account retirement	AI 検索は検索クエリからどの用語も削除しません。
my retirement bank account	AI 検索は検索クエリからどの用語も削除しません。

大文字と小文字の区別

デフォルトでは、ストップワードを検索クエリ用語と比較するときに、AI 検索は大文字と小文字を区別しません。ストップワード辞書の大文字と小文字の区別を有効にすることができます。このオプションは、辞書で定義されているすべてのストップワードに影響します。

大文字と小文字の区別が有効になっている場合、辞書内のストップワードは、大文字と小文字が同じ組み合わせになっている検索クエリ用語またはフレーズにのみ一致します。

たとえば、大文字と小文字の区別が有効になっている辞書で RAID というストップワードを定義すると、AI 検索は検索クエリ用語 RAID を無視しますが、検索クエリ用語 raid は通常通り処理します。

句読点の区別

デフォルトでは、ストップワードを検索クエリ用語と比較するときに、AI 検索は句読点を無視します。ストップワード辞書の句読点の区別を有効にすることができます。このオプションは、辞書で定義されているすべてのストップワードに影響します。

句読点の区別が有効になっている場合、辞書内のストップワードは、同じ句読点を含む検索クエリ用語またはフレーズにのみ一致します。

たとえば、句読点の区別が有効になっている辞書で one-half というストップワードを定義すると、AI 検索で検索クエリ用語 one-half は削除されますが、検索クエリ用語 one half は削除されません。

言語依存

ストップワードの削除は言語に依存します。ストップワード辞書ごとに言語を指定します。この言語は、辞書で定義されているすべてのストップワードに適用されます。検索クエリと同じ言語の辞書のストップワードのみが削除の対象となります。

注:

検索クエリに指定された検索プロファイルが、検索クエリ言語のストップワードディクショナリーにリンクされていない場合、AI 検索はデフォルト (英語) のストップワードディクショナリーを代替として使用します。

AI 検索は、インスタンスでアクティブ化されているすべての言語のストップワード辞書をサポートしています。アクティブ化できる言語のリストについては、「言語を有効にする」を参照してください。

特定の検索プロファイルにリンクできるストップワードディクショナリーは、言語ごとに 1 つだけです。

他の検索機能とのインタラクション

次の表は、ストップワードと他の検索機能とのインタラクションを示しています。


機能	ストップワードとのインタラクション
Genius 結果	Genius 結果構成の用語トリガーに一致する検索クエリ用語がストップワードとして定義されている場合、AI 検索は検索クエリからストップワードを削除する前にトリガーを評価します。検索クエリの Q＆A Genius 結果を計算するとき、AI 検索はクエリ内のストップワードを無視します。
見出し語と Unicode 正規化	検索クエリ用語がストップワードとして定義されている場合、AI 検索は用語を正規化せずに削除します。
結果改善ルール	検索改善ルールのクエリトリガーに一致する検索クエリ用語がストップワードとして定義されている場合、AI 検索は検索クエリからストップワードを削除する前にルールトリガーを評価します。
同義語	同義語定義にストップワードとして定義された用語が含まれている場合、同義語が検索クエリを拡張するかどうかを確認するときに AI 検索はその用語を保持します。たとえば、`as` と `a` をストップワードとして、`SAAS`↔`︎software as a service` を同義語として定義するとします。 `saas` を検索すると、AI 検索は同義語拡張の `as` と `a` の用語を保持します。その結果、検索クエリは次のレコードと一致します。元の検索クエリ用語 `SaaS` を含むレコード同義語拡張フレーズ「`サービスとしてのソフトウェア`」を含むレコード `サービスとしてのソフトウェア`を検索する場合、AI 検索は同義語拡張をチェックするときに `as` と `a` のクエリ用語を保持します。その結果、検索クエリは次のレコードと一致します。フレーズ `software as a service` を含むレコード同義語拡張用語 `SaaS` を含むレコード
タイポ処理	スペルミスのある検索クエリ用語がストップワードとして定義されている場合、AI 検索はその用語を削除するのではなく通常どおり自動修正します。 AI 検索は、スペルミスのある検索クエリ用語の自動修正を判断する際に、ストップワードとして定義された用語を無視します。たとえば、`email` をストップワードとして定義した場合、AI 検索では `emial` を検索した際に `emial` を自動修正として表示しません。
ワイルドカード演算子	`%` または `` のワイルドカード演算子を含む検索用語を展開すると、AI 検索はストップワードとして定義された用語を無視します。たとえば、`the` と `their` をストップワードとして定義するとします。 `the` の検索は `the` や `their` に一致するようには拡張されませんが、`there` や `these` などのノンストップワード用語には一致します。

ストップワード辞書の公開

ストップワード辞書を公開すると、その設定とアクティブなストップワードがすべてのリンクされた検索プロファイルで有効になります。

検索プロファイルを公開すると、プロファイルのストップワード辞書リンクは更新されますが、AI 検索内の辞書の設定やアクティブなストップワードは更新されません。