Internationalisierungsunterstützung für KI-Suche

  • Freigeben Version: Xanadu
  • Aktualisiert 1. August 2024
  • 5 Minuten Lesedauer
  • KI-Suche unterstützt die Indizierung und Suche in allen von Now Platformangebotenen Sprachen. Sprachfunktionen für die Suche werden in (Brasilien), Niederländisch, Englisch, Französisch, Französisch - Kanada, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Vereinfachtes Chinesisch, Spanisch, Schwedisch, und traditionelles Chinesischunterstützt.

    Die Unterstützung der Internationalisierung wird automatisch aktiviert und ist nicht konfigurierbar.

    Die vollständige Liste der Sprachen, die als Now Platform -Plugins angeboten und in KI-Sucheunterstützt werden, finden Sie unter Aktivieren Sie eine Sprache.
    Hinweis:
    Nachdem Sie ein neues Sprach-Plugin aktiviert haben, müssen Sie alle indizierten Quellinhalte, die in der neuen Sprache durchsuchbar gemacht werden sollen, neu indizieren. Weitere Informationen zur erneuten Indizierung finden Sie unter Führen Sie einen vollständigen Tabellenindex oder eine erneute Indizierung für eine einzelne indizierte Quelle durch.
    Die Spracheinstellungen legen fest, wie KI-Suche den Text von indizierten Inhalten und Suchabfragen in einzelne Begriffe unterteilt. Dieser als Tokenisierungbezeichnete Prozess wird für jede unterstützte Sprache mithilfe der sprachspezifischen Einstellungen unterschiedlich gehandhabt. Beispielsweise verwenden die meisten Sprachen Leerzeichen und Interpunktion, um Wörter und Sätze zu trennen, aber beim Tokenisieren von Chinesisch- oder Japanisch-Text verwendet KI-Suche stattdessen eine kontextbezogene Interpretation, um Wort- und Satzumbrüche korrekt zu identifizieren. Beim Tokenisieren von Japanisch-Text erkennt KI-Suche zusätzlich den Nakaguro (mittlerer Punkt) als Worttrennzeichen.
    Hinweis:
    Wenn Sie Inhalte vor August 2024 in Portugiesisch (Brasilien), Niederländisch, Italienisch, Japanisch, Koreanisch, Portugiesisch oder Schwedisch indiziert haben, sollten Sie sie erneut indizieren, um von den neuen Verbesserungen der Tokenisierung für diese Sprachen zu profitieren.

    Indexierungsverhalten in unterstützten Sprachen

    Bei der Indizierung von Inhalten und Metadaten aus einem Quelldatensatz Now Platform oder einem externen Dokument verwendet KI-Suche Tokenisierungseinstellungen für die Sprache des Datensatzes oder Dokuments, wie in der folgenden Tabelle gezeigt.

    Datensatz oder Dokument Tokenisierungseinstellungen
    Quelldatensatz aus der Aufgabentabelle [task] oder einer ihrer untergeordneten Tabellen KI-Suche führt eine Sprachidentifizierung durch und verwendet Tokenisierungseinstellungen für die erkannte Sprache, um den Inhalt und die Metadaten des Datensatzes zu indizieren.
    Hinweis:
    Die Sprachkennung identifiziert nur (Brasilien), Niederländisch, Englisch, Französisch, Französisch - Kanada, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Vereinfachtes Chinesisch, Spanisch, Schwedisch, und traditionelles Chinesisch. Inhalte in anderen Sprachen werden als Englisch identifiziert und behandelt.
    Quelldatensatz aus einer Nicht-Aufgabentabelle

    KI-Suche verwendet Tokenisierungseinstellungen für die Sprache des Datensatzes, um dessen Inhalt und Metadaten zu indizieren.

    Wenn für den Datensatz keine Sprache angegeben ist, wird er von Now Platform als in der Standardsprache der Instanz behandelt. In einer englischsprachigen Instanz indiziert KI-Suche beispielsweise Datensätze ohne angegebene Sprache mithilfe der Tokenisierungseinstellungen für Englisch.

    Externes Dokument KI-Suche führt die Sprachidentifizierung durch und verwendet Tokenisierungseinstellungen für die erkannte Sprache, um den Inhalt und die Metadaten des Dokuments zu indizieren.
    Hinweis:
    Die Sprachkennung identifiziert nur (Brasilien), Niederländisch, Englisch, Französisch, Französisch - Kanada, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Vereinfachtes Chinesisch, Spanisch, Schwedisch, und traditionelles Chinesisch. Inhalte in anderen Sprachen werden als Englisch identifiziert und behandelt.
    Hinweis:
    Bei der Indizierung von Inhalten und Metadaten erkennt KI-Suche Bereiche des Japanisch, vereinfachtes Chinesisch und traditionelles Chinesisch -Textes, der in Text in anderen Sprachen eingebettet ist. Diese Textbereiche werden unabhängig von der Sprache des umgebenden Texts mit den entsprechenden Einstellungen für die Sprachtokenisierung indiziert. Angenommen, Sie indizieren einen englischsprachigen Wissensartikel, der einen Absatz mit vereinfachtem Chinesisch enthält. KI-Suche indiziert den Inhalt dieses Absatzes als vereinfachtes Chinesisch und den restlichen Inhalt des Datensatzes als Englisch.

    Suchabfrageverhalten in unterstützten Sprachen

    Bei der Verarbeitung von Suchabfragetext verwendet KI-Suche Tokenisierungseinstellungen für die Sprache der Sitzung Now Platform des aktuellen Anwenders.
    Hinweis:
    KI-Suche erkennt Japanisch, vereinfachtes Chinesisch und traditionelles Chinesisch -Begriffe in Suchabfragen. Diese Begriffe werden unabhängig von der Sprache der Benutzersitzung mit den entsprechenden Einstellungen für das Sprachtoken verarbeitet. Wenn beispielsweise ein Anwender in einer Französisch-Anwendersitzung nach dem Ersatz ordinateur 笔nowledge 本 电 Fall( #) sucht, wendet KI-Suche die Einstellungen für vereinfachtes Chinesisch für den Begriff  und die Einstellungen für „Französisch“ für die anderen Suchbegriffe an.

    KI-Suche vergleicht Ihre Suchbegriffe mit Begriffen aus indizierten Inhalten und Metadaten und gibt Suchergebnisse für indizierte Datensätze oder Dokumente zurück, die Übereinstimmungen enthalten. Wenn sich Ihre Suchbegriffe in derselben Sprache wie die indizierten Begriffe befinden, verarbeitet KI-Suche beide Begriffssätze mit denselben Tokenisierungseinstellungen und erzeugt vorhersehbare Übereinstimmungen und Suchergebnisse. Wenn sich Ihre Suchbegriffe nicht in derselben Sprache wie die indizierten Begriffe befinden, verarbeitet KI-Suche die beiden Begriffssätze mit unterschiedlichen Tokenisierungseinstellungen, und die Übereinstimmung ist möglicherweise unvorhersehbar.

    Sprachabhängigkeit für Suchfunktionen

    Die folgenden Suchfunktionen sind sprachabhängig und werden nur für die aufgeführten Sprachen unterstützt.

    Tabelle : 1. Abhängigkeit der Suchfunktionssprache
    Funktion Sprachabhängigkeit und unterstützte Sprachen
    Genius-Ergebnisse

    KI-Suche wertet Genius-Ergebniskonfigurationen mit NLU -Auslösern nur aus, wenn das verknüpfte Modell NLU dieselbe Sprache hat wie die Suchabfrage.

    Unterstützte Sprachen: Englisch.

    Sprachidentifizierung und Tokenisierung

    Während der Indexierung identifiziert KI-Suche unterstützte Sprachen in Aufgabentabellen-Datensätzen und externen Dokumenten. Die Textverarbeitung für den indizierten Inhalt verwendet Tokenisierungseinstellungen für die identifizierte Sprache.

    Unterstützte Sprachen: (Brasilien), Niederländisch, Englisch, Französisch, Französisch - Kanada, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Vereinfachtes Chinesisch, Spanisch, Schwedisch, und traditionelles Chinesisch.

    Lemma- und Unicode-Normalisierung

    KI-Suche führt eine sprachspezifische Lemma-Normalisierung für Begriffe in indizierten Inhalten und Suchabfragen durch.

    Unterstützte Sprachen: (Brasilien), Niederländisch, Englisch, Französisch, Französisch - Kanada, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Vereinfachtes Chinesisch, Spanisch, Schwedisch, und traditionelles Chinesisch.
    Hinweis:
    Für , Koreanisch und Schwedischführt KI-Suche zusätzlich zur Lemma-Normalisierung eine Begriffsdekomposition durch.

    KI-Suche führt die Unicode-Normalisierung für alle Begriffe in indizierten Inhalten und Suchabfragen durch.

    Weitere Informationen zur Normalisierung von Lemmas und Unicode-Formularen in indizierten Inhalts- und Suchabfragen finden Sie unter Lemma- und Unicode-Normalisierung.

    Regeln zur Ergebnisverbesserung

    KI-Suche wertet nur die Aktivierung für Ergebnisverbesserungsregeln aus, die dieselbe Sprache wie die Suchabfrage haben oder für die Alle Sprachen angegeben sind.

    Unterstützte Sprachen: Alle in Ihrer Instanz aktivierten Sprachen. Die Liste der Sprachen, die Sie aktivieren können, finden Sie unter Aktivieren Sie eine Sprache.

    Stoppwörter

    KI-Suche berücksichtigt nur Stoppwörter aus Wörterbüchern, die dieselbe Sprache wie die Suchabfrage haben.

    Unterstützte Sprachen: Alle in Ihrer Instanz aktivierten Sprachen. Die Liste der Sprachen, die Sie aktivieren können, finden Sie unter Aktivieren Sie eine Sprache.

    Synonyme

    KI-Suche berücksichtigt nur Synonyme aus Wörterbüchern, die dieselbe Sprache wie die Suchabfrage haben.

    Unterstützte Sprachen: Alle in Ihrer Instanz aktivierten Sprachen. Die Liste der Sprachen, die Sie aktivieren können, finden Sie unter Aktivieren Sie eine Sprache.

    Tippfehlerbehandlung

    KI-Suche leitet eine separate Liste von Begriffen zur automatischen Korrektur für jede unterstützte Sprache ab, die im indizierten Inhalt der Suchquelle gefunden wird. Die automatische Korrektur ersetzt nur Suchbegriffe durch Begriffe aus der Liste, die dieselbe Sprache wie die Suchabfrage hat.

    Unterstützte Sprachen: Brasilien), Niederländisch, Englisch, Französisch – Kanada, Französisch, Deutsch, Italienisch, Portugiesisch, Spanisch und Schwedisch. Die Tippfehlerbehandlung wird für Japanisch, Koreanisch, vereinfachtes Chinesisch oder traditionelles Chinesischnicht unterstützt.