Prise en charge de l’internationalisation pour Recherche IA

  • Rversion finale: Yokohama
  • Mis à jour 4 févr. 2025
  • 7 minutes de lecture
  • Recherche IA prend en charge l’indexation et la recherche dans toutes les langues offertes par le Now Platform®. Les fonctionnalités linguistiques de recherche sont prises en charge dans Français, Chinois simplifié, Chinois traditionnel, Espagnol, Français, Canada, Italien, Japonais, Coréen, Espagnol, Japonais, Portugais, Suédois et Néerlandais.

    La prise en charge de l’internationalisation est automatiquement activée et n’est pas configurable.

    Pour afficher la liste complète des langues proposées en tant que Now Platform modules d’extension et prises en charge dans , reportez-vous à Recherche IAla section Activer une langue.
    Remarque :
    Après avoir activé un nouveau module d’extension de langue, vous devez réindexer tout le contenu source indexé que vous souhaitez rendre consultable dans la nouvelle langue. Pour plus d’informations sur la réindexation, reportez-vous à la section Effectuer un index de table complet ou réindexer pour une source indexée unique.
    Les paramètres de langue déterminent comment Recherche IA sépare le texte du contenu indexé et les requêtes de recherche en termes individuels. Ce processus, appelé tokenisation, est géré différemment pour chaque langue prise en charge, en utilisant des paramètres spécifiques à la langue. Par exemple, la plupart des langues utilisent des espaces et des signes de ponctuation pour séparer les mots et les phrases, mais lorsqu’elles symbolisent du texte chinois ou japonais, Recherche IA elles utilisent plutôt l’interprétation contextuelle pour identifier correctement les sauts de mots et de phrases. Lors de la création de jetons de texte japonais, Recherche IA reconnaît en outre le nakaguro (point du milieu) comme séparateur de mots.
    Remarque :
    Si vous avez indexé du contenu avant Portugais brésilien, néerlandais, italien, japonais, coréen, portugais ou suédois août 2024, vous devez le réindexer pour bénéficier des nouvelles améliorations de la tokenisation pour ces langues.

    Comportement d’indexation dans les langues prises en charge

    Lors de l’indexation du contenu et des métadonnées à partir d’un Now Platform enregistrement source ou d’un document externe, Recherche IA utilise les paramètres de création de jetons pour la langue de l’enregistrement ou du document, comme indiqué dans le tableau suivant.

    Enregistrement ou document Paramètres de création de jetons
    Enregistrement source de la table de tâches [task] ou de l’une de ses tables enfants Recherche IA Effectue l’identification de la langue et utilise les paramètres de création de jetons pour la langue détectée afin d’indexer le contenu et les métadonnées de l’enregistrement.
    Remarque :
    L’identification de la langue identifie Français, Chinois simplifié, Chinois traditionnel, Espagnol, Français, Canada, Italien, Japonais, Coréen, Espagnol, Japonais, Portugais, Suédois et Néerlandaisuniquement . Le contenu dans d’autres langues est identifié et traité comme de l’anglais.
    Enregistrement source à partir d’une table autre que Tâche

    Recherche IA utilise les paramètres de création de jetons pour la langue de l’enregistrement afin d’indexer son contenu et ses métadonnées.

    Si aucune langue n’est spécifiée pour l’enregistrement, il Now Platform est traité comme étant dans la langue par défaut de l’instance. Dans une instance anglaise, par exemple, Recherche IA indexe les enregistrements sans langues spécifiées à l’aide des paramètres de création de jetons pour l’anglais.

    Document externe Recherche IA Effectue l’identification de la langue et utilise les paramètres de création de jetons pour la langue détectée afin d’indexer le contenu et les métadonnées du document.
    Remarque :
    L’identification de la langue identifie Français, Chinois simplifié, Chinois traditionnel, Espagnol, Français, Canada, Italien, Japonais, Coréen, Espagnol, Japonais, Portugais, Suédois et Néerlandaisuniquement . Le contenu dans d’autres langues est identifié et traité comme de l’anglais.
    Remarque :
    Lors de l’indexation du contenu et des métadonnées, Recherche IA reconnaît les régions de Japonais, chinois simplifié et chinois traditionnel texte incorporées dans le texte dans d’autres langues. Ces régions de texte sont indexées avec les paramètres de tokenisation de langue appropriés, quelle que soit la langue du texte environnant. Par exemple, supposons que vous indexiez un article de la base de connaissances en anglais qui comprend un paragraphe de chinois simplifié. Recherche IA indexe le contenu de ce paragraphe en chinois simplifié et le reste du contenu de l’enregistrement en anglais.

    Comportement de la requête de recherche dans les langues prises en charge

    Lors du traitement du texte de la requête de recherche, Recherche IA utilise les paramètres de création de jetons pour la langue de la session de l’utilisateur Now Platform actuel.
    Remarque :
    Recherche IA Reconnaît les Japonais, chinois simplifié et chinois traditionnel termes dans les requêtes de recherche. Ces termes sont traités avec les paramètres de création de jetons de langue appropriés, quelle que soit la langue de la session utilisateur. Par exemple, si un utilisateur dans une session utilisateur française recherche remplacement ordinateur 笔记本电脑, Recherche IA applique les paramètres chinois simplifié pour le terme 笔记本电脑 et les paramètres français pour les autres termes de recherche.

    Recherche IA compare les termes de votre requête de recherche avec les termes du contenu indexé et des métadonnées, en renvoyant des résultats de recherche pour les enregistrements indexés ou les documents contenant des correspondances. Lorsque vos termes de recherche sont dans la même langue que les termes indexés, Recherche IA traite les deux ensembles de termes avec les mêmes paramètres de création de jetons, ce qui produit des correspondances et des résultats de recherche prévisibles. Si vos termes de recherche ne sont pas dans la même langue que les termes indexés, Recherche IA traite les deux ensembles de termes avec des paramètres de tokenisation différents et la correspondance peut être imprévisible.

    Dépendance linguistique pour les fonctionnalités de recherche

    Les fonctionnalités de recherche suivantes dépendent de la langue et ne sont prises en charge que pour les langues répertoriées.

    Tableau 1. Dépendance linguistique de la fonctionnalité de recherche
    Fonctionnalité Dépendance linguistique et langues prises en charge
    Résultats Genius

    Recherche IA évalue uniquement les configurations de résultats Genius avec NLU des déclencheurs si le modèle lié NLU a la même langue que la requête de recherche.

    Langues prises en charge : anglais.

    Identification de la langue et création de jetons

    Au cours de l’indexation, Recherche IA identifie les langues prises en charge dans les enregistrements de table de tâches et les documents externes. Le traitement de texte pour le contenu indexé utilise les paramètres de création de jetons pour la langue identifiée.

    Langues prises en charge : Français, Chinois simplifié, Chinois traditionnel, Espagnol, Français, Canada, Italien, Japonais, Coréen, Espagnol, Japonais, Portugais, Suédois et Néerlandais.

    Normalisation lemme et Unicode

    Recherche IA Effectue la normalisation de lemme spécifique à la langue pour les termes dans le contenu indexé et les requêtes de recherche.

    Langues prises en charge : Français, Chinois simplifié, Chinois traditionnel, Espagnol, Français, Canada, Italien, Japonais, Coréen, Espagnol, Japonais, Portugais, Suédois et Néerlandais.
    Remarque :
    Pour , allemand, coréen et suédois, Recherche IA effectue la décomposition des termes en plus de la normalisation des lemmes.

    Recherche IA Effectue la normalisation Unicode pour tous les termes dans le contenu indexé et les requêtes de recherche.

    Pour plus d’informations sur la normalisation des lemmes et des formes Unicode dans le contenu indexé et les requêtes de recherche, reportez-vous à la section Normalisation lemme et Unicode.

    Règles d'amélioration des résultats

    Recherche IA évalue uniquement l’activation pour les règles d’amélioration des résultats qui ont la même langue que la requête de recherche ou pour lesquelles toutes les langues sont spécifiées.

    Langues prises en charge : toutes les langues activées dans votre instance. Pour obtenir la liste des langues que vous pouvez activer, reportez-vous à la section Activer une langue.

    Mots vides

    Recherche IA ne prend en compte que les mots vides des dictionnaires dont la langue est identique à celle de la requête de recherche.

    Langues prises en charge : toutes les langues activées dans votre instance. Pour obtenir la liste des langues que vous pouvez activer, reportez-vous à la section Activer une langue.

    Synonymes

    Recherche IA ne prend en compte que les synonymes contenus dans les dictionnaires dont la langue est identique à celle de la requête de recherche.

    Langues prises en charge : toutes les langues activées dans votre instance. Pour obtenir la liste des langues que vous pouvez activer, reportez-vous à la section Activer une langue.

    Traitement des erreurs de frappe

    Recherche IA dérive une liste distincte de termes de correction automatique pour chaque langue prise en charge trouvée dans le contenu indexé de la source de recherche. La correction automatique remplace uniquement les termes de requête de recherche par des termes de la liste dont la langue est identique à celle de la requête de recherche.

    Langues prises en charge : Portugais (Brésil), Néerlandais, Anglais, Français - Canada, Français, Allemand, Italien, Portugais, Espagnol et Suédois. La gestion des erreurs de frappe n’est pas prise en charge pour Japonais, coréen, chinois simplifié ou chinois traditionnel.