Normalisation lemme et Unicode

Recherche IA normalise les mots fléchis et les glyphes Unicode pendant l’indexation et au moment de la requête de recherche. La normalisation améliore le rappel des recherches et permet aux utilisateurs de trouver du contenu avec des variantes de leurs termes de requête de recherche.

Les fonctionnalités de normalisation sont automatiquement activées et ne sont pas configurables.

Normalisation du lemme

De nombreuses langues incluent des formes fléchies de termes, telles que des noms pluriels ou des temps verbaux. Recherche IA Normalise les termes fléchis trouvés dans le contenu indexé et les requêtes de recherche. La normalisation permet une correspondance basée sur une forme racine, telle que le singulier pour un nom pluriel ou la forme de base pour un verbe conjugué. Cette forme de racine est appelée lemme, et ce processus est appelé normalisation du lemme.

Par exemple, lorsqu’un enregistrement source inclut le verbe conjugué vendre, Recherche IA développe le terme indexé pour inclure la forme lemme vendre en plus de vendre. Lorsqu’un utilisateur recherche la forme conjuguée au passé vendu, Recherche IA il développe le terme de requête de recherche pour inclure la forme lemme vendre et vendu. Étant donné que le terme indexé et le terme de requête de recherche incluent des formulaires correspondants, la recherche de l’utilisateur renvoie l’enregistrement de vente en conséquence.

Recherche IA prend en charge la normalisation des lemmes spécifiques au langage pour Français, Chinois simplifié, Chinois traditionnel, Espagnol, Français, Canada, Italien, Japonais, Coréen, Espagnol, Japonais, Portugais, Suédois et Néerlandais.

Décomposition

En plus de normaliser les lemmes pour , allemand, coréen et suédois, Recherche IA indexe les mots composés et les mots qui les composent. Par exemple, lors de l’indexation d’un enregistrement allemand contenant le mot composé Humanressourcen, Recherche IA indexe les termes composant Human et ressourcen en plus du terme composé.

Normalisation Unicode

Recherche IA Effectue la normalisation Unicode sur les termes indexés et les termes de requête de recherche. Cette normalisation permet de rechercher des glyphes Unicode alphabétiques à l’aide de leurs caractères équivalents les plus proches.

Par exemple, lors de l’indexation d’un enregistrement contenant le terme cv,Recherche IA le terme est développé pour inclure également la forme non accentuée cv. Cet enregistrement apparaît en tant que résultat de recherche lorsque les utilisateurs recherchent soit un curriculum vitae , soit un curriculum vitae.

La normalisation Unicode comprend les étapes NFKD (décomposition de compatibilité) et NFKC (composition de compatibilité). Pour plus d’informations sur ces formes de normalisation, reportez-vous à l’annexe #15 de la norme Unicode, https://www.unicode.org/reports/tr15/.

Interaction avec d’autres fonctionnalités de recherche

Le tableau suivant décrit les interactions entre la normalisation et d’autres fonctions de recherche.

Fonctionnalité	Interaction avec le lemme et normalisation Unicode
Résultats Genius	Les termes de requête de recherche ajoutés par lemme ou la normalisation Unicode ne peuvent pas déclencher les configurations de résultats Genius avec des conditions de déclenchement par terme.
Règles d'amélioration des résultats	Un terme de requête de recherche ajouté par lemma ou la normalisation Unicode peut déclencher une règle d’amélioration de résultat s’il correspond au déclencheur de requête de la règle.
Mots vides	Si un terme de requête de recherche est défini comme un mot vide, Recherche IA supprime ce terme sans le normaliser.
Synonymes	Si un terme de requête de recherche est défini comme synonyme, Recherche IA cela ne le normalise pas.
Traitement des erreurs de frappe	Recherche IA Effectue la normalisation lemme et Unicode sur les termes de requête de recherche corrigés automatiquement.