Lema e normalização Unicode

Pesquisa com IA Normaliza palavras flexionadas e glifos Unicode durante a indexação e no momento da consulta de pesquisa. A normalização melhora o recall da pesquisa e permite que os usuários encontrem conteúdo com formas variantes de seus termos de consulta de pesquisa.

Os recursos de normalização são habilitados automaticamente e não são configuráveis.

Normalização de lema

Muitos idiomas incluem formas flexionadas de termos, como substantivos plurais ou tempos verbais. Pesquisa com IAnormaliza os termos flexionados encontrados no conteúdo indexado e nas consultas de pesquisa. A normalização permite a correspondência com base em uma forma raiz, como o singular para um substantivo plural ou a forma base para um verbo conjugado. Este formulário raiz é chamado A. lema e este processo é chamado de normalização de lema .

Por exemplo, quando um registro de origem inclui o verbo conjugado venda , Pesquisa com IAexpande o termo indexado para incluir o formulário de lema venda além de venda . Quando um usuário pesquisa o formulário conjugado no tempo passado vendido , Pesquisa com IAexpande o termo de consulta de pesquisa para incluir o formulário de lema venda e também vendido . Como o termo indexado e o termo de consulta de pesquisa incluem formulários correspondentes, a pesquisa do usuário retorna o. venda registrar como resultado.

Pesquisa com IAcompatível com normalização de lemm específica do idioma para português brasileiro, holandês, inglês, francês, francês canadense, alemão, italiano, japonês, coreano, português, chinês simplificado, espanhol, sueco e chinês tradicional.

Descompactar

Além de normalizar lemmas para Alemão, coreano e sueco, Pesquisa com IAindexa palavras compostas e suas palavras componentes individuais. Por exemplo, ao indexar um registro alemão que contém a palavra composta Humanresssourcen , Pesquisa com IAindexa os termos do componente Humano e. ressourcen além do termo composto.

Normalização Unicode

Pesquisa com IA Executa a normalização Unicode em termos indexados e termos de consulta de pesquisa. Essa normalização torna glifos Unicode alfabéticos pesquisáveis usando os caracteres equivalentes mais próximos.

Por exemplo, ao indexar um registro que contém o termo currículo , Pesquisa com IAexpande o termo para incluir também a forma não acentuada retomar . Este registro aparece como um resultado de pesquisa quando os usuários pesquisam um retomar ou currículo .

A normalização Unicode inclui fases NFKD (decomposição de compatibilidade) e NFKC (composição de compatibilidade). Para obter mais informações sobre esses formulários de normalização, consulte o Anexo padrão Unicode nº 15, https://www.unicode.org/reports/tr15/.

Interação com outros recursos de pesquisa

A tabela a seguir descreve as interações entre a normalização e outros recursos de pesquisa.

Recurso	Interação com lemma e normalização Unicode
Resultados do Genius	Os termos de consulta de pesquisa adicionados por lema ou normalização Unicode não podem acionar configurações de resultado do Genius com condições de gatilho de termo.
Regras de melhoria de resultados	Um termo de consulta de pesquisa adicionado por lema ou normalização Unicode pode acionar uma regra de melhoria de resultado se corresponder ao gatilho de consulta da regra.
Palavras irrelevantes	Se um termo de consulta de pesquisa for definido como uma palavra irrelevante, Pesquisa com IA removerá esse termo sem normalizá-lo.
Sinônimos	Se um termo de consulta de pesquisa for definido como sinônimo, Pesquisa com IA não o normalizará.
Tratamento de erros de digitação	Pesquisa com IA executa a normalização de lema e Unicode em termos de consulta de pesquisa corrigidos automaticamente.