Normalização de Lema e Unicode

Pesquisa com IA normaliza palavras flexionadas e glifos Unicode durante a indexação e no momento da consulta de pesquisa. A normalização melhora o recall de pesquisa e permite que os usuários encontrem conteúdo com formas variantes de seus termos de consulta de pesquisa.

Os recursos de normalização são habilitados automaticamente e não são configuráveis.

Normalização de lema

Muitos idiomas incluem formas flexionadas de termos, como nomes plurais ou tempos verbais. Pesquisa com IA normaliza termos flexionados encontrados em conteúdo indexado e consultas de pesquisa. A normalização permite a correspondência com base em uma forma raiz, como o singular para um nome plural ou a forma base para um verbo cumulado. Essa forma raiz é chamada de lemae esse processo é conhecido como normalização de lema.

Por exemplo, quando um registro de origem inclui o verbo cumulado de venda, Pesquisa com IA expande o termo indexado para incluir a forma de lema vender além de vender. Quando um usuário pesquisa o formulário encapsulado no passado vendido, Pesquisa com IA expande o termo de consulta de pesquisa para incluir a forma de lema de venda e vendido. Como o termo indexado e o termo de consulta de pesquisa incluem formulários correspondentes, a pesquisa do usuário retorna o registro de venda como resultado.

Pesquisa com IA é compatível com a normalização de lema específica do idioma para português brasileiro, holandês, inglês, francês, francês canadense, alemão, italiano, japonês, coreano, português, chinês simplificado, espanhol, sueco e chinês tradicional.

Decomposição

Além de normalizar lemas para Alemão, coreano e sueco, Pesquisa com IA indexa palavras compostas e suas palavras componentes individuais. Por exemplo, ao indexar um registro em alemão que contém a palavra composta Humanressourcen, Pesquisa com IA indexa os termos do componente Human e ressourcen, além do termo composto.

Normalização Unicode

Pesquisa com IA executa a normalização Unicode em termos indexados e termos de consulta de pesquisa. Essa normalização torna os glifos Unicode alfabéticos pesquisáveis usando os caracteres equivalentes mais próximos.

Por exemplo, ao indexar um registro que contém o termo resumé, Pesquisa com IA expande o termo para incluir também a forma não-acentuada resumo. Este registro aparece como um resultado de pesquisa quando os usuários pesquisam currículo ou resumé.

A normalização Unicode inclui as fases NFKD (decomposição de compatibilidade) e NFKC (composição de compatibilidade). Para obter mais informações sobre esses formulários de normalização, consulte o Anexo padrão Unicode nº 15, https://www.unicode.org/reports/tr15/.

Interação com outros recursos de pesquisa

A tabela a seguir descreve as interações entre a normalização e outros recursos de pesquisa.

Recurso	Interação com normalização de lema e Unicode
Resultados do Genius	Os termos de consulta de pesquisa adicionados por lema ou normalização Unicode não podem acionar configurações de resultado do Genius com condições de gatilho de termo.
Regras de melhoria de resultados	Um termo de consulta de pesquisa adicionado por lema ou normalização Unicode pode acionar uma regra de melhoria de resultado se corresponder ao gatilho de consulta da regra.
Palavras irrelevantes	Se um termo de consulta de pesquisa for definido como uma palavra irrelevante, Pesquisa com IA removerá esse termo sem normalizá-lo.
Sinônimos	Se um termo de consulta de pesquisa for definido como sinônimo, Pesquisa com IA não o normalizará.
Tratamento de erros de digitação	Pesquisa com IA executa a normalização de lema e Unicode em termos de consulta de pesquisa corrigidos automaticamente.