Normalização de lema e Unicode

Pesquisa com IA normaliza palavras flexionadas e glifos Unicode durante a indexação e no momento da consulta de pesquisa. A normalização melhora a recuperação da pesquisa e permite que os usuários encontrem conteúdo com formas variantes de seus termos de consulta de pesquisa.

Os recursos de normalização são habilitados automaticamente e não são configuráveis.

Normalização de lema

Muitos idiomas incluem formas inflexíveis de termos, como nomes plurais ou tempos verbais. Pesquisa com IA normaliza termos flexionados encontrados em conteúdo indexado e consultas de pesquisa. A normalização permite a correspondência com base em um formulário raiz, como o singular para um nome plural ou o formulário base para um verbo encapsulado. Essa forma raiz é chamada de lema e esse processo é conhecido como normalização de lema.

Por exemplo, quando um registro de origem inclui o verbo cumulado venda, Pesquisa com IA expande o termo indexado para incluir o formulário de lema venda além de venda. Quando um usuário pesquisa o formulário de lema passado vendido, Pesquisa com IA expande o termo de consulta de pesquisa para incluir o formulário de lema venda, bem como vendido. Como o termo indexado e o termo de consulta de pesquisa incluem formulários correspondentes, a pesquisa do usuário retorna o registro de venda como resultado.

Pesquisa com IA oferece suporte à normalização de lema específica do idioma para Inglês, francês do Canadá, francês, alemão, japonês, chinês simplificado, espanhol e chinês tradicional.

Decomposição em alemão

Além de normalizar lemas para Alemão, Pesquisa com IA indexa palavras compostas e suas palavras componentes individuais. Por exemplo, ao indexar um registro que contém a palavra composta Humanressourcen, Pesquisa com IA indexa os termos do componente Human e ressourcen além do termo composto.

Normalização Unicode

Pesquisa com IA executa a normalização Unicode em termos indexados e termos de consulta de pesquisa. Essa normalização torna os glifos Unicode alfabéticos pesquisáveis usando os caracteres equivalentes mais próximos.

Por exemplo, ao indexar um registro que contém o termo resumo, Pesquisa com IA expande o termo para incluir também o formulário não-acentuado resumo. Este registro aparece como um resultado de pesquisa quando os usuários pesquisam currículo ou currículo.

A normalização Unicode inclui os estágios NFKD (decomposição de compatibilidade) e NFKC (composição de compatibilidade). Para obter mais informações sobre esses formulários de normalização, consulte o anexo padrão Unicode nº 15, https://www.unicode.org/reports/tr15/.

Interação com outros recursos de pesquisa

A tabela a seguir descreve as interações entre a normalização e outros recursos de pesquisa.

Recurso	Interação com normalização de lema e Unicode
Resultados do Genius	Os termos de consulta de pesquisa adicionados por lema ou normalização Unicode não podem acionar configurações de resultado do Genius com condições de gatilho de termo.
Regras de melhoria de resultado	Um termo de consulta de pesquisa adicionado por lema ou normalização Unicode pode acionar uma regra de melhoria de resultado se corresponder ao gatilho de consulta da regra.
Palavras irrelevantes	Se um termo de consulta de pesquisa for definido como uma palavra irrelevante, Pesquisa com IA removerá esse termo sem normalizá-lo.
Sinônimos	Se um termo de consulta de pesquisa for definido como sinônimo, Pesquisa com IA não o normalizará.
Manipulação de erros de digitação	Pesquisa com IA executa a normalização de lema e Unicode em termos de consulta de pesquisa corrigidos automaticamente.