Lema e normalização Unicode

Pesquisa com IA Normaliza palavras flexionadas e glifos Unicode durante a indexação e no momento da consulta de pesquisa. A normalização melhora o cancelamento de pesquisa e permite que os usuários encontrem conteúdo com formas variantes de seus termos de consulta de pesquisa.

Os recursos de normalização são habilitados automaticamente e não são configuráveis.

Normalização de lema

Muitos idiomas incluem formas flexionadas de termos, como substantivos plurais ou tempos verbais. Pesquisa com IA normaliza termos flexionados encontrados no conteúdo indexado e nas consultas de pesquisa. A normalização permite a correspondência com base em uma forma raiz, como o singular para um substantivo plural ou a forma base para um verbo conjugado. Este formulário raiz é chamado de lema e este processo é chamado de normalização de lema .

Por exemplo, quando um registro de origem inclui o verbo conjugado venda , Pesquisa com IA expande o termo indexado para incluir o formulário lema venda além de venda . Quando um usuário pesquisa o formulário conjugado no tempo passado vendido , Pesquisa com IA expande o termo de consulta de pesquisa para incluir o formulário de lema venda e também vendido . Como o termo indexado e o termo de consulta de pesquisa incluem formulários correspondentes, a pesquisa do usuário retorna o. venda registrar como resultado.

Pesquisa com IA o oferece suporte à normalização de lema específica do idioma para Português do Brasil, holandês, inglês, finlandês, francês, Francês - Canadá, alemão, italiano, japonês, coreano, Português, chinês simplificado, espanhol, sueco e chinês tradicional .

Nota:

Ao analisar Finlandêstexto do registro de origem e termos de pesquisa, Pesquisa com IA usa a origem algorítmica para identificar lemmas.

Descompactar

Além de normalizar os lemmas para Alemão, coreano e sueco, Pesquisa com IA indexa palavras compostas e suas palavras componentes individuais. Por exemplo, ao indexar um registro alemão que contém a palavra composta Humanresssourcen , Pesquisa com IA indexa os termos do componente Humano e. ressourcen além do termo composto.

Normalização Unicode

Pesquisa com IA Executa a normalização Unicode em termos indexados e termos de consulta de pesquisa. Essa normalização torna glifos Unicode alfabéticos pesquisáveis usando os caracteres equivalentes mais próximos.

Por exemplo, ao indexar um registro que contém o termo currículo , Pesquisa com IA expande o termo para incluir também o formulário não acentuado retomar . Este registro aparece como um resultado de pesquisa quando os usuários pesquisam um retomar ou currículo .

A normalização Unicode inclui fases NFKD (decomposição de compatibilidade) e NFKC (composição de compatibilidade). Para obter mais informações sobre esses formulários de normalização, consulte o Anexo padrão Unicode nº 15, https://www.unicode.org/reports/tr15/.

Interação com outros recursos de pesquisa

A tabela a seguir descreve as interações entre a normalização e outros recursos de pesquisa.

Recurso	Normalização Unicode e lemma
Resultados do Genius	Os termos de consulta de pesquisa adicionados por lema ou normalização Unicode não podem acionar configurações de resultado do Genius com condições de gatilho de termo.
Regras de melhoria de resultado	Um termo de consulta de pesquisa adicionado por lema ou normalização Unicode pode acionar uma regra de melhoria de resultado se corresponder ao gatilho de consulta da regra.
Palavras irrelevantes	Se um termo de consulta de pesquisa for definido como uma palavra irrelevante, Pesquisa com IA removerá esse termo sem normalizá-lo.
Sinônimos	Se um termo de consulta de pesquisa for definido como sinônimo, Pesquisa com IA não o normalizará.
Tratamento de erros de digitação	Pesquisa com IA executa a normalização de lema e Unicode em termos de consulta de pesquisa corrigidos automaticamente.