Estrutura de avaliação de parâmetro de consulta de pesquisa

Pesquisa com IA Executa avaliações de teste A/B que comparam a relevância do resultado para conjuntos alternativos de valores de parâmetro de consulta de pesquisa. Essas avaliações determinam os modelos que Pesquisa com IA Usos para relevância do aprendizado de máquina e para resultados Genius de perguntas e Respostas.

A estrutura de avaliação do parâmetro de consulta de pesquisa permite testes de relevância A/B no tráfego de pesquisa em tempo real. Pesquisa com IA considera os resultados deste teste em tempo real junto com sua avaliação off-line de dados agregados de sinal de pesquisa ao fazer as seguintes determinações:

• Determinando qual modelo de relevância publicar para um perfil de pesquisa. Para obter detalhes sobre geração e publicação de modelos de relevância, consulte Relevância do aprendizado de máquina em Pesquisa com IA.
• Determinar qual modelo de compreensão de leitura de máquina (MRC) usar ao validar possíveis respostas de resultado Genius de perguntas e Respostas. Para obter mais informações sobre o modelo de MRC usado para resultados Genius de perguntas e Respostas, consulte Resultados Genius de perguntas e Respostas.

Pesquisa com IA Calcula os resultados da avaliação de testes A/B todas as noites.

Nota:

A estrutura de avaliação do parâmetro de consulta de pesquisa não é compatível com testes A/B configurados pelo usuário. Todos os testes A/B são realizados automaticamente por Pesquisa com IA como parte de sua avaliação de modelos de relevância de aprendizado de máquina.

A estrutura de avaliação do parâmetro de consulta de pesquisa faz parte do pacote de recursos de Telemetria adaptável.

Tabelas de estrutura de avaliação de parâmetro de consulta de pesquisa

A estrutura de avaliação do parâmetro de consulta de pesquisa para Pesquisa com IA Usa tabelas para armazenar resultados e métricas de testes A/B do tráfego de pesquisa em tempo real. Pesquisa com IA Usa os dados armazenados ao determinar qual modelo de relevância e modelo de validação de resposta Genius de resultados de perguntas e Respostas publicar para uma aplicação de pesquisa.

Tabela de avaliação de testes A/B.

A tabela Avaliação de testes A/B [avaliação] armazena detalhes das avaliações de testes A/B realizadas no tráfego de pesquisa em tempo real.

Nota:

O sistema limpa automaticamente esta tabela, removendo registros de avaliações inativas com mais de dois anos.

Tabela 1. avaliação

Coluna	Descrição
Número	Número gerado automaticamente para identificar a avaliação.
Nome	Nome e descrição da avaliação.
Origem	Nome da tabela que contém os registros para os quais executar a avaliação.
Teste de escopo	Escopo da avaliação. Valores compatíveis: ALL: Execute a avaliação em todos os registros na tabela especificada por Origem . SELECTED: Execute a avaliação somente em relação aos registros especificados no Artefatos selecionados valor do campo. Valor padrão: ALL
Provedor de artefato	Lista de classes de filtragem de artefatos que fornecem registros para teste.
Artefatos selecionados	Lista separada por vírgulas de valores sys_id de registro. Quando Teste de escopo está definido como SELECIONADO , a avaliação é executada somente em registros com valores sys_id especificados nesta lista.
Sinais mínimos para avaliação	Número mínimo de sinais de pesquisa que a avaliação deve coletar antes de terminar. Tipo: inteiro Valor padrão: 0(nenhum mínimo) Valor máximo: 30000 Para obter detalhes sobre como esta condição interage com o. Mínimo de dias para avaliação condição, consulte Operador de critérios finais .
Mínimo de dias para avaliação	Número mínimo de dias em que a avaliação deve estar ativa antes de terminar. Tipo: inteiro Valor padrão: 0(nenhum mínimo) Valor máximo: 180 Para obter detalhes sobre como esta condição interage com o. Sinais mínimos para avaliação condição, consulte Operador de critérios finais .
Operador de critérios finais	Operador lógico a ser usado para condições finais de avaliação quando ambos Sinais mínimos para avaliação e. Mínimo de dias para avaliação existem condições. Valores compatíveis: AND: A avaliação permanece ativa até Sinais mínimos para avaliação e. Mínimo de dias para avaliação ambas as condições são atendidas. OR: A avaliação permanece ativa até qualquer um dos Sinais mínimos para avaliação ou Mínimo de dias para avaliação as condições foram atendidas. Valor padrão: OR

Tabela de execução de avaliação de testes A/B.

A tabela Execução de avaliação de testes A/B [evaluation_execution] armazena detalhes de operações individuais executadas como parte das avaliações de testes A/B para tráfego de pesquisa em tempo real.

Tabela 2. evaluation_execution

Coluna	Descrição
Número	Número gerado automaticamente para identificar a operação de avaliação.
Avaliação	Referência ao registro da avaliação na tabela Avaliação de testes A/B [avaliação].
ID do Artefato	Sys_id do registro analisado por esta operação de avaliação.
Estado	Estado da execução da avaliação de registro. Valores compatíveis: Queued: A operação de avaliação está enfileirada para execução. In Progress: A operação de avaliação está em andamento. Scoring: A operação de avaliação está na fase de pontuação. Complete: A operação de avaliação foi concluída com sucesso. Errored: A operação de avaliação falhou com um erro. Canceled: A operação de avaliação foi cancelada pelo sistema. Suspended: A operação de avaliação foi suspensa pelo sistema. Valor padrão: Queued
Data de início	Data e hora em que a operação de avaliação foi iniciada.
Data de término	Data e hora em que a operação de avaliação terminou.

Tabela de parâmetros de avaliação de testes A/B.

A tabela Parâmetro de avaliação de teste A/B [evaluation_parameter] armazena detalhes de parâmetros de consulta de pesquisa individuais considerados nas avaliações de teste A/B para tráfego de pesquisa em tempo real.

Tabela 3. evaluation_parameter

Coluna	Descrição
Avaliação	Referência ao registro da avaliação na tabela Avaliação de testes A/B [avaliação].
Nome	Nome e descrição do parâmetro de avaliação.
Use o parâmetro atribuído do artefato	Tipo: True | False Valores compatíveis: true: Compare o especificado Parameter Valuespara o valor do parâmetro de consulta de pesquisa atribuído no artefato fornecido. false: Não compare o especificado Parameter Valuespara o valor do parâmetro de consulta de pesquisa atribuído no artefato fornecido Valor padrão: true
Percentual de tráfego dos valores dos parâmetros	Percentual de consultas de pesquisa para aplicar o especificado Parameter ValuesDurante a avaliação A/B. Tipo: inteiro Valor padrão: 0 Valor máximo: 100
Valores do parâmetro	Lista JSON de valores para comparar com o valor do parâmetro de consulta de pesquisa atual quando Use Artifact's Assigned Parameteré verdadeiro.
Tipo de Parâmetro	Tipo para o parâmetro de consulta de pesquisa. O valor selecionado determina como Parameter ValuesSão usados durante e após uma avaliação A/B. Valores compatíveis: Search Context Parameters: Mesclar e substituir parâmetros de contexto do perfil de pesquisa com Parameter Valuespara solicitações de consulta de pesquisa. Quando a avaliação terminar, use o valor do parâmetro de contexto de consulta de pesquisa definido com a pontuação vencedora para substituir ou mesclar os parâmetros de contexto do perfil de pesquisa relevantes. Search QnA Genius Result Configuration: Aplique o. Parameter ValuesPara configurações de resultado Genius de perguntas e Respostas usadas em solicitações de consulta de pesquisa. Quando a avaliação terminar, atualize o perfil de pesquisa relevante para incluir o valor do parâmetro de configuração do resultado Genius com a pontuação vencedora. Search QnA Model: Aplique o. Parameter ValuesPara modelos de resultados Genius de perguntas e Respostas usados em solicitações de consulta de pesquisa. Quando a avaliação terminar, atualize o perfil de pesquisa relevante para incluir o valor do parâmetro do modelo de resultado Genius de perguntas e Respostas com a pontuação vencedora. Search Relevancy Model: Aplique o. Parameter Valuescomo modelos de relevância de pesquisa a serem usados em solicitações de consulta de pesquisa. Quando a avaliação terminar, atualize o perfil de pesquisa relevante para incluir o valor do parâmetro do modelo de relevância com a pontuação vencedora. Search REST Parameters: Mesclar e substituir parâmetros de consulta de perfil de pesquisa com Parameter Valuespara solicitações de consulta de pesquisa. Quando a avaliação terminar, use o valor do parâmetro de consulta de pesquisa definido com a pontuação vencedora para substituir ou mesclar os parâmetros de perfil de pesquisa relevantes.
Tipo de cálculo de pontuação	Forma de cálculo usada para calcular pontuações de valor do parâmetro de consulta de pesquisa e encontrar o melhor valor. Valores compatíveis: Average Click Position: O melhor valor de parâmetro de consulta de pesquisa é aquele com a pontuação média de posição de clique mais baixa. Nota: Pesquisa com IA calcula a pontuação média da posição do clique dividindo a soma de todas as classificações de resultados de pesquisa selecionadas pelo número de pesquisas. O resultado de pesquisa com classificação mais alta tem classificação 1, o próximo mais alto tem classificação 2 e assim por diante. Por exemplo, se você executar duas pesquisas, selecionando o primeiro resultado em um caso e o segundo resultado no outro, sua pontuação média da posição de clique será (1 e 2) / 2 e 1,5. Genius Result Helpfulness: O melhor valor de parâmetro de consulta de pesquisa é aquele com a maior pontuação de utilidade. Este cálculo tem em conta se uma resposta relevante do resultado Genius apareceu nos resultados da sua pesquisa. Nota: A pontuação de utilidade é uma métrica que indica se as respostas de resultado Genius foram úteis no contexto da sua pesquisa. Helpfulness: O melhor valor de parâmetro de consulta de pesquisa é aquele com a maior pontuação de utilidade. Ao contrário Genius Result Helpfulness, Este cálculo não leva em consideração se uma resposta relevante do resultado Genius apareceu nos resultados da pesquisa.
Provedor de sinal	O provedor de sinais de pesquisa necessário para pontuar o parâmetro de consulta de pesquisa. Search Event Signal Provideré o único valor compatível.

Tabela de resultados do parâmetro de avaliação de testes A/B.

A tabela Resultado do parâmetro de avaliação de teste A/B [evaluation_parameter_result] armazena resultados de cálculo para parâmetros de consulta de pesquisa individuais considerados em avaliações de teste A/B para tráfego de pesquisa em tempo real.

Tabela 4. evaluation_parameter_result

Coluna	Descrição
Execução da avaliação	Referência ao registro da execução de avaliação na tabela Execução de avaliação de teste A/B [evaluation_execution].
Avaliação de parâmetros	Referência ao registro do parâmetro de consulta de pesquisa na tabela Parâmetro de avaliação de teste A/B [evaluation_parameter].
Melhor valor	Melhor valor para o parâmetro de consulta de pesquisa, conforme determinado pelo Winning Score.
Pontuação vencedora	Pontuação numérica do parâmetro de consulta de pesquisa, determinada usando Score Calculation Type.
Metadados de pontuação	Metadados do cálculo de pontuação para o parâmetro de consulta de pesquisa.

Exclua um perfil de pesquisa da estrutura de avaliação do parâmetro de consulta de pesquisa

Exclua um perfil de pesquisa das avaliações de testes A/B de ativos Pesquisa com IA tráfego. Este procedimento impede Pesquisa com IA De usar resultados de avaliação de testes A/B ao publicar o modelo de relevância de resultado de pesquisa do perfil de pesquisa e seu modelo de validação de resposta de resultado Genius de perguntas e Respostas.

Antes de Iniciar

Função necessária: ais_admin

Por Que e Quando Desempenhar Esta Tarefa

A estrutura de avaliação de parâmetro de consulta de pesquisa executa avaliações de teste A/B das definições de configuração de pesquisa usando o tráfego de pesquisa em tempo real. Por padrão, Pesquisa com IA avalia as definições de configuração de todos os perfis de pesquisa.

Os administradores de pesquisa podem excluir perfis de pesquisa individuais da estrutura de avaliação do parâmetro de consulta de pesquisa. A exclusão de um perfil de pesquisa da estrutura impede Pesquisa com IA De realizar avaliações de teste A/B para tráfego de pesquisa em tempo real que usa o perfil de pesquisa excluído.

Nota:

Quando você exclui um perfil de pesquisa das avaliações, Pesquisa com IA não considera mais os resultados da avaliação ao atualizar os modelos de relevância do aprendizado de máquina e compreensão de leitura de máquina (MRC) para esse perfil de pesquisa. Como resultado, as configurações de pontuação de relevância e as configurações de filtragem de respostas Genius de resultados de perguntas e Respostas para o perfil de pesquisa podem refletir menos seu tráfego de pesquisa. Para obter mais informações sobre como Pesquisa com IA Usa resultados de testes de avaliação A/B ao publicar esses modelos, consulte Relevância do aprendizado de máquina em Pesquisa com IA e. Resultados Genius de perguntas e Respostas.

Procedimento

1. Navegar até Tudo > Pesquisa com IA > Experiência de pesquisa > Perfis de pesquisa.
2. Abra o registro do perfil de pesquisa que você deseja excluir das avaliações de teste A/B do tráfego de pesquisa em tempo real.
3. Se o formulário Perfil de pesquisa ainda não exibir o. Excluir da avaliação campo, configure o layout do formulário para tornar o campo visível.
   Para obter detalhes sobre como configurar um layout de formulário para tornar os campos visíveis, consulte Configuração do layout do formulário.
4. Selecione Excluir da avaliação opção.
5. Selecione Atualizar.

Resultado

Pesquisa com IA não executa mais avaliações de teste A/B para o tráfego que usa o perfil de pesquisa excluído. A relevância do aprendizado de máquina não atualiza mais o modelo de relevância do perfil de pesquisa.