Configure a proteção contra ataque de injeção de prompt

Ative ou desative a detecção de ataque de injeção de prompt para proteger todas as aplicações de IA generativa e textos e conversas gerados por IA em sua instância contra entradas maliciosas e comportamentos de modelo não intencionais.

Antes de Iniciar

Função necessária: sn_generative_ai.nsa_admin

Por Que e Quando Desempenhar Esta Tarefa

Os ataques de injeção de prompt são um tipo de ataque de segurança cibernética em que alguém tenta substituir as instruções iniciais de um LLM para causar comportamentos não intencionais. Guardião do Now Assist detecta tentativas de injeção de prompt antes que elas cheguem ao modelo e as registra em log ou bloqueia a resposta, dependendo da sua configuração. Você também pode configurar o Guardrail de detecção de injeção de prompt para bloquear a resposta gerada por IA quando um ataque é detectado, além de registrá-lo em log.

Você pode exportar logs para revisão. Para obter mais informações, consulte Exporte logs do Now Assist Guardian .

Procedimento

1. Navegar até Tudo > Administração do Now Assist > Configurações.
2. No painel lateral, acesse Guardião do Now Assist > Injeção de prompt.
3. Selecione Injeção de prompt alterne para ativar a detecção de injeção de prompt.
   
4. Em Escolha uma ação quando a injeção de prompt for detectada selecione uma das seguintes opções para lidar com os ataques detectados:
   • Para registrar a solicitação e a conversa enquanto mantém a resposta do modelo visível para o usuário, selecione Registre a saída .
   • Para bloquear a resposta do modelo e registrar a solicitação e a conversa, selecione Bloqueie a resposta e registre a saída .
5. Em Selecione o nível de gravidade do ataque para verificar a injeção de prompt , selecione um nível de gravidade para verificar a injeção de prompt.
   • Para sinalizar até mesmo as mais leves sugestões de tentativas de injeção ou manipulação, selecione Baixo .
   • Para sinalizar tentativas de injeção de prompt limpas ou moderadas, selecione Médio .
   • Para sinalizar somente tentativas de injeção de prompt de alta certeza, selecione Alto .
6. Selecione Save (Salvar).

Resultado

A detecção de injeção de prompt está configurada em sua instância para todos os fluxos de trabalho de IA generativa. Guardião do Now Assist detecta tentativas de injeção de prompt com base no nível de gravidade selecionado e responde de acordo com a ação configurada.