Provedores de modelos de IA

Explore a seção Provedores de modelo de IA para configurar a disponibilidade de modelos de IA habilitados por meio de Torre de controle de IA. ServiceNow®.

Os provedores de modelo de IA permitem que você selecione o roteamento de dados, gerencie LLMs e SLMs de terceiros e configure os LLMs de terceiros selecionando os provedores de modelo permitidos.

Roteamento de dados e provedores de modelos

O roteamento de dados é uma tecnologia pela qual as solicitações de LLM e SLM são roteadas para o datacenter mais adequado. Essa tecnologia ajuda a otimizar o tráfego de dados, o que reduz a latência e acelera os tempos de resposta.

A seção Provedores de modelo e roteamento de dados permite rotear solicitações de modelo de IA e selecionar os provedores de modelo permitidos.

Existem dois tipos de roteamento de dados:

Roteamento de dados regionais

O roteamento de dados regional roteia solicitações de LLM e SLM para datacenters em sua região. Por exemplo, se você estiver na região APJC (Ásia-Pacífico, Japão e China), essas solicitações poderão ser roteadas para o datacenter mais adequado na região APJC. O roteamento de dados regionais às vezes pode ser obrigatório por governos de regiões específicas.

Roteamento de dados global

Quando você opta pelo roteamento de dados global, as solicitações de LLM e SLM são roteadas para o datacenter mais adequado globalmente.

Você pode configurar os provedores de LLM de terceiros usando a opção de edição escolhendo roteamento de dados regional ou global e selecionar todos os provedores de modelo permitidos.

Para obter informações sobre como configurar LLMs de terceiros para mercados regulamentados e regiões AMS e EMEA, consulte Explorar LLMs de terceiros e configuração de roteamento de dados

Para obter informações sobre como configurar LLMs de terceiros por meio da configuração de roteamento de dados para a região APJC, consulte Configure LLMs de terceiros usando Torre de controle de IA

Fallback e transbordamento

Fallback

Se você tiver sistemas de IA ativos em ServiceNow® que não são compatíveis com seus provedores de modelo habilitados, o "mecanismo de fallback" permite que esses sistemas continuem operando com seus provedores padrão. No entanto, se você optar por não habilitar fallback, esses sistemas de IA deverão ser desativados. Os sistemas de IA implantados em provedores de fallback estão em conformidade com a lista de provedores aprovados.

Nota:

O fallback é ativado por padrão e pode ser modificado.

Transbordamento

As implantações regionais de modelos de IA podem ter capacidade limitada, o que pode levar à limitação da taxa de solicitação e afetar o desempenho. Habilitar o transbordamento pode ajudar a evitar esses problemas de desempenho. Em ServiceNow® Atualmente, somente o Azure OpenAI faz essa mudança.

Nota:

O recurso de transbordamento fica ativo ou habilitado quando o Azure OpenAI é selecionado.

Resumo do impacto

O resumo do impacto é determinado pelos provedores de modelo permitidos escolhidos e pelo status do fallback, que está ativo ou inativo. O Fallback afeta significativamente como os dados de resumo do impacto aparecem na tabela de resumo do impacto.

Figura 1. Provedores de modelos de IA

Você pode usar a opção de edição para selecionar Sim ou Não para ativar o fallback. Antes de salvar, você pode selecionar Visualizar impacto para revisar e confirmar todas as suas seleções.

Figura 2. Visualizar impacto

Vamos revisar os dados da tabela Resumo do impacto para os dois cenários a seguir.

Ativar Fallback- Não

• Total de sistemas de IA- Mostra todos os sistemas de IA compatíveis com os provedores de modelo permitidos.
• Sistemas de IA compatíveis com provedores permitidos- Mostra sistemas de IA com conjuntos de habilidades compatíveis com os provedores.
• Os sistemas de IA exigem desativação- Lista todos os sistemas de IA ativos que não têm suporte do provedor e devem ser desativados porque a opção de fallback não está habilitada.
• Os sistemas de IA não podem ser ativados - mostra todos os sistemas que estão inativos no momento e não são compatíveis com nenhum provedor.

Figura 3. Ativar Fallback- Não

Ativar Fallback - Sim

• Total de sistemas de IA- Mostra todos os sistemas de IA compatíveis com os provedores de modelo permitidos.
• Sistemas de IA compatíveis com provedores permitidos- Mostra todos os sistemas de IA com conjuntos de habilidades compatíveis com os provedores.
• Sistemas de IA compatíveis com provedores de fallback- Mostra sistemas de IA que não estão em conformidade, pois os provedores de fallback não são provedores permitidos.

Figura 4. Ativar Fallback - Sim

Nota:

As entradas na tabela de resumo de impacto mudam com base no status de fallback.

Quando você seleciona uma entrada na tabela, a página Matriz de suporte aparece com essas entradas selecionadas, permitindo que você atualize sua lista personalizada.

A matriz de suporte exibe todos os sistemas de IA que você tem e os provedores de modelo para oferecer suporte a eles.

Figura 5. Matriz de suporte