Configure LLMs de terceiros usando Torre de controle de IA

Use Torre de controle de IA Para configurar modelos de linguagem grande (LLMs) de terceiros com base na configuração de roteamento de dados para a região APJC usando a seção Provedores de modelo de IA. .

Antes de Iniciar

Função necessária: Administrador de IA [sn_ai_governance.ai_steward]

Procedimento

1. Navegar até Tudo > Torre de controle de IA > Configurações > Controles > Provedores de modelos de IA.
2. Selecione Editar.
   Você pode configurar solicitações de modelo de IA por meio destes tipos de configuração de roteamento de dados:

   1. Regional
   2. Global
3. Configure LLMs por meio do roteamento de dados regional.
   1. Selecione Regional .
      Todos os provedores de modelo permitidos são exibidos:

      • Now LLM Service
      • AWS Claude
      • OpenAI do Azure
   2. Selecione os provedores de modelo de acordo com suas políticas organizacionais.
      Quando o Azure OpenAI é selecionado, você é solicitado a permitir o transbordamento, o que redireciona o tráfego para o roteamento de dados global.
   3. Permita o transbordamento selecionando Sim .
   4. Selecione Save (Salvar).
      A solicitação de consentimento de confirmação do roteamento de dados aparece informando que você deve fornecer o consentimento.
   5. Selecione Concordar e prosseguir .
   6. Selecione Save (Salvar).
      Os LLMs de terceiros são configurados com a configuração de roteamento de dados regional para a região APJC.
4. Configure LLMs por meio do roteamento de dados global.
   1. Selecione Global .
      Todos os provedores de modelo permitidos são exibidos:

      • AWS Claude
      • OpenAI do Azure
      • Google Gemini
      • Now LLM Service

      Nota:

      Selecionar roteamento global de dados redireciona seu local de processamento de dados para um datacenter global.
   2. Selecione todos os provedores de modelo.
   3. Selecione Save (Salvar).

Resultado

Os LLMs de terceiros são configurados com a configuração de roteamento de dados global para a região APJC.

Para obter mais informações sobre roteamento de dados, fallback e transbordamento, consulte Provedores de modelos de IA

Para obter mais informações sobre cenários para configurar LLMs de terceiros para mercados regulamentados e regiões AMS e EMEA, consulte Explorar LLMs de terceiros e configuração de roteamento de dados