Automatize tarefas repetitivas capturando manualmente as etapas em Ações de IA no desktop

  • Versão de lançamento: Australia
  • Atualizado 10 de nov. de 2025
  • 7 min. de leitura

    • Crie ações de desktop capturando manualmente etapas para automatizar tarefas repetitivas em Ações de IA no desktop. As etapas que você define em uma ou mais telas de aplicações são salvas como uma ação reutilizável da área de trabalho do tipo Tarefa na tela.

    Antes de Iniciar

    Para acessar Ações de IA no desktop, execute as seguintes etapas:

    Confirme se os seguintes requisitos de sistema foram atendidos:

    • Windows 11 sistema operacional é usado.
    • Um tempo de execução do .NET 9,0 v9.0.10 e .NET 9 Desktop Runtime v9.0.10 está instalado.
    • Nenhum monitor estendido está conectado.
    • O tema deve corresponder entre os sistemas usados para gravação e execução.
    • A área de trabalho remota deve estar habilitada em sua máquina e sua conta deve receber permissões de acesso à área de trabalho remota antes de começar a usar o. Ações de IA no desktop Espaço de execução.

    Familiarize-se com o espaço de design e o gravador de ação. Para obter mais informações, consulte Ações de IA no desktop Espaço de design e Gravador de ações em Ações de IA no desktop.

    Função necessária: sn_aia.admin

    Por Que e Quando Desempenhar Esta Tarefa

    Você pode simular uma interação do usuário em uma automação capturando telas manualmente e definindo etapas.

    Usando os controles na janela, você pode capturar uma área de uma janela da aplicação. Em seguida, você pode definir uma ou mais âncoras e definir etapas que representam as interações do usuário nessa janela.

    • Âncora : Âncoras ajudam a especificar a área de destino da interação definindo uma área estática a partir da qual as etapas podem ser definidas a uma distância relativa.
    • Etapa : Etapas são suas interações sequenciais do tipo Clique, selecionar, digitar, rolar e muito mais.
    Nota:
    Se sua automação exigir entradas manuais, como inserir uma senha de uso único ou CAPTCHA, você deverá fornecer instruções ao agente de IA para aguardar a entrada do usuário durante a execução. Caso contrário, a automação não poderá prosseguir.

    Procedimento

    1. Do seu Windows sistema, inicie o. Ações de IA no desktop aplicação.
    2. Na página de login, em Adicione URL da ServiceNow , insira ServiceNow URL da instância.
      Por exemplo, https://<instance name>.service-now.com .
      Ações de IA no desktop tela de login para entrar ServiceNow URL da instância.
    3. Selecione Continuar.
    4. Faça login em ServiceNow insira seu nome de usuário e senha.
      Você deve ter a função sn_aia.admin.

      Janela de login para inserir seu ServiceNow nome de usuário e senha da conta.

    5. Opcional: No assistente de jornada de integração, conclua a integração e selecione Começar .
      Widget da jornada de integração com cinco páginas para mostrar os destaques da aplicação.

      Se você iniciar o. Ações de IA no desktop pela primeira vez, o widget da jornada de integração é exibido. Você pode selecionar Não mostrar novamente para ocultar o widget na próxima vez que você iniciar Ações de IA no desktop ou Pular introdução para ignorar a integração.

    6. Em Ações de IA no desktop página inicial, selecione Ação de criar desktop .
      Ações de IA no desktop Página inicial que exibe a ação de IU Criar ação da área de trabalho, as opções de pesquisa e seleção e cartões de ações da área de trabalho existentes.
    7. Na caixa de diálogo Nova ação da área de trabalho, selecione Etapas de captura manual .
      Nova janela de ação da área de trabalho com a opção de captura manual selecionada e campos para inserir o nome e a descrição da ação da área de trabalho.
    8. Insira um nome e uma descrição para a ação da área de trabalho.
    9. Selecione Comece a capturar .

      O espaço Design é exibido.

      Projete o espaço em um estado em que nenhuma captura de tela é capturada.
    10. Telas de captura.
      1. Na guia Design, selecione Opções de captura ícone .
      2. Selecione Captura manual .
        Espaço de design que exibe duas opções: Captura automática com gravador e telas de captura manual.

        . Ações de IA no desktop A janela é minimizada e o painel Capturar é iniciado.

        Painel flutuante de captura manual com ações de IU Selecionar e Cancelar.
      3. Abra as aplicações para as quais você deseja automatizar as etapas.
      4. Capture a área da janela da aplicação externa selecionando Selecione ícone No painel Capturar ou pressionando Shift e C no teclado.
        Nota:
        . Shift e C O atalho entra em conflito com outra aplicação na sua máquina, como Zoom, então você deve usar o. Selecione botão para iniciar a captura de tela manual.
        Por exemplo, você pode capturar a área ao redor de um botão ou um campo de texto em um navegador da web. O ícone do cursor muda para ícone.
      5. Arraste o. e selecione a área da tela desejada.
        Quando você sair do , a área selecionada é capturada como uma captura de tela no espaço Design.

        Se você não estiver satisfeito com a tela capturada, poderá recapturar a área da tela selecionando Capture imagem ícone .

    11. Insira âncoras.
      1. Selecione uma âncora na tela capturada Adicione âncora ícone .
        Captura de tela do app Gestão de envio com âncora adicionada ao título da janela

        Uma âncora é um ponto de referência na tela que ajuda a automação a identificar e interagir com elementos de IU próximos. Durante a execução, o sistema usa visão computacional para localizar a âncora e, em seguida, identifica os elementos de IU a uma distância relacionada da âncora. As âncoras melhoram a estabilidade e a precisão das etapas quando a localização do elemento de destino pode mudar ou quando o layout da IU varia entre as sessões.

        Nota:
        Não use elementos de IU dinamicamente alterados como âncoras. Se um elemento mudar sua cor, texto ou estado após uma ação (por exemplo, após um clique), selecione uma âncora diferente que permaneça estática na tela.
      2. Mova a âncora para uma parte da imagem capturada que não mudará.
        Por exemplo, mova a âncora para um título ou rótulo de campo.

        Se a área sob a âncora não corresponder exatamente à área correspondente da imagem capturada, a âncora não será reconhecida e as etapas não serão executadas conforme o pretendido. Escolha uma área estática da imagem para definir sua âncora.

        Você pode adicionar várias âncoras em cada tela. Várias âncoras permitem definir a relação geográfica entre âncora e destino com maior precisão ao segmentar locais diferentes na imagem.

    12. Configure as etapas.
      1. No menu de controle Ancoragem, selecione Adicionar etapa ícone .
      2. Selecione o tipo de etapa a ser executada para esta etapa no menu contextual.
        Captura de tela de um app com âncora adicionada, exibindo vários tipos de etapas de entrada e saída.
        Tabela 1. Descrição das ações
        Objetivo Etapa Tipo Exemplo
        Insira o texto em um campo Definir texto Entrada Insira quaisquer dados de texto, como um nome de usuário, um endereço, uma resposta à pesquisa ou em qualquer situação em que a entrada de texto seja aceita.
        Nota:
        Se você definir um valor estático para este campo, a automação o usará durante a execução e não solicitará a entrada do Now Assist painel.
        Simular um clique do mouse Clique Entrada Clique em um botão, abra um menu ou execute qualquer etapa normalmente executada por um clique do mouse.
        Simular uma ação alternativa do mouse (por exemplo, clicar com o botão direito do mouse, arrastar, rolar ou colar) Clique do mouse Entrada Execute várias ações do dispositivo do mouse, como clicar com o botão direito do mouse e selecionar um objeto ou rolar em uma página da web.
        Simular um pressionamento de tecla ou uma função de tecla Enviar chaves Entrada Execute atalhos de teclado, como copiar texto inserindo E C em campos e elementos.
        Nota:
        Se você definir um valor estático para este campo, a automação o usará durante a execução e não solicitará a entrada do Now Assist painel.
        Capture texto de uma janela ou página da web Obter texto Saída Receber texto da área de origem.
        Capture uma tabela Obter tabela Saída Receber tabela da área de origem quando o texto estiver no formato de tabela.
        Nota:
        Para que a etapa capture dados da tabela com sucesso, os dados já devem estar no formulário de tabela. A etapa não pode converter texto comum em dados de tabela.
        Leia o texto de uma imagem Texto de leitura por OCR Saída Reconheça o texto de imagens e retorne-o no formato de texto padrão.

        Você pode adicionar várias etapas que representam suas etapas de automação.

    13. Configure as propriedades para telas, âncoras e etapas adicionadas no painel Propriedades.
      Para obter mais informações, consulte Propriedades de tela, âncora e etapa em Ações de IA no desktop.
    14. Opcional: Modifique os nomes gerados automaticamente para todas as telas, âncoras e etapas adicionadas.

      Você pode modificar os nomes gerados automaticamente seguindo estas diretrizes de nomenclatura.

      • Os campos de nome não podem ficar vazios.
      • Os campos de nome devem conter somente caracteres alfanuméricos. Espaços e caracteres especiais não são permitidos.
      • Cada nome deve ser exclusivo em seu respectivo nível primário.
        • Cada tela deve ter um nome exclusivo no nível de ação da área de trabalho.
        • Cada âncora deve ter um nome exclusivo no nível da tela.
        • Cada etapa deve ter um nome exclusivo no nível de âncora.

    O que Fazer Depois

    1. Configure os detalhes da ação da área de trabalho. Para obter mais informações, consulte Adicione detalhes às ações da área de trabalho em Ações de IA no desktop.
    2. Teste e ative a ação da área de trabalho para que ela possa ser adicionada como uma ferramenta aos agentes de IA. Para obter mais informações, consulte Teste e ative uma ação da área de trabalho em Ações de IA no desktop.
    3. Adicione a ação de desktop como uma ferramenta para agentes de IA em Estúdio de agentes de IA. Para obter mais informações, consulte Adicione uma ação de desktop a um agente de IA.