Automatizar aplicativos Web e da área de trabalho com uso do computador

O uso do computador é uma ferramenta no Copilot Studio que permite ao agente interagir e automatizar tarefas em um computador Windows. Ele funciona com sites e aplicativos de desktop selecionando botões, escolhendo menus e inserindo texto em campos na tela. Descreva em linguagem natural aquilo que você deseja que o uso do computador faça, e ele realiza a tarefa em um computador configurado por você usando mouse e teclado virtuais. Com o uso do computador, os agentes podem concluir tarefas mesmo quando não há uma API para se conectar diretamente ao sistema. Se uma pessoa pode usar um aplicativo ou site, o uso do computador também pode. Você pode aproveitar o uso do computador em tarefas como entrada de dados automatizada, processamento de faturas e extração de dados.

O uso do computador é alimentado por Agentes que Usam o Computador (CUA), um modelo de IA que combina recursos de visão com raciocínio avançado para interagir com interfaces gráficas do usuário (GUIs). Por ser alimentado por IA, ele se adapta às mudanças de interface. Por exemplo, quando botões ou telas mudam, a ferramenta continua funcionando sem quebrar seu fluxo. É simples de usar. Basta descrever o que você quer em linguagem natural. Não é necessário gravar códigos.

Assista a este vídeo para saber como a ferramenta de uso do computador permite que um agente interaja com um aplicativo Web.

Observação

Esse recurso só está disponível para agentes com orquestração generativa ativada.

Adicionar o uso do computador ao agente

No Copilot Studio, adicione o uso do computador como uma ferramenta seguindo estas etapas:

  1. Vá até a página Ferramentas do seu agente e selecione Adicionar uma ferramenta.

  2. No painel Adicionar ferramenta, selecione Nova ferramenta.

  3. Selecione Uso do computador.

  4. Forneça as instruções que descrevem a tarefa que a ferramenta deve realizar no computador. Modelos de instruções estão disponíveis para ajudar você a começar. Siga as melhores práticas para instruções de uso do computador.

  5. Selecione Adicionar e configurar. Na página de configuração, configure estes quatro campos:

    • Nome: insira o nome de exibição da ferramenta de uso do computador. Esse nome ajuda a diferenciá-lo de outras ferramentas adicionadas ao agente.

    • Descrição: insira uma descrição resumida do que essa ferramenta faz e quando usá-la. Este texto permite que seu agente saiba quando usar essa ferramenta.

    • Modelo: selecione o modelo usado para executar a ferramenta de uso do computador. Os seguintes modelos estão disponíveis:

      Provedor Modelo Camada Status
      OpenAI Agente que Usa Computador (CUA) Padrão Geralmente disponível
      Anthropic Claude Sonnet 4.5 Padrão Geralmente disponível
      Anthropic Claude Sonnet 4.6 Padrão Experimental
      Anthropic Claude Opus 4.6 Premium Experimental

      Observação

      Para usar o modelo da Anthropic, certifique-se de que seu administrador tenha ativado acesso a modelos externos para o seu ambiente.

    • Instruções: liste as etapas que a ferramenta deve realizar, inclusive URLs e nomes de aplicativo. Siga as melhores práticas para instruções de uso do computador.

  6. Como opção, revise e ajuste os outros campos disponíveis na página de configuração.

  7. Selecione Salvar.

Definir configurações opcionais

A página de configuração inclui campos opcionais além dos quatro campos obrigatórios (Nome, Descrição, Modelo, Instruções). Revise e configure essas opções de acordo com o seu cenário.

Entradas

Use entradas para definir valores dinâmicos que mudem sempre que o uso do computador é executado. Por exemplo, se você quiser preencher um formulário com um valor diferente a cada execução, crie uma entrada para esse campo. No momento da execução, o uso do computador combina suas instruções com os valores de entrada para concluir a tarefa.

Computador

Selecione o computador de destino usado pelo agente para executar o uso do computador. Saiba mais em Configurar onde o uso do computador é executado.

  • Selecione Atualizar para atualizar a lista de computadores.
  • Selecione Gerenciar computadores para abrir a página de gerenciamento dos computadores no Power Automate.
  • Selecione Ver detalhes do computador para abrir a página de detalhes da máquina no Power Automate.

Conexão

Conexão usada para esta ferramenta. Atualize ou crie uma nova conexão para alterar as credenciais usadas.

Credenciais a serem usadas

Especifique como o recurso de uso do computador se autentica durante a execução:

  • Credenciais fornecidas pelo criador (padrão): use as credenciais do criador. Esta opção é adequada para agentes autônomos.

    Aviso

    Se você compartilhar um agente com essa configuração, qualquer pessoa que o use poderá agir com o acesso do autor original no computador configurado.

  • Credenciais do usuário final: use as credenciais da pessoa que interage com o agente. Cada usuário deve ter credenciais de acesso ao computador.

Supervisão humana

Especifique quem deve ser contatado por email (Outlook) se o agente de uso do computador detectar instruções potencialmente perigosas que possam alterar o comportamento do modelo. Cada agente é executado, e a atividade está vinculada ao usuário que a iniciou. Se você escolher um revisor diferente da pessoa que está usando o agente de uso do computador, provavelmente ele não verá a atividade porque não iniciou a execução. Por isso, eles não podem verificar nem agir devidamente em relação à solicitação. Além disso, verifique se o destinatário tem autorização e o contexto necessário para processar essas solicitações. O limite de tempo de resposta define por quanto tempo a solicitação permanece ativa. Depois desse período, a solicitação vai expirar, e a execução de uso do computador será interrompida se nenhuma resposta for recebida. Saiba mais em Supervisão humana.

Credenciais armazenadas

Defina as credenciais de uso do computador para entrar em sites e aplicativos. Durante a execução, se um prompt de entrada for exibido, o uso do computador usará de maneira segura qualquer credencial definida por você para esse site ou aplicativo. As senhas são armazenadas no armazenamento interno do Power Platform (sem necessidade de configuração) ou em um Azure Key Vault que você fornece. Saiba mais em Criar um cofre de chaves usando o portal do Azure.

  • Opção de armazenamento interno: usando essa opção, você pode configurar credenciais na ferramenta sem nenhuma pré-configuração. O Power Platform criptografa e armazena segredos internamente. Para cada credencial, forneça os seguintes detalhes:

    • Tipo: selecione entre Website e aplicativo da área de trabalho conforme o ambiente em que pretende usar esta credencial

    • Nome de usuário: o nome de usuário que você usa para entrar no site ou no aplicativo de destino.

    • Senha: o valor da senha usado para entrar no site ou no aplicativo de destino.

      Observação

      Os campos de senha são compatíveis em todos os sites e na maioria dos aplicativos do Windows (WinForms, WPF, UWP, WinUI, Win32), o que abrange a maioria dos cenários do cliente. Alguns tipos de aplicativo, como Electron, Java, Unity, jogos, interfaces de linha de comando, Citrix ou outros ambientes virtualizados, talvez não sejam compatíveis.

    • Domínio de logon (sites) ou nome do aplicativo da área de trabalho (aplicativos da área de trabalho):

      • Sites: insira o endereço do site principal (por exemplo, example.com). Você inclui automaticamente todas as página nesse site da Web. Você também pode usar curingas (*) para subdomínios. Exemplos: www.contoso.com, *.contoso.com, contoso.com
      • Aplicativos da área de trabalho: insira o nome do produto do aplicativo ou o nome do processo. Para encontrá-lo, pressione Ctrl+Shift+Esc para abrir o Gerenciador de Tarefas. Em seguida, verifique a guia Processos. Exemplos: Microsoft Edge, msedge, Notepad.
  • opção Azure Key Vault: ao utilizar esta opção, você pode configurar credenciais na ferramenta, primeiro digitando o ID da assinatura, o nome do grupo de recursos e o nome do cofre de chaves Azure. Você pode encontrar todas essas informações na página de Visão Geral do seu cofre de chaves.

    • Para usar segredos do Azure Key Vault com o Power Platform:

      • A assinatura do Azure que tem o cofre deve ter o provedor de recursos do PowerPlatform registrado.
      • O usuário que cria a variável de ambiente deve ter permissões indicadas para o recurso do Azure Key Vault.
    • Se ainda não fez isso, siga as etapas em Configurar o Azure Key Vault e, em seguida, forneça os seguintes detalhes:

      • Nome de usuário: o nome de usuário que você usa para entrar no site ou no aplicativo de destino.

      • Nome do segredo do Azure: o nome do segredo no cofre de chaves que armazena a senha do site ou do aplicativo

      • Domínio de logon (sites) ou nome do aplicativo da área de trabalho (aplicativos da área de trabalho):

        • Sites: insira o endereço do site principal (por exemplo, example.com). Você inclui automaticamente todas as página nesse site da Web. Você também pode usar curingas (*) para subdomínios. Exemplos: www.contoso.com, *.contoso.com, contoso.com
        • Aplicativos da área de trabalho: insira o nome do produto do aplicativo ou o nome do processo. Para encontrá-lo, pressione Ctrl+Shift+Esc para abrir o Gerenciador de Tarefas. Em seguida, verifique a guia Processos. Exemplos: Microsoft Edge, msedge, Notepad.

Controle de acesso

Por padrão, o uso do computador pode funcionar em qualquer site ou aplicativo. Se quiser restringir esse acesso, habilite o controle de acesso para definir as URLs específicas e os aplicativos da área de trabalho aos quais o uso do computador deve ser limitado. Você pode configurar sites e aplicativos:

  • Sites: insira o endereço do site principal (por exemplo, example.com). Você inclui automaticamente todas as página nesse site da Web. Você também pode usar curingas (*) para subdomínios. Exemplos: www.contoso.com, *.contoso.com, contoso.com
  • Aplicativos da área de trabalho: insira o nome do produto do aplicativo ou o nome do processo. Para encontrá-lo, pressione Ctrl+Shift+Esc para abrir o Gerenciador de Tarefas. Em seguida, verifique a guia Processos. Exemplos: Microsoft Edge, msedge, Notepad.

Observação

O controle de acesso só impede que o modelo tome medidas em sites ou aplicativos que não estejam na lista de permitidos. Isso não impede o modelo de abri-los. Por exemplo, se apenas microsoft.com e Microsoft Edge estiverem na lista de permitidos, o modelo ainda poderá usar a barra de pesquisa do Microsoft Edge para abrir o Bing. No entanto, assim que o Bing for aberto, qualquer tentativa de interagir com ele falhará porque ele não está na lista de permitidos.

Testar uso do computador

O teste de uso do computador é uma etapa-chave na jornada de criação. Depois de inserir um nome, descrição e instruções e salvar a ferramenta, selecione Testar para iniciar a experiência de teste.

Após um curto período de carregamento, a experiência de teste aparece:

  • O painel esquerdo mostra suas instruções e um registro passo a passo do raciocínio e das ações da ferramenta.
  • O painel direito mostra uma versão preliminar das ações no computador que você configurou para uso do computador.

Quando a tarefa termina, uma mensagem Teste concluído é exibido. Enquanto o teste estiver em andamento, você pode selecionar Parar teste para interromper imediatamente todas as ações no computador.

Se o resultado não for o esperado, vá para a página de configuração e refine suas instruções. Adicione mais detalhes para melhorar a precisão. Siga Melhores práticas para escrever instruções eficazes.

Publicar um agente com uso de computador

Configure o uso do computador e, em seguida, publique seu agente. A forma como o agente é executado depende do cenário. Pode ser autônomo ou conversacional:

  • Os agentes autônomos são executados automaticamente e executam tarefas em segundo plano.
  • Os agentes de conversa permitem aos usuários interagir por meio de canais como o Microsoft Teams.

O uso do computador funciona melhor para agentes autônomos, executando tarefas em segundo plano sem interação do usuário.

Você também pode aplicar o uso do computador em experiências de conversa, mas tenha em mente estas considerações:

  • Se você selecionar Autenticação de usuário como a configuração de autenticação, cada usuário que interagir com o agente em uma conversa precisará de credenciais válidas para um computador usado pelo uso do computador.
  • Quando a ferramenta é executada, ela compartilha mensagens de raciocínio e capturas de tela da atividade do computador no chat.

Práticas recomendadas

Para manter a produtividade e a segurança nos ambientes digitais atuais, siga as melhores práticas de uso do computador, especialmente ao gravar instruções claras e proteger computadores.

Melhores práticas para proteger computadores

Ao configurar computadores para uso do computador que permitam que a IA realize tarefas usando linguagem natural, considere estas recomendações de segurança:

Recomendação de segurança Informações adicionais
Usar computadores dedicados para uso do computador Atribua computadores específicos e isolados exclusivamente para tarefas que envolvam o uso do computador. Esta abordagem reduz o risco de contaminação cruzada por software não relacionado, malware ou acesso não autorizado. Ela permite a você controlar configurações, atualizações e monitoramento de maneira mais eficaz.
Limite as permissões à conta de usuário que você esteja usando para uso do computador Configure a conta de usuário para uso do computador para seguir o princípio de privilégio mínimo — conceda apenas as permissões necessárias para executar as ferramentas necessárias.
Limite o acesso à Web a uma lista de permitidos de sites confiáveis específicos somente Permitir acesso à Web somente a uma lista predefinida de domínios verificados e confiáveis. Por exemplo, você pode definir configurações de política do Microsoft Edge usando o Microsoft Intune que segmentam máquinas para uso de computador.
Limitar aplicativos de área de trabalho específicos para estarem disponíveis Somente instale e permita a execução de aplicativos que são essenciais para os fluxos de trabalho de IA pretendidos. Remova ou desative o acesso a software desnecessário. Por exemplo, você pode Configurar o controle de aplicativo para limitar quais aplicativos têm permissão para serem executados no computador.

Práticas recomendadas para instruções de uso do computador

As instruções que você escreve determinam o quão bem o uso do computador funciona. Instruções específicas e detalhadas ajudam o uso do computador a concluir tarefas com precisão. Pense nisso como explicar uma tarefa a um colega. Orientações claras e orientações etapa a etapa ajudam a garantir o sucesso.

Dicas para escrever instruções eficazes:

  • Seja específico sobre sites e aplicativos. Sempre inclua a URL completa de qualquer site e o nome exato de qualquer aplicativo que a ferramenta deve usar. Exemplo: abra https://www.microsoft.com e vá para 'Notícias da empresa'.
  • Indique claramente as ações relevantes. Se você quiser que algo seja feito, diga-o explicitamente, especialmente ações como enviar um formulário ou enviar um email. Exemplo: depois de preencher o formulário, selecione Enviar. Não precisa pedir permissão.
  • Divida interações complexas. Para áreas em que a interface do usuário pode ser mais complexa de navegar, explique cada etapa em detalhes. Exemplo: selecione o ícone Mais no canto superior direito. Um menu suspenso aparece. Quando abrir, selecione o último item da lista.
  • Use a formatação etapa por etapa para tarefas mais longas. Instruções longas são mais fáceis de seguir quando você as formata como uma lista.

Exemplo de instruções

Explore estas instruções de exemplo para experimentar o uso do computador ou usá-las como referência para escrever suas próprias.

Cenário Organização Descrição Instruções
Processamento de faturas Transferir e enviar detalhes da fatura Transfira dados da fatura de um PDF e envie-os para outro formulário. 1. Vá para https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, defina o filtro de Data como Últimas 24 horas e abra o PDF da fatura.
2. Em uma nova guia, abra https://computerusedemos.blob.core.windows.net/web/Contoso/index.html e preencha o formulário com os dados desse PDF. Envie o formulário da fatura, sem necessidade de confirmação.
Inserção de Dados Enviar itens de estoque Adicionar produtos ao sistema de estoque. 1. Acesse https://computerusedemos.blob.core.windows.net/web/Adventure/index.html.
2. Envie uma nova entrada para cada um dos seguintes itens:
Câmbio traseiro, RD-4821, 50, 42.75, Tailspin Toys
Conjunto de pedais, PD-1738, 80, 19,99, Northwind Traders
Alavanca de freio, BL-2975, 35, 14,50, Trey Research
Conjunto de parafusos da coroa, CB-6640, 100, 5.25, VanArsdel, Ltd.
Movimento Central, BB-9320, 60, 24.90, Tailwind Traders
Extração de dados Procure o gestor de portfólio e o valor Obtenha o nome do gestor e o valor de um portfólio. 1. Acesse https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Encontre a linha da Fourth Coffee e registre o nome do Gestor de Portfólio e o Valor do Portfólio atual exatamente como mostrado.
3. Retorne esses dois valores como a saída final.

Melhores práticas para extração de dados

Use o recurso de uso do computador para extrair dados de sites ou aplicativos. Em seguida, transfira esses dados para seu agente ou para outras ferramentas integradas ao agente. Descreva quais informações você deseja extrair diretamente nas instruções de uso do computador.

Se quiser usar os dados extraídos com outra ferramenta (por exemplo, enviando por email), especifique essa necessidade nas instruções do agente e garanta que pode adicionar as duas ferramentas ao agente. Exemplo: Utilize o uso do computador para extrair as informações do cliente para o painel do portfólio financeiro e enviar por email os dados extraídos. Neste caso, o agente deve incluir as ferramentas de uso do computador e de email.

Extrair valores como texto

Instrua o uso do computador a extrair valores específicos e retorná-los como texto sem formatação. Por exemplo, o próximo prompt extrai o gerenciador de portfólio e o valor de portfólio do cliente, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

O agente só retorna os dois valores solicitados como texto.

Extrair valores como JSON

Você também pode pedir para o uso do computador retornar informações extraídas no formato JSON. Esse formato é útil quando você deseja passar dados estruturados para outra ferramenta. O seguinte exemplo extrai todas as linhas de portfólio relacionadas à Contoso e as retorna como JSON devidamente formatado:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Essa abordagem garante que a saída seja estruturada.

Licenciamento

O uso do computador é cobrado por meio do recurso de ação do Agente à taxa de faturamento de cinco Créditos do Copilot. Saiba mais em Taxa de faturamento e gerenciamento.

Cada execução de uso do computador depende de um modelo de IA que executa uma sequência de etapas. Uma etapa pode envolver uma ou mais ações de baixo nível, como clicar, digitar ou navegar. Cada etapa consome 5 Créditos do Copilot, ou 15 Créditos do Copilot ao usar um modelo premium.

Os seguintes modelos estão disponíveis para uso do computador:

Provedor Modelo Camada Créditos por etapa
OpenAI Agente que Usa Computador (CUA) Padrão 5
Anthropic Claude Sonnet 4.5 Padrão 5
Anthropic Claude Sonnet 4.6 Padrão 5
Anthropic Claude Opus 4.6 Premium 15

Por exemplo, se você configurar o uso do computador para preencher um formulário de folha de ponto online, a execução pode realizar as seguintes etapas:

  1. Inicie o navegador e acesse o portal da folha de ponto.

  2. Selecione Criar nova folha de ponto.

  3. Preencha os campos Hora de Início, Hora de Término e Código do Projeto.

  4. Selecione Enviar.

Neste exemplo, o processo de uso do computador executa quatro etapas. Se usar um modelo padrão, esse processo consome um total de 20 Créditos do Copilot. Se usar um modelo premium, ele consome um total de 60 Créditos do Copilot.

Compartilhe seus comentários

Você tem comentários sobre o uso do computador? Dê sua opinião em computeruse-feedback@microsoft.com.