Perguntas frequentes sobre a ferramenta de uso do computador

Estas perguntas frequentes (FAQ) fornecem insights em capacidades, uso, limitações e proteções a serem consideradas ao incorporar a ferramenta de uso do computador aos seus agentes do Copilot Studio.

O que é a ferramenta de uso do computador?

Uso do computador é uma ferramenta que você pode adicionar aos seus agentes do Copilot Studio, projetada para automatizar tarefas em sites e aplicativos. Você fornece descrições de tarefas em linguagem natural, e a ferramenta automatiza cliques do mouse e ações do teclado conforme as instruções. Por exemplo, você pode instruir a ferramenta a abrir um PDF e usar o conteúdo dele para preencher um formulário online. A ferramenta interpreta visualmente a tela e executa os cliques e pressionamentos de teclas necessários, emulando interações humanas.

Aviso

Uso do computador é uma ferramenta avançada que automatiza interações em sites e aplicativos de área de trabalho, mas também implica importantes considerações de segurança. Em alguns casos, a IA pode tomar ações não intencionais devido a instruções ambíguas ou conteúdo inesperado na tela. Essas ações podem afetar a segurança do seu dispositivo, dados ou contas vinculadas, inclusive o acesso a sistemas pessoais, financeiros ou empresariais.

O que a ferramenta de uso do computador pode fazer?

A ferramenta de uso do computador processa dados de pixels da tela para compreender o conteúdo apresentado, e executa tarefas usando cliques virtuais do mouse e entradas do teclado. A ferramenta pode gerenciar fluxos de trabalho de várias etapas, lidar com cenários inesperados e se adaptar dinamicamente a alterações na tela. Ela pode realizar diversas tarefas digitais, como navegar em sites e preencher formulários, sem precisar de APIs especializadas.

A ferramenta de uso do computador opera em um ciclo iterativo composto por três etapas:

• Percepção: faz capturas de tela para entender visualmente o estado atual da tela do computador.

• Raciocínio: avalia o estado atual, ações anteriores e capturas de tela por meio de uma abordagem de cadeia de pensamento, o que permite adaptar suas ações de forma eficaz.

• Ação: executa ações como clicar, digitar ou rolar até que a tarefa seja concluída ou exija mais entrada do usuário.

Quais são as finalidades da ferramenta de uso do computador?

A ferramenta de uso de computador foi projetada para automatizar as interações do usuário com sites e aplicativos por meio de um mouse e teclado virtuais. É muito útil em situações em que APIs não estão disponíveis.

Como a ferramenta de uso do computador foi avaliada? Quais métricas são usadas para medir o desempenho?

A ferramenta de uso do computador foi rigorosamente avaliada em cenários reais ao longo das fases de design, desenvolvimento e implantação. Os métodos de avaliação incluíram pesquisas, estudos de impacto e testes em diferentes cenários para mensurar precisão, confiança do usuário e usabilidade. Métricas qualitativas e quantitativas são monitoradas regularmente para garantir alto desempenho e uma experiência positiva ao usuário. A disponibilidade da ferramenta também é assegurada pelo atendimento aos SLAs estabelecidos.

Quais são as limitações da ferramenta de uso do computador? Como os usuários podem minimizar o impacto das limitações de ferramenta de uso do computador ao usar o sistema?

A ferramenta de uso do computador é uma tecnologia inovadora, com riscos de segurança conhecidos e limitações funcionais. Estamos capacitando você a experimentar isso. Esta funcionalidade inicial permite a automação de certas tarefas computacionais, embora sua performance varie amplamente dependendo do caso de uso. Para utilizá-la de maneira eficaz e responsável, entenda suas limitações atuais.

Limitações conhecidas

• Taxa de sucesso varia conforme a tarefa: a ferramenta tem melhor desempenho em tarefas baseadas na web (cerca de 80% de sucesso), mas cai significativamente em aplicativos da área de trabalho (cerca de 35% de sucesso).
• Desempenho inconsistente: a mesma tarefa pode gerar resultados diferentes dependendo de alterações visuais ou de tempo.
• Dificuldades com determinados controles de interface do usuário: o uso do computador pode ter dificuldades para interagir com elementos de interface não padrão ou dinâmicos, como listas suspensas, seletores de data ou widgets personalizados.
• Loops e estados de bloqueio: Em alguns casos, o agente entra em um loop ou fica bloqueado quando a tela não corresponde ao esperado ou muda de forma imprevisível.
• Desafios com tarefas complexas: embora seja eficaz para operações simples, a ferramenta pode ter dificuldades com interfaces gráficas detalhadas ou tarefas que exijam manipulação complexa de texto.
• Não para casos confidenciais ou de alto risco: a ferramenta não foi destinada para:
  • Recomendar ou pontuar em áreas confidenciais, como contratação, saúde ou finanças
  • Criar transações financeiras
  • Ações prejudiciais, como spam ou desinformação
  • Compartilhar dados fora da sua organização sem autorização adequada

Como minimizar limitações

Para melhorar a confiabilidade, você deve fornecer instruções claras e detalhadas ao configurar tarefas para reduzir erros e aumentar a taxa de sucesso.

O que é o recurso de supervisão humana?

Importante

Agentes de uso do computador podem encontrar instruções prejudiciais ou maliciosas geralmente mencionadas como injeção de prompt, nas quais comandos ocultos em capturas de tela, páginas da Web ou outras entradas tentam influenciar ações de maneiras não intencionais. Para reduzir esses riscos, opere o uso do computador em ambientes confiáveis e isolados e aplique verificações de validação avançadas antes de executar qualquer instrução.

Execuções de uso do computador podem apresentar ambiguidades ou informações ausentes. Por exemplo, um valor obrigatório não está presente ou diversas interpretações são plausíveis. Nesses casos, o recurso de supervisão humana permite que o agente que usa o computador pause a execução e solicite esclarecimentos a um revisor humano autorizado e configurado. Os revisores podem responder por email ou diretamente dentro do Copilot Studio, utilizando o mapa de atividades de execução do agente. Após receber uma resposta, o agente que usa o computador retoma sua execução a partir da etapa em que foi pausado no mapa.

Confiabilidade e limites

Avaliações conduzidas pelo produto indicam que a funcionalidade de supervisão humana geralmente funciona como esperado, mas pode falhar ou apresentar comportamentos inesperados para os usuários. Como os pedidos de esclarecimento são acionados pelo comportamento do modelo probabilístico, eles podem não ser acionados em todas as situações em que um usuário gostaria de pausar a execução. Eles também podem ser acionados quando uma pausa não é necessária. Você não deve contar com solicitações de esclarecimento como um sistema à prova de falhas ou como garantia de que o sistema sempre solicitará a entrada humana antes de continuar.

Não é um mecanismo de aplicação de regras personalizadas

Solicitações de supervisão humana não garantem a aplicação das regras, políticas ou restrições definidas pelo usuário. Você deve aplicar mais controles apropriados para cada possível cenário (por exemplo: instruções claras, ambientes restritos, contas de privilégio mínimo, listas de permissão e outras salvaguardas operacionais), em vez de depender de pedidos de esclarecimento para fornecer informações ou evitar ações indesejadas.

Quais fatores operacionais e configurações permitem o uso eficaz e responsável da ferramenta de uso do computador?

A ferramenta de uso do computador apresenta o melhor desempenho quando os usuários fornecem instruções claras e detalhadas. Os usuários devem fornecer orientações precisas sobre as interações com sites ou aplicativos para aumentar a confiabilidade e a precisão durante a execução das tarefas. Para maior visibilidade e controle, ative a supervisão humana designando um ou mais revisores autorizados na página de configuração da ferramenta. Se o modelo detectar instruções potencialmente maliciosas, esses revisores recebem notificações para validar e decidir se prosseguem ou interrompem a execução.

Como posso dar feedback sobre a ferramenta de uso do computador?

Tem comentários sobre a ferramenta de uso do computador? Envie email para computeruse-feedback@microsoft.com.