FAQ para a ferramenta de utilização do computador

Estas perguntas frequentes (FAQ) oferecem informações sobre as capacidades, utilização, limitações e salvaguardas de que deve estar ciente ao adicionar a ferramenta de utilização do computador aos seus agentes do Copilot Studio

O que é a ferramenta de utilização do computador?

Utilização do computador é uma ferramenta que pode adicionar aos seus agentes do Copilot Studio concebidos para automatizar tarefas em sites e aplicações. Os utilizadores fornecem descrições de tarefas em linguagem natural e a ferramenta automatiza os cliques do rato e as ações do teclado em conformidade. Por exemplo, pode instruir a ferramenta a abrir um PDF e usar o seu conteúdo para preencher um formulário Web. A ferramenta interpreta visualmente o ecrã e executa os cliques e batimentos de teclas necessários, emulando as interações humanas.

Aviso

A utilização do computador é uma ferramenta avançada que automatiza as interações entre sites e aplicações de ambiente de trabalho, mas também apresenta considerações de segurança importantes. Em alguns casos, a IA pode tomar ações não intencionais devido a instruções ambíguas ou conteúdo inesperado no ecrã. Estas ações podem afetar a segurança do seu dispositivo, dados ou contas ligadas, incluindo o acesso a sistemas pessoais, financeiros ou empresariais.

O que pode fazer a ferramenta de utilização do computador?

A ferramenta de utilização do computador processa dados de píxel do ecrã para entender o conteúdo no ecrã e executa tarefas usando cliques virtuais do rato e entradas do teclado. A ferramenta pode gerir fluxos de trabalho de vários passos, processar cenários inesperados e adaptar-se dinamicamente a alterações no ecrã, permitindo que execute várias tarefas digitais, como navegar em sites e preencher formulários sem precisar de APIs especializadas.

A ferramenta de utilização do computador segue um ciclo iterativo baseado em três passos:

• Perceção: realiza capturas de ecrã para entender visualmente o estado atual do ecrã do computador.

• Raciocínio: avalia o estado atual, as ações anteriores e as capturas de ecrã através de uma abordagem de cadeia de pensamento, o que lhe permite adaptar as suas ações de forma eficaz.

• Ação: executa ações como clicar, escrever ou deslocar-se até que a tarefa esteja concluída ou exija mais entradas de utilizador.

Quais são as utilizações pretendidas da ferramenta de utilização do computador?

A ferramenta de utilização do computador destina-se a automatizar as interações do utilizador com sites e aplicações através de um rato e um teclado virtuais. É especialmente útil em cenários onde as APIs não estão disponíveis.

Como foi avaliada a ferramenta de utilização do computador? Que métricas são usadas para medir o desempenho?

A ferramenta de utilização do computador foi rigorosamente avaliada usando cenários do mundo real ao longo de suas fases de conceção, desenvolvimento e implantação. Os métodos de avaliação incluíram pesquisa, estudos de impacto e testes em diferentes cenários para medir a precisão, a confiança do utilizador e a utilidade. As métricas qualitativas e quantitativas são monitorizadas regularmente para manter um alto desempenho e uma experiência do utilizador positiva. A disponibilidade da ferramenta também é garantida pela adesão aos SLAs estabelecidos.

Quais são as limitações da ferramenta de utilização do computador? Como podem os utilizadores minimizar o impacto das limitações da ferramenta de utilização do computador ao utilizar o sistema?

A utilização de computadores é uma tecnologia inovadora com riscos de segurança e limitações funcionais conhecidos. Estamos a dar-lhe as condições para fazer experiências com a mesma. Esta capacidade de fase inicial permite a automatização de determinadas tarefas baseadas em computador, embora o seu desempenho varie muito consoante o caso de utilização. Para a utilizar de forma eficaz e responsável, é importante compreender as suas limitações atuais.

Limitações conhecidas

• A taxa de êxito varia de acordo com a tarefa: a ferramenta tem um melhor desempenho em tarefas baseadas na Web (cerca de 80% de êxito), mas cai significativamente em aplicações de ambiente de trabalho (cerca de 35% de êxito).
• Desempenho inconsistente: a mesma tarefa pode produzir resultados diferentes, dependendo de alterações visuais ou cronológicas.
• Dificuldades com determinados controlos da IU: a utilização do computador pode ter dificuldades em interagir com elementos de interface não padrão ou dinâmicos, como menus pendentes, seletores de data ou widgets personalizados.
• Ciclos e estados de bloqueio: em alguns casos, o agente entra num ciclo ou fica bloqueado quando o ecrã não corresponde às expectativas ou muda de forma imprevisível.
• Desafios com tarefas complexas: embora seja eficaz para ações simples, a ferramenta pode ter dificuldades com interfaces gráficas detalhadas ou tarefas que envolvem a manipulação intrincada de texto.
• Não se destina a casos de utilização confidenciais ou de alto risco: a ferramenta não se destina a:
  • Recomendação ou pontuação em domínios confidenciais, como contratação, saúde ou finanças
  • Realização de transações financeiras
  • Ações prejudiciais, como spam ou desinformação
  • Partilhar dados fora da sua organização sem a devida autorização

Como minimizar as limitações

Para melhorar a fiabilidade, deve fornecer instruções claras e detalhadas ao configurar tarefas para reduzir erros e aumentar as taxas de sucesso das tarefas.

O que é a funcionalidade de supervisão humana?

Importante

Os agentes de utilização do computador podem deparar-se com instruções prejudiciais ou maliciosas, frequentemente designadas por ataques de injeção de pedidos, em que comandos ocultos em capturas de ecrã, páginas Web ou outras entradas tentam influenciar ações de formas não intencionais. Para reduzir estes riscos, deve operar a utilização do computador em ambientes fidedignos e isolados e aplicar verificações de validação robustas antes de executar qualquer instrução.

As execuções de utilização do computador podem encontrar ambiguidade ou informação em falta. Por exemplo, um valor necessário não está presente ou existem várias interpretações plausíveis. Nesses casos, a funcionalidade de supervisão humana permite ao agente utilizador de computador pausar a execução e emitir um pedido de esclarecimento a um revisor humano autorizado e configurado. Os revisores podem responder por e-mail ou dentro do Copilot Studio através do mapa de atividades de execução do agente. Assim que o agente utilizador de computador recebe uma resposta, retoma a execução a partir do passo pausado no mapa.

Fiabilidade e limites

As avaliações orientadas pelo produto indicam que a funcionalidade de supervisão humana, em geral, funciona conforme esperado, mas pode falhar ou comportar‑se de formas que os utilizadores poderão não antecipar. Como os pedidos de esclarecimento são acionados pelo comportamento probabilístico do modelo, podem não ser acionados em todas as situações em que uma pessoa gostaria de uma pausa. Também podem ser acionados quando uma pausa não é necessária. Não deve depender dos pedidos de esclarecimento como mecanismo de segurança infalível ou como garantia de que o sistema irá sempre pedir intervenção humana antes de avançar.

Não é um mecanismo de imposição de regras personalizadas

Os pedidos de supervisão humana não garantem a imposição das regras, políticas ou restrições definidas por si. Deve aplicar mais controlos adequados para cada possível cenário (por exemplo: instruções claras, ambientes restritos, contas com privilégios mínimos, listas de permissões e outras salvaguardas operacionais), em vez de confiar em pedidos de esclarecimento para fornecer informações ou prevenir ações indesejadas.

Que fatores operacionais e definições permitem a utilização eficaz e responsável da ferramenta de utilização do computador?

A ferramenta de utilização do computador funciona melhor quando são fornecidas instruções de utilizador claras e detalhadas. Os utilizadores devem dar sugestões precisas sobre as interações do site ou aplicação para aumentar a fiabilidade e a precisão durante a execução da tarefa. Para maior visibilidade e controlo, ative a supervisão humana atribuindo um ou mais revisores autorizados na página de configuração da ferramenta. Quando o modelo deteta instruções potencialmente maliciosas, estes revisores recebem notificações para validar e decidir se a execução deve continuar ou ser interrompida.

Como faço para fornecer comentários sobre a ferramenta de utilização do computador?

Tem comentários sobre a ferramenta de utilização do computador? Envie um e-mail para computeruse-feedback@microsoft.com.