FAQ para a ferramenta de utilização do computador

Estas perguntas frequentes (FAQ) fornecem informações sobre as capacidades, utilização, limitações e salvaguardas de que deve estar ciente ao adicionar a ferramenta de uso do computador aos seus agentes do Copilot Studio.

O que é a ferramenta de uso do computador?

Computer use é uma ferramenta que pode adicionar aos seus agentes do Copilot Studio concebida para automatizar tarefas em websites e aplicações. Forneces descrições de tarefas em linguagem natural, e a ferramenta automatiza cliques do rato e ações do teclado em conformidade. Por exemplo, pode instruir a ferramenta a abrir um PDF e usar o seu conteúdo para preencher um formulário web. A ferramenta interpreta visualmente o ecrã e executa os cliques e batimentos de teclas necessários, emulando as interações humanas.

Warning

A utilização do computador é uma ferramenta avançada que automatiza as interações entre sites e aplicações de ambiente de trabalho, mas também apresenta considerações de segurança importantes. Em alguns casos, a IA pode tomar ações não intencionais devido a instruções ambíguas ou conteúdo inesperado no ecrã. Estas ações podem afetar a segurança do seu dispositivo, dados ou contas ligadas, incluindo o acesso a sistemas pessoais, financeiros ou empresariais.

O que pode fazer a ferramenta de utilização do computador?

A ferramenta de utilização do computador processa dados de píxel do ecrã para entender o conteúdo no ecrã e executa tarefas usando cliques virtuais do rato e entradas do teclado. A ferramenta pode gerir fluxos de trabalho em várias etapas, lidar com cenários inesperados e adaptar-se dinamicamente às alterações do ecrã. Pode realizar várias tarefas digitais, como navegar em websites e preencher formulários, sem necessidade de APIs especializadas.

A ferramenta de utilização do computador segue um ciclo iterativo baseado em três passos:

• Perceção: realiza capturas de ecrã para entender visualmente o estado atual do ecrã do computador.

• Raciocínio: avalia o estado atual, as ações anteriores e as capturas de ecrã através de uma abordagem de cadeia de pensamento, o que lhe permite adaptar as suas ações de forma eficaz.

• Ação: executa ações como clicar, escrever ou deslocar-se até que a tarefa esteja concluída ou exija mais entradas de utilizador.

Quais são as utilizações pretendidas da ferramenta de uso para computadores?

A ferramenta de uso de computador destina-se a automatizar as interações dos utilizadores com websites e aplicações através de um rato e teclado virtuais. É especialmente útil em cenários onde as APIs não estão disponíveis.

Como foi avaliada a ferramenta de utilização do computador? Que métricas são usadas para medir o desempenho?

A ferramenta de utilização do computador foi rigorosamente avaliada usando cenários do mundo real ao longo de suas fases de conceção, desenvolvimento e implantação. Os métodos de avaliação incluíram investigação, estudos de impacto e testes em diferentes cenários para medir a precisão, a confiança dos utilizadores e a utilidade. Para manter um alto desempenho e uma experiência positiva do utilizador, a equipa monitoriza regularmente tanto métricas qualitativas como quantitativas. A equipa também assegura a disponibilidade da ferramenta, cumprindo os SLAs estabelecidos.

Quais são as limitações da ferramenta de utilização do computador? Como podem os utilizadores minimizar o impacto das limitações da ferramenta de utilização do computador ao utilizar o sistema?

A utilização de computadores é uma tecnologia inovadora com riscos de segurança e limitações funcionais conhecidos. A equipa capacita-te a experimentar com isso. Esta capacidade de fase inicial permite a automatização de determinadas tarefas baseadas em computador, embora o seu desempenho varie muito consoante o caso de utilização. Para o usar de forma eficaz e responsável, compreenda as suas limitações atuais.

Limitações conhecidas

• O desempenho varia consoante a tarefa e a aplicação. A fiabilidade depende da complexidade da tarefa, do design da interface e do comportamento da aplicação.

• Sensível a alterações na interface e na temporização. Alterações de layout, atrasos no carregamento ou diálogos inesperados podem produzir resultados diferentes para a mesma tarefa.

• Dificuldade com certos controlos. Elementos de interface não convencionais ou dinâmicos, como menus pendentes, seletores de datas e widgets personalizados, podem ser difíceis de utilizar.

• Pode repetir ações ou ficar bloqueada. Estados inesperados do ecrã podem fazer com que o agente faça um loop ou pare de progredir.

• Desafios com tarefas complexas. Tarefas que envolvem interfaces gráficas detalhadas ou manipulação de texto intrincada podem ser menos fiáveis do que ações simples.

• Não para casos de uso sensíveis ou de alto risco. Por exemplo, a ferramenta não é destinada a:

  • Recomendar ou pontuar em áreas sensíveis, como contratação, saúde ou finanças.
  • Fazer transações financeiras.
  • Ações prejudiciais, como spam ou desinformação.
  • Partilhar dados fora da sua organização sem a devida autorização.

Como minimizar as limitações

Para melhorar a fiabilidade, forneça instruções claras e detalhadas ao configurar tarefas para reduzir erros e aumentar as taxas de sucesso das tarefas.

O que é a funcionalidade de supervisão humana?

Importante

Os agentes que usam o computador podem encontrar instruções prejudiciais ou maliciosas, muitas vezes referidas como ataques de injeção imediata, onde comandos ocultos em capturas de tela, páginas da Web ou outras entradas tentam influenciar as ações de maneiras não intencionais. Para reduzir esses riscos, opere o uso do computador em ambientes confiáveis e isolados e aplique verificações de validação robustas antes de executar quaisquer instruções.

As execuções de utilização do computador podem deparar-se com ambiguidades ou informações em falta. Por exemplo, um valor exigido não está presente ou múltiplas interpretações são plausíveis. Nesses casos, a funcionalidade de supervisão humana permite ao agente que utiliza o computador pausar a execução e emitir um pedido de esclarecimento a um revisor humano autorizado e configurado. Os revisores podem responder por e-mail ou dentro do Copilot Studio através do mapa de atividades de execução do agente. Assim que o agente que utiliza o computador recebe uma resposta, retoma a sua execução a partir da etapa em pausa no mapa.

Fiabilidade e limites

As avaliações orientadas pelo produto indicam que a funcionalidade de supervisão humana funciona geralmente como esperado, mas pode falhar ou comportar-se de formas que os utilizadores poderão não antecipar. Como os pedidos de esclarecimento são desencadeados pelo comportamento do modelo probabilístico, podem não ser ativados em todas as situações em que uma pessoa gostaria de fazer uma pausa. Também podem ser ativadas quando não é necessária uma pausa. Não deve depender dos pedidos de esclarecimento como medida de segurança ou como garantia de que o sistema irá sempre pedir intervenção humana antes de avançar.

Não é um mecanismo de aplicação das regras personalizadas

Os pedidos de supervisão humana não garantem a aplicação das regras, políticas ou restrições definidas. Deve aplicar mais controlos apropriados para cada cenário possível (por exemplo: instruções claras, ambientes restritos, contas de menor privilégio, listas de autorizações e outras salvaguardas operacionais) em vez de depender de pedidos de esclarecimento para fornecer informações ou prevenir ações indesejadas.

Que fatores operacionais e definições permitem a utilização eficaz e responsável da ferramenta de utilização do computador?

A ferramenta de utilização do computador funciona melhor quando são fornecidas instruções de utilizador claras e detalhadas. Os utilizadores devem dar sugestões precisas sobre as interações do site ou aplicação para aumentar a fiabilidade e a precisão durante a execução da tarefa. Para maior visibilidade e controle, habilite a supervisão humana atribuindo um ou mais revisores autorizados na página de configuração das ferramentas. Quando o modelo deteta instruções potencialmente maliciosas, esses revisores recebem notificações para validar e decidir se continuam ou interrompem a execução.

Como faço para fornecer comentários sobre a ferramenta de utilização do computador?

Tem comentários sobre a ferramenta de utilização do computador? Envie um e-mail para computeruse-feedback@microsoft.com.