Perguntas frequentes sobre a ferramenta de uso do computador

Essas perguntas frequentes (perguntas frequentes) fornecem insights sobre os recursos, o uso, as limitações e as proteções que você deve estar ciente ao adicionar a ferramenta de uso do computador aos seus agentes do Copilot Studio.

O que é a ferramenta de uso do computador?

O uso do computador é uma ferramenta que você pode adicionar aos agentes do Copilot Studio projetados para automatizar tarefas em sites e aplicativos. Você fornece descrições de tarefa em linguagem natural e a ferramenta automatiza os cliques do mouse e as ações de teclado adequadamente. Por exemplo, você pode instruir a ferramenta a abrir um PDF e usar seu conteúdo para preencher um formulário web. A ferramenta interpreta visualmente a tela e executa os cliques e pressionamentos de tecla necessários, emulando interações humanas.

Aviso

O uso de computador é uma ferramenta poderosa que automatiza interações entre sites e aplicativos da área de trabalho, mas também vem com considerações importantes de segurança. Em alguns casos, a IA pode executar ações não intencionais devido a instruções ambíguas ou conteúdo inesperado na tela. Essas ações podem afetar a segurança de seu dispositivo, dados ou contas conectadas, incluindo acesso a sistemas pessoais, financeiros ou empresariais.

Quais são as funções da ferramenta do computador?

A ferramenta de uso do computador processa dados de pixels da tela para compreender o conteúdo exibido e executa tarefas usando cliques virtuais do mouse e entradas do teclado. A ferramenta pode gerenciar fluxos de trabalho em múltiplas etapas, lidar com cenários inesperados e se adaptar dinamicamente às mudanças na tela. Ele pode realizar diversas tarefas digitais, como navegar em sites e preencher formulários, sem precisar de APIs especializadas.

A ferramenta de uso do computador segue um loop iterativo com base em três etapas:

• Percepção: captura capturas de tela para entender visualmente o estado atual da tela do computador.

• Raciocínio: ele avalia o estado atual, as ações anteriores e as capturas de tela por meio de uma abordagem de cadeia de pensamento, que permite adaptar suas ações efetivamente.

• Ação: ele executa ações como clicar, digitar ou rolar até que a tarefa seja concluída ou exija mais entradas do usuário.

Quais são os usos pretendidos da ferramenta de uso de computador?

A ferramenta de uso de computador foi projetada para automatizar as interações do usuário com sites e aplicativos por meio de um mouse e teclado virtuais. É muito útil em situações em que APIs não estão disponíveis.

Como a ferramenta de uso do computador foi avaliada? Quais métricas são usadas para medir o desempenho?

A ferramenta de uso do computador foi rigorosamente avaliada usando cenários do mundo real em suas fases de design, desenvolvimento e implantação. Os métodos de avaliação incluíram pesquisa, estudos de impacto e testes em diferentes cenários para medir precisão, confiança do usuário e utilidade. Para manter alto desempenho e uma experiência positiva do usuário, a equipe monitora regularmente tanto métricas qualitativas quanto quantitativas. A equipe também garante a disponibilidade da ferramenta ao seguir os SLAs estabelecidos.

Quais são as limitações da ferramenta de uso do computador? Como os usuários podem minimizar o impacto das limitações da ferramenta de uso do computador ao usar o sistema?

O uso de computador é uma nova tecnologia com riscos de segurança conhecidos e limitações funcionais. A equipe te dá o poder de experimentar com ele. Essa funcionalidade em estágio inicial permite a automação de determinadas tarefas baseadas em computador, embora seu desempenho varie amplamente dependendo do caso de uso. Para usá-la de forma eficaz e responsável, compreenda suas limitações atuais.

Limitações conhecidas

• O desempenho varia conforme a tarefa e a aplicação. A confiabilidade depende da complexidade da tarefa, do design da interface e do comportamento da aplicação.

• Sensível a alterações na interface e na temporização. Mudanças de layout, atrasos no carregamento ou diálogos inesperados podem gerar resultados diferentes para a mesma tarefa.

• Dificuldade com certos controles. Elementos de interface não padrão ou dinâmicos, como menus suspensos, seletores de data e widgets personalizados, podem ser difíceis de usar.

• Pode repetir ações ou ficar preso. Estados inesperados da tela podem fazer o agente entrar em loop ou parar de progredir.

• Desafios com tarefas complexas. Tarefas envolvendo interfaces gráficas detalhadas ou manipulação de texto intrincada podem ser menos confiáveis do que ações simples.

• Não para casos sensíveis ou de alto risco. Por exemplo, a ferramenta não foi feita para:

  • Recomendar ou pontuar em áreas sensíveis, como contratação, saúde ou finanças.
  • Fazendo transações financeiras.
  • Ações prejudiciais, como spam ou desinformação.
  • Compartilhar dados fora da sua organização sem autorização adequada.

Como minimizar as limitações

Para melhorar a confiabilidade, forneça instruções claras e detalhadas ao configurar tarefas para reduzir erros e aumentar as taxas de sucesso das tarefas.

Qual é o recurso de supervisão humana?

Importante

Agentes de uso do computador podem encontrar instruções prejudiciais ou maliciosas geralmente mencionadas como injeção de prompt, nas quais comandos ocultos em capturas de tela, páginas da Web ou outras entradas tentam influenciar ações de maneiras não intencionais. Para reduzir esses riscos, opere o uso do computador em ambientes confiáveis e isolados e aplique verificações de validação robustas antes de executar qualquer instrução.

Execuções de uso do computador podem apresentar ambiguidades ou informações ausentes. Por exemplo, um valor obrigatório não está presente ou diversas interpretações são plausíveis. Nesses casos, o recurso de supervisão humana permite que o agente que usa o computador pause a execução e emita uma solicitação de esclarecimento para um revisor humano autorizado e configurado. Os revisores podem responder por email ou diretamente dentro do Copilot Studio, utilizando o mapa de atividades de execução do agente. Assim que receber uma resposta, o agente que opera o computador retoma a execução a partir da etapa pausada no mapa.

Confiabilidade e limites

Avaliações conduzidas pelo produto indicam que a funcionalidade de supervisão humana geralmente funciona como esperado, mas pode falhar ou apresentar comportamentos inesperados para os usuários. Como os pedidos de esclarecimento são acionados pelo comportamento do modelo probabilístico, eles podem não ser acionados em todas as situações em que um usuário gostaria de pausar a execução. Eles também podem ser acionados quando uma pausa não é necessária. Você não deve contar com solicitações de esclarecimento como um sistema à prova de falhas ou como garantia de que o sistema sempre solicitará a entrada humana antes de continuar.

Não é um mecanismo de imposição de regras personalizadas

As solicitações de supervisão humana não garantem a imposição de suas regras, políticas ou restrições definidas. Você deve aplicar mais controles apropriados para cada possível cenário (por exemplo: instruções claras, ambientes restritos, contas de privilégio mínimo, listas de permissão e outras salvaguardas operacionais), em vez de depender de pedidos de esclarecimento para fornecer informações ou evitar ações indesejadas.

Quais fatores operacionais e configurações permitem o uso efetivo e responsável da ferramenta de uso do computador?

A ferramenta de uso do computador tem o melhor desempenho quando são fornecidas instruções de usuário claras e detalhadas. Os usuários devem dar dicas precisas sobre interações de site ou aplicativo para melhorar a confiabilidade e a precisão durante a execução da tarefa. Para maior visibilidade e controle, habilite a supervisão humana atribuindo um ou mais revisores autorizados na página de configuração de ferramentas. Quando o modelo detecta instruções potencialmente mal-intencionadas, esses revisores recebem notificações para validar e decidir se devem continuar ou interromper a execução.

Como fazer para fornecer comentários sobre a ferramenta de uso do computador?

Tem comentários sobre a ferramenta de uso do computador? Envie email para computeruse-feedback@microsoft.com.