Preguntas frecuentes sobre la herramienta de uso del equipo

Estas preguntas frecuentes (FAQ) proporcionan información sobre las capacidades, el uso, las limitaciones y las medidas de seguridad que deberías tener en cuenta al agregar la herramienta de uso de equipos a tus agentes de Copilot Studio.

¿Qué es la herramienta de uso de equipos?

Uso de equipos es una herramienta que puedes añadir a tus agentes de Copilot Studio diseñada para automatizar tareas en sitios web y aplicaciones. Proporcionas descripciones de tareas en lenguaje natural, y la herramienta automatiza los clics del ratón y las acciones del teclado en consecuencia. Por ejemplo, podrías indicar a la herramienta que abra un PDF y utilice su contenido para rellenar un formulario web. La herramienta interpreta visualmente la pantalla y ejecuta los clics y pulsaciones de teclas necesarias, emulando las interacciones humanas.

Advertencia

Uso de equipos es una herramienta poderosa que automatiza las interacciones entre sitios web y aplicaciones de escritorio, pero también conlleva importantes consideraciones de seguridad. En algunos casos, la IA podría realizar acciones no intencionadas debido a instrucciones ambiguas o contenido inesperado en pantalla. Estas acciones pueden afectar la seguridad de su dispositivo, datos o cuentas conectadas, incluyendo el acceso a sistemas personales, financieros o empresariales.

¿Qué puede hacer la herramienta de uso del ordenador?

La herramienta de uso del ordenador procesa los datos de píxeles de la pantalla para comprender el contenido en pantalla y realiza tareas mediante clics virtuales del mouse y entradas de teclado. La herramienta puede gestionar flujos de trabajo de varios pasos, manejar situaciones imprevistas y adaptarse dinámicamente a los cambios en la pantalla. Puede realizar diversas tareas digitales, como navegar por sitios web y completar formularios, sin necesidad de APIs especializadas.

La herramienta de uso de equipos sigue un bucle iterativo basado en tres pasos:

• Percepción: toma capturas de pantalla para comprender visualmente el estado actual de la pantalla de la computadora.

• Razonamiento: evalúa el estado actual, las acciones anteriores y las capturas de pantalla a través de un enfoque de cadena de pensamiento, lo que le permite adaptar sus acciones de manera efectiva.

• Acción: realiza acciones como hacer clic, escribir o desplazarse hasta que la tarea se completa o requiere más entrada del usuario.

¿Cuáles son los usos previstos de la herramienta de uso de equipos?

La herramienta de uso de equipos está destinada a automatizar las interacciones del usuario con sitios web y aplicaciones mediante un ratón y teclado virtuales. Es especialmente útil en escenarios donde no hay APIs disponibles.

¿Cómo se evaluó la herramienta de uso de la computadora? ¿Qué métricas se utilizan para medir el rendimiento?

La herramienta de uso de equipos fue evaluada rigurosamente utilizando escenarios del mundo real durante sus fases de diseño, desarrollo y despliegue. Los métodos de evaluación incluyeron investigación, estudios de impacto y pruebas en diferentes escenarios para medir la precisión, la confianza de los usuarios y la utilidad. Ambas métricas cualitativas y cuantitativas se monitorizan regularmente para mantener un alto rendimiento y una experiencia de usuario positiva. La disponibilidad de la herramienta también se garantiza cumpliendo con los SLAs establecidos.

¿Cuáles son las limitaciones de la herramienta de uso de equipos? ¿Cómo pueden los usuarios minimizar el impacto de las limitaciones de la herramienta de uso del ordenador cuando utilizan el sistema?

La herramienta de uso de equipos es una tecnología novedosa con riesgos de seguridad conocidos y limitaciones funcionales. Le estamos dando capacidad para experimentar con ella. Esta capacidad en etapa inicial permite la automatización de ciertas tareas informáticas, aunque su rendimiento varía mucho según el caso de uso. Para utilizarla de manera eficaz y responsable, es necesario comprender sus limitaciones actuales.

Limitaciones conocidas

• La tasa de éxito varía según la tarea: la herramienta funciona mejor en tareas web (alrededor del 80% de éxito), pero baja significativamente en aplicaciones de escritorio (alrededor del 35% de éxito).
• Rendimiento inconsistente: La misma tarea puede arrojar resultados diferentes dependiendo de cambios visuales o temporales.
• Dificultades con ciertos controles de la interfaz: El uso del ordenador puede tener dificultades para interactuar con elementos de interfaz no estándar o dinámicos, como menús desplegables, selectores de fechas o widgets personalizados.
• Bucles y estados bloqueados: En algunos casos, el agente entra en un bucle o se bloquea cuando la pantalla no coincide con las expectativas o cambia de forma impredecible.
• Desafíos con tareas complejas: Aunque es eficaz para acciones simples, la herramienta puede tener dificultades con interfaces gráficas detalladas o tareas que impliquen manipulación compleja de texto.
• No recomendada para casos de uso sensibles o de alto riesgo: La herramienta no está diseñada para:
  • Recomendar o calificar en dominios sensibles, como contratación, salud o finanzas
  • Realizar transacciones financieras
  • Acciones dañinas, como el spam o la desinformación
  • Compartir datos fuera de la organización sin autorización adecuada

Cómo minimizar las limitaciones

Para mejorar la fiabilidad, debes proporcionar instrucciones claras y detalladas al configurar tareas para reducir errores y aumentar la tasa de éxito.

¿Qué es la característica de supervisión humana?

Importante

Los agentes que utilizan equipos pueden encontrar instrucciones perjudiciales o maliciosas, a menudo llamadas ataques de inyección rápida, en las que comandos ocultos en capturas de pantalla, páginas web u otras entradas intentan influir en las acciones de forma no deseada. Para reducir estos riesgos, opere uso de equipos en entornos aislados de confianza y aplique comprobaciones de validación sólidas antes de ejecutar las instrucciones.

Las ejecuciones de uso de equipos pueden encontrar ambigüedad o falta de información. Por ejemplo, puede faltar un valor requerido o puede haber varias interpretaciones posibles. En esos casos, la característica de supervisión humana permite que el agente de uso de equipos pause la ejecución y solicite una aclaración a un revisor humano autorizado y configurado. Los revisores pueden responder por correo electrónico o en Copilot Studio utilizando el mapa de actividad de ejecución del agente. Una vez que el agente que usa la computadora recibe una respuesta, reanuda su ejecución desde el paso pausado en el mapa de actividad.

Fiabilidad y límites

Las evaluaciones lideradas por el producto indican que la característica de supervisión humana generalmente funciona como se espera, pero puede fallar o comportarse de maneras que los usuarios no anticipan. Como las solicitudes de aclaración se activan por el modelo probabilístico, puede que no se activen en todas las situaciones en las que una persona quiera una pausa. También pueden activarse cuando no es necesario hacer una pausa. No deberías depender de las solicitudes de aclaración como medida de seguridad o como garantía de que el sistema siempre solicitará la intervención humana antes de continuar.

No es un mecanismo de aplicación de reglas personalizadas

Las solicitudes de supervisión humana no garantizan la aplicación de las reglas, políticas o restricciones que defines. Debería aplicar más controles apropiados para cada posible escenario (p. ej.: instrucciones claras, entornos restringidos, cuentas de privilegio mínimo, listas de permitidos y otras salvaguardas operativas) en lugar de depender de solicitudes de aclaración para proporcionar información o prevenir acciones no deseadas.

¿Qué factores y ajustes operativos permiten un uso eficaz y responsable de la herramienta de uso del ordenador?

La herramienta de uso de equipos funciona mejor cuando se proporcionan instrucciones claras y detalladas al usuario. Los usuarios deben proporcionar indicaciones precisas sobre las interacciones con sitios web o aplicaciones para mejorar la fiabilidad y precisión durante la ejecución de tareas. Para mayor visibilidad y control, habilite la supervisión humana asignando uno o más revisores autorizados en la página de configuración de la herramienta. Cuando el modelo detecta instrucciones potencialmente maliciosas, estos revisores reciben notificaciones para validar y decidir si continuar o detener la ejecución.

¿Cómo puedo enviar comentarios sobre la herramienta de uso de equipos?

¿Tienes comentarios sobre la herramienta de uso de equipos? Correo electrónico computeruse-feedback@microsoft.com.