Preguntas más frecuentes sobre la herramienta de uso del equipo

¿Qué es la herramienta de uso del equipo?

El uso de equipos es una herramienta que puede agregar a los agentes de Copilot Studio diseñados para automatizar tareas en sitios web y aplicaciones. Los usuarios proporcionan descripciones de tareas en lenguaje natural y la herramienta automatiza los clics del mouse y las acciones de teclado en consecuencia. Por ejemplo, podría indicar a la herramienta que abra un PDF y use su contenido para rellenar un formulario web. La herramienta interpreta visualmente la pantalla y ejecuta los clics y pulsaciones de tecla necesarios, emulando interacciones humanas.

Advertencia

El uso de equipos es una herramienta eficaz que automatiza las interacciones entre sitios web y aplicaciones de escritorio, pero también incluye consideraciones de seguridad importantes. En algunos casos, la inteligencia artificial podría realizar acciones no deseadas debido a instrucciones ambiguas o contenido inesperado en pantalla. Estas acciones pueden afectar a la seguridad de su dispositivo, datos o cuentas conectadas, incluido el acceso a sistemas personales, financieros o empresariales.

¿Qué puede hacer la herramienta de uso del equipo?

El equipo usa la herramienta procesa los datos de píxeles de pantalla para comprender el contenido en pantalla y realiza tareas mediante clics de mouse virtuales y entradas de teclado. La herramienta puede administrar flujos de trabajo de varios pasos, controlar escenarios inesperados y adaptarse dinámicamente a los cambios de pantalla, lo que le permite realizar diversas tareas digitales, como navegar por sitios web y rellenar formularios sin necesidad de API especializadas.

La herramienta de uso del equipo sigue un bucle iterativo basado en tres pasos:

• Percepción: captura capturas de pantalla para comprender visualmente el estado actual de la pantalla del equipo.

• Razonamiento: evalúa el estado actual, las acciones anteriores y las capturas de pantalla a través de un enfoque de cadena de pensamiento, que le permite adaptar sus acciones de forma eficaz.

• Acción: realiza acciones como hacer clic, escribir o desplazarse hasta que se complete la tarea o requiera una entrada adicional del usuario.

¿Cuáles son los usos previstos de la herramienta de uso del equipo?

La herramienta de uso del equipo está pensada para automatizar las interacciones de usuario con sitios web y aplicaciones a través de un mouse virtual y un teclado, especialmente útiles en escenarios en los que las API no están disponibles.

¿Cómo se evaluó la herramienta de uso del equipo? ¿Qué métricas se usan para medir el rendimiento?

La herramienta de uso de equipos se evaluó rigurosamente mediante escenarios reales a lo largo de sus fases de diseño, desarrollo e implementación. Los métodos de evaluación incluían investigaciones, estudios de impacto y pruebas en diferentes escenarios para medir la precisión, la confianza del usuario y la utilidad. Las métricas cualitativas y cuantitativas se supervisan periódicamente para mantener un alto rendimiento y una experiencia positiva del usuario. La disponibilidad de la herramienta también se garantiza al cumplir los Acuerdos de Nivel de Servicio establecidos.

¿Cuáles son las limitaciones de la herramienta de uso del equipo? ¿Cómo pueden los usuarios minimizar el impacto de las limitaciones de la herramienta de uso de la herramienta al usar el sistema?

El uso de equipos es una tecnología innovadora con riesgos de seguridad conocidos y limitaciones funcionales. Le estamos capacitando para experimentar con él. Esta funcionalidad de fase temprana permite la automatización de determinadas tareas basadas en equipos, aunque su rendimiento varía en gran medida según el caso de uso. Para usarlo de forma eficaz y responsable, comprenda sus limitaciones actuales:

Limitaciones conocidas

• La tasa de éxito varía según la tarea: la herramienta funciona mejor en las tareas basadas en web (aproximadamente 80% éxito), pero disminuye significativamente en las aplicaciones de escritorio (aproximadamente 35% éxito).
• Rendimiento incoherente: la misma tarea puede producir resultados diferentes en función de los cambios visuales o de tiempo.
• Dificultades con determinados controles de interfaz de usuario: el uso del equipo puede tener dificultades para interactuar con elementos de interfaz no estándar o dinámicos, como listas desplegables, selectores de fechas o widgets personalizados.
• Bucles y estados bloqueados: en algunos casos, el agente entra en un bucle o se bloquea cuando la pantalla no coincide con las expectativas o los cambios de forma impredecible.
• Desafíos con tareas complejas: aunque es eficaz para acciones simples, la herramienta podría tener dificultades con interfaces gráficas detalladas o tareas que implican manipulación de texto intrincada.
• No para casos de uso confidenciales o de alto riesgo: la herramienta no está pensada para:
  • Recomendación o puntuación en dominios confidenciales, como contratación, atención sanitaria o finanzas
  • Realizar transacciones financieras
  • Acciones perjudiciales, como correo no deseado o información incorrecta
  • Uso compartido de datos fuera de la organización sin autorización adecuada

Cómo minimizar las limitaciones

Para mejorar la confiabilidad, los usuarios deben proporcionar instrucciones claras y detalladas al configurar tareas. Esto ayuda a reducir los errores y aumenta las tasas de éxito de tareas.

Supervisión humana

La supervisión humana mejora la visibilidad y el control. Un revisor autorizado que hayas configurado en la sección de supervisión humana de la herramienta puede confirmar acciones o proporcionar información cuando el modelo lo solicite. Si se necesita confirmación o entrada, el sistema pausa la ejecución y notifica a los revisores asignados, quienes pueden decidir cómo proceder.

Importante

Los agentes de uso de computadoras pueden encontrar instrucciones dañinas o maliciosas, a menudo denominadas ataques de inyección rápida, donde los comandos ocultos en capturas de pantalla, páginas web u otras entradas intentan influir en las acciones de manera no deseada. Para reducir estos riesgos, opere el uso de computadoras en entornos aislados y confiables y aplique comprobaciones de validación sólidas antes de ejecutar cualquier instrucción.

¿Qué factores operativos y configuraciones permiten un uso eficaz y responsable de la herramienta de uso del equipo?

La herramienta de uso del equipo funciona mejor cuando se proporcionan instrucciones de usuario claras y detalladas. Los usuarios deben proporcionar sugerencias precisas sobre las interacciones de sitios web o aplicaciones para mejorar la confiabilidad y la precisión durante la ejecución de la tarea. Para mayor visibilidad y control, habilite la supervisión humana asignando uno o más revisores autorizados en la página de configuración de herramientas. Cuando el modelo detecta instrucciones potencialmente malintencionadas, estos revisores reciben notificaciones para validar y decidir si continuar o detener la ejecución.

¿Cómo puedo proporcionar comentarios sobre la herramienta de uso del equipo?

¿Tiene comentarios sobre la herramienta de uso del equipo? Correo electrónico computeruse-feedback@microsoft.com.