Diseño del uso del asistente en Windows 10
Los asistentes de voz desarrollados en Windows 10 deben implementar las siguientes guías de experiencia del usuario para que la experiencia de la activación por voz en Windows 10 sea la mejor posible. En este documento se guiará a los desarrolladores para que conozcan el trabajo necesario para que un asistente de voz se integre con el shell de Windows 10.
Contenido
- Resumen de las vistas de activación por voz que se admiten en Windows 10
- Resumen de los requisitos
- Procedimientos recomendados para mejorar la escucha
- Guía de diseño para la activación por voz en la aplicación
- Guía de diseño para la activación por voz con el dispositivo bloqueado
- Guía de diseño de la vista previa de la activación por voz
Resumen de las vistas de activación por voz que se admiten en Windows 10
Windows 10 infiere una experiencia de activación para el contexto del usuario que se basa en el contexto del dispositivo. En la siguiente tabla de resumen, se proporciona información general de las distintas vistas disponibles cuando la pantalla está encendida.
| Vista (disponibilidad) | Contexto del dispositivo | Objetivo del usuario | Aparece cuando | Necesidades de diseño |
|---|---|---|---|---|
| En la aplicación (19H1) | Dispositivo sin bloquear, el asistente tiene el foco. | Interactuar con la aplicación del asistente. | El asistente procesa la solicitud en la aplicación. | Experiencia principal de escucha de la vista en la aplicación. |
| Con el dispositivo bloqueado (19H2) | Con el dispositivo bloqueado, sin autenticar. | Interactuar con el asistente, pero a distancia. | El sistema está bloqueado y el asistente solicita su activación. | Objetos visuales en pantalla completa para la interfaz de usuario de campo lejano. Implementar directivas de descarte para no desbloquear el bloqueo. |
| Vista previa de la activación por voz (20H1) | Con el dispositivo sin bloquear, el asistente no tiene el foco | Interactuar con el asistente, pero de forma menos intrusiva. | El sistema está sin bloquear y el asistente solicita la activación en segundo plano. | Lienzo mínimo. Cambiar el tamaño o entregar a la vista principal de la aplicación según sea necesario. |
Resumen de los requisitos
Se requiere un esfuerzo mínimo para acceder a las distintas experiencias. No obstante, los asistentes necesitan implementar la guía de diseño correcta para cada vista. La tabla siguiente es una lista en la que encontrará los requisitos que deben cumplirse.
| Vista de la activación por voz | Resumen de los requisitos del asistente |
|---|---|
| En la aplicación |
|
| Con el dispositivo bloqueado |
|
| Vista previa de la activación por voz |
|
Procedimientos recomendados para mejorar la escucha.
Los asistentes deben crear una experiencia de escucha que proporcione comentarios críticos para que el usuario pueda conocer el estado del asistente. A continuación, se muestran algunos de los posibles estados que hay que tener en cuenta al crear una experiencia de asistente. Estas son solo algunas sugerencias posibles, no es una guía que haya seguir forzosamente.
- El asistente está disponible para la entrada de voz.
- El asistente está en proceso de activación (una palabra clave o presionar el botón del micrófono).
- El asistente está transmitiendo activamente audio a la nube del asistente.
- El asistente está listo para que el usuario empiece a hablar.
- El ayudante oye que se están diciendo palabras.
- El asistente entiende que el usuario ha terminado de hablar.
- El asistente está procesando y preparando una respuesta.
- El ayudante está respondiendo.
Aunque los estados cambien rápidamente, merece la pena considerar la posibilidad de usar la experiencia del usuario para los mismos, ya que las duraciones varían en todo el ecosistema de Windows. Una parte de la solución pueden ser tanto una indicación visual como sonidos de campanillas, también llamados "avisos sonoros". Del mismo modo, un conjunto de tarjetas visuales y descripciones sonoras es una buena opción de respuesta.
Guía de diseño para la activación por voz en la aplicación
Cuando la aplicación del asistente tiene el foco de atención, la intención del cliente es claramente interactuar con la aplicación, por lo que la vista principal de la aplicación debería controlar todas las experiencias de activación por voz. Vista cuyo tamaño puede cambiar el usuario. Para ayudar a explicar las interacciones del shell del asistente, en el resto de este documento se usa el ejemplo concreto de un asistente de servicios financieros llamado Contoso. Tanto en este diagrama como en los siguientes, lo que el usuario diga aparecerá a la izquierda en los bocadillos habituales de los tebeos, mientras que las respuestas del asistente se verán a la derecha.
Vista en la aplicación. Estado inicial cuando comienza la activación por voz:
Vista en la aplicación. Después de la activación por voz correcta, comienza la experiencia de escucha:
Vista en la aplicación. Todas las respuestas permanecen en la experiencia de la aplicación.
Guía de diseño para la activación por voz con el dispositivo bloqueado
Disponible con 19H2; los asistentes basados en la plataforma de activación por voz de Windows están disponibles para responder con el dispositivo bloqueado.
Participación del usuario
La activación de voz con el dispositivo bloqueado está siempre deshabilitada de forma predeterminada. Los clientes pueden usarla mediante el valor de Windows>Privacidad>Activación por voz. Para más información sobre la supervisión y la solicitud de esta opción de configuración, consulte la guía de implementación de con el dispositivo bloqueado.
No es un reemplazo de la pantalla de bloqueo
Aunque las notificaciones u otros puntos de integración de la pantalla de bloqueo de la aplicación estándar siguen estando disponibles para el asistente, la pantalla de bloqueo de Windows siempre define la experiencia inicial del usuario, hasta que se produce una activación por voz. Una vez que se detecta la activación por voz, la aplicación del asistente aparece temporalmente por encima de la pantalla de bloqueo. Para evitar la confusión del cliente, cuando la aplicación del asistente se activa con el dispositivo bloqueado, no debe presentar nunca una interfaz de usuario para solicitar ningún tipo de credenciales o inicio de sesión.
Experiencia con el dispositivo bloqueado tras la activación por voz
Cuando la pantalla está encendida, la aplicación del asistente está en pantalla completa, sin una barra de título encima de la pantalla de bloqueo. Los objetos visuales de mayor tamaño una mayor potencia en las descripciones de voz y la interfaz de voz principal permiten escenarios en los que el usuario esté demasiado lejos para leer la interfaz de usuario o tenga las manos ocupadas en otra tarea (que no tenga ninguna relación con el equipo).
Cuando la pantalla está apagada, la aplicación del asistente puede reproducir un aviso sonoro para indicar que el asistente se está activando y proporcionar una experiencia en la que se use solo la voz.
Directivas de descarte
El asistente debe implementar la guía para el descarte en esta sección para facilitar el inicio de sesión de los usuarios la próxima vez que quieran usar su PC con Windows. A continuación, se muestran varios requisitos específicos que el asistente debe implementar:
- Todos los lienzos del asistente que se muestran con el dispositivo bloqueado deben contener una X en la parte superior derecha para descartar el asistente.
- Si se presiona cualquier tecla, también se debe descartar la aplicación del asistente. La entrada mediante teclado es la señal de una aplicación de bloqueo tradicional de que el cliente quiere iniciar sesión. Por lo tanto, ni las entradas de texto ni las que se realicen mediante el teclado deberían dirigirse a la aplicación. En su lugar, la aplicación deberá descartarse automáticamente si se detecta alguna entrada mediante el teclado, para que el usuario pueda iniciar sesión fácilmente en su dispositivo.
- Si la pantalla se apaga, la aplicación debe descartarse automáticamente. Así se garantiza que la próxima vez que el usuario use su equipo, la pantalla de inicio de sesión estará lista.
- Si la aplicación está "en uso", puede continuar con el bloqueo anterior. "En uso" significa que se produce cualquier entrada o salida. Por ejemplo, se puede seguir transmitiendo música o vídeo aunque la aplicación esté bloqueada. Se permite usar tanto "Continuar" como otros pasos de diálogo de varios turnos para que la aplicación funcione con el dispositivo bloqueado.
- Los detalles de la implementación al descartar la aplicación se pueden encontrar en la guía de la implementación con la aplicación bloqueada.
Consideraciones acerca de la privacidad y seguridad con el dispositivo bloqueado
Muchos equipos son portables, por lo que el usuario no siempre los tiene a mano. Puede que el equipo se haya quedado en la habitación del hotel, en el asiento del avión o en áreas de trabajo a las que otras personas tengan acceso físico. Si los asistentes que se activan con el dispositivo bloqueado no están preparados, pueden sufrir un tipo de ataque llamado "evil maid".
Por consiguiente, los asistentes deben seguir las instrucciones de esta sección por seguridad. La interacción con el dispositivo bloqueado se produce cuando el usuario de Windows no ha realizado la autenticación. Esto significa que, en general, la entrada en el asistente también debería tratarse como no autenticada.
- Los asistentes deberán implementar una lista de aptitudes permitidas para identificar aquellas que a las que sea seguro acceder con el dispositivo bloqueado.
- Las tecnologías de identificación por hablante pueden desempeñar un rol en la mitigación de algunos riesgos, pero la identificación por hablante no es un reemplazo adecuado para la autenticación de Windows.
- La lista de aptitudes permitidas debería incluir tres clases de acciones o aptitudes:
| Clase de acción | Descripción | Ejemplos (esta lista no está completa) |
|---|---|---|
| Protección sin autenticación | Información de uso general o control y comandos básicos de la aplicación. | "¿Qué hora es?", "Reproducir la siguiente pista" |
| Protección con identificación de altavoz | Riesgo de suplantación, se revela información personal. | "¿Con quién es mi próxima cita?", "Revisar la lista de la compra", "Responder a la llamada" |
| Protección solo después de la autenticación de Windows | Acciones de riesgo elevado que los atacantes podrían usar para causar daños al usuario. | "Ir al supermercado", "Eliminar mi cita (importante)", "Enviar un mensaje de texto (agresivo)", "Lanzar una página web (execrable)" |
En el caso de Contoso, la información general en torno a los títulos de valores está segura sin autenticación. Es probable que la información específica del usuario, como el número de acciones que se poseen, esté segura con la identificación de altavoz. Sin embargo, no se debería permitir la compra o venta de títulos sin la autenticación de Windows.
Para aumentar la seguridad, Windows siempre bloqueará tanto los vínculos web como otros inicios entre aplicaciones hasta que el usuario inicie sesión. Como último recurso, Microsoft se reserva el derecho de quitar cualquier aplicación de la lista de asistentes habilitados permitidos si no se resuelve un problema de seguridad grave a tiempo.
Guía de diseño de la vista previa de la activación por voz
Si el dispositivo está sin bloquear, cuando la aplicación del asistente no tiene el foco, Windows proporciona una interfaz de usuario para la activación por voz menos intrusiva, para ayudar a evitar que el cliente pierda el foco. Esto sucede especialmente en el caso de activaciones falsas, ya que supondrían un gran problema si iniciaran toda la aplicación. La idea es que cada asistente tenga otra página principal en el shell, el icono de la barra de tareas del asistente. Cuando se produce la solicitud de activación en segundo plano, aparece una pequeña vista encima del icono de la barra de tareas del asistente. Los asistentes deben proporcionar una pequeña experiencia de escucha en este lienzo. Después de que los asistentes procesen las solicitudes, pueden elegir cambiar el tamaño de la vista para mostrar una respuesta en contexto, o bien entregar la vista principal de su aplicación, para que muestre objetos visuales mayores con más detalle.
- Para que el tamaño sea el menor posible, la vista previa no tiene barra de título, por lo que el asistente debe dibujar una X en la parte superior derecha para que los usuarios puedan descartar la vista. Consulte el apartado en el que se indica cómo cerrar la aplicación para conocer las API específicas a las que se llama cuando se hace clic en el botón de descarte.
- Para poder usar las vistas previas de la activación por voz, los asistentes pueden invitar a los usuarios a anclar el asistente a la barra de tareas la primera vez que se ejecute.
Vista previa de la activación por voz: estado inicial
El asistente de Contoso tiene una página principal en la barra de tareas: su icono circular.
A medida que la activación progresa, el asistente solicita la activación en segundo plano. El asistente recibe un pequeño panel de vista previa (con un ancho predeterminado de 408 y un alto de 248). Si la activación por voz del lado servidor determina que la señal era un falso positivo, esta vista puede descartarse para que la interrupción sea mínima.
Cuando se confirma la activación final, el asistente presenta su experiencia de usuario de escucha. El asistente debe dibujar siempre una X de descarte en la parte superior derecha de la vista previa de la activación por voz.
Pueden aparecer respuestas rápidas en la vista previa de la activación por voz. El TryResizeView permite a los asistentes solicitar diferentes tamaños.
Entrega. En cualquier momento, el asistente puede volver a la vista principal de la aplicación para proporcionar más información, o bien mostrar un diálogo o respuestas que requieran más espacio en la pantalla. Para más información acerca de la implementación, consulte la sección sobre la Transición de la vista compacta a la vista completa.
