Marco de pruebas silenciosas

El objetivo de este documento es proporcionar a los equipos técnicos que administran las instrucciones de plataformas de difusión web corporativas instrucciones sobre cómo auditar sus redes corporativas con la herramienta microsoft eCDN Silent Testing e identificar posibles problemas antes de los eventos reales.

El marco de pruebas silenciosas de Microsoft eCDN permite que las simulaciones se ejecuten en varios dispositivos fácilmente con el fin de emular y examinar cómo se comporta una red determinada bajo la carga de un evento de vídeo.

Una prueba silenciosa es una sesión de vídeo real que se ejecuta en segundo plano (silenciado) en un dispositivo del usuario final. El usuario puede seguir trabajando en su equipo sin saber que la prueba se está ejecutando, aunque puede producirse una ralentización en la conectividad de red correspondiente al ancho de banda del vídeo.

El marco consta de 3 componentes principales:

• Dispositivos de ejecución
• Panel de administración
• Análisis

Estos componentes se explican uno a uno en las secciones siguientes.

Dispositivos de ejecución

Cada dispositivo que se conecta al marco se considera un "ejecutor" y se comunicará con el back-end de Microsoft eCDN para obtener instrucciones sobre qué prueba se debe ejecutar. La mayoría de las veces no se ejecuta ninguna prueba, en cuyo caso el ejecutor esperará inactiva hasta que se inicie una prueba. En lugar de implementar una aplicación de agente designada en todos los equipos para que actúe como ejecutor, Microsoft eCDN aprovecha el software existente que ya está instalado en máquinas de usuario final, como Microsoft Edge, y Google Chrome para iniciar ejecutores en segundo plano.

Dado que el ejecutor es básicamente una página web, se puede abrir en cualquier explorador o entorno similar a un explorador. Además de los métodos sugeridos a continuación, los ejecutores se pueden integrar de cualquier otra manera que tenga sentido para las necesidades de una empresa. Es importante tener en cuenta que, independientemente del método de integración elegido, la máquina del usuario final debe estar activada y conectada a Internet para que cualquier integración funcione.

Explorador sin encabezado : proporcionamos scripts de PowerShell & Bash que inician Edge/Chrome en segundo plano con la página de ejecución. Después, el script se puede ejecutar en un grupo de usuarios para conectarlos al marco. Tenga en cuenta que Edge o Chrome deben instalarse para que esta integración funcione

Para obtener más información, consulte Apéndice B: Integración de ejecutores mediante un explorador sin cabeza

Panel de administración

El panel de administración permite programar, modificar y cancelar las pruebas, y también muestra el número de ejecutores conectados. En la ventana principal se enumeran las pruebas pendientes, las pruebas en curso y las pruebas pasadas que ya han finalizado. Las pruebas finalizadas se muestran durante 24 horas y, a continuación, se ocultan de la lista.

Una nota crítica sobre las estadísticas de ejecutor en línea: el número de dispositivos que realmente ejecutarán una prueba programada depende del número de ejecutores conectados en el momento del inicio de la prueba. Si una prueba está programada para mañana y hay 100 dispositivos en línea, estos dispositivos tendrán que estar en línea mañana cuando se inicie la prueba.

Análisis

Cuando se programa una prueba, se establece en modo "pendiente". Una vez alcanzada la hora de inicio de la prueba, se activa la prueba y se notificará a todos los participantes pertinentes de la prueba activada, se iniciará la página de destino y se comenzará a reproducir el vídeo (silenciado) en la ventana oculta. El SDK de Microsoft eCDN recopila métricas de red y experiencia de usuario que se presentan en varios gráficos disponibles en el panel de Analytics. Los análisis se notifican mientras se ejecuta la prueba para que los administradores puedan comprobar el estado incluso antes de que finalice la prueba.

Concurrencia

El gráfico de simultaneidad muestra el número de usuarios activos a lo largo del tiempo. Para que se considere activo, un usuario debe estar reproduciendo vídeo.

Velocidad HTTP + P2P

El gráfico de rendimiento de red muestra un desglose del consumo de red en HTTP y P2P.

• Barras azules oscuras: ancho de banda HTTP
• Barras naranjas: ancho de banda P2P
• Línea de puntos verde: proporción de P2P del total como porcentaje (eje derecho). Por ejemplo, una proporción P2P del 90 % significa que solo el 10 % del tráfico se descargó a través de HTTP y el resto se emparejaron entre los usuarios.

Si P2P es menor de lo esperado, significa que la simultaneidad del usuario no era lo suficientemente alta o que la red requiere optimización adicional. Para solucionar problemas, consulte la documentación Solución de problemas de baja eficacia de emparejamiento .

Experiencia del usuario

El gráfico de experiencia del usuario muestra el tiempo combinado dedicado a reproducir frente al tiempo invertido en el almacenamiento en búfer (vídeo congelado).

• Barras verdes: tiempo agregado dedicado a reproducir en minutos (eje izquierdo)
• Barras rojas: tiempo combinado dedicado al almacenamiento en búfer en minutos (eje izquierdo)
• Línea de puntos azules: proporción de rebuffering fuera del tiempo total como porcentaje. (eje derecho). Por ejemplo, una proporción de rebuffering del 2 % significa que el 98 % del tiempo que el vídeo se estaba reproduciendo correctamente, mientras que durante el 2 % del tiempo el vídeo se bloqueó.

El almacenamiento en búfer debería ser idealmente inferior al 1 %. Los números altos o los picos en el almacenamiento en búfer pueden sugerir congestión de red, sobrecarga del servidor o contenido mal configurado.

Requisitos de red

El marco de pruebas silenciosas usa los siguientes dominios y puertos:

Nombre de host	Puertos	Protocolo	Descripción
*.ecdn.microsoft.com	443	HTTP/S	Recursos de página & de ejecución
*.ecdn.microsoft.com	443	WSS	Conexión de WebSocket al back-end de Microsoft eCDN
cualquiera	Puertos altos 10 000 +	SCTP	Esto es necesario para las conexiones del mismo nivel de WebRTC. Solo se puede limitar a LAN.

Importante

A partir del 1 de junio de 2023, realizaremos la transición de dominios de *.ecdn.microsoft.com a *.ecdn.teams.microsoft.com. Como preparación para el período de transición de varias semanas, agregue el nuevo dominio a cualquier configuración de firewall, proxy, VPN o mDNS que haya realizado. Es importante tener en cuenta que la transición no será un recorte limpio, por lo que ambos dominios deben tenerse en cuenta durante el período de transición.

Seguridad

El marco de pruebas silenciosas funciona mediante la asignación de pruebas a los ejecutores. Aunque el ejecutor es una página estática que se conecta al back-end de Microsoft eCDN, una prueba ejecutada es dinámica y puede ejecutar cualquier página de destino. Por ese motivo, los ejecutores se ejecutan dentro de una página web que está en espacio aislado por el explorador y se basan en mecanismos de seguridad creados previamente en exploradores modernos. Independientemente de la integración (excepto las integraciones personalizadas), la página de destino siempre se ejecuta en un contexto seguro y limpio mediante un iframe.

El explorador también restringe los permisos de red y se limitan a las API web comunes, como HTTP, WebSocket, WebRTC, etc.

Mientras esperan a que se ejecuten las pruebas, los ejecutores mantienen una conexión webSocket persistente a través de una conexión TLS segura (WSS).

Apéndice

Apéndice A: Programación de una prueba silenciosa

1. Vaya al panel de pruebas silenciosas.

2. Haga clic en el símbolo +

   

3. Rellene los campos necesarios.

   

   • Nombre : nombre arbitrario de su elección.

   • Hora & Fecha : hora específica a la que se iniciará la prueba.

   • Duración : duración de la prueba. Se recomienda al menos 20 m para permitir una simulación adecuada.

   • Dirección URL de destino : dirección URL disponible públicamente de la página del evento que reproduce vídeo durante el evento. Puede usar nuestra página integrada o crear la suya propia.

     • Stream integrado: Microsoft eCDN incluye una página integrada ya integrada con una secuencia en directo que incluye varias representaciones, así como protocolos de streaming personalizables.

     • Secuencia personalizada : es posible que quiera proporcionar solo una secuencia en vivo propia y usar la página integrada automáticamente de Microsoft eCDN. El flujo debe estar disponible públicamente e incluir encabezados CORS para que los ejecutores puedan cargarlo. La secuencia se reproducirá automáticamente cuando comience la prueba.

     • Página personalizada : una página completamente personalizada propia. La página debe incluir un reproductor y una transmisión en vivo, así como integrarse con Microsoft eCDN. El reproductor DEBE empezar a reproducir el vídeo automáticamente, ya que durante la prueba no hay ninguna interacción del usuario. Algunos exploradores limitan la capacidad de reproducir vídeo automáticamente. Por ese motivo, se recomienda silenciar el audio, lo que facilita la limitación. Las páginas integradas se silencian de forma predeterminada.

   • Filtros de dispositivo: limite una prueba a un grupo específico de dispositivos. En algunos casos, es posible que quiera ejecutar una prueba en un subconjunto de los dispositivos conectados. Por ejemplo, para ejecutar solo una prueba en oficinas de EE. UU. o solo en dispositivos de ejecución directa.

     • Filtro de países : solo incluye dispositivos de determinados países (GeoIP).

     • Filtro de integración : solo incluye dispositivos conectados a través de una determinada integración.

     • Filtro de id. de dispositivo: ejecute una prueba solo en identificadores de dispositivo específicos. Este filtro se usa principalmente con fines de depuración locales.

4. Haga clic en Programar y se creará la prueba.

5. Cuando se alcanza la hora de inicio de la prueba silenciosa, la prueba se ejecutará en los dispositivos conectados asignados.

Apéndice B: Integración de ejecutores mediante un explorador sin cabeza

Microsoft eCDN proporciona un script de evaluador silencioso sin instalación.

Este script iniciará Chrome o Edge en segundo plano de las máquinas de una página específica durante una duración especificada y, a continuación, cerrará el proceso del explorador en segundo plano.

Además, Microsoft eCDN proporciona un script para ejecutar el evaluador silencioso en máquinas remotas enumeradas en Active Directory. Tenga en cuenta que al reiniciar una máquina no se restaurará automáticamente el ejecutor y el explorador tendrá que iniciarse de nuevo con el script.

Instrucciones de ejecución para el entorno de Windows

1. Descargar silent-tester-runner-windows.ps1 : un script de PowerShell que inicia el explorador basado en chromium (Edge o Chrome si no se encuentra Edge) en segundo plano durante 24 horas.

2. Editar silent-tester-runner-windows.ps1:

   • $TenantID: reemplace por TENANT_ID el identificador de inquilino de Microsoft.

   • $TestID: reemplace por TEST_ID una cadena de identificador única. Esta cadena se usará en la creación de archivos de registro, lo que permite a los administradores de pruebas silenciosas identificar de forma única los resultados de las pruebas.

   Importante

   Cada prueba debe tener un $TestID único. Si el script detecta que se había ejecutado anteriormente con el mismo $TestID que la instancia actual, se cerrará sin ejecutar la prueba silenciosa.

   • (Opcional) $scenarioDuration : establezca la duración del tiempo de actividad del explorador en el valor deseado en segundos. Podrá ejecutar pruebas silenciosas en las máquinas de destino durante este tiempo. Como el explorador está inactivo, no hay ningún problema en aumentar este valor a varios días para permitir una mayor flexibilidad en la ejecución de pruebas. Este proceso no sobrevive a un reinicio del sistema. El valor predeterminado es 86400 segundos (24 horas).

   • (Opcional) $customChromePath : en caso de que Edge o Chrome no estén instalados en la ruta de acceso predeterminada (C:\Program Files o C:\Program Files (x86)) establezca esta variable en la ruta de acceso del ejecutable del explorador. por ejemplo: C:\Custom Path\Edge\msedge.exe

3. Ejecute el script en las máquinas de destino mediante el método que prefiera, como una de las siguientes opciones.

   • Uso de GPO

   • Uso de SCCM

   • O manualmente desde un controlador de dominio. Para su comodidad, ofrecemos un ejemplo de script de invocación.

     1. Descargar remote-invocation.ps1 : un script de PowerShell que ejecuta silent-tester-runner-windows.ps1 en todos los equipos de Active Directory

     2. (opcional) Edite el script para limitar la consulta de Active Directory a un grupo determinado de equipos según sus necesidades. Consulte la documentación del Get-ADComputer cmdlet para obtener información sobre el filtrado avanzado.

     Nota:

     Asegúrese de que silent-tester-runner-windows.ps1 está en el mismo directorio desde el que se ejecuta el script de invocación.

     Precaución

     No se recomienda ejecutar el script de ejecución en la cuenta SYSTEM. Para obtener los mejores resultados, ejecute el script de ejecución en un contexto de usuario.

4. Vaya al panel de pruebas silenciosas y asegúrese de que las máquinas de destino ahora aparecen como ejecutores en línea.

Instrucciones de ejecución para el entorno mac

1. Descargar silent-tester-runner-mac.sh : un script de Bash que inicia Google Chrome en segundo plano durante 24 horas.

2. Editar silent-tester-runner-mac.sh:

   1. ecdnCustomerId : reemplace por CUSTOMER_ID el identificador de inquilino de Microsoft.

   2. (Opcional) scenarioDuration : establezca la duración del tiempo de actividad del explorador en el valor deseado en segundos. Podrá ejecutar pruebas silenciosas en las máquinas de destino durante este tiempo. Como el explorador está inactivo, no hay ningún problema en aumentar este valor a varios días para permitir una mayor flexibilidad en la ejecución de pruebas. El valor predeterminado es 86400 segundos (24 horas).

3. En función de la herramienta utilizada para administrar los dispositivos en el sitio, Por ejemplo, Jamf Pro, hay diferentes maneras de ejecutar el script en diferentes máquinas.