Experimentación (versión preliminar)
La experimentación es el proceso de probar sistemáticamente hipótesis o cambios para mejorar la experiencia del usuario o la funcionalidad de software. Esta definición también es válida para la mayoría de los campos científicos, incluida la tecnología, donde todos los experimentos tienen cuatro pasos comunes:
- Desarrollar una hipótesis para documentar el propósito de este experimento,
- Esquematización de un método para llevar a cabo el experimento, incluida la configuración, lo que se mide y cómo,
- Observación de los resultados medidos por las métricas definidas en el paso anterior,
- Extraer una conclusión sobre si la hipótesis ha sido validada o invalidada.
Consulte este vídeo para ver una demostración rápida de experimentación en App Configuration, resaltando el caso de uso de optimización de la experiencia del usuario para aumentar las métricas empresariales.
Experimentación en Azure App Configuration (versión preliminar)
En Azure App Configuration, la función de experimentación permite a los desarrolladores probar fácilmente diferentes variantes de una función y supervisar el impacto a nivel de característica. Una vez configurado, los usuarios pueden analizar nuevas características, comparar diferentes variantes de una característica y evaluar rápidamente las métricas pertinentes para los nuevos cambios de producto. Esta capacidad permite a los equipos de desarrollo obtener información medible, lo que facilita implementaciones de productos más rápidas y seguras. Microsoft se asocia con Split Software para ofrecer la característica de experimentación en Azure App Configuration. El área de trabajo de experimentación dividida (versión preliminar) es un recurso ISV nativo de Azure para la integración entre Microsoft y Split Software.
Flujo de datos de alto nivel para la experimentación en Azure.
Para empezar una experimentación, primero hay que identificar la característica y sus variaciones sobre las que se quiere experimentar. A continuación, se muestran las métricas que forman la base de la evaluación de características. Para empezar a trabajar en el primer experimento de Azure, siga los pasos descritos en este tutorial.
Conceptos relacionados con la experimentación
Marcas de características variantes: representa diferentes versiones o configuraciones de una característica. En un experimento, las marcas de características variantes se comparan en relevancia con las métricas que le interesan y el tráfico asignado para la audiencia de la aplicación.
Telemetría: la telemetría son los datos de las variaciones de una característica y las métricas relacionadas para evaluar la característica. Para la configuración en Azure, los datos de evaluación o asignación de marcas de características fluyen al proveedor de telemetría. Application Insights es el proveedor de telemetría para la configuración de experimentación. Los datos de las métricas definidas también fluyen a la misma instancia de Application Insights.
Pruebas A/B: pruebas A/B, también conocidas como pruebas divididas, es un método estándar del sector para evaluar el impacto de los posibles cambios dentro de una pila de tecnología.
Tamaño de muestreo: el tamaño del muestreo es el tamaño de la muestra de usuarios en el experimento. Es el número de eventos enviados para cualquier variación de la característica en la que se está experimentando.
Tamaño mínimo de muestreo: es el número mínimo de eventos necesarios por variación de la característica para que el experimento muestre resultados estadísticamente significativos. Cuanto mayor sea el tamaño de la muestra, mejor será la importancia estadística de los resultados del experimento.
Considere el siguiente ejemplo: quiere ver si es más probable que los clientes de su sitio web de comercio electrónico hagan clic en el botón de pago si es de color amarillo (variante A) o azul (variante B). Para configurar esta comparación, es probable que divida el tráfico entre las dos variantes de la marca de características y use el número de clics como métrica para medir su rendimiento. Es poco probable que todas las características sean tan sencillas de medir y evaluar inmediatamente, y es donde entra en práctica la experimentación. La ejecución de un experimento implica configurar una escala de tiempo para este proceso de comparación del rendimiento de cada variante relevante para las métricas que le interesan. Los términos "pruebas A/B" y "experimentación" a menudo se usan indistintamente, donde la experimentación es básicamente una prueba A/B extendida donde se prueban sistemáticamente hipótesis.
Configuración del experimento
Antes de empezar, tenga en cuenta las siguientes preguntas en la fase de detección de hipótesis: ¿Qué preguntas intenta responder mediante la ejecución de un experimento? ¿En qué debe ejecutar un experimento? ¿Por qué? ¿Por dónde empezar? ¿Cuáles son algunas estrategias que se deben seguir según sus necesidades empresariales? ¿Este experimento le ayudará a realizar mejoras inmediatas en el rendimiento de la aplicación o en su empresa?
Identifique lo que espera lograr mediante la ejecución de un experimento antes de una versión completa, debe documentar el plan en esta fase. ¿Cuáles son las variaciones de la característica o funcionalidad en las que desea experimentar? ¿Cuáles son las métricas que le interesan? ¿Qué eventos de interacción con el usuario o el sistema podrían utilizarse para capturar datos que alimenten estas métricas de medición?
El experimento solo es tan bueno como los datos que recopila para él. Antes de iniciar el experimento, debe determinar la variante que pretende usar como control (variante de línea base) y la que piensa ver los cambios en (variante de comparación).
Extraer una conclusión del experimento
Extraer una conclusión (o varias conclusiones si es necesario) es la fase final del ciclo de experimentación. Puede comprobar los resultados del experimento, que muestran el resultado y el impacto de la variante de comparación con la variante de control. Los resultados también muestran su importancia estadística. La medida Statsig depende de los datos de telemetría y del tamaño de la muestra.
Los resultados le ayudan a concluir los aprendizajes y los resultados en elementos accionables que puede implementar inmediatamente en producción. Sin embargo, la experimentación es un proceso continuo. Comience nuevos experimentos para mejorar continuamente el producto.
Escenarios para el uso de experimentación
Defensa de versión
Objetivo: asegúrese de realizar transiciones fluidas y mantener o mejorar las métricas clave con cada versión.
Enfoque: emplee la experimentación para implementar gradualmente nuevas funciones, supervisar las métricas de rendimiento y recopilar comentarios para realizar mejoras iterativas.
Ventajas:
- Minimiza el riesgo de problemas generalizados mediante el uso de métricas de límite de protección para detectar y solucionar problemas al principio del lanzamiento.
- Ayuda a mantener o mejorar las métricas clave de rendimiento y satisfacción del usuario mediante la toma de decisiones fundamentadas basadas en datos en tiempo real.
Hipótesis de prueba
Objetivo: valide suposiciones e hipótesis para tomar decisiones fundamentadas sobre las características del producto, los comportamientos del usuario o las estrategias empresariales.
Enfoque: use la experimentación para probar hipótesis específicas mediante la creación de diferentes versiones o escenarios de características y, a continuación, analice las interacciones del usuario y las métricas de rendimiento para determinar los resultados.
Ventajas:
- Proporciona información basada en pruebas que reducen la incertidumbre y guían la toma de decisiones estratégicas.
- Permite una iteración e innovación más rápidas mediante la confirmación o refutación de hipótesis con datos reales del usuario.
- Mejora el desarrollo de productos al centrar los esfuerzos en las ideas que han demostrado funcionar, lo que en última instancia conduce a características más exitosas y alineadas con el usuario.
Pruebas A/B
Objetivo: optimice las métricas empresariales comparando diferentes variaciones de la interfaz de usuario y determinando el diseño más eficaz.
Enfoque: realice pruebas A/B mediante experimentación para probar elementos de la interfaz de usuario, medir las interacciones del usuario y analizar las métricas de rendimiento.
Ventajas:
- Experiencia de usuario mejorada mediante la implementación de cambios de la interfaz de usuario en función de la evidencia empírica.
- Aumenta las tasas de conversión, los niveles de compromiso y la eficacia general de los productos o servicios digitales.
Para aplicaciones inteligentes (por ejemplo, características basadas en IA)
Objetivo: acelerar la adopción y optimizan los la IA generativa y optimizar modelos de IA y los casos de uso y la inteligencia artificial a través de una experimentación rápida.
Enfoque: utilice la experimentación para iterar rápidamente sobre modelos de IA, probar diferentes escenarios y determinar enfoques eficaces.
Ventajas:
- Mejora la agilidad para adaptar las soluciones de inteligencia artificial a las necesidades de los usuarios y las tendencias de mercado en constante evolución.
- Facilita la comprensión de los enfoques más eficaces para escalar las iniciativas de inteligencia artificial.
- Mejora la precisión y el rendimiento de los modelos de inteligencia artificial en función de los datos y comentarios reales.
Personalización y destino de experimentos
Objetivo: ofrezca contenido y experiencias personalizados adaptados a las preferencias y comportamientos del usuario.
Enfoque: aproveche la experimentación para probar contenido personalizado, medir la interacción y iterar en las estrategias de personalización.
Ventajas:
- Aumenta la participación de los usuarios, las tasas de conversión y la fidelidad de los clientes a través de experiencias relevantes y personalizadas.
- Impulsa el crecimiento de los ingresos y la retención de clientes al dirigirse a los públicos con mensajes y ofertas adaptados.
Experimentos de optimización del rendimiento
Objetivo: mejore el rendimiento de las aplicaciones y la experiencia de usuario mediante experimentos de optimización del rendimiento.
Enfoque: realice experimentos para probar mejoras de rendimiento, medir métricas clave e implementar optimizaciones correctas.
Ventajas:
- Mejora la escalabilidad, la confiabilidad y la capacidad de respuesta de las aplicaciones a través de mejoras proactivas en el rendimiento.
- Optimiza el uso de recursos y los costos de infraestructura mediante la implementación de optimizaciones eficaces.
Operaciones de experimento
Crear experimento: el experimento se puede crear en una marca de característica variante que emite telemetría. Una vez creado un experimento, también se crea una versión del experimento con el experimento. Cualquier edición posterior de la marca de característica tendrá como resultado la creación de una nueva versión del experimento para ese experimento.
Archivo del experimento: el archivado de un experimento lo coloca en un estado archivado. Mientras se archiva un experimento, no se realiza ningún cálculo en el experimento. Siempre puede restaurar el experimento más adelante para reanudar los cálculos y volver al estado activo.
Recuperar experimento: la recuperación de un experimento coloca un experimento archivado en un estado activo y los cálculos se reanudan para el experimento.
Eliminar experimento: al eliminar un experimento se elimina el experimento en Split y todos sus datos relacionados. Es una operación irreversible, por lo que no hay ninguna restauración después de eliminarla.
Comprobar los resultados del experimento: comprobar los resultados de un experimento activo le permite ver cómo se está realizando cada variante del experimento.
Requisitos de acceso para las operaciones del experimento
Las siguientes secciones detallan los roles requeridos para realizar operaciones relacionadas con experimentos con Microsoft Entra ID.
Configuración de la experimentación
Para configurar la experimentación con los recursos necesarios, incluido el área de trabajo de experimentación dividida, se requiere el rol Propietario de la suscripción de Azure o la combinación de roles Colaborador de suscripción y Administrador de acceso de usuario.
Crear o actualizar experimento
Para crear, actualizar, archivar o eliminar un experimento, necesitará el rol Propietario de datos de App Configuration en el almacén de App Configuration. También requiere el rol de ExperimentationDataOwner en la aplicación Enterprise que administra el acceso de datos al área de trabajo de experimentación dividida conectada.
Leer los resultados del experimento
Para comprobar los experimentos, sus versiones y resultados, necesitaría el rol Lector de datos de App Configuration en el almacén de App Configuration. También requiere el rol de ExperimentationDataReader o ExperimentationDataOwner en la aplicación Enterprise que administra el acceso a los datos al área de trabajo de experimentación dividida conectada.
Consideraciones de facturación y límites
App Configuration no factura específicamente para experimentos. La experimentación se realiza a través de una integración con el área de trabajo de experimentación dividida (versión preliminar). Compruebe el plan de precios de experimentación dividida para Azure App Configuration.
El tamaño mínimo de muestra necesario para la experimentación dividida es de 30 por variante. Se requiere un experimento para tener el tamaño mínimo de muestra para obtener los resultados del experimento o los resultados muestran "Sin datos" en el resultado.