Compartir a través de

Procedimientos recomendados para evaluaciones de UX

Al habilitar un nuevo servicio, podría pensar que debería esperar hasta el final para evaluar resultados y expectativas. Independientemente de su etapa actual en el ciclo de incorporación, nunca es demasiado pronto para comenzar a pensar en enfoques de experimentación y evaluación. Sin embargo, vale la pena tener un plan claro y establecido de experimentación y evaluación para su negocio.

Este artículo cubre algunos enfoques de mejores prácticas para el éxito de una evaluación con Intelligent Recommendations. Seguir nuestras mejores prácticas garantiza que su empresa evalúe resultados de calidad y reduzca el abandono a lo largo del camino.

Nuestras mejores prácticas se dividen en áreas de especialización. Seleccione una para obtener más información:

Prácticas recomendadas para datos de entrada

Antes de iniciar su primer ciclo de modelado, piense de manera crítica sobre los datos que está compartiendo con el servicio de recomendaciones. Algunas mejores prácticas y lecciones aprendidas al trabajar con empresas de diferentes dominios en la configuración de sus contratos de datos se enumeran a continuación:

  1. Asegúrese de que los datos que ingresa coincidan con los escenarios que desea mostrar en su experiencia de usuario final.
    1. Si desea ver recomendaciones de productos de "Personas también", debe tener un arsenal de señales de interacción. Cuanto más alimenta el modelo, más puede aprender el servicio y generar Relaciones precisos entre productos y usuarios. Consulte nuestra Guía de preguntas y respuestas para obtener una revisión detallada de los modelos Aprendizaje automático disponibles y cómo elegir cuál podría ser mejor para sus escenarios comerciales.
    2. Si desea ver recomendaciones visualmente similares, debe tener datos de imagen de calidad para sus artículos. Para obtener más información, consulte la entidad de datos de imagen a artículo.
    3. Si desea recomendaciones textualmente similares, debe asegurarse de que las descripciones y los títulos existentes estén escritos de manera clara y coherente en todo el conjunto de datos.
      1. En este momento, nuestro servicio solo entrenó el modelo usando el idioma inglés. Los clientes pueden probar el modelo usando otros idiomas y evaluar el rendimiento del modelo por separado y contáctenos con cualquier inquietud o pregunta. Los clientes tradujeron las descripciones y los títulos de sus productos al inglés antes de incluirlos en el Contrato de datos, por lo que le recomendamos a usted y a su empresa que intenten cualquiera de los dos enfoques.
      2. Las descripciones utilizadas para el modelado nunca aparecen en las solicitudes de API para este escenario, por lo que los clientes nunca verán ninguna descripción que utilice para los productos en el contrato de datos.
  2. ¡Los datos deficientes darán como resultado resultados deficientes! Las señales de calidad y los metadatos limpios preparan su negocio para el éxito. La mayoría de los errores a menudo se resuelven debido a un error del usuario al configurar el contrato de datos. A continuación enumeramos algunas cosas que hay que tener en cuenta:
    1. Antes de iniciar el proceso de modelado, intente usar el panel de señales de Intelligent Recommendations: un informe de Power BI que se conecta al contrato de datos de un usuario e identifica los problemas de calidad de los datos y los desafíos potenciales para el entrenamiento del modelo. Para obtener información general sobre este panel.
    2. El proceso de modelado falla si hay algún problema con la configuración de las entidades de datos dentro del contrato de datos. Habilite la solución de registro de errores para que pueda identificar rápidamente cualquier duplicación o error tipográfico que pueda existir como parte del proceso de transferencia de datos desde su cuenta de Azure Portal. Para obtener más información sobre cómo configurar el registro de reescritura, consulte Configurar el registro de errores Azure Data Lake Storage.

Mejores prácticas para la alfabetización de algoritmos

El servicio de Intelligent Recommendations es un recomendador de propósito general con la misión de democratizar AI-ML para todos, independientemente de su experiencia en ingeniería. Los algoritmos de servicio ayudan a los clientes a mejorar su comprensión de los enfoques de Aprendizaje automático y a controlar qué algoritmos se adaptan mejor a una necesidad comercial particular.

  1. La telemetría compartida con los modelos de Intelligent Recommendations puede influir en los tipos de resultados que devuelve el motor. Con este tipo de flexibilidad del modelo, las empresas pueden tener múltiples versiones alternativas de modelos para probar y experimentar con diferentes tipos de datos de señales. En la siguiente tabla se muestran algunos ejemplos simples de lo que sucede cuando cambia la señal de un modelo antes de llamar a los resultados de la API:
Entrada de señales de ejemplo en el modelo Escenario de salida de ejemplo
Compra/transacciones Las personas que compraron este artículo, también compraron
Secuencia de clics/Vistas Las personas que vieron este artículo, también vieron
Uso Las personas que usaron esta hora X, también usaron
Telemetría para ver videos Las personas que vieron esto, también vieron
  1. Reconociendo el impacto que tienen las señales en los resultados del modelado y los resultados, es importante pensar críticamente sobre la experiencia que intenta crear para los usuarios finales. Evaluar y cambiar las señales en el contrato de datos es un punto de partida más eficaz para corregir resultados de evaluación deficientes en lugar del enfoque instintivo de necesitar personalizar o aplicar más lógica empresarial a un modelo.
  2. Más Lógica de negocios viene en multitud de formas y puede cambiar los resultados de las recomendaciones en diversos grados, como por ejemplo:
    1. Fijación de productos al frente de las listas (Enriquecimientos/Listas externas)
    2. Contenido curado editorialmente (Listas externas)
    3. Filtrado personalizable
    4. Etiquetado y agrupamiento
  3. Consulte Guía de preguntas y respuestas de modelado para obtener una descripción general detallada de modelos y algoritmos, ver las preguntas más comunes sobre algoritmos y decidir si los nuevos escenarios pueden repercutir en sus aplicaciones de su negocio.

Procedimientos recomendados para experimentación

En esta sección, cubre algunas formas creativas de evaluar los resultados de Intelligent Recommendations.

Algunas preguntas para hacer al planificar su evaluación:

  1. ¿Cómo puedo medir el éxito? ¿Cómo es el éxito para mi negocio?
  2. Debe considerar el ajuste y la relevancia de la siguiente manera:
    1. ¿Es la experiencia de descubrimiento existente una buena opción para el usuario final?
    2. ¿Los resultados devueltos por el servicio de recomendaciones coinciden con las expectativas de sus expertos en la materia?
    3. ¿Cuáles son sus expectativas para las recomendaciones? ¿Qué debe ver o no ver un usuario final? ¿Anónimo o registrado?
  3. ¿Cómo es una experiencia de usuario simulada o cuál es el viaje de descubrimiento por el que pasa un usuario de principio a fin?
  4. ¿Dónde debemos evaluar? ¿Páginas de detalles del producto, perfiles, página de inicio o páginas de búsqueda de categoría?

Cómo medir la relevancia

Al medir la relevancia de los resultados de sus recomendaciones, sugerimos algunos tipos de enfoques de evaluación:

  1. Revise el rango percentil medio de sus productos. El servicio de Intelligent Recommendations proporciona paneles con información preliminar sobre su contrato de datos y modelos antes de que se devuelvan los resultados. Para obtener más información, consulte la Descripción general del panel de Power BI.
  2. Cree evaluaciones subjetivas fuera de línea. En otras palabras, identifique a alguien que esté familiarizado con el dominio comercial (o sea, un experto en la materia o "SME") y pídale que revise los resultados desde la perspectiva de un usuario final/comprador.
    1. Antes de comenzar la evaluación, pregunte a la PYME cuáles son sus expectativas al revisar los resultados de las recomendaciones. Permita que su PYME tome una decisión con respecto a las sugerencias devueltas y tenga una discusión sobre por qué los resultados cumplieron o no con sus expectativas. Es posible que encuentre que hay inconsistencias en los resultados que requieren algunos cambios de configuración en su contrato de datos.
    2. Por ejemplo, ¿los resultados que se devuelven tendrán sentido para los usuarios finales/compradores? ¿Se están devolviendo productos que yo, como comprador, esperaría ver? En el escenario de una tienda de comestibles, si Bleach se recomienda constantemente con frutas, es posible que sea necesario observar de cerca sus interacciones y arreglar el contrato de datos antes de volver a intentarlo. Del mismo modo, puede que no tenga sentido si los jeans se recomiendan con el atuendo de baile de graduación.
  3. Realizar experimentación en línea. El tipo de experimento más común para las recomendaciones es proporcionar pruebas A/B con una población real. Permita que las recomendaciones se presenten a los usuarios finales en vivo durante un par de semanas. Después de que haya pasado el tiempo, revise el rendimiento de las listas en la página para ver si tiene éxito o no.
    1. Puede ejecutar experimentos A/B entre listas de recomendaciones para ver qué listas funcionan mejor en una posición particular en su tienda o sitio web.
    2. Ajustar la experiencia del usuario final de la página web también puede afectar el rendimiento de sus recomendaciones. Puede tener los modelos más inteligentes del mundo, pero si los usuarios finales no pueden encontrar las recomendaciones o se pierden explorando el sitio web, sus experimentos fallan. Para más información, consulte la sección Experiencia del usuario final.

Prácticas recomendadas para evaluar la telemetría del lado del cliente

Como parte del proceso de evaluación, también debe considerar cómo revisar el rendimiento de la telemetría. Al igual que la experimentación, la telemetría proporciona información más detallada sobre las tasas de conversión y el comportamiento de los usuarios finales cuando interactúan con las listas de recomendaciones. El uso conjunto de la experimentación y la telemetría proporciona la evaluación más holística de sus recomendaciones.

Algunas preguntas para hacer al revisar la telemetría después de un experimento:

  1. ¿Los compradores compraron este producto debido a esta lista? ¿O seleccionar más? ¿Comprar más?
  2. ¿Los compradores interactuaron más con el sitio web? ¿Explorar más?
  3. ¿Los compradores agregaron productos a su carrito? ¿Cuántos carros fueron abandonados?
  4. ¿Los usuarios anónimos crearon una cuenta/suscripción?
  5. Si hay campañas de correo electrónico con recomendaciones, ¿cómo mejoró eso el rendimiento?
  6. ¿Hay más impresiones de página?

!Nota: La evaluación de la telemetría no se limita a acciones implícitas, también se puede rastrear como interacciones explícitas. Los compradores que interactúan con un botón explícito de "no me interesa" pueden tener sentido para los dominios de entretenimiento, pero es posible que no tengan mucho impacto en los dominios de venta minorista o ropa. No toda la telemetría tiene sentido para cada escenario, pero investigar el impacto que tienen las recomendaciones en los compromisos de sus clientes es un excelente lugar para comenzar su proceso de evaluación.

Mejores prácticas para Arquitectura de Sistemas

Una buena evaluación también depende de cómo se configuren los datos en el contrato de datos. La forma en que configura sus datos afecta su rendimiento general. Como mencionamos anteriormente, la calidad de sus datos es importante: ¡las entradas de datos deficientes resultan en salidas de datos deficientes!

Aquí hay algunos consejos para asegurarse de que su sistema esté configurado y listo para las recomendaciones:

  1. Al configurar las interacciones de Reco y las entidades de datos del catálogo, asegúrese de que los datos de su cuenta de almacenamiento contengan datos de calidad. También proporcionamos paneles que interpretan y predicen la calidad de sus datos. Para obtener más información, consulte la Descripción general del panel de Power BI.
  2. Determine un método para actualizar su contrato de datos con datos nuevos. En última instancia, la forma en que las empresas eligen administrar y mantener los datos que comparten con el servicio depende de su discreción. Advertimos a las empresas que se aseguren de que exista un proceso en marcha para actualizar los datos de forma incremental, sin sobrescribirlos. Un enfoque es tener siempre tres tipos de carpetas raíz para los datos.
    1. Último bien conocido: la versión anterior del contrato de datos. Hacer un seguimiento de estas ediciones anteriores es útil cuando se depuran problemas o se desea recuperar información antigua.
    2. Actual (lo que la máquina lee actualmente): una carpeta raíz configurada para ser leída por el servicio de recomendaciones inteligentes, y en lo que los modelos basan sus resultados de recomendaciones clasificados.
    3. Root_Next: el lugar de preparación donde su servicio lee y recopila datos. Una vez que este Contrato esté listo, puede cambiarlo a la carpeta Actual y moverlo al último bien conocido.
  3. Comprender cómo configurar sus canalizaciones para que funcionen.
    1. Piense en sus soluciones de patrón de llamada de API: ¿con qué frecuencia llamará a las API de servicio? ¿Guardará en caché los resultados o llamará al servicio en tiempo real? ¿Qué pasa con los usuarios conocidos? ¿Usuarios anónimos?
    2. Si tiene preguntas sobre cómo configurar sus canalizaciones, contáctenos y podemos brindarle información adicional.
  4. ¿Cómo prepara su servicio para la experimentación?
    1. Tenga un plan de experimentación establecido y establezca expectativas claras de éxito.
      1. ¿Utilizará una cuenta y un modelo de IR separados para los datos de su experimento? ¿Cómo hará un seguimiento de los cambios en los resultados?
      2. Asegúrese de que el modelo que está utilizando no tenga errores. Los registros de errores deberían mantenerlo actualizado con cualquier problema de datos que pueda resolverse.

Mejores prácticas para la experiencia del usuario final

No existe nada como "una lista para gobernarlos a todos". Sus datos y telemetría son exclusivos de su empresa; El viaje de descubrimiento para los usuarios finales que vengan a comprar o explorar sus sitios web también será único.

Algunos consejos rápidos para las empresas que buscan actualizar la experiencia de navegación de su sitio web:

  1. Poner la lista "A la gente también le gusta" en la parte superior de la página es mejor que en la parte inferior.
    1. "The Fold" es el punto en una página web donde debe desplazarse para ver más contenido. Las listas por debajo de este umbral generalmente no son vistas por los clientes que no están interesados en desplazarse sin fin. Puede tener los mejores algoritmos aprendizaje automático del mundo, pero si están atascados en la parte inferior de la página, ¡nadie los ve!
    2. Sea intencional con las listas que aparecen en la mitad superior de cada página web y anime a todos a realizar experimentos para ver qué listas funcionan mejor para su escaparate. (Consejo de experimentación: Si está colocando varias listas en una página, pruebe un experimento A/B para ver qué listas pueden funcionar mejor en una posición específica)
  2. Hacer que las experiencias sean accesibles con menos selección es mejor.
    1. Al diseñar su escaparate, mantenga la accesibilidad en primer plano en su mente. A veces, menos es más cuando se trata de presentar los resultados a los usuarios finales. Demasiados bucles para ver recomendaciones relevantes, o desplazamientos interminables, pueden sacar por completo a los usuarios finales del flujo de exploración o descubrimiento.
  3. Mostrar contenido más arriba en la lista.
    1. Las Intelligent Recommendations brindan funcionalidad para mejorar la relevancia y el descubrimiento de productos al permitir que las empresas agreguen, eliminen o coloquen productos en listas existentes. Si va a salir un nuevo producto y lleva tiempo obtener datos de interacciones, considere agregar manualmente el producto a la parte superior de Tendencias para ayudar a la adquisición y la visibilidad.
  4. Evite llenar una página con listas.
    1. Recuerde ser intencional sobre el viaje de descubrimiento que está presentando a los compradores. Lanzar contenido sin parar a los compradores con poca consideración por el diseño agradable asusta a más compradores y hace que participen menos (y posiblemente se sientan más abrumados). Las recomendaciones se refieren a elecciones relevantes sobre islas interminables.
  5. ¿Comparando listas para ver cuáles funcionan mejor?
    1. Experimente con los resultados para ver qué listas funcionan para qué páginas. Es posible que encuentre que "Nuevos productos" es relevante para escenarios de tiendas minoristas o entretenimiento, pero no tan poderoso como "Basado en actividad reciente" o "Artículos similares" para un editor de revistas revisadas por pares.
  6. No hay una lista para gobernarlos a todos.
    1. Las empresas buscan constantemente "la mejor lista", cuando en realidad nadie sabe lo que los usuarios quieren tener en una lista hasta que comienza la experimentación. Las Intelligent Recommendations brindan capacidades flexibles que permiten a los usuarios finales disfrutar del placer fortuito del descubrimiento en sus propios términos.
    2. Al hacer que a las personas también les guste, compre looks similares y compre similares por descripción en una página, está brindando opciones a los usuarios. Incluso si los resultados son semisimilares, está bien si una lista individual cae un poco en el rendimiento si la impresión general de la página mejora, que es lo que las empresas deberían estar buscando. Cuantas más opciones tiene un usuario final, más quiere explorar.

¿Aún tienes preguntas o ves que falta algo?

Si alguna vez tiene preguntas o ve algo no incluido anteriormente, póngase en contacto con el equipo de Intelligent Recommendations.

Consulte también

Guía de inicio rápido
Información general del contrato de datos
Guía de solución de problemas
Preguntas frecuentes de modelado
Tabla de asignación de entidades de datos