Stratégier et décider ce qu’il faut mesurer

Une fois qu’une application est distribuée dans une organisation ou dans le Microsoft Teams Store, il est important de suivre la façon dont les utilisateurs interagissent avec l’application. Avec le nombre croissant d’utilisateurs d’applications, le nombre d’installations d’applications peut ne pas être une métrique pertinente.

Il est important de planifier le type de données, de métriques et d’événements que vous souhaitez surveiller lorsque vous développez votre application Teams. La métrique North Star de votre produit vous guide dans l’établissement de l’ensemble approprié de métriques, d’actions principales de l’utilisateur et d’événements clés pertinents pour votre entreprise.

Pour avoir une durabilité à long terme dans l’écosystème, une application doit avoir une bonne croissance de nouveaux utilisateurs. Le deuxième attribut est l’engagement et la rétention. Les utilisateurs doivent revenir à l’application et continuer à y trouver de la valeur et à l’utiliser. Enfin, la troisième qualité est le chiffre d’affaires. L’application doit fournir une valeur suffisante aux utilisateurs, afin qu’ils acceptent de payer. Les applications doivent posséder ces trois qualités pour réussir à long terme sur la plateforme. Si l’une de ces trois qualités est manquante dans une application, elle a une faible probabilité de réussite sur la plateforme.

Votre stratégie d’instrumentation doit garantir la mesure de votre produit sur ces trois qualités.

Surveiller les événements de votre application

Pour les besoins de cet article, nous allons utiliser l’infrastructure HEART pour indiquer un ensemble représentatif de métriques et d’événements que vous devez envisager de surveiller pour votre solution. Notez que la liste suivante n’est pas exhaustive et que vous êtes invité à ajouter des instrumentations supplémentaires pertinentes pour votre entreprise et votre produit.

Adoption

Objectif : Acquérir de nouveaux utilisateurs qui peuvent commencer à explorer l’application, ce qui permet de maintenir un haut de l’entonnoir sain. La découverte et l’adoption de nouvelles applications se produisent de l’une des manières suivantes :

• L’utilisateur recherche et installe l’application par lui-même.
• L’utilisateur tombe sur l’application lorsqu’elle est partagée dans une conversation, une réunion ou un canal par un autre utilisateur (onglet ou carte adaptative).
• L’administrateur installe l’application pour les utilisateurs et l’application envoie un message de bienvenue.

L’instrumentation conçue pour améliorer l’adoption doit également viser à améliorer la détectabilité de l’application et de ses fonctionnalités. La probabilité de découvrir une application parmi de nouveaux utilisateurs augmente lorsque les utilisateurs existants commencent à utiliser l’application dans l’étendue collaborative. Par exemple, l’ajout d’un canal ou d’un onglet de réunion, l’ajout d’un bot au canal ou le partage d’une carte d’extension de messagerie dans une conversation de groupe.

Conseil

• Mesurez l’utilisation de l’application dans l’étendue collaborative et le temps nécessaire pour découvrir les fonctionnalités de votre application dans l’étendue de la collaboration ou de la réunion. Si l’utilisation est faible ou si le temps nécessaire est élevé, socialisez-les mieux dans l’application ou via des efforts marketing.
• Bien qu’il soit judicieux de commencer par mesurer l’adoption globale, mesurez l’adoption au niveau des fonctionnalités et des fonctionnalités de la plateforme.

Mesure	Insights
• Les utilisateurs installent l’application dans les jours R1, R7, R14 et R28. • Nombre de connexions (si l’application dispose d’une connexion).	• Adoption au niveau de l’application répartie au niveau du locataire, de la région et du segment. • Segmenter les utilisateurs en fonction du profil Microsoft Entra. • Segmenter par locataire et nom d’organisation.
• Temps moyen nécessaire pour la première utilisation (cliquez sur l’onglet, le bot, la carte adaptative et la réunion).	• Créer un rapport au niveau de la fonctionnalité ou de la plateforme pour mesurer l’adoption du niveau de fonctionnalité.
• Point d’extensibilité de la première découverte. • Étendue de la première découverte.	• Utilisez les données pour mesurer le point et l’étendue d’extensibilité les plus utilisés pour découvrir votre application par vos utilisateurs finaux.
• % de déploiements de liens menant à l’installation de l’application.	• Utilisateurs intéressés par l’installation de l’application, après la découverte.
• Temps moyen nécessaire pour ajouter une application dans l’étendue collaborative ( canal, conversation de groupe et réunion).	• Pénétration de l’utilisation dans l’application.
• % d’utilisateurs qui ajoutent une application dans l’étendue collaborative.	• Aide à déterminer le potentiel de viralité, c’est-à-dire la découverte et l’utilisation organiques par de nouveaux utilisateurs.
• % d’utilisateurs configurant l’application après l’avoir ajoutée dans une conversation de canal ou de groupe.	• Si l’application n’est pas configurée le jour de l’installation, il y a 5 % de chances que l’utilisateur la configure la semaine suivante.

Engagement et réussite des tâches

Objectif : Augmenter le nombre d’utilisateurs de qualité engagés qui effectuent des actions de base au sein de l’application.

L’action principale est définie comme l’action de l’utilisateur, qui est au cœur de l’entreprise et contribue directement à l’étoile du Nord. Par exemple, si vous êtes un fournisseur de solutions it Ticketing, votre action utilisateur principale peut être « Création d’un ticket » avec les étapes de recherche d’un problème, les escalades étant des événements métier clés dans l’entonnoir du parcours utilisateur qui propulsent les utilisateurs vers l’action principale.

Engagement a pour but de mesurer l’intensité et la profondeur de l’interaction entre l’utilisateur et votre application. L’intensité de l’engagement mesure la quantité d’utilisation de l’application par un utilisateur (par exemple, le nombre d’actions principales effectuées dans l’application). La profondeur de l’interaction mesure le nombre de fonctionnalités de plateforme, d’étendues et de fonctionnalités d’application avec lesquelles un utilisateur a interagi.

Conseil

• Il est important de mesurer l’engagement et l’utilisation non seulement au niveau de l’application globale, mais également au niveau des fonctionnalités et des fonctionnalités individuelles de l’application. Décidez des actions principales et des événements clés de l’entreprise qui définissent les utilisateurs engagés pour votre entreprise. Le simple fait de se connecter ou d’afficher l’application peut ne pas être un engagement de qualité.
• L’action de base est spécifique à votre entreprise, et vous devez avoir une action de base en corrélation avec l’étoile nord de votre produit. N’avez pas plus de 2 à 3 actions principales.
• Les événements métier clés sont des actions auxiliaires que les utilisateurs peuvent effectuer dans leur parcours vers l’exécution de l’action principale. Les événements professionnels clés peuvent aider à préparer une vue en entonnoir sur le nombre d’utilisateurs qui traversent le parcours utilisateur idéal et à déterminer les points où les chutes sont élevées.

Mesure	Commentaires
• Nombre d’utilisateurs de l’application (R7, R14, R28). – DAU et MAU. • Courbe de tendance du nombre d’utilisateurs de l’application.	• Engagement au niveau de l’application et des fonctionnalités • Segmenter les utilisateurs en fonction du profil Microsoft Entra. • Rapport par client ( bureau, web et mobile). • Segmenter par locataire et nom d’organisation. • Segment par fonctionnalité de produit (utilisateurs actifs au niveau de la fonctionnalité).
• % d’utilisateurs utilisant des fonctionnalités clés dans l’application Teams par rapport à l’utilisation de la même fonctionnalité dans une application web ou native.	• Indique la détectabilité, la facilité d’utilisation et la valeur de l’utilisation de la fonctionnalité dans l’application Teams. • Rapport au niveau de la fonctionnalité de l’application.
• #, % d’utilisateurs utilisant l’application dans différentes étendues (R28).	• Pénétration de l’engagement. • Rapport par étendue. • Possibilité d’explorer par capacité.
• #, % d’utilisateurs utilisant l’application dans différentes fonctionnalités de plateforme (R28). • #, % Interaction avec l’onglet. • #, % Interaction avec l’extension de messagerie. • #, % Interaction avec le bot. • #, % Interaction avec le panneau latéral dans une réunion. • #, % interaction avec Stageview.	• L’engagement et la valeur des fonctionnalités de l’application. • Si l’utilisation de l’une des fonctionnalités de la plateforme est faible, envisagez d’explorer les détails sur la facilité d’utilisation et la valeur ajoutée.
Réussite de la tâche
• % d’utilisateurs effectuant l’action principale.	• Facilité d’exécution de la tâche principale. • Rapport au niveau d’une semaine.
• Parcours utilisateur dans une application Teams : vue en entonnoir avec les abandons d’utilisateurs.	• Points de friction dans le parcours utilisateur. • Descendre dans la hiérarchie au niveau d’un locataire.
• Score de perte pour l’action principale : où, L = Perte N = nombre d’étapes différentes et uniques effectuées lors de l’exécution de l’action principale. S = Nombre total d’étapes effectuées lors de l’exécution d’une action principale, y compris les étapes de répétition. R = Nombre minimal d’étapes requises pour effectuer l’action principale.	• La facilité d’utilisation avec l’exploration régionale fournit des insights sur la nécessité de paramètres régionaux. • Descendre dans la hiérarchie au niveau de la région et du locataire. • Si la perte est supérieure à 0,4, l’application doit améliorer l’expérience utilisateur pour faciliter l’exécution de l’action principale pour les utilisateurs.
• Temps moyen nécessaire à l’exécution de l’action principale.	• Facilité d’utilisation. • Rapport parallèlement à l’exécution de l’action principale effectuée en dehors de l’application Teams.
• Nombre moyen de fois où l’action principale a été effectuée au cours d’un mois. • Nombre moyen de fois où des événements commerciaux clés ont été effectués au cours d’un mois.	• Niveau et intensité de l’engagement. • Afficher la tendance d’un mois à l’autre. • Descendre dans la hiérarchie par locataire.

Rétention

Objectif : Améliorer l’adhérence du produit en cumulant les avantages, plus un utilisateur s’engage avec l’application.

La rétention des utilisateurs mesure la fréquence à laquelle les utilisateurs reviennent pour utiliser le produit. Il mesure essentiellement la fréquence d’engagement. Les utilisateurs utilisent votre produit à plusieurs reprises s’ils obtiennent plus d’avantages. Plus ils utilisent un produit, le coût du changement d’applications est élevé. Par exemple, lorsqu’un utilisateur commence à ajouter des éléments de tâche ou d’action qu’il suit dans le cadre de votre application, il peut être utile d’améliorer la coordination entre les projets et d’abandonner progressivement votre système de gestion des tâches.

Conseil

• Les utilisateurs qui utilisent plusieurs fonctionnalités de la plateforme Teams sont mieux conservés de 20 à 35pp que les utilisateurs d’une seule fonctionnalité.
• La conversion de nouveaux utilisateurs en utilisateurs de plateforme engagés au cours de leur première semaine améliore la rétention.
• Les utilisateurs qui effectuent des événements de création dans votre application ont une rétention plus élevée que les utilisateurs qui consomment passivement des informations via des notifications. Les événements de création dépendent de votre entreprise. Par exemple, la création d’un ticket, la création d’un billet, d’un tableau de projet, etc.
• Les applications utilisées plusieurs fois (>5 fois) dans un mois ont une meilleure rétention mois après mois. Les cas d’usage récurrents avec une plus grande fréquence d’utilisation améliorent la rétention.

Mesure	Informations
• Nouvelle analyse de cohorte de rétention des utilisateurs (semaine en semaine, mois sur mois).	• Répartition de la rétention par client : application de bureau, web et mobile Teams, application web non-Teams. • Descendre au niveau d’un locataire.
• Évolution de l’utilisateur en 14 jours, 28 jours, 56 jours, 72 jours.	• Activité de l’utilisateur. • Descendre au niveau d’un locataire. • Exploration des fonctionnalités et des fonctionnalités de la plateforme. • Répartition de l’attrition par client : application de bureau, web et mobile Teams, application web non-Teams.
• #, % d’utilisateurs utilisant l’application dans plusieurs étendues.	• Profondeur de l’engagement. L’objectif est d’encourager l’utilisation de l’application dans différentes étendues.
• #, % d’utilisateurs utilisant plus d’une fonctionnalité de l’application.	• Profondeur de l’engagement. • L’objectif serait d’encourager les utilisateurs à utiliser différentes fonctionnalités de plateforme prises en charge par l’application.
• Temps moyen entre [Action principale 1,2..] par utilisateur.	• Intensité de l’engagement. • Rapport au niveau du locataire. • L’objectif serait de réduire ce temps pour promouvoir l’utilisation périodique.
• % d’utilisateurs effectuant des événements de création. • % d’utilisateurs effectuant des événements de consommation. Piste:   - Confirmations de lecture pour les messages de bot.   - Clics de notification.	• Intensité de l’engagement. La rétention des applications est plus élevée lorsque plus d’utilisateurs effectuent des événements de création que la consommation pure.
• Fonctionnalité ou étendue de l’application avec une utilisation récurrente élevée.	• Fonctionnalités ou fonctionnalités hautement réactives de l’application.

Bonheur

Objectif : Fournir une valeur suffisante et différenciée à l’utilisateur final, ce qui améliore sa volonté de payer.

Happiness a l’intention de mesurer l’attitude de votre utilisateur envers votre produit et peut se traduire par sa volonté de payer et de diriger d’autres utilisateurs vers votre produit. Le bonheur est principalement autodéclaré. Il existe des indicateurs avancés tels que la collecte de commentaires, l’évaluation de la satisfaction. Les indicateurs de retard incluent les nouveaux abonnements et les utilisateurs préférant utiliser l’application Teams plutôt que d’autres modalités.

Conseil

• Le bonheur doit être mesuré dans le contexte au bon moment et contextualisé pour l’utilisateur. L’envoi d’une enquête générique à une date fixe peut ne pas donner une mesure précise du bonheur, car les utilisateurs peuvent ne pas se souvenir de leur expérience.
• Intégrez des mécanismes de capture de commentaires et d’évaluation pilotés par le produit pour permettre aux utilisateurs d’envoyer facilement des commentaires et des évaluations dans le flux après avoir terminé l’action principale.
• Fournir un support produit adéquat, un support technique permettant aux utilisateurs de clarifier leurs requêtes, signaler des bogues et fournir des commentaires.

Mesure	Informations
• App Net Promoter Score (NPS) à partir de la source de l’application.	• Net Promoter Score. • Id Microsoft Entra et informations sur le locataire.
• % d’utilisateurs satisfaits ou satisfaits.	• Descendre dans la hiérarchie au niveau du locataire. • Signaler la tendance au fil du temps.
• % d’utilisateurs utilisant l’application Teams par rapport à l’application web ou à l’application mobile.	• Rapport d’un mois à l’autre.
• Commentaires utilisateur sur l’expérience après avoir terminé l’action principale.	• Introduire une méthode orientée produit pour la collecte des commentaires après avoir terminé l’action principale (par exemple, un message dans l’application pour envoyer des commentaires).

Étape suivante

Planifier l’instrumentation du code à l’aide du service analytique