Tecnologias do Azure para medir o impacto nos negócios
Após criar um MVP, uma organização precisa validar a hipótese de inovação. Nesta unidade, você aprenderá como as ferramentas do Azure podem ajudar nessa parte crucial do processo de inovação.
Medindo a eficácia
Medir se uma hipótese estava certa ou errada pode ser difícil, pois vários fatores podem influenciar os indicadores chave de desempenho. Esses fatores podem dar dicas sobre o sucesso esperado, pois estabelecer causalidade pode ser complexo. Por exemplo, mesmo que as vendas aumentem após a introdução de um determinado recurso, é difícil provar se o recurso foi o principal fator responsável pelo aumento das vendas.
No entanto, a maneira como os recursos são liberados para os usuários do aplicativo pode ajudar a avaliar a validade de uma hipótese:
- As implantações controladas com sinalizadores de recursos, anéis de recursos e implantações canário permitem que você lance um recurso para um conjunto limitado de usuários a fim de evitar a interrupção da experiência de toda a base de clientes. Além disso, você pode comparar diretamente o desempenho dos clientes com e sem o recurso entre si.
- As opções do portal para os usuários decidirem se desejam ser expostos a novas funcionalidades colocam os usuários no controle da experiência. O fato de muitos usuários optarem por um novo recurso já pode ser uma confirmação de que a funcionalidade anterior tinha espaço para aprimoramento. Se os clientes que optaram por usar o novo recurso voltarem à experiência anterior, esse poderá ser um indicador de que o MVP implantado não está atingindo o resultado esperado.
- Pesquisas com clientes são um mecanismo eficiente de comentários quando implementadas corretamente. Os clientes fornecem informações sobre satisfação se o processo é simples. Pesquisas de satisfação com um só clique no estilo "semáforo" ou perguntas únicas sobre novas funcionalidades podem fornecer insights para ajudar a avaliar se a hipótese de inovação estava correta. Em geral, apenas alguns usuários respondem a pesquisas mais longas e reservam tempo para preenchê-las de maneira completa e verdadeira.
Entendendo seu aplicativo
O Azure Application Insights é uma plataforma de APM (gerenciamento de desempenho de aplicativos) com um conjunto sofisticado de ferramentas para coletar a telemetria de aplicativos. Você pode usar esses insights para várias finalidades, como monitoramento de desempenho, solução de problemas ou compreensão de como os usuários usam os aplicativos. O último item é crítico para o ciclo de vida da inovação. Você pode usá-lo para validar uma hipótese de inovação e avaliar se determinada inovação está aprimorando a experiência do cliente.
Detectar problemas antes dos usuários
Um elemento crucial que afeta a experiência do usuário é o desempenho e a disponibilidade de um aplicativo. Se um aplicativo não estiver funcionando corretamente e estiver apresentando erros ou mesmo se não for dinâmico o suficiente, alguns usuários o abandonarão por ficarem frustrados. Sua organização poderá perder negócios. Esses usuários frustrados também poderão prejudicar a reputação da organização se compartilharem suas experiências em mídias sociais.
Detectar essas situações problemáticas antes que elas afetem os usuários é de extrema importância. Para atingir essa meta, você precisa monitorar o aplicativo de maneira proativa e começar a trabalhar em problemas potenciais antes que eles afetem os negócios. Por exemplo, habilite as notificações a abrirem incidentes automaticamente para que eles sejam investigados antes de serem relatados pelos clientes.
A Detecção Inteligente é um recurso útil do Azure Application Insights. Ele pode gerar alertas quando o comportamento do aplicativo é incomum. Ele detecta anomalias usando machine learning e os alertas são mais avançados do que as notificações de erro tradicionais.
Normalmente, as notificações relatam que pode haver um problema, sem contexto sobre o possível impacto nos negócios. Os alertas de Detecção Inteligente incluem informações como o número de usuários afetados, o padrão associado às falhas e a taxa de falha em comparação ao comportamento normal. Você pode, então, se concentrar no problema mais crítico do ponto de vista dos negócios.
Monitorar as atividades do usuário
A Análise de uso do Azure Application Insights pode ajudar você a avaliar quais áreas do aplicativo precisam de aprimoramento. Por exemplo, a análise de uso pode identificar os recursos mais populares do aplicativo ou pontos específicos em que os usuários deixam o portal da Web. Você pode explorar, por exemplo, se o aplicativo funciona melhor em algumas áreas geográficas do que em outras para obter informações úteis sobre possíveis lacunas do aplicativo.
Depois de formular uma hipótese com os dados fornecidos pelo Azure Application Insights, você pode analisar a telemetria para medir se a situação está melhor ou pior. Você pode inserir eventos de negócios personalizados no aplicativo, para que os dados telemétricos contenham informações adicionais que ajudam no processo de medição.
Os funis podem ser uma ferramenta informativa. Com os funis, predefina os fluxos que você espera que os usuários sigam quando usarem o aplicativo. Em seguida, você pode monitorar quais padrões os usuários seguem e identificar problemas nos aplicativos caso os usuários se comportem de maneiras inesperadas.
Reter os usuários
A ferramenta de retenção do Application Insights oferece uma funcionalidade específica relacionada à rotatividade de usuários. Ela contém dados de aprendizado importantes quando combinada com eventos de negócios. Por exemplo, entender quais ações foram executadas por clientes que saíram do aplicativo inesperadamente permite que você formule hipóteses com o máximo impacto nos negócios.
Por exemplo, se a maioria dos usuários que abandonaram o site saíram da página de forma de pagamento, você poderá suspeitar de um problema de negócios ali. Talvez as opções de pagamento sejam insuficientes ou não sejam exibidas claramente, ou outro problema esteja impedindo que os usuários avancem no processo de compra.
Análise de impacto
A análise de impacto é um recurso do Azure Application Insights que correlaciona aspectos técnicos do aplicativo a métricas de negócios tangíveis.
Por exemplo, qual deve ser a velocidade de carregamento da página do produto para que a maioria dos usuários continue com o processo de compra? Com a análise de impacto, você pode mostrar a relação entre o tempo de carregamento da página e a taxa de usuários que compram o produto mostrado. Essas informações podem ajudar você a validar ou rejeitar hipóteses de inovação e a converter requisitos de negócios em especificações técnicas.
Resumo
A Tailwind Traders decidiu introduzir alguns novos recursos no aplicativo de comércio eletrônico, como uma nova plataforma de pagamento. O aplicativo foi instrumentado com o Azure Application Insights para entender quantos clientes estão usando a nova forma de pagamento e se há um aumento da taxa de conversão no processo de pagamento. A nova forma de pagamento foi marcada como versão prévia para que os usuários sejam mais compreensivos em caso de problemas.
O Application Insights ajudou a Tailwind Traders a identificar que um alto percentual de usuários decidiu escolher a nova forma de pagamento apesar da faixa de "versão prévia". O Application Insights confirmou que a nova funcionalidade funcionou conforme o esperado sem grandes falhas. Além disso, a taxa de conversão de compra aumentou significativamente.
Agora, a Tailwind Traders pode se concentrar em transformar o MVP de nova forma de pagamento em um recurso de nível de produção. A empresa pode passar para a fase de aprendizado do ciclo de vida de inovação para formular mais hipóteses.