用于衡量业务影响的 Azure 技术

已完成

组织构建 MVP 后,需要验证创新假设。 在本单元中,你将了解 Azure 工具如何帮助你完成创新过程的这个重要部分。

衡量有效性

衡量假设正确与否可能会比较棘手,因为多个因素可能会影响关键绩效指标。 这些因素可能会给出有关预期成功的提示,因为建立因果关系可能非常复杂。 例如,即使推出某项功能后销量增加,新功能是否是销量增加的主要因素也很难证明。

但是,将功能发布到应用程序用户的方式可以帮助评估假设的有效性:

  • 使用功能标志、功能环和 Canary 部署进行可控部署,可以面向一组有限的用户发布该功能,以防止中断整个客户群的体验。 此外,可以直接将具有和不具有该功能的客户的业绩相互进行比较。
  • 用户可通过门户选项决定是否要接触这些新功能,从而使用户能够控制自己的体验。 事实上,许多用户选择了新功能,这可能已经证实了以前的功能还有改进的空间。 如果选择新功能的客户恢复为以前的体验,则可能指示所部署的 MVP 未能获得预期结果。
  • 如果正确实施,客户调查是一种作用巨大的反馈机制。 只要提供信息的方式较为简单,客户就会提供关于满意度的信息。 一键点击式“交通灯”满意度调查或关于新功能的单个问题可以提供见解,有助于评估创新假设是否正确。 一般来说,只有少数用户会回答较长的调查,并会花时间仔细、如实地填写。

了解应用程序

Azure Application Insights 是一个应用程序性能管理 (APM) 平台,其中包含一套丰富的工具,用于收集应用程序遥测。 可以将这些见解用于多种用途,例如性能监视、问题故障排除或了解用户如何在应用程序之间移动。 最后一项功能对于创新生命周期至关重要。 你可以使用此功能验证创新假设,以及判断某个创新是否能够改进客户体验。

先于用户检测问题

影响用户体验的关键要素是应用程序的性能和可用性。 如果应用程序无法正常运行并发生错误,或者它的响应速度不够快,一些用户可能会因为沮丧而放弃该应用程序。 组织可能会失去业务。 如果那些沮丧的用户在社交媒体上分享他们的体验,可能会导致组织的声誉受到损害。

因此,必须提前检测这些问题情况以避免影响用户,这是最重要的。 为了实现该目标,你需要主动监视应用程序,以便在潜在问题影响业务之前开始处理这些问题。 例如,你可以启用通知以自动打开事件,这样就可以在客户报告事件之前调查这些事件。

智能检测是 Azure Application Insights 的一项有用功能。 它可以在应用程序行为异常时引发警报, 还能使用机器学习来检测异常情况,而且警报的内容比传统的错误通知更丰富。

通常,这些通知会报告可能存在问题,而不会提供潜在业务影响的上下文。 智能检测警报包含如下信息:受影响的用户数、与故障关联的模式或与正常行为相比的失败率。 这样你就可以从业务的角度关注最紧迫的问题。

监视用户活动

Azure Application Insights 中的使用情况分析可以帮助你评估应用程序需要改进的领域。 例如,使用情况分析可确定最流行的应用程序功能或用户离开 Web 门户的特定点。 你可以探索应用程序在某些地理区域的运行状况是否比其他区域更好,从而获得有关应用程序差距所在的重要信息。

使用 Azure Application Insights 提供的数据提出假设后,可对遥测数据进行分析,以此衡量现在的情况是更好还是更糟。 可以将自定义业务事件嵌入到应用程序中,以使遥测数据包含对衡量过程有帮助的附加信息。

漏斗图是一种可以提供见解的工具。 使用漏斗图,你可以预定义用户在使用应用程序时应遵循的流。 然后,你可以监视用户遵循的模式,并在用户出现意外行为时识别应用程序中的问题。

保留用户

Application Insights 保留工具提供以用户流失为中心的特定功能。 它与业务事件结合时包含有价值的学习数据。 例如,通过了解意外离开应用程序的客户执行了哪些操作,你可以提出具有最大业务影响的假设。

例如,如果大多数用户从付款方式页离开你的网站,你可以推测该页面存在业务问题。 可能是支付选项不足或显示模糊,或其他问题导致用户无法在其购物过程中继续。

影响分析

影响分析是 Azure Application Insights 中的一项功能,可将应用程序的技术方面与有形的业务指标相关联。

例如,产品页面的加载速度要多快,才能使大多数用户继续进行购物过程? 使用影响分析,可以显示页面加载时间与购买产品的用户比率之间的关系。 这些信息可帮助你验证或拒绝创新假设,以及将业务要求转换为技术规范。

总结

Tailwind Traders 决定在其电子商务应用程序中引入一些新功能,例如新的支付平台。 该应用程序已使用 Azure Application Insights 进行检测,可用于了解有多少客户在使用这种新的付款方式,以及支付过程中的转化率是否有提高。 将新的付款方式标记为预览版,这样用户在遇到问题时会更宽容。

Application Insights 帮助 Tailwind Traders 确定了以下事实:尽管有“预览版”横幅,仍有较大比例的用户决定选择新的付款方式。 Application Insights 确认了新功能按预期工作而没有重大缺陷。 此外,购买转化率也大幅提高。

Tailwind Traders 现在可以专注于将新付款方式的 MVP 转换为生产级功能, 然后前进到创新生命周期的学习阶段,以提出更多假设。