비즈니스 영향을 측정하는 데 사용할 Azure 기술
조직에서 MVP를 빌드한 후에는 혁신 가설을 검증해야 합니다. 이 단원에서는 Azure 도구를 사용하여 혁신 프로세스의 이 중요한 단계에서 어떻게 도움이 될 수 있는지 알아봅니다.
유효성 측정
여러 요인이 핵심 성과 지표에 영향을 미칠 수 있기 때문에 가설이 적절한지 여부를 측정하기가 어려울 수 있습니다. 인과 관계를 파악하기가 복잡할 수 있으므로 이러한 요인을 활용하여 예상되는 성공에 대한 힌트를 얻을 수 있습니다. 예를 들어, 특정 기능을 도입한 후에 판매가 늘었다고 해도 새로운 기능이 판매 증대의 주된 요인인지를 알아내기는 쉽지 않습니다.
하지만 기능을 애플리케이션 사용자에게 릴리스하는 방식은 가설의 유효성을 평가하는 데 도움이 될 수 있습니다.
- 기능 플래그, 기능 링 및 카나리아 개발을 사용한 통제된 배포는 기능을 한정된 사용자에게 출시하여 전체 고객 기반의 경험에 영향을 주지 않도록 지원합니다. 이렇게 하면 해당 기능을 사용한 고객과 사용하지 않은 고객의 성과를 나란히 비교할 수 있습니다.
- 사용자가 새로운 기능을 이용해 볼지 직접 결정할 수 있도록 하는 포털 옵션을 적용하면 사용자가 자신의 경험을 직접 관리할 수 있습니다. 많은 사용자가 새로운 기능을 이용하도록 선택한다는 사실 자체가 기존 기능에 개선의 여지가 있었음을 알려 주는 신호일 수 있습니다. 새로운 기능을 이용하도록 선택한 고객이 이전 경험으로 돌아간다면 배포된 MVP가 그만큼 유용하지 않다는 신호일 수 있습니다.
- 고객 설문 조사는 올바르게 구현한다면 유용한 피드백 메커니즘이 됩니다. 고객은 간단하게 만족도에 관한 정보를 제공합니다. 새로운 기능에 관한 원클릭 “신호등” 만족도 설문 조사나 단일 질문은 혁신 가설의 진위를 평가하는 데 도움이 되는 인사이트를 제공할 수 있습니다. 일반적으로 분량이 많은 설문 조사는 시간을 들여서 신중하게 질문지에 응답하기로 마음먹은 소수의 사용자만 응답할 것입니다.
애플리케이션 이해
Azure Application Insights는 애플리케이션 원격 분석을 수집할 수 있는 다양한 도구가 포함된 애플리케이션 성능 관리(APM) 플랫폼입니다. 성능 모니터링, 문제 해결 또는 사용자가 애플리케이션을 통해 이동하는 방식 이해와 같은 여러 용도로 이러한 인사이트를 사용할 수 있습니다. 마지막 항목은 혁신 수명 주기에 중요합니다. 혁신 가설을 검증하고 특정 혁신이 고객 경험을 개선하는지 여부를 판단하는 데 사용할 수 있습니다.
사용자보다 빨리 문제 발견
사용자 환경에 영향을 주는 중요한 요소 중 하나는 애플리케이션의 성능과 가용성입니다. 애플리케이션이 올바르게 작동하지 않고 오류를 발생시키거나 반응이 느리다면 애플리케이션을 이용하다 이탈하는 사용자가 발생하게 됩니다. 이로 인해 조직에는 비즈니스 손실이 발생할 수 있습니다. 불만을 가진 사용자가 소셜 미디어에서 자신의 경험을 공유하는 경우 조직의 명성이 떨어질 수도 있습니다.
사용자에게 영향을 주기 전에 문제 상황을 발견하는 것이 가장 중요합니다. 이를 위해서는 애플리케이션을 선제적으로 모니터링하고 잠재적인 문제가 비즈니스에 영향을 주기 전에 이를 해결해야 합니다. 예를 들어, 고객이 인시던트를 보고하기 전에 조직에서 먼저 인시던트 조사를 진행할 수 있도록 인시던트 자동 생성 알림을 설정할 수 있습니다.
스마트 검색은 Azure Application Insights의 유용한 기능입니다. 이 기능은 애플리케이션 동작이 비정상인 경우 경고를 발생시킬 수 있습니다. 또한 기계 학습을 사용하여 변칙을 검색하며, 기존의 오류 알림보다 다양한 경고를 제공합니다.
일반적으로 알림은 비즈니스에 영향을 미칠 만한 상황이 없어도 문제가 있을 수 있음을 보고합니다. 스마트 감지 경고에는 영향을 받는 사용자 수, 오류와 관련된 패턴 또는 일반 동작과 비교한 실패율 등의 정보가 포함됩니다. 이러한 정보를 활용하면 비즈니스 관점에서 가장 중요한 문제에 집중할 수 있습니다.
사용자 활동 모니터링
Azure Application Insights의 사용량 분석을 사용하면 개선이 필요한 애플리케이션 영역을 평가할 수 있습니다. 예를 들어, 사용량 분석은 가장 자주 사용되는 애플리케이션 기능을 확인하거나 사용자가 웹 포털을 이탈하는 특정 지점을 알아볼 수 있습니다. 다른 지역에서보다 특정 지역에서 애플리케이션이 더 잘 작동하는지를 살펴보면 애플리케이션의 격차가 발생할 수 있는 곳에 관한 귀중한 정보를 얻을 수 있습니다.
Azure Application Insights에서 제공하는 데이터를 바탕으로 가설을 도출한 후에는 원격 분석 데이터를 분석하여 상황이 개선되었는지 아니면 악화되었는지 측정할 수 있습니다. 측정 프로세스에 도움이 되는 추가 정보가 원격 분석 데이터에 포함되도록 애플리케이션에 사용자 지정 비즈니스 이벤트를 포함할 수 있습니다.
깔때기는 인사이트를 제공하는 도구가 될 수 있습니다. 유입 경로를 사용하면 사용자가 애플리케이션을 사용할 때 따르게 될 예상 흐름을 미리 정의할 수 있습니다. 그런 다음, 사용자가 따르는 패턴을 모니터링하고 사용자가 예기치 않은 방식으로 동작하는 경우 애플리케이션의 문제를 식별할 수 있습니다.
사용자 보존
Application Insights의 보존 도구는 사용자 이탈에 관한 특수 기능을 제공합니다. 비즈니스 이벤트와 함께 귀중한 학습 데이터를 포함합니다. 예를 들어, 애플리케이션을 예기치 않게 이탈한 고객이 어떤 행동을 했는지 파악하면 가장 높은 비즈니스 영향력을 갖는 가설을 도출할 수 있습니다.
예를 들어, 웹 사이트 사용을 중단한 대부분의 사용자가 결제 방법 페이지에서 그렇게 한 경우 해당 페이지에 비즈니스 문제가 있다고 의심할 것입니다. 결제 옵션이 부족하거나 명확하게 표시되지 않거나 다른 문제로 인해 사용자가 쇼핑 프로세스를 진행하지 못하는 것일 수 있습니다.
영향 분석
영향 분석은 애플리케이션의 기술적 측면을 정량적 비즈니스 메트릭에 연관 짓는 Azure Application Insights의 기능입니다.
예를 들어, 사용자의 대다수가 쇼핑 프로세스를 문제없이 진행하도록 하려면 제품 페이지가 얼마나 빠르게 로드되어야 할까요? Impact Analysis를 사용하면 페이지 로드 시간과 표시된 제품을 구매하는 사용자의 비율 사이의 관계를 살펴볼 수 있습니다. 이 정보는 혁신 가설을 검증하거나 기각하고 비즈니스 요구 사항을 기술 사양으로 변환하는 데 도움이 될 수 있습니다.
요약
Tailwind Traders는 전자상거래 애플리케이션에 새로운 결제 플랫폼과 같은 몇 가지 새로운 기능을 도입하기로 했습니다. 애플리케이션에는 몇 명의 고객이 새로운 결제 방법을 사용하고 있고 결제 프로세스에서 전환율이 늘었는지 여부를 알아보기 위해 Azure Application Insights를 적용했습니다. 문제가 있을 경우 사용자의 양해를 구하기 위해 새로운 결제 방법에 미리 보기라고 표시했습니다.
Tailwind Traders는 Application Insights를 통해 높은 비율의 사용자가 “미리 보기” 배너가 표시되어 있음에도 불구하고 새로운 결제 방법을 사용해 보기로 했다는 사실을 알 수 있었습니다. 또한 Application Insights를 통해 새로운 기능이 큰 문제 없이 예상대로 작동했다는 사실을 확인할 수 있었습니다. 이에 더해 구매 전환율도 크게 늘었습니다.
이제 Tailwind Traders는 새로운 결제 방법을 위한 MVP를 프로덕션급 기능으로 전환하는 데 집중할 수 있습니다. 이 회사는 혁신 수명 주기의 학습 단계로 이동하여 더 많은 가설을 도출할 수 있습니다.