使用 A/B 測試執行應用程式實驗
您可以使用合作夥伴中心來定義遠端變數,您可以在執行時間從通用 Windows 平台 (UWP) 應用程式擷取這些變數,並與使用者測試這些值的變化,以識別推動所需使用者行為的最有效值。 您的應用程式可以使用遠端變數來設定應用程式體驗,例如應用程式內購買、註冊流程、標題和廣告位置。
A/B 測試的目標是要藉由提供更吸引人的應用程式體驗,來識別遠端變數值的變化,這些值可能會讓您獲得提高的轉換率 (例如,更多應用程式內購買)。 識別出成功的變化之後,您可以立即結束實驗,並從合作夥伴中心為整個使用者受眾啟用該變化,而不需要重新發佈您的應用程式。
建立和執行 A/B 測試
若要建立並執行 A/B 測試,請按照下列步驟操作:
- 在合作夥伴中心建立專案並定義遠端變數。 此專案包含實驗的變數和預設變數值。
- 為應用程式編寫程式碼以進行實驗。 使用 Microsoft Store Services SDK 中的 API,從您在合作夥伴中心建立的專案取得遠端變數值,使用此資料來修改您正在測試的功能行為,並將檢視事件和轉換事件傳送至合作夥伴中心。
- 在合作夥伴中心定義您的實驗。 在您的專案中建立實驗,以定義 A/B 測試的唯一目標和變化。
- 在合作夥伴中心儀錶板中執行和管理您的實驗。 啟用您的實驗,並使用合作夥伴中心來檢閱實驗的結果並完成實驗。
如需示範端對端流程的逐步解說,請參閱使用 A/B 測試建立並執行您的第一個實驗。
需求
合作夥伴中心的 A/B 測試僅支援 UWP 應用程式。
您必須先設定開發電腦,才能使用 A/B 測試來執行實驗:
- 請遵循這裡的指示來設定您的開發電腦以進行 UWP 開發。
- 安裝 Microsoft Store Services SDK。 除了用於實驗的 API 之外,此 SDK 也為其他功能提供 API,例如顯示廣告,並將您的客戶導向意見反應中樞來在應用程式上收集意見反應。
最佳作法
若要達到最有用的結果,建議您在使用 A/B 測試執行實驗時遵循這些建議:
- 請考慮執行只有兩種變化的實驗,並使用隨機 50/50 比率分佈來指派變化。
- 執行實驗至少 2 到 4 周,以收集具有統計意義且可採取動作的足夠資料。
相關字詞
詞彙 | 定義 |
---|---|
Project | 遠端變數的集合,其中包含可以使用 Microsoft Store Services SDK 存取應用程式的預設值。 專案也可以選擇性地包含一或多個共用相同遠端變數的實驗。 |
Experiment | 一組參數,定義使用者將接收的 A/B 測試。 專案範圍內會定義實驗,而每個實驗都包含:
|
專案識別碼 | 將應用程式與合作夥伴中心帳戶中的專案建立關聯的唯一識別碼。 您必須使用此識別碼來連線到應用程式程式碼中的 A/B 測試服務,以接收變體資料並提供檢視和轉換事件報告給合作夥伴中心。 如需詳細資訊,請參閱撰寫應用程式以進行實驗的程式碼。 每個專案,以及專案中的所有實驗,都與一個專案識別碼完全相關聯。 您可以使用專案識別碼來協助區分不同的實驗組。 例如,您可能有一組實驗會發佈給組織中的測試人員,以及一組您只發佈給應用程式外部使用者的實驗。 如果應用程式實作多個實驗,應用程式可能參考多個專案識別碼。 |
變化程度 | 您在實驗中測試的一或多個變數集合。 每個實驗都必須至少有一個變數和兩種變化 (包括控制項)。 實驗最多可以有五個變化。 |
變數 | 您的應用程式用來初始化屬性或應用程式中某些其他值的值。 在實驗期間,變數的值會從在變化中變更。 結束實驗之後,變數會從您選擇的變化指派的值發佈給應用程式的所有使用者。 變數可以有下列類型:string、Boolean、double 和 integer。 |
檢視事件 | 任意字串,表示當使用者開始檢視屬於實驗一部分的變化時的活動。 一般而言,這是程式碼中的事件名稱。 當使用者開始檢視變化時,您的應用程式程式碼會將此檢視事件字串傳送至合作夥伴中心。 如需詳細資訊,請參閱撰寫應用程式以進行實驗的程式碼。 |
轉換事件 | 任意字串,代表實驗要達到的目標。 一般而言,這是程式碼中的事件名稱。 當使用者達到目標時,您的應用程式程式碼會將此轉換事件字串傳送至合作夥伴中心。 如需詳細資訊,請參閱撰寫應用程式以進行實驗的程式碼。 |