共用方式為


使用 A/B 測試執行應用程式實驗

您可以使用合作夥伴中心來定義遠端變數,您可以在執行時間從通用 Windows 平台 (UWP) 應用程式擷取這些變數,並與使用者測試這些值的變化,以識別推動所需使用者行為的最有效值。 您的應用程式可以使用遠端變數來設定應用程式體驗,例如應用程式內購買、註冊流程、標題和廣告位置。

A/B 測試的目標是要藉由提供更吸引人的應用程式體驗,來識別遠端變數值的變化,這些值可能會讓您獲得提高的轉換率 (例如,更多應用程式內購買)。 識別出成功的變化之後,您可以立即結束實驗,並從合作夥伴中心為整個使用者受眾啟用該變化,而不需要重新發佈您的應用程式。

建立和執行 A/B 測試

若要建立並執行 A/B 測試,請按照下列步驟操作:

  1. 在合作夥伴中心建立專案並定義遠端變數。 此專案包含實驗的變數和預設變數值。
  2. 為應用程式編寫程式碼以進行實驗。 使用 Microsoft Store Services SDK 中的 API,從您在合作夥伴中心建立的專案取得遠端變數值,使用此資料來修改您正在測試的功能行為,並將檢視事件和轉換事件傳送至合作夥伴中心。
  3. 在合作夥伴中心定義您的實驗。 在您的專案中建立實驗,以定義 A/B 測試的唯一目標和變化。
  4. 在合作夥伴中心儀錶板中執行和管理您的實驗。 啟用您的實驗,並使用合作夥伴中心來檢閱實驗的結果並完成實驗。

如需示範端對端流程的逐步解說,請參閱使用 A/B 測試建立並執行您的第一個實驗

需求

合作夥伴中心的 A/B 測試僅支援 UWP 應用程式。

您必須先設定開發電腦,才能使用 A/B 測試來執行實驗:

  • 請遵循這裡的指示來設定您的開發電腦以進行 UWP 開發。
  • 安裝 Microsoft Store Services SDK。 除了用於實驗的 API 之外,此 SDK 也為其他功能提供 API,例如顯示廣告,並將您的客戶導向意見反應中樞來在應用程式上收集意見反應。

最佳作法

若要達到最有用的結果,建議您在使用 A/B 測試執行實驗時遵循這些建議:

  • 請考慮執行只有兩種變化的實驗,並使用隨機 50/50 比率分佈來指派變化。
  • 執行實驗至少 2 到 4 周,以收集具有統計意義且可採取動作的足夠資料。

詞彙 定義
Project 遠端變數的集合,其中包含可以使用 Microsoft Store Services SDK 存取應用程式的預設值。 專案也可以選擇性地包含一或多個共用相同遠端變數的實驗。
Experiment 一組參數,定義使用者將接收的 A/B 測試。 專案範圍內會定義實驗,而每個實驗都包含:

  • 檢視事件,指出使用者何時開始檢視屬於實驗一部分的變化。
  • 具有轉換事件的一或多個目標,指出何時達到目標。
  • 定義實驗所使用變數資料的一或多個變化。 控制項變化會使用專案中為實驗定義的預設變數值。 除了控制變體之外,實驗通常至少有一個額外的變體與實驗唯一的變數值。
專案識別碼 將應用程式與合作夥伴中心帳戶中的專案建立關聯的唯一識別碼。 您必須使用此識別碼來連線到應用程式程式碼中的 A/B 測試服務,以接收變體資料並提供檢視和轉換事件報告給合作夥伴中心。 如需詳細資訊,請參閱撰寫應用程式以進行實驗的程式碼

每個專案,以及專案中的所有實驗,都與一個專案識別碼完全相關聯。 您可以使用專案識別碼來協助區分不同的實驗組。 例如,您可能有一組實驗會發佈給組織中的測試人員,以及一組您只發佈給應用程式外部使用者的實驗。 如果應用程式實作多個實驗,應用程式可能參考多個專案識別碼。

變化程度 您在實驗中測試的一或多個變數集合。 每個實驗都必須至少有一個變數和兩種變化 (包括控制項)。 實驗最多可以有五個變化。
變數 您的應用程式用來初始化屬性或應用程式中某些其他值的值。 在實驗期間,變數的值會從在變化中變更。 結束實驗之後,變數會從您選擇的變化指派的值發佈給應用程式的所有使用者。 變數可以有下列類型:string、Boolean、double 和 integer。
檢視事件 任意字串,表示當使用者開始檢視屬於實驗一部分的變化時的活動。 一般而言,這是程式碼中的事件名稱。 當使用者開始檢視變化時,您的應用程式程式碼會將此檢視事件字串傳送至合作夥伴中心。 如需詳細資訊,請參閱撰寫應用程式以進行實驗的程式碼
轉換事件 任意字串,代表實驗要達到的目標。 一般而言,這是程式碼中的事件名稱。 當使用者達到目標時,您的應用程式程式碼會將此轉換事件字串傳送至合作夥伴中心。 如需詳細資訊,請參閱撰寫應用程式以進行實驗的程式碼