A/B テストとは
A/B テストとは、特定の変数の最適な設定を決定するために使用する技法です。 たとえば、ゲーム内ストアのアイテムにさまざまな販売価格をテストするとします。
この場合、A/B テストを使用して、重み付けした一群のプレイヤー "バケット" を作成し、これらにプレイヤーをランダムに分割します。 各バケットにさまざまな価格を割り当てます。 プレイヤーには、そのバケットに割り当てられた価格が表示されます。 その後、各バケットの結果を比較し、最も効果的な価格を決定します。
次の値の表には、表示される内容の一例があります。
| Variable | A | B | C |
|---|---|---|---|
| Weight | 50% | 25% | 25% |
| アイテムごとの価格 | $1.99 | $2.99 | $4.99 |
| 合計ユーザー数 | 10,020 | 4,996 | 5,025 |
| 購入ユーザーの比率 (%) | 2.1% | 2.0% | 1.8% |
| 収益 | $418 | $298 | $451 |
| ARPU | $0.0417 | $0.0596 | $0.0898 |
ここでは、バケット "C" の価格が最も高いにもかかわらず、ユーザーあたりの平均収益 (ARPU) が高い結果が出ており、テストの "勝者" になっています。
PlayFab での A/B テストの動作
A/B テストは、PlayStream のプレイヤー セグメント化機能の最上位でサポートされています。 各テスト バケットはプレイヤーのセグメントとして実装されます。 したがって、"A" と "B" の 2 つのバケットを使用して "Price Test" と言う A/B テストを実行する場合、“Price Test - A” と “Price Test - B” と言う 2 つの新しいセグメントが作成されます。 選択したバケットの重み付けに従い、すべてのプレイヤーがこれら 2 つのセグメントのいずれかに自動的に割り当てられます。
さまざまなプレイヤーによるさまざまな結果をセグメント単位で直接表示できる PlayFab の機能は現在、ゲーム内のエコノミーの 対象ストア上書き機能 のみです。 つまり、現在 A/B テストが行えるのは実質的に (価格とアイテムの集合の両方を含む) ストアのみです。
ただし、さまざまなプレイヤーのさまざまなデータ (タイトル データなど) を対象とする PlayFab 機能をすぐに追加する予定です。
テストが有効になると、バケットごとの基本的な主要パフォーマンス指標 (KPI) の日次レポートの生成が開始されます。 これにより、テストの有効性が決定できます。 外部の分析プロバイダーを使用したより詳細な分析も今後可能になる予定です。
初めての A/B テストの作成
PlayFab ゲーム マネージャーにサインイン後、[PlayStream] タブを選択し、[A/B テスト] サブタブを選択します。
初めての A/B テストはここで作成します。 テストを作成する際、各バケットに [A/B テスト名]、[バケット数]、[名前]、および [パーセンテージ] (重み付け) を入力する必要があります。
重み付けは 100 まで追加でき、名前は一意である必要があります。 対応するセグメントにテスト名 - バケット名の名前が自動的に付けられます。 たとえば、Gem Price Test - Control のようになります。
バケットの割り当ては確率的に行われるため、各バケットへの割り当ては指定した重み付けに対して数 % 変わる可能性があります。 これは、プレイヤーの母数が多くなっても同様です。
テストをストアにフックする
テストを設定すると、[エコノミー] タブ内の [カタログ] セクションにある [ストア] サブセクションに移動します。ここから、[ストアの編集] ページのストアに上書きを設定することができます。
詳細については、ストア セグメントの上書きのブログ を参照してください。
結果を確認する
テストを作成すると、"A/B テスト KPI の日次レポート" と言うレポートが毎日生成されます。 これには、現在実行している各テストでのプレイヤー バケットごとの主な KPI が表示されます。
このレポートは、ストアの上書きを設定するための基本情報を得るために、少なくとも数日間実行することをお勧めします。 ユーザーは PlayFab ID に基づいて分けられています。この ID は作成時にランダムに割り当てられます。 プレイヤーは確率的に割り当てられるため、テストの初期においては KPI が一様であるとは限りません。
テストの結果に確信が持てるようになったら、プライマリ ストアを再設定し、安全にテストを削除できます。
将来の A/B テストの機能
現在、ストアは PlayFab のみの機能であり、セグメントを上書きします。 セグメントおよびその他の領域でタイトル データを上書きする機能の提供を近日予定しています。
これはほぼストアの上書き機能に等しく、ユーザーが要求するタイトル データのセグメントに基づき、タイトル内変数が設定可能です。 これにより、タイトルのより多くの機能が調整できるようになります。
また、すべてのプレイヤーではなく既存のセグメント内で A/B テストの実行を可能にする予定です。 したがって、たとえば価格に関して A/B テストを実行する際に、VIP セグメントのメンバーのみにテストを適用できるようになります。