設計和執行對電子郵件設計的 A/B 測試

文章
08/16/2024

重要

本文僅適用於推播式行銷，將於 2025 年 6 月 30 日從產品中刪除。 為避免中斷，請在此日期之前過渡到即時旅程。詳細資訊：過渡概述

使用電子郵件 A/B 測試了解兩個相似設計中哪個可能是最成功的設計，然後自動將優勝的設計傳送給其餘對象。首先建立控制設計 (「A」版本)，然後以此為基礎建立「B」版本設計，這其中已修改了一小部分 (例如主旨或影像)。最後，為客戶旅程的一部分來執行測試。

旅程會自動執行整個測試。一開始先將版本 A 傳送給區段的一小部分 (例如，隨機選取的 10% 連絡人)，同時也將版本 B 傳送給區段的另一部分 (通常也是 10%)。它會等待您選擇的一段時間 (例如，24 個小時)，然後分析互動結果並根據您選取的準則 (例如開啟次數最多者) 選擇獲勝設計。旅程接著自動將獲勝設計傳送給區段的其餘部分 (剩餘 80%)。

建立行銷電子郵件以進行 A/B 測試

若要設定 A/B 測試，請先從建立控制設計 (這會是 A 版本) 開始，然後建立只有一小部分設計變更的 B 版本。每個 A/B 測試都只能有一種類型的變更（例如主旨、本文或完整內容）。

Note

對於相同的設計，您只能定義一個新的 A/B 測試。您必須等到 A/B 測試執行完後才能建立新測試。

若要設定郵件的 A 和 B 設計：

像往常一樣建立初始 (控制) 設計，如建立新的電子郵件並設計其內容中所述。盡可能設計完善，並請務必檢查錯誤，以確保其可上線。
幫 A 設計完成後，執行下列其中一項：
- 選擇電子郵件編輯器右上角的 A/B 測試按鈕以開啟 A/B 測試面板。
- 如果您尚未為此電子郵件定義任何測試，請選取 A/B 測試面板中的新增測試按鈕。
- 如果您已經定義了測試，則可以透過在版本之間切換來修改版本 A 和 B。
會顯示新測試的參數。執行下列操作：
- 選擇以下其中一個選項設定測試類型： - 標題 (主旨，電子郵件寄件者)：您可以為 B 版本的設計選擇一個不同的主旨或不同的 [寄件者] 名稱。收件者會將 [寄件者] 名稱視為郵件寄件者的名稱。這不會變更實際的 [寄件者] 地址，此地址在兩個版本中都保持不變。 - 本文：您可以選擇電子郵件中的一或多個設計項目，然後變更 B 版本設計中那些項目的設定、內容或外觀。 - 完整內容：您可以選擇一個不同的主旨、[寄件者] 名稱和電子郵件本文中的一或多個設計項目，然後變更 B 版本設計中那些項目的設定、內容或外觀。
- 輸入測試標題以識別測試。這個標題會顯示在 A/B 測試面板上，當您在選擇為旅程執行哪項測試時，也會顯示在客戶旅程電子郵件圖標中。
重要

您一次只能為郵件定義一個新的 A/B 測試。只有在執行了以前的測試之後，才可能新增新的測試。

Note

您可以在單一旅程的單一電子郵件圖標上，只執行一次各項測試。一旦您設定好旅程來執行測試，就無法為任何其他電子郵件圖標或旅程選擇測試。如果您想在單個設計上執行多個測試，則在上一個測試執行後，在 A/B 測試面板中新增新的測試。若要從郵件中刪除 A/B 測試，請選擇垃圾桶按鈕。
您所選擇類型的新測試，會立即新增到 A/B 測試面板的新增區段。請注意以下要點：
- 在任何給定時間，您只能啟動並主動執行一個新測試。
- A/B 測試面板的作用中區段會顯示目前執行的 A/B 測試和郵件所有過去的 A/B 測試。
- 從 A/B 測試面板中選取要與該項測試搭配使用的測試。選取測試後，會展開為顯示版本 A 和版本 B 的按鈕，以供使用測試。
- 您可以變更測試的類型或標題。當您選擇要針對旅程執行哪一項測試時，測試標題會顯示在客戶旅程電子郵件圖標中。
- 對於標題測試，由所選測試控制的參數（主題和“發件者”名稱）顯示 A 圖示或 B 圖示，以指示您正在測試的內容以及正在顯示的版本（且可編輯）。圖示會變更來符合您所選取的版本按鈕 (版本 A 或版本 B)。
- 對於本文測試，每個測試中項目會在其周圍顯示彩色框架 (獲選時)，而此框架的色彩與所選版本按鈕的色彩相符 (藍色代表版本 A，或粉紅色代表版本 B)。如需有關如何設定此測試的詳細資訊，請參閱下一個步驟。
從 A/B 測試面板選取測試，然後選取版本 B 按鈕。根據要進行哪個類型的測試，執行下列其中一個動作：
- 對於標題測試，“主題 ”和 “寄件人名稱 ” 字段現在應顯示 B 圖示。在此處輸入新的主旨或 [寄件者] 名稱。
- 對於正文測試，通過在畫布上選擇元素以突出顯示它，然後在突出顯示的框頂部的選項卡中選擇 A/B 按鈕，從而將元素添加到測試中。這是一個切換按鈕，因此您可以再次選擇它以從測試中刪除元素 - 它為正在測試的元素顯示白色背景，併為每個版本相同的元素顯示深藍色背景。已測試的項目會以框架色彩指出版本：版本 A 為深藍色，而版本 B 為深粉紅色。您可以新增任何數量的項目到測試中，但每次通常最好只測試少量項目 (或者一個項目)。
現在變更已啟用進行測試的項目的設計。進行標題測試時，請編輯適當欄位文字；對於本文測試，您可以編輯文字項目的文字內容，或其他類型設計項目的屬性索引標籤設定。您可以使用版本 A 和版本 B按鈕在版本之間來回切換，並在顯示每個版本時繼續加以編輯。

Note

即使在啟用了 A/B 測試後，您仍然可以編輯訊息中不屬於任何測試的部分。這樣做時，您的編輯將會影響所有版本 (A 版本和所有 B 版本)，不論目前選取的是哪個測試和版本按鈕。但要是您編輯已針對測試啟用的設定，則只會編輯使用版本 A 和版本 B 按鈕所選取的版本。請記住，A 版本對所有測試都一樣，但 B 版本對每個測試都是獨特的。

將新的設計項目新增至已設定本文測試的訊息時要小心。執行此動作後，請務必確定已使用每個測試的每個版本的正確內容及設定來完整定義新項目。
完成設計和新 A/B 測試的設定時，選取上線，讓您的郵件可搭配客戶旅程使用。

準備從客戶旅程執行測試

準備好測試電子郵件時，使用客戶旅程來傳送它。無論如何複雜，您都可以將 A/B 測試電子郵件包含在任何類型的旅程中，包括您用於生產行銷活動的旅程。策略是將每個設計傳送至旅程所針對之完整區段的一小部分、等待看到這些收件者對每個版本郵件的反應，然後將表現最佳的郵件傳送到該區段的其餘部分。您可以選擇獲勝條件 (點閱次數最多或開啟次數最多)，以及運行測試的時間長度。

重要

若要產生可靠的測試結果，您始終都必須先將每個版本 (A 和 B) 傳送給至少 100 個收件者，再允許系統選擇優勝的設計。通常建議的設定會使用 1000 成員區段 (或更大)，搭配傳送版本 A 給 10% 區段、傳送版本 B 給另外 10% 區段然後傳送獲勝設計給其餘 80% 的測試發佈方式。

每個版本都可以使用少到只有一個或幾個收件者來執行 A/B 測試，但這樣可能經常產生不均勻或非隨機的版本發佈和不可靠的最終結果。建議您僅在試驗功能時這樣做。

仍然將 A/B 測試新增至旅程：

像平常一樣設定旅程，並請務必包括一個或多個可在其中放置 A/B 測試電子郵件的電子郵件圖標。
選擇包含在旅程準銷售案源中的電子郵件圖標，然後開啟側邊面板中的屬性索引標籤以開始設定圖標。
在屬性面板的行銷電子郵件訊息欄位中，選取您設定進行 A/B 測試的電子郵件。請注意，當郵件已設計有 A/B 測試時，圖標會在其角落中顯示 A 和 B 圖示。這些圖示目前會顯示為灰色，因為您尚未為此圖標設定測試 (啟用測試後會變成藍色)。
在屬性面板中向下捲動，直到看見 A/B 測試切換開關後，再選取以開啟測試。這樣會開啟 A/B 測試設定。

注意

如果選取的電子郵件具有 A 和 B 設計，但未對圖標啟用 A/B 測試，則會將版本 A 傳送給所有收件者。
進行下列設定以設定測試：
- 選擇 A/B 測試：選取的電子郵件設計必須至少有設定一個未經使用的測試，但可能會有更多。選取您要對此圖標執行之測試的名稱。一次最多只能執行一項測試。
- A/B 分佈：設定滑桿以選擇要納入測試的連絡人數目 (以佔目標區段中連絡人總數的百分比來表示)。半數測試對象將會收到版本 A，而另一半則收到版本 B。所有測試連絡人以及每個人收到的版本都是隨機選取的。
- 獲勝計量：選擇要根據點閱率 (收件者按一下郵件中連結的頻率) 還是根據開啟率 (收件者開啟郵件的頻率) 決定獲勝設計。在個別情況下，獲勝設計都是產生最多點選次數或開啟次數 (以佔傳送該版本總次數的比例表示) 的版本。
- 測試期間：使用這些設定來確定測試應執行多長時間。為獲得最佳效果，建議每項測試至少執行 24 小時或更長時間 (如果可能)，特別是在您的目標鎖定全球對象 (以補償時區) 的情況下。在此段時間結束時，系統會分析結果，並將獲勝設計傳送給區段中的其餘連絡人。不會重新傳送獲勝設計給收到「落敗」設計的連絡人。
- 如果結果不明，請傳送：如果測試沒有產生明顯的獲勝設計，請選擇要執行的動作。在這種情況下，您可以選擇傳送版本 A、版本 B，或是將兩個版本以比例各半的方式隨機傳送給所有剩餘的連絡人。
Note

使用虛無假說來選取獲勝設計。對於至少擁有 1,000 個連絡人的大型集合，獲勝變體的信賴等級至少需要 95%。在較小的集合中，信賴等級可以低至 80%。如果變體因連絡人相對較少而不同，則測試結果可能被視為沒有結果。

換句話說，A/B 測試的獲勝設計不會自動是具有更多連絡人的變體。反之，獲勝設計會是顯示具有統計學意義成果的變體。
像平常一樣完成旅程的設定，並使其上線。

監視 A/B 測試的生命週期

特定電子郵件訊息定義的每個測試都只能執行一次。只要測試開始由客戶旅程進行處理，或是已處理，您就無法重新將其與任何其他客戶旅程搭配使用。因此，您有時可能會嘗試為客戶旅程中的電子郵件圖標設定 A/B 測試，然後在無法選取想要執行的測試時感到驚訝。在這種情況下，您只需新增另一個測試即可。

若要檢視每個在電子郵件訊息中所定義之 A/B 測試的執行狀態，請開啟該訊息並展開 A/B 測試面板。訊息每個可用的測試，會列在下列其中一個標題之下。每個標題包括一個展開/摺疊按鈕，用來顯示或隱藏每個類別中的測試。

草稿：這些是尚未執行的測試，因此仍然可以編輯其設定，並在設定客戶旅程的電子郵件圖標時選擇這些測試。
已排程：有些測試已由客戶旅程設定好將執行，但旅程尚未啟動。其設定已鎖定，您無法在任何其他客戶旅程中執行這些測試。
進行中：這些是目前正在執行的測試。其設定已鎖定，您無法在任何其他客戶旅程中執行這些測試。
已完成：這些測試已完成，且無法再次使用。若要檢視結果，請移至執行測試所在三客戶旅程。

A/B 測試執行狀態顯示。

檢查測試結果

您可以隨時檢查客戶旅程的電子郵件圖標來檢查 A/B 測試的進度和結果。若要執行此操作：

開啟客戶旅程。
選取要執行 A/B 測試所在的電子郵件圖標。
向下捲動至所選電子郵件圖標的資料面板底部。這裡會看到一個畫面，顯示測試的名稱、您將每個版本傳送到的連絡人百分比 (包括獲勝版本)、測試還剩多少時間，以及哪個設計已宣告為獲勝版本 (若測試已完成)。
選取這裡的檢視詳細資料連結，以取得更多有關測試結果的詳細資訊。這會開啟一個對話方塊，顯示測試中每個設計的 KPI。如需電子郵件 KPI 及其轉恐方式的詳細資訊，請參閱深入解析詞彙