適用條件:你正在用「同時跑多組、選表現最好的」這種方式做素材或受眾決策。
核驗日期:2026-11-21(2026-11-19 初版,本次補入 Google 官方口徑)。本文為方法論層面的區分;「賽馬」的描述來自公開的投放實務討論,屬行業做法整理。
一、先分清楚:這是兩種工具,不是同一種
| 賽馬(探索) | 統計檢定(驗證) | |
|---|---|---|
| 目的 | 找方向:哪個假設值得繼續投入 | 確認差異:這個差異是真的嗎 |
| 做法 | 同時跑多組,看誰的表現好 | 單變量對照,累積足夠樣本後比較 |
| 時間 | 短,通常 24–48 小時 | 長,依樣本量而定 |
| 結論強度 | 弱:只說「看起來不錯」 | 強:可以說「差異顯著」 |
| 失敗代價 | 浪費一些預算 | 決策建立在錯誤結論上 |
| 適合 | 素材方向、受眾輪廓、賣點假設 | 出價策略、結構調整、關鍵投放決策 |
關鍵差別在「結論強度」:賽馬給你的是方向感,統計給你的是判斷依據。用賽馬的結論去做需要判斷依據的決策,就是在賭。
二、賽馬的真實做法(多數投手在做的事)
典型流程是這樣:
- 橫向複製:把一支素材複製成 5–10 份相似的版本(或幾個不同賣點)
- 分散投放:分到不同帳戶、不同受眾、不同版位
- 跑 24–48 小時
- 選贏家:把表現最好的那個複製到所有帳戶,輸家關掉
這套流程真正在做的事,是「快速篩掉明顯不好的」,不是「證明哪個更好」。 它的價值在於效率——用很低的成本,把明顯不對的方向砍掉。
它不做的事:不做統計推論、不控制變量、不計算樣本量。這不是投手不專業,這是工具本身的定位。
三、賽馬的三個隱性成本(很少被算進去)
| 成本 | 怎麼產生 | 影響 |
|---|---|---|
| 重複消耗 | 多組同時跑,其中大部分最終會被淘汰 | 這段時間的預算是「學費」,不是「投放」 |
| 受眾重疊 | 多組打同一批人,自己跟自己競價 | 單位成本上升,且勝負難分 |
| 學習期重置 | 每次複製到新帳戶/新單元,都重新開始學 | 在學習期內的表現,不代表長期表現 |
第三條最關鍵:新複製的單元在學習期內的表現,不是它的真實水準。 很多人「複製贏家」之後發現效果掉了,就認為「贏家不穩定」——其實是它還沒學完。
四、把賽馬當統計,會犯兩個錯
錯一:拿噪音當結論
24–48 小時的差異,多數時候是噪音。 同一個素材在不同時段、不同受眾池、不同競價環境下,表現本來就會波動。在樣本不足時,「A 比 B 好 30%」很可能只是隨機波動。
判斷方法:如果差距小於你過去觀察到的日常波動幅度,那它就不是差異,是波動。
錯二:把「帳戶差異」當成「素材差異」
賽馬是跨帳戶跑的。不同帳戶的歷史、受眾池、成熟度都不同——贏的那一組,可能只是因為它跑在一個更好的帳戶裡。
這就是為什麼「換帳戶再跑一次,結果就變了」:你測到的不是素材,是帳戶。
五、真要做驗證,需要四個條件
| 條件 | 意思 | 沒做到會怎樣 |
|---|---|---|
| 單變量 | 一次只改一個東西 | 不知道是哪一項造成的差異 |
| 足夠樣本 | 依你的基準轉換率與想偵測的差距計算 | 差異淹沒在噪音裡 |
| 足夠時間 | 覆蓋至少一個完整週期(含平日與假日) | 週末效應被誤讀成素材效應 |
| 不中途看 | 中途查看會導致提前停止,扭曲結論 | 得到一個「看起來顯著」的假結論 |
第四條最難做到,因為實務上沒人忍得住不看。但中途反復查看並在「看起來好」時停止,會系統性地高估效果——這是統計上的已知現象,不是玄學。
樣本量無法給一個通用數字:它取決於你的基準轉換率與你想偵測的最小差距。基線越低,需要的樣本越大。 任何給你「固定 1000 次點擊就夠」的說法,都忽略了你自己的基線。
六、官方口徑(2026-11-21 補記):平台自己給了三個數字
這一節是本文初版最大的缺口補上了。2026-11-19,Google 在其官方播客與部落格(Ads Decoded,由 Ginny Marvin 對談產品負責人 Sagar Shah、Al Nevarez)公布了建構 A/B 測試的三條規則,並指向 Google Ads 的 Experiments(實驗)分頁。三條規則如下(出處:Google Ads & Commerce 官方部落格,2026-11-19):
| 官方規則 | 原文要點 | 對應我們前面的哪一節 |
|---|---|---|
| 從模板化設置開始 | 用預建模板,只隔離單一變數、50/50 分流,減少設置錯誤 | 第五節「單變量」 |
| 看業務結果 | 衡量合格轉化(qualified conversions),不要用淺層代理指標;給測試 4–6 週以覆蓋轉化延遲 | 第五節「足夠時間」 |
| 信心度匹配決策規模 | 80% 信心區間用於方向性微調;95% 只留給重大的結構性改造 | 本文的核心區分 |
這三個數字的重要性,在於它們把「賽馬」與「檢定」的邊界畫出來了:
- 80% 不是「標準放寬」,是「把風險限定在可逆的小改動上」。 換一張圖、改一句標題這類可逆的微調,用 80% 就夠;一旦錯了代價是重搭帳戶結構、換出價策略,那 20% 的錯誤機率不能省,要 95%。
- 「4–6 週」是官方給的觀察期區間,理由寫得很清楚:轉化本身有延遲。這句話可以直接拿去回覆「七天就知道結果」的要求——不是投手不肯快,是轉化還沒回來。
- 「合格轉化」是口徑問題,不是技術問題。 如果你的轉化事件把「加購」和「付款」算成同一個,那再嚴謹的檢定也是在檢定錯的東西。
一個必須自己補的洞:官方給的是方法與門檻,不是樣本量。4–6 週只解決「時間夠不夠」,不解決「量夠不夠」——低基線的帳戶,六週也可能累積不到可判定的樣本。時間與樣本,兩個都要滿足。
以下一節回到「怎麼選工具」。
七、建議的用法:兩個都要,但別混用
| 你要做的事 | 用哪個 |
|---|---|
| 這季要試哪些賣點、哪些受眾輪廓 | 賽馬(快、便宜、方向感) |
| 這支素材是不是真的比那支好 | 統計檢定(慢、貴、但可信) |
| 出價策略要不要換 | 統計檢定(錯了代價太大) |
| 素材快沒了,先補哪一批 | 賽馬 |
| 要對外說明「我們測過」 | 統計檢定(賽馬的結論撐不起這種說法) |
一句話:日常用賽馬找方向,關鍵決策用統計確認。 兩者不是替代關係,是先後關係。
還有兩個常被跳過的環節,值得補上: - 賽馬前去重:先確認幾組之間受眾不重疊,否則你在自己跟自己競價,勝負沒有意義。 - 賽馬後的增量判斷:贏家複製到全部帳戶之後,整體是否真的變好?很多時候只是「把錢從 A 挪到 B」,總量沒變。
八、這篇文章的缺口
- Google 已有官方口徑(第六節,2026-11-19 公布);其他平台(Meta、TikTok、Amazon)尚未見到同等級的公開說明,本文不代為推論。
- 官方口徑只給「方法與門檻」(模板化、50/50、4–6 週、80%/95%),未給樣本量公式;低基線帳戶仍須自行估算。
- 未提供樣本量計算公式,因為它依賴你的基準轉換率與最小可偵測差距,給通用數字會誤導。實務上可用線上樣本量計算器,但輸入參數仍需你自己估。
- 未涵蓋平台內建實驗工具(有些平台提供官方對照功能),其統計方法與本文所述不同,本文未展開。
- 「24–48 小時」為行業常見做法,非建議值;不同品類的轉換週期差異很大(高單價品類可能需要數週)。
- 未涉及多市場同時賽馬的情況,各市場的流量規模不同,能達到的樣本量差異極大。
延伸閱讀
常見問答(FAQ)
Q1:同時跑五組選最好的,這樣算 A/B 測試嗎? 嚴格說不算。那是賽馬(探索),目的是找方向,不做統計推論。它可以篩掉明顯不好的,但不能證明「哪個更好」。
Q2:24 小時就分出勝負,可信嗎? 多數情況不可信。短時間的差異常是噪音,還會受時段、受眾池、競價環境影響。差距若小於日常波動幅度,就不是差異。
Q3:為什麼「複製贏家」之後效果就掉了? 可能兩個原因:新單元還在學習期(表現不代表長期),或原本的「贏」其實是帳戶差異而不是素材差異。
Q4:那到底要不要做嚴謹的 A/B? 看決策的重要性。出價策略、結構調整這類錯了代價大的,值得做;素材方向這種快速試錯的,賽馬效率更高。
Q5:樣本量要多少才夠? 沒有通用答案。它取決於你的基準轉換率與想偵測的差距——基線越低,需要樣本越大。任何給固定數字的說法都不適用於你的帳戶。
Q6:官方說 80% 信心就夠,是不是可以放寬標準? 不是放寬,是分級。80% 適用於可逆的方向性微調(換圖、改標題);結構重搭、換出價策略這類不可逆的改動,官方仍要求 95%。把 80% 用在錯的決策上,等於接受 20% 的機率把帳戶改壞。
Q7:官方說給 4–6 週,是不是等夠時間就一定對? 不是。4–6 週解決的是「轉化延遲」,不解決「樣本不足」。低基線帳戶可能六週也累不到可判定的量;時間與樣本兩個條件要同時滿足。
文/細科普編輯部(老莊)|核驗日期 2026-11-19|本文不構成投放建議
風險告知:本文為方法論區分,非平台官方定義,各平台實驗工具與統計方法不同。SaaS 方僅提供知識,不替客戶決策、不承擔任何投放、平台或合規後果。