樣本數:8 戰 7 勝可靠嗎? Sample Size & Luck
交易筆數太少時,勝率和報酬很容易被運氣左右。用信賴區間問一句:真實勝率大概在哪個範圍?
還沒想好?先看看第一課(免註冊)「多指標共振」。
文字版講解 · 指標實戰與回測 第 7 課「樣本數:8 戰 7 勝可靠嗎?」
交易筆數太少時,勝率和報酬很容易被運氣左右。用信賴區間問一句:真實勝率大概在哪個範圍?
交易太少,運氣說了算
一枚公平的硬幣拋 8 次,出現 6 次正面一點也不稀奇。回測只有十幾筆交易時,勝率同樣可能被運氣抬高或壓低——樣本數太小,結論就站不住。
給勝率畫一個範圍
與其只看一個勝率數字,不如問「真實勝率大概在哪個範圍」。這個信賴區間隨交易筆數增加而收窄:8 戰 7 勝的範圍很寬,下限只比 50% 高一點。
試得越多,越容易撞上好看的結果
在同一段資料上試了幾十組規則,總有一組碰巧特別漂亮,這就是資料窺探。要相信一個結果,需要足夠多的交易,最好還有從沒用過的新資料來檢驗。
本課要點
- 回測裡的勝率只是一次抽樣結果,交易筆數越少,偶然性越大。
- 8 戰 7 勝(87.5%)對應的真實勝率約 95% 信賴區間是 53%–98%,下限只比 50% 高一點。
- 交易筆數越多,區間越窄:同樣 60% 的勝率,100 筆比 20 筆可信得多。
- 就算區間看起來不錯,也只說明過去那段資料;還要考慮成本、市場變化和反覆試參數帶來的偏差。
動手試試
下面這些練習可以在本課的互動模擬裡完成:
- 點「例題:8 戰 7 勝」:「我的勝率區間」下限是多少?再看直方圖:真實勝率只有 50% 時,有多少回測「看起來很棒」(勝率 ≥ 60%)?
- 保持真實勝率 50%,把交易筆數從 8 拖到 200:直方圖變窄了嗎?「看起來很棒」的比例怎麼變?
- 把真實勝率調到 55%、筆數調到 30:直方圖裡還有多少綠色柱子(觀察勝率低於 50%)?一個真有優勢的策略,回測也可能看起來在虧錢。
- 把筆數設為 20,拖曳「贏了幾筆」:至少贏幾筆,區間下限才高於 50%?換成 100 筆再試一次。
小測驗與解析
- 1. 一個真實勝率 50%、損益 1:1 的策略(沒有優勢),只回測 10 筆交易。觀察到勝率 70% 的可能性?
- 答案:並不罕見,大約每 6 次回測就有 1 次勝率不低於 70%。10 筆裡贏 7 筆及以上的機率約 17%,運氣就足以造出漂亮的成績。
- 2. 其他條件相同,把回測交易筆數從 20 筆增加到 200 筆,勝率的信賴區間會?
- 答案:變窄。樣本越多,估計越精確,區間越窄。
- 3. 兩個策略都顯示 60% 勝率:A 來自 15 筆交易,B 來自 300 筆交易。哪個結論更可信?
- 答案:B,因為樣本數大,偶然性小。300 筆的 60% 區間大約是 54%–65%,15 筆的區間寬到包含 50% 以下。