72lab
免費註冊
指標實戰與回測· 第 7 / 7 課· 6 分鐘

樣本數:8 戰 7 勝可靠嗎? Sample Size & Luck

交易筆數太少時,勝率和報酬很容易被運氣左右。用信賴區間問一句:真實勝率大概在哪個範圍?

本課免費,註冊帳號後即可使用互動模擬

每節課都有可以拖曳、播放的互動模擬和隨堂小測驗,註冊後免費使用,並自動儲存學習進度。下面先附上本課的文字版講解。

還沒想好?先看看第一課(免註冊)「多指標共振」。

文字版講解 · 指標實戰與回測 第 7 課「樣本數:8 戰 7 勝可靠嗎?」

交易筆數太少時,勝率和報酬很容易被運氣左右。用信賴區間問一句:真實勝率大概在哪個範圍?

交易太少,運氣說了算

一枚公平的硬幣拋 8 次,出現 6 次正面一點也不稀奇。回測只有十幾筆交易時,勝率同樣可能被運氣抬高或壓低——樣本數太小,結論就站不住。

給勝率畫一個範圍

與其只看一個勝率數字,不如問「真實勝率大概在哪個範圍」。這個信賴區間隨交易筆數增加而收窄:8 戰 7 勝的範圍很寬,下限只比 50% 高一點。

試得越多,越容易撞上好看的結果

在同一段資料上試了幾十組規則,總有一組碰巧特別漂亮,這就是資料窺探。要相信一個結果,需要足夠多的交易,最好還有從沒用過的新資料來檢驗。

本課要點

  • 回測裡的勝率只是一次抽樣結果,交易筆數越少,偶然性越大。
  • 8 戰 7 勝(87.5%)對應的真實勝率約 95% 信賴區間是 53%–98%,下限只比 50% 高一點。
  • 交易筆數越多,區間越窄:同樣 60% 的勝率,100 筆比 20 筆可信得多。
  • 就算區間看起來不錯,也只說明過去那段資料;還要考慮成本、市場變化和反覆試參數帶來的偏差。

動手試試

下面這些練習可以在本課的互動模擬裡完成:

  1. 點「例題:8 戰 7 勝」:「我的勝率區間」下限是多少?再看直方圖:真實勝率只有 50% 時,有多少回測「看起來很棒」(勝率 ≥ 60%)?
  2. 保持真實勝率 50%,把交易筆數從 8 拖到 200:直方圖變窄了嗎?「看起來很棒」的比例怎麼變?
  3. 把真實勝率調到 55%、筆數調到 30:直方圖裡還有多少綠色柱子(觀察勝率低於 50%)?一個真有優勢的策略,回測也可能看起來在虧錢。
  4. 把筆數設為 20,拖曳「贏了幾筆」:至少贏幾筆,區間下限才高於 50%?換成 100 筆再試一次。

小測驗與解析

1. 一個真實勝率 50%、損益 1:1 的策略(沒有優勢),只回測 10 筆交易。觀察到勝率 70% 的可能性?
答案:並不罕見,大約每 6 次回測就有 1 次勝率不低於 70%。10 筆裡贏 7 筆及以上的機率約 17%,運氣就足以造出漂亮的成績。
2. 其他條件相同,把回測交易筆數從 20 筆增加到 200 筆,勝率的信賴區間會?
答案:變窄。樣本越多,估計越精確,區間越窄。
3. 兩個策略都顯示 60% 勝率:A 來自 15 筆交易,B 來自 300 筆交易。哪個結論更可信?
答案:B,因為樣本數大,偶然性小。300 筆的 60% 區間大約是 54%–65%,15 筆的區間寬到包含 50% 以下。

本課術語

  • 信賴區間 (Confidence Interval):根據樣本估計出的一個範圍,真實值大機率落在其中。樣本越少,區間越寬。
  • 資料窺探 (Data Snooping):在同一段歷史資料上反覆嘗試大量規則或參數,總能碰巧找到一組好看的結果,但它往往只是運氣。
  • 期望值 (Expectancy):長期平均每筆交易能賺多少:勝率 × 平均獲利 − 敗率 × 平均虧損。為正才值得做。
  • 樣本數 (Sample Size):統計結果所依據的資料個數,例如回測裡的交易筆數。筆數越少,勝率、報酬越容易被運氣左右。
  • 勝率 (Win Rate):獲利交易次數佔全部交易次數的比例。
樣本數:8 戰 7 勝可靠嗎?(指標實戰與回測) · 72lab