72lab
免费注册
指标实战与回测· 第 7 / 7 课· 6 分钟

样本量:8 战 7 胜靠谱吗? Sample Size & Luck

交易笔数太少时,胜率和收益很容易被运气左右。用置信区间问一句:真实胜率大概在哪个范围?

本课免费,注册账号后即可使用互动模拟

每节课都有可以拖动、播放的互动模拟和随堂小测,注册后免费使用,并自动保存学习进度。下面先附上本课的文字版讲解。

还没想好?先看看第一课(无需注册)「多指标共振」。

文字版讲解 · 指标实战与回测 第 7 课「样本量:8 战 7 胜靠谱吗?」

交易笔数太少时,胜率和收益很容易被运气左右。用置信区间问一句:真实胜率大概在哪个范围?

交易太少,运气说了算

一枚公平的硬币抛 8 次,出现 6 次正面一点也不稀奇。回测只有十几笔交易时,胜率同样可能被运气抬高或压低——样本量太小,结论就站不住。

给胜率画一个范围

与其只看一个胜率数字,不如问“真实胜率大概在哪个范围”。这个置信区间随交易笔数增加而收窄:8 战 7 胜的范围很宽,下限只比 50% 高一点。

试得越多,越容易撞上好看的结果

在同一段数据上试了几十组规则,总有一组碰巧特别漂亮,这就是数据窥探。要相信一个结果,需要足够多的交易,最好还有从没用过的新数据来检验。

本课要点

  • 回测里的胜率只是一次抽样结果,交易笔数越少,偶然性越大。
  • 8 战 7 胜(87.5%)对应的真实胜率约 95% 置信区间是 53%–98%,下限只比 50% 高一点。
  • 交易笔数越多,区间越窄:同样 60% 的胜率,100 笔比 20 笔可信得多。
  • 就算区间看起来不错,也只说明过去那段数据;还要考虑成本、市场变化和反复试参数带来的偏差。

动手试试

下面这些练习可以在本课的互动模拟里完成:

  1. 点「例题:8 战 7 胜」:「我的胜率区间」下限是多少?再看直方图:真实胜率只有 50% 时,有多少回测“看起来很棒”(胜率 ≥ 60%)?
  2. 保持真实胜率 50%,把交易笔数从 8 拖到 200:直方图变窄了吗?「看起来很棒」的比例怎么变?
  3. 把真实胜率调到 55%、笔数调到 30:直方图里还有多少绿色柱子(观察胜率低于 50%)?一个真有优势的策略,回测也可能看起来在亏钱。
  4. 把笔数设为 20,拖动「赢了几笔」:至少赢几笔,区间下限才高于 50%?换成 100 笔再试一次。

小测与解析

1. 一个真实胜率 50%、盈亏 1:1 的策略(没有优势),只回测 10 笔交易。观察到胜率 70% 的可能性?
答案:并不罕见,大约每 6 次回测就有 1 次胜率不低于 70%。10 笔里赢 7 笔及以上的概率约 17%,运气就足以造出漂亮的成绩。
2. 其他条件相同,把回测交易笔数从 20 笔增加到 200 笔,胜率的置信区间会?
答案:变窄。样本越多,估计越精确,区间越窄。
3. 两个策略都显示 60% 胜率:A 来自 15 笔交易,B 来自 300 笔交易。哪个结论更可信?
答案:B,因为样本量大,偶然性小。300 笔的 60% 区间大约是 54%–65%,15 笔的区间宽到包含 50% 以下。

本课术语

  • 置信区间 (Confidence Interval):根据样本估计出的一个范围,真实值大概率落在其中。样本越少,区间越宽。
  • 数据窥探 (Data Snooping):在同一段历史数据上反复尝试大量规则或参数,总能碰巧找到一组好看的结果,但它往往只是运气。
  • 期望值 (Expectancy):长期平均每笔交易能赚多少:胜率 × 平均盈利 − 败率 × 平均亏损。为正才值得做。
  • 样本量 (Sample Size):统计结果所依据的数据个数,例如回测里的交易笔数。笔数越少,胜率、收益越容易被运气左右。
  • 胜率 (Win Rate):盈利交易次数占全部交易次数的比例。
样本量:8 战 7 胜靠谱吗?(指标实战与回测) · 72lab