样本量:8 战 7 胜靠谱吗? Sample Size & Luck
交易笔数太少时,胜率和收益很容易被运气左右。用置信区间问一句:真实胜率大概在哪个范围?
还没想好?先看看第一课(无需注册)「多指标共振」。
文字版讲解 · 指标实战与回测 第 7 课「样本量:8 战 7 胜靠谱吗?」
交易笔数太少时,胜率和收益很容易被运气左右。用置信区间问一句:真实胜率大概在哪个范围?
交易太少,运气说了算
一枚公平的硬币抛 8 次,出现 6 次正面一点也不稀奇。回测只有十几笔交易时,胜率同样可能被运气抬高或压低——样本量太小,结论就站不住。
给胜率画一个范围
与其只看一个胜率数字,不如问“真实胜率大概在哪个范围”。这个置信区间随交易笔数增加而收窄:8 战 7 胜的范围很宽,下限只比 50% 高一点。
试得越多,越容易撞上好看的结果
在同一段数据上试了几十组规则,总有一组碰巧特别漂亮,这就是数据窥探。要相信一个结果,需要足够多的交易,最好还有从没用过的新数据来检验。
本课要点
- 回测里的胜率只是一次抽样结果,交易笔数越少,偶然性越大。
- 8 战 7 胜(87.5%)对应的真实胜率约 95% 置信区间是 53%–98%,下限只比 50% 高一点。
- 交易笔数越多,区间越窄:同样 60% 的胜率,100 笔比 20 笔可信得多。
- 就算区间看起来不错,也只说明过去那段数据;还要考虑成本、市场变化和反复试参数带来的偏差。
动手试试
下面这些练习可以在本课的互动模拟里完成:
- 点「例题:8 战 7 胜」:「我的胜率区间」下限是多少?再看直方图:真实胜率只有 50% 时,有多少回测“看起来很棒”(胜率 ≥ 60%)?
- 保持真实胜率 50%,把交易笔数从 8 拖到 200:直方图变窄了吗?「看起来很棒」的比例怎么变?
- 把真实胜率调到 55%、笔数调到 30:直方图里还有多少绿色柱子(观察胜率低于 50%)?一个真有优势的策略,回测也可能看起来在亏钱。
- 把笔数设为 20,拖动「赢了几笔」:至少赢几笔,区间下限才高于 50%?换成 100 笔再试一次。
小测与解析
- 1. 一个真实胜率 50%、盈亏 1:1 的策略(没有优势),只回测 10 笔交易。观察到胜率 70% 的可能性?
- 答案:并不罕见,大约每 6 次回测就有 1 次胜率不低于 70%。10 笔里赢 7 笔及以上的概率约 17%,运气就足以造出漂亮的成绩。
- 2. 其他条件相同,把回测交易笔数从 20 笔增加到 200 笔,胜率的置信区间会?
- 答案:变窄。样本越多,估计越精确,区间越窄。
- 3. 两个策略都显示 60% 胜率:A 来自 15 笔交易,B 来自 300 笔交易。哪个结论更可信?
- 答案:B,因为样本量大,偶然性小。300 笔的 60% 区间大约是 54%–65%,15 笔的区间宽到包含 50% 以下。