参数优化与过拟合 Overfitting
把参数调到历史上“最好”,往往只是记住了噪音。样本外测试才是真正的考验。
还没想好?先看看第一课(无需注册)「多指标共振」。
文字版讲解 · 指标实战与回测 第 4 课「参数优化与过拟合」
把参数调到历史上“最好”,往往只是记住了噪音。样本外测试才是真正的考验。
尖峰会塌,高原更稳
只在某个“神奇参数”上特别好、旁边参数都一般,往往是记住了噪音——过拟合。附近一片参数都不错的“高原”更可靠。
留一段数据当考卷
用样本内挑参数,再用从没见过的样本外检验。只有考试也及格,才值得进一步研究。
试得越多,越要小心
在同一段数据上试了几百组参数,最好的那组很可能只是运气最好,这叫数据窥探。尽量少调参,优先选择逻辑说得通、附近参数也都不错的设置。
本课要点
- 过拟合:参数完美贴合历史数据,但在新数据上表现很差。
- 用一段数据优化(样本内),用另一段从没用过的数据检验(样本外)。
- 稳健的策略在参数附近一片区域都表现不错(高原),而不是只在某个“神奇数字”上有效(尖峰)。
- 试的参数组合越多,越容易碰巧找到好看的结果,样本外检验就越重要。
动手试试
下面这些练习可以在本课的互动模拟里完成:
- 先看热力图:样本内“最优”的琥珀色格子是哪组参数?它周围的格子颜色如何?
- 点「放到样本外检验」:尖峰从正收益变成了多少?这和例题里“样本内 +80%、样本外 −20%”是同一种现象。
- 比较青色虚线框(高原)的样本内外平均:它变差了,但有没有崩?
- 随手点几个高原区内的格子,再点几个尖峰旁边的格子,看看两段收益的差别。
小测与解析
- 1. 某参数在样本内收益 +80%,样本外 −20%,最可能的原因是?
- 答案:过拟合。它记住的是历史噪音。
- 2. 判断参数是否稳健,应该看?
- 答案:参数附近的区域是否都表现良好。“高原”比“尖峰”更可靠。
- 3. 你在同一段数据上试了 500 组参数,挑出最好的一组。下一步最该做的是?
- 答案:用没参与优化的样本外数据检验它。试得越多,越容易碰巧撞上好结果;只有没见过的数据才能检验它是不是运气。