72lab
免费注册
指标实战与回测· 第 4 / 7 课· 7 分钟

参数优化与过拟合 Overfitting

把参数调到历史上“最好”,往往只是记住了噪音。样本外测试才是真正的考验。

本课免费,注册账号后即可使用互动模拟

每节课都有可以拖动、播放的互动模拟和随堂小测,注册后免费使用,并自动保存学习进度。下面先附上本课的文字版讲解。

还没想好?先看看第一课(无需注册)「多指标共振」。

文字版讲解 · 指标实战与回测 第 4 课「参数优化与过拟合」

把参数调到历史上“最好”,往往只是记住了噪音。样本外测试才是真正的考验。

尖峰会塌,高原更稳

只在某个“神奇参数”上特别好、旁边参数都一般,往往是记住了噪音——过拟合。附近一片参数都不错的“高原”更可靠。

留一段数据当考卷

用样本内挑参数,再用从没见过的样本外检验。只有考试也及格,才值得进一步研究。

试得越多,越要小心

在同一段数据上试了几百组参数,最好的那组很可能只是运气最好,这叫数据窥探。尽量少调参,优先选择逻辑说得通、附近参数也都不错的设置。

本课要点

  • 过拟合:参数完美贴合历史数据,但在新数据上表现很差。
  • 用一段数据优化(样本内),用另一段从没用过的数据检验(样本外)。
  • 稳健的策略在参数附近一片区域都表现不错(高原),而不是只在某个“神奇数字”上有效(尖峰)。
  • 试的参数组合越多,越容易碰巧找到好看的结果,样本外检验就越重要。

动手试试

下面这些练习可以在本课的互动模拟里完成:

  1. 先看热力图:样本内“最优”的琥珀色格子是哪组参数?它周围的格子颜色如何?
  2. 点「放到样本外检验」:尖峰从正收益变成了多少?这和例题里“样本内 +80%、样本外 −20%”是同一种现象。
  3. 比较青色虚线框(高原)的样本内外平均:它变差了,但有没有崩?
  4. 随手点几个高原区内的格子,再点几个尖峰旁边的格子,看看两段收益的差别。

小测与解析

1. 某参数在样本内收益 +80%,样本外 −20%,最可能的原因是?
答案:过拟合。它记住的是历史噪音。
2. 判断参数是否稳健,应该看?
答案:参数附近的区域是否都表现良好。“高原”比“尖峰”更可靠。
3. 你在同一段数据上试了 500 组参数,挑出最好的一组。下一步最该做的是?
答案:用没参与优化的样本外数据检验它。试得越多,越容易碰巧撞上好结果;只有没见过的数据才能检验它是不是运气。

本课术语

  • 数据窥探 (Data Snooping):在同一段历史数据上反复尝试大量规则或参数,总能碰巧找到一组好看的结果,但它往往只是运气。
  • 样本内 (In-Sample):用于优化参数的那段历史数据。
  • 样本外 (Out-of-Sample):没有参与优化、专门用来检验策略的那段数据。
  • 过拟合 (Overfitting):参数被调得过度贴合历史数据,在新数据上表现很差。
参数优化与过拟合(指标实战与回测) · 72lab