深度12 分钟阅读15 次阅读

过拟合：当模型记住了噪音

此章节需要正式会员权限

为什么回测漂亮不等于未来有效？学习样本外验证和交叉验证的核心思路。

注册即可免费学习基础课程

上一章我们建立了策略评估的框架。但在实际应用中，有一个隐蔽的陷阱可能让你的评估完全失效——过拟合。这一章我们来理解什么是过拟合，为什么它如此危险，以及如何避免它。

想象你在准备考试。如果你理解了知识点，你就能应对各种题型——这叫"学到了规律"。但如果你只是把所有答案都背下来了，遇到新题就不会了——这就是"过拟合"。

在量化策略中，过拟合的意思是：你的策略完美地拟合了历史数据中的每一个波动，包括那些随机噪音。结果是：回测曲线漂亮得不得了，但一旦用来预测未来（样本外数据），表现一塌糊涂。

过拟合的本质是：模型记住了历史数据中的噪音，而不是学到了真正的规律。

过拟合在量化领域几乎无处不在，原因是：

市场数据中真正有预测价值的信号可能只占5%甚至更少，其余95%都是噪音。当你的模型足够复杂时，它一定能找到一种方式来"解释"这95%的噪音——但那些解释对预测未来毫无用处。

假设你的策略有10个参数，每个参数有5种取值选择。那一共有 5^10 ≈ 1000万种参数组合。你一定能找到一种组合在历史数据上表现极好——但这不代表它学到了真实的规律，可能只是"碰巧"在历史上表现好。

即使面对完全随机的数据，人脑也能"看到"规律。你看着K线图，很容易觉得"这里有个头肩顶形态"——但那个形态可能只是随机波动的产物。

如何判断你的策略可能过拟合了？几个危险信号：

参数越少越好，规则越简洁越好。一个简单的"20日均线突破"策略可能比一个有15个条件的复杂策略更可靠。这不是因为简单一定更好，而是因为简单策略过拟合的风险更低。

将数据分为样本内（开发用）和样本外（验证用）。策略在样本外也能表现良好，才更有信心它学到了真实规律。

在开发策略之前，先想清楚："这个策略基于什么经济学逻辑？为什么这个逻辑应该有效？"

如果逻辑成立（比如"趋势一旦形成，倾向于延续"有行为金融学的支撑），那即使回测结果不是特别漂亮，你也更有信心它是真实优势。如果逻辑不清楚，只是数据上看起来好，那过拟合的风险就很高。

如果你的策略在A股有效，在港股也有效，在美股也有效——那它更可能学到了某种跨市场的普遍规律，而不是在某个特定市场的噪音中过拟合。

对策略的参数做小幅调整，看结果是否稳健。如果"19日均线"和"21日均线"的表现和"20日均线"差不多，那说明策略在这个参数附近是稳健的。如果差很多，说明你在拟合噪音。

在42号概率实验室的策略设计中，我们特别注意避免过拟合：

你会发现，这些策略的累计收益不是那种"年化100%"的惊人数字——这恰恰是因为我们没有为了追求漂亮的回测数字而过度拟合数据。真实的、可靠的策略收益通常在年化10-30%之间，而不是年化100%以上。

如果一个策略的回测结果好得让人难以置信，那它大概率是不可信的。在量化领域，平平淡淡才是真。

你开发了一个策略，在A股过去5年的数据上回测，年化收益35%，夏普比率3.5。但当你把它用在港股过去5年的数据上，年化收益只有3%。你怎么判断这个策略是过拟合了，还是它确实只在A股有效？

下一章，我们将讨论概率校准——如何训练你的概率直觉，让你对"这件事发生的概率有多大"有更准确的判断。

⚠️ 免责声明：本课程内容仅供教育和学术交流目的，旨在帮助读者理解概率论与统计学基础知识。文中所有数据均为历史回测统计结果，不代表未来表现。任何策略的回测数据均不构成对未来收益的保证或承诺。请读者理性学习，独立思考。