用FinRL和ElegantRL做量化交易强化学习

可视化演示

量化交易基础

阿海的爷爷是这片海域最出名的老渔夫。他看云识天气、摸水知鱼汛，二十年经验让他总能在对的时间撒网。量化交易要做的事情，就是把这些“老渔夫的直觉”翻译成机器能执行的规则：用数据、数学公式和算法，代替人类的经验与情绪做交易判断。阿海想学的，就是把这套本事传给一台机器。

交易的本质是一个接一个的决策：今天买不买、买多少、明天卖不卖。这不仅是“预测涨跌”的问题，更是在动态环境中做“序列决策”的问题。而强化学习解决的核心问题恰巧就是序贯决策：智能体观察状态、采取动作、获得奖励、周而复始。这就像阿海每天出海——看海况、下网、收网、清点渔获，第二天根据结果调整做法。

传统机器学习通常把交易简化成“分类任务”：预测明天涨还是跌。但交易真正关心的是动作序列——今天买入后，明天该持有还是卖出？RL 不直接预测标签，而是优化整个“决策策略”。FinRL 和 ElegantRL 就是两大开源框架：FinRL 像一艘功能齐全的标准渔船，从数据下载到回测分析一站式配齐；ElegantRL 则像一艘轻快的快艇，算法精简、代码量小、便于深度定制。

$$\displaystyle 1 + R = \prod_{t=1}^{T} (1 + r_t)$$

1. 单期收益率 $r_t$：第 $t$ 天的涨跌幅度，比如今天赚了 2%，$r_t = 0.02$。

$$r_t = \frac{P_t - P_{t-1}}{P_{t-1}}$$

2. 连乘符号 $\prod$：把每一天的“1 + 收益率”逐个乘起来，体现复利滚雪球的效果。

$$\prod_{t=1}^{T}(1 + r_t) = (1 + r_1) \times (1 + r_2) \times \cdots \times (1 + r_T)$$

3. 累计总收益 $R$：减去 1 之后就是整个周期段的净收益率，这是策略最原始的体检指标。

$$R = \prod_{t=1}^{T}(1 + r_t) - 1$$

爷爷的航海日志里，每天渔获的增长率乘起来，才知道这一季是赚是赔。RL 交易策略的全部目标，就是让这串连乘的结果尽量大。至于如何在暴风雨和鱼汛之间做取舍，正是接下来 MDP 建模要解决的“数学化”问题。

环境建模MDP

阿海开始写“航海笔记”：每次撒网前，记下云层厚度、风向、水温——这就是状态；撒网、收网、还是等待——这是动作；渔获价值减去渔网修补费——这是奖励。强化学习对交易市场的标准数学描述，就是把这三样加上“海况变化的规律”和“耐心程度”，打包成一个叫马尔可夫决策过程（MDP）的模型。

MDP 是 RL 对世界的通用描述框架。在交易场景里：状态空间把当前行情、技术指标、持仓量、账户余额等组合成一个向量，告诉智能体“我现在身处何方”；动作空间定义买入、持有、卖出（或更细的仓位档位），告诉智能体“我能做什么”；转移概率描述市场从当前状态走向下一个状态的可能性，它不由智能体控制，就像渔夫无法命令海浪；奖励函数在每一步给出反馈；折扣因子则决定智能体是急功近利还是目光长远。

在 FinRL 中，环境按照 OpenAI Gym 标准接口封装：智能体调用 step(action)，环境返回新的状态、奖励和是否结束。这相当于把整个市场装进一个黑盒，只露出“观察口”和“操作杆”。ElegantRL 同样兼容 Gym 接口，所以同一个环境可以在两个框架间无缝切换——这也是它们能组合使用的基础。

$$\displaystyle \mathcal{M} = (\mathcal{S},\ \mathcal{A},\ \mathcal{P},\ \mathcal{R},\ \gamma)$$

1. 状态集合 $\mathcal{S}$：智能体所能观察到的全部“海况”，包括历史价格、成交量的特征、当前持仓等。

$$\mathcal{S} = \{ \text{趋势指标, 波动率, 持仓量, 账户余额} \}$$

2. 动作集合 $\mathcal{A}$：渔夫能做的全部选择，通常离散化为买入、持有、卖出三档，也可以连续化为仓位比例。

$$\mathcal{A} = \{ \text{买入(撒网)},\ \text{持有(等待)},\ \text{卖出(收网)} \}$$

3. 状态转移概率 $\mathcal{P}$：市场从当前状态转移到下一个状态的概率分布，它体现了行情的不确定性，不受智能体控制。

$$\mathcal{P}(s_{t+1} \mid s_t,\ a_t)$$

4. 奖励函数 $\mathcal{R}$：环境在每一步给智能体的反馈信号，量化这一轮的“盈亏 + 风险代价”。

$$\mathcal{R}: \mathcal{S} \times \mathcal{A} \rightarrow \mathbb{R}$$

5. 折扣因子 $\gamma$：介于 0 和 1 之间，数值越小智能体越看重眼前收益，越大则越有耐心等待远期回报。

$$0 \le \gamma \le 1$$

理解了 MDP，就理解了渔夫与市场之间全部的交互规则。阿海不需要再凭直觉赌运气，只需要把“海况”完整地塞进状态里，RL 算法就会自己在成千上万次交互中摸索出“什么海况该下网”的经验。这就是环境建模的意义——它决定了智能体眼里能看到多大的世界。

奖励函数设计

渔村有一条古老的师徒规矩：每次出海回来，师傅按“渔获价值 − 渔网损耗 − 风暴风险补贴”给徒弟打分。这个打分标准直接塑造了徒弟的做事风格——若只看渔获量，徒弟就会专挑风暴天出海赌大鱼；若风险补贴太重，徒弟又变得畏手畏脚。在 RL 交易里，这个打分标准就是奖励函数，它是智能体一切行为的“价值观”。

最自然的奖励设计是用账户资产的增量作为基础奖励：赚钱给正分，亏钱给负分。但只有收益而没有风险感的奖励函数，会把智能体训练成一个“赌徒”——它宁可承受巨大回撤也要追逐高波动收益。就像只按渔获打分，徒弟专往台风眼里冲。因此研究者通常引入风险惩罚项：把收益的波动率（方差或标准差）也计入奖励。

FinRL 提供了多种现成的奖励设计模板：简单收益增量、带波动惩罚的形式、以及基于夏普比率的变体。值得注意的是，ElegantRL 的社区实践中特别强调奖励的量级控制——如果奖励数值波动太大（比如单步奖励动辄上百），神经网络更新时容易梯度爆炸。尽量把奖励压缩在 –1 到 1 的区间，训练会更稳定。

$$\displaystyle R_t = \Delta W_t - \lambda \cdot \sigma_t$$

1. 账户资产增量 $\Delta W_t$：本步结束时账户总资产相比上一步的变化量，代表“这一网实际捞到了多少鱼”。

$$\Delta W_t = W_t - W_{t-1}$$

2. 风险惩罚系数 $\lambda$：一个可调的权重，表示师傅对风险的厌恶程度。λ 越大，同等波动下的奖励被扣得越多。

$$\lambda > 0$$

3. 波动率 $\sigma_t$：近期收益的标准差，用来衡量行情颠簸程度。渔夫眼里，它就像海面的浪高——浪越大，这一网的风险越高。

$$\sigma_t = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(r_i - \bar{r})^2}$$

师傅的打分标准决定了徒弟的三观，奖励函数决定了智能体的交易风格。想做一个稳健的资金管理者，就把 λ 调大些；想做一个进攻型的趋势交易者，就把它调小些。这也是量化研究员最常调的超参数之一，甚至比选哪个算法更影响最终表现。

FinRL框架

阿海决定先买一艘“标准渔船”——FinRL。这艘船最省心的设计是拥有三大船舱：数据舱、环境舱、策略舱，说明书上写明四步出海流程：下载数据 → 构建环境 → 训练策略 → 回测评估。对新手来说，按这条流水线走，一天内就能跑出第一份策略报告。

具体拆开看 FinRL 的每一步：首先用 YFinance 等接口拉取股票历史数据，并计算技术指标（如 MACD、RSI）作为特征；然后把这些特征与账户信息组合成状态向量，构建 Gym 风格的环境；训练时，智能体与环境交互产生的“出海日志”（状态、动作、奖励、下一状态）被存入经验回放缓冲区，算法从中随机抽样更新策略；最后使用回测模块计算收益曲线与风险指标。

FinRL 的核心价值在于标准化：它把量化交易 RL 从“论文代码”变成了“工程流水线”。不同算法（如 PPO、SAC、A2C）可以像换发动机一样插拔替换，你只需要关注环境设计和奖励函数，而不用担心数据处理和接口对接的技术细节。这就是为什么大量金融 AI 研究都从 FinRL 起步。

$$\displaystyle s_t = \big[\ p_{t-n+1},\ p_{t-n+2},\ \dots,\ p_t,\ h_t,\ w_t\ \big]$$

1. 历史价格窗口 $p_{t-n+1} \dots p_t$：最近 $n$ 天的价格序列，相当于海况的“近期气象记录”，趋势和动量信息都藏在这里。

$$p_{t-n+1},\ p_{t-n+2},\ \dots,\ p_t$$

2. 持仓量 $h_t$：当前持有的股票数量或仓位比例。知道“网里已经有多少鱼”，才能决定下一步是继续等还是收网。

$$h_t \in \{0,\ 0.5,\ 1\}$$

3. 账户权益 $w_t$：当前总资产（现金 + 持仓市值）。账户越多，抗风险能力越强，这也是决策的重要背景信息。

$$w_t = cash_t + h_t \times P_t$$

标准渔船的优点是省心，缺点则是每个船舱都是出厂设定，想深度改装得费一番功夫。比如 FinRL 默认的奖励函数不一定适合你的品种和周期，需要自己重写。这正是 ElegantRL 这类“轻快艇”登场的时机——当你对标准流程足够熟悉，想要更灵活的算法实现时，就该换引擎了。

ElegantRL框架

师兄告诉阿海，FinRL 的船开久了会觉得笨重——加载慢、代码链长、调试要翻很多层。他推荐了 ElegantRL：一艘极简快艇，核心代码只有几千行，跑得快、看得懂、好改造，是许多量化团队做深度定制的首选。

ElegantRL 的最大卖点是高效的策略梯度实现，尤其是它内置的 PPO 算法。PPO 是目前交易场景最主流的 RL 算法之一，因为它在更新策略时引入了一个“裁剪”机制：如果新旧策略的差异太大（就像徒弟这次改变打法改得太猛），就把更新幅度硬压回去，防止策略在训练中崩坏。在行情嘈杂的股票市场里，这种“小步慢走”的稳定性至关重要。

ElegantRL 与 FinRL 是黄金搭档：FinRL 负责数据和环境，提供一个标准的养殖场；ElegantRL 负责算法引擎，提供一台灵活的发动机。FinRL 源码中有专门与 ElegantRL 的集成接口，两艘船可以对接成一条完整的作业线。这也体现了开源生态的魅力——不重复造轮子，各用所长。

$$\displaystyle L^{\mathrm{CLIP}}(\theta) = \mathbb{E}_t\Big[\ \min\!\big(\ r_t(\theta)\,\hat{A}_t,\ \operatorname{clip}(r_t(\theta),\, 1-\varepsilon,\, 1+\varepsilon)\,\hat{A}_t\ \big)\ \Big]$$

1. 重要性采样比 $r_t(\theta)$：新旧策略在同一个状态上采取同一动作的概率比值，用来衡量这次更新“步子迈了多大”。

$$r_t(\theta) = \frac{\pi_{\theta}(a_t \mid s_t)}{\pi_{\theta_{\mathrm{old}}}(a_t \mid s_t)}$$

2. 优势函数 $\hat{A}_t$：当前动作比平均水平的“好出程度”。正值代表这一步比平常赚得多，应该鼓励；负值则要抑制。

$$\hat{A}_t = Q(s_t, a_t) - V(s_t)$$

3. 裁剪函数 $\operatorname{clip}$：把概率比值限制在 $1-\varepsilon$ 到 $1+\varepsilon$ 之间，超过边界就截断，防止策略单次更新过猛。

$$\operatorname{clip}(r,\ 1-\varepsilon,\ 1+\varepsilon)$$

4. 取最小值 $\min$：在“正常更新值”和“裁剪后的更新值”之间取较小的那个，保证策略永远朝着保守、稳妥的方向更新。

$$\min(A, B)$$

快艇的特点是精准、可控，但对舵手的技术要求也更高。阿海诚实的建议是：初学先用 FinRL 跑通全流程，建立“数据 → 环境 → 训练 → 回测”的整体认知，再换 ElegantRL 做算法层面的深度定制。两艘船都是好船，关键是知道你正处在学习的哪个阶段。

策略训练流程

出海训练正式开始了。学徒渔夫每天重复着同样的循环：看海况 → 做决策 → 收渔获 → 记日志 → 明天再出发。RL 智能体的训练循环如出一辙：观察状态 → 根据策略采取动作 → 环境返回奖励和新状态 → 把这条经验记入“日志”（经验回放）→ 算法根据日志更新策略，然后进入下一个回合。

训练的目标可以用一句话概括：最大化整个交易生涯的折现总收益。所谓折现，就是未来每一步的奖励都要乘以折扣因子 γ 的若干次方——就像渔夫对远期的渔获打个折扣，因为眼前的鱼比“明年春天的承诺”更实在。γ 越接近 1，智能体越有耐心做长线布局；γ 越小，它越专注于眼前的利润。

一条标准的 FinRL 训练管线包含六个环节：数据预处理（清洗、对齐、计算技术指标）→ 切分训练/测试集（按时间顺序，防止未来信息泄露）→ 创建环境（把特征接入 Gym 接口）→ 选择算法（如 PPO）→ 训练并保存模型（定期打印奖励曲线）→ 在测试集上回测。ElegantRL 的训练入口更简洁，配置好环境和 agent 后一行代码即可启动训练。

$$\displaystyle G_t = \sum_{k=0}^{\infty} \gamma^{k} R_{t+k+1} = R_{t+1} + \gamma R_{t+2} + \gamma^{2} R_{t+3} + \cdots$$

1. 求和符号 $\sum$：把从当前时刻之后的所有“未来奖励”逐项累加，构成整个决策序列的总回报。

$$\sum_{k=0}^{\infty}(\cdots)$$

2. 折扣因子幂次 $\gamma^{k}$：距离现在越远的奖励，折扣得越狠。$k$ 越大，$\gamma^k$ 越小，对应“远水解不了近渴”。

$$\gamma^{k},\quad 0 < \gamma < 1$$

3. 未来奖励 $R_{t+k+1}$：第 $t+k+1$ 步环境给出的奖励，也就是渔夫在第 $k$ 天后的渔获打分。

$$R_{t+1},\ R_{t+2},\ R_{t+3},\ \dots$$

4. 展开式的物理意义：把折现项展开后可以直观看到，第一项是近在眼前的收益，第二项次之，越往后权重越小。

$$G_t = R_{t+1} + \gamma R_{t+2} + \gamma^{2} R_{t+3} + \cdots$$

训练不是一蹴而就的。阿海要出海几百次才能形成肌肉记忆，RL 智能体也要训练几百个 episode 才能真正“看懂”海况与决策的关系。训练过程中你会看到奖励曲线上下震荡——这完全正常，关键是看整体的上升趋势。记住：先让策略稳定，再追求高超，这是渔夫与智能体共同的成功法则。

回测验证评估

在真刀真枪出海前，渔村有一片“训练池”：里面模拟了各种海况，学徒先在这里练习撒网收网。RL 交易里，这片训练池就是回测——用历史数据回放策略的每一次决策，检验它“过去这几年能不能赚钱”。阿海第一次跑完 FinRL 回测时兴奋得跳起来：年化 40%！但师傅泼了盆冷水：“训练池的成绩，要打个对折再看。”

回测不能只看总收益率和胜率，关键要看风险调整后的收益。渔村最看重的指标是夏普比率：每承担一份风险，能换来几份超额收益。夏普比率 1 表示风险收益性价比一般，2 以上才算优秀。除此之外，最大回撤、胜率、盈亏比、换手率也是必看的指标——一个让账户从 100 万回撤到 50 万的策略，即使最终收益高，也极少有人能扛得住。

回测最大的陷阱是过拟合：策略在训练池里游刃有余，一到陌生海洋就抓瞎。如何避免？FinRL 的做法是严格按时间顺序划分训练集/验证集/测试集，只用最终测试集做一次评估；同时警惕“未来函数”——比如用当天的收盘价决定当天的交易，这在实盘里根本做不到。换手率越高的策略越容易过拟合，因为它在疯狂记忆历史噪声。

$$\displaystyle SR = \frac{\mathbb{E}[R_p] - R_f}{\sigma_p}$$

1. 策略平均收益 $\mathbb{E}[R_p]$：回测期内策略的平均收益率，代表渔夫“平均每网捞多少鱼”。

$$\mathbb{E}[R_p] = \frac{1}{T}\sum_{t=1}^{T} R_{p,t}$$

2. 无风险利率 $R_f$：不做任何交易也能拿到的收益，比如国债利率。减去它是为了衡量策略“额外创造的'超额收益'”。

$$R_f \approx 2\%$$

3. 收益波动率 $\sigma_p$：策略收益的标准差，代表航程的颠簸程度。波动越大，风险管理难度越高。

$$\sigma_p = \sqrt{\frac{\sum_{t=1}^{T}(R_{p,t} - \bar{R}_p)^2}{T-1}}$$

训练池的成绩单再漂亮，也只是“模拟考试”；真正的考验永远在真实海洋里。阿海把师傅的话记在心里：回测的唯一用途，是帮你过滤掉明显不行的策略，而不是向你承诺实盘的收益。带着这份清醒，他终于要出海了。

实盘部署挑战

阿海终于带着训练池里学到的本领出海。结果第一周就傻眼了：真实的海况和训练池里完全不一样——洋流变了，鱼群的迁徙路线变了，以前屡试不爽的“风向口诀”失灵了。这就是量化交易里最著名的数据偏移（Data Drift）：市场规律随时间改变，历史数据中学到的策略，在未来的市场里会逐渐失效。

除了数据偏移，实盘还有一笔训练池里没有的账：交易成本。佣金、滑点、冲击成本，每一笔交易都在悄悄咬掉利润。训练池里可以假设零成本，真实市场里每买一次、每卖一次都要交“过路费”。一个在回测里换手率极高的策略，实盘里可能被手续费拖垮——这就是为什么回测必须建模交易成本。

阿海还明白了：实盘不是把模型一部署就完事，而是一场持续战。需要监控策略表现有没有下滑，需要设定止损和仓位上限，还要满足监管合规要求。FinRL 社区通常建议先走“模拟盘”验证一段时间的稳定性，再以极小资金上实盘观察，确认无异常后才逐步放大资金。

$$\displaystyle R_{\text{net}} = R_{\text{gross}} - c \times TO$$

1. 毛收益 $R_{\text{gross}}$：不考虑交易成本时策略的账面收益，也就是回测软件给你看的“水灵灵的数字”。

$$R_{\text{gross}} = \frac{W_T - W_0}{W_0}$$

2. 单次交易成本率 $c$：包括佣金和滑点的比例。比如每笔 0.1%，意味着每交易一次就要交 0.1% 的“过路费”。

$$c = c_{\text{commission}} + c_{\text{slippage}}$$

3. 换手率 $TO$：一定时间内资产被买卖周转的比例。换手率越高，交易越频繁，总成本被放大得越厉害。

$$TO = \frac{\sum |\Delta W_{\text{traded}}|}{W_0}$$

训练池是理想海湾，真实海洋充满变数。阿海终于理解师傅那句话的深意：“优秀的渔夫不是预测大海，而是适应大海。”量化交易也一样——持续监控数据偏移、严格控制交易成本、保留止损纪律，才是实盘长期生存的根本。工具（FinRL 和 ElegantRL）帮你解决的是“怎么学”，而真正的功力在于“怎么在变化中活下去”。

AI 应用场景

Python 演示

import numpy as np # 生成合成价格数据（模拟真实行情）np.random.seed(42)T = 500returns = np.random.normal(0.0005, 0.01, T)price = 100 * np.exp(np.cumsum(returns)) # 状态：价格窗口动量 与 当前持仓（0空仓 1持仓）def make_state(t, holding, window=5):    if t < window:        trend = 0    else:        diff = price[t] - price[t - window]        trend = 1 if diff > 0 else (-1 if diff < 0 else 0)    return (trend, holding) # 交易环境：0=卖出/空仓, 1=买入/持仓class TradingEnv:    def __init__(self, price, cost=0.001):        self.price = price        self.cost = cost        self.reset()     def reset(self):        self.t = 0        self.cash = 100000.0        self.holding = 0        self.shares = 0        return make_state(0, 0)     def step(self, action):        old_value = self.cash + self.shares * self.price[self.t]        if action == 1 and self.holding == 0:            self.shares = self.cash * (1 - self.cost) / self.price[self.t]            self.cash = 0            self.holding = 1        elif action == 0 and self.holding == 1:            self.cash = self.shares * self.price[self.t] * (1 - self.cost)            self.shares = 0            self.holding = 0        self.t += 1        done = self.t >= len(self.price) - 1        new_value = self.cash + self.shares * self.price[self.t]        reward = np.log(new_value / old_value)        return make_state(self.t, self.holding), reward, done  class QLearningAgent:    def __init__(self, alpha=0.2, gamma=0.95, epsilon=0.1):        self.q = {}        self.alpha = alpha        self.gamma = gamma        self.epsilon = epsilon        self.actions = [0, 1]     def get_q(self, state, action):        return self.q.get((state, action), 0.0)     def choose(self, state):        if np.random.random() < self.epsilon:            return np.random.choice(self.actions)        qs = [self.get_q(state, a) for a in self.actions]        return self.actions[int(np.argmax(qs))]     def update(self, state, action, reward, next_state, done):        target = reward        if not done:            nxt = max(self.get_q(next_state, a) for a in self.actions)            target = reward + self.gamma * nxt        q = self.get_q(state, action)        self.q[(state, action)] = q + self.alpha * (target - q)  def main():    env = TradingEnv(price)    agent = QLearningAgent()    for episode in range(200):        state = env.reset()        done = False        while not done:            action = agent.choose(state)            next_state, reward, done = env.step(action)            agent.update(state, action, reward, next_state, done)            state = next_state    # 回测：关闭探索，用学到的策略交易    agent.epsilon = 0.0    state = env.reset()    done = False    total_return = 0.0    while not done:        action = agent.choose(state)        next_state, reward, done = env.step(action)        total_return += reward        state = next_state    print("样本内累积对数收益: %.4f" % total_return)  if __name__ == "__main__":    main()

1. diff = price[t] - price[t - window]计算窗口动量：过去 5 天价格是涨是跌，这是渔夫“看海况”的核心特征
2. make_state(self.t, self.holding)把“市场趋势”和“当前持仓”组合成状态，相当于航海笔记里的一行记录
3. reward = np.log(new_value / old_value)用对数收益率做奖励，既衡量赚亏，又天然压平了奖励量级，防止梯度爆炸
4. target = reward + self.gamma * nxt计算 TD 目标：当前奖励加上“折现的未来最优价值”，这是 Q-learning 的核心更新信号
5. self.q[(state, action)] = q + self.alpha * (target - q)Q 表更新公式：让当前估计向目标值靠近一小步，就像渔夫每次出海后微调打法
6. agent.epsilon = 0.0回测前关闭随机探索，让智能体完全按学到的经验做决策，这是训练与评估的解耦

常见误区

面试题