TFT时序融合Transformer预测模型

可视化演示

动态演示TFT时序融合Transfo的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

三类输入特征

“未来餐厅”的老板每天开门前会看三样东西：立在收银台旁的VIP顾客档案册、墙上贴着未来一周节气与商场活动的排期表、后厨那摞厚厚的历史点餐流水账。档案册告诉他熟客的口味与消费习惯，排期表告诉他哪天会迎来人流高峰，流水账则记录了去年同期的点餐趋势。三样信息合在一起，老板心里就有了底。

TFT也在做同样的事。它把输入统一划分为三类：静态变量（static variables，对象固定属性，如门店ID、地区）、已知未来变量（known future variables，如未来节假日、天气预报）、历史观测变量（past/observed variables，如过去30天的销量）。三者最终都被映射成向量，在同一套网络里融合。这就像老板把三本册子在脑子里汇成一张“今日备菜计划”。

把三类特征拼接起来，就得到每个时刻的输入表示：

有了这份“情报菜单”，TFT不像普通方法那样只盯着一列数字，而是像老板一样把熟客口味、节日活动和历史趋势同时装进脑子再开口报价。三种情报缺一不可。

时序特征编码

老板的直觉里藏着一套朴素的时间感知力：周五傍晚的客流量总比周一早晨高，月底总比月初忙，春节前后要提前三天备货。这些节奏并不直接写在流水账里，而是融在他对时间的敏感中。模型没有这种直觉，它得靠显式的时间特征来“补课”。

TFT把每个时间戳 t 转化成一组多尺度的周期性特征，让网络能感知小时、天、周、月等不同节奏。这类似于Transformer中的位置编码：先告诉模型“你现在站在时间轴的哪个位置”，再让它理解这个位置蕴含的规律。

具体做法是用一组正弦、余弦函数把时间戳投影到不同频率的空间：

这些编码就像老板脑中那本“日历直觉手册”——不用翻开日历，他也知道今天星期几、离上次促销过了几天。模型因为有了时间编码，才能在预测时区分“日常的平淡”和“节日的喧闹”。

门控残差网络

如果某天暴雨突至，老板不会机械地按“周末人多”的旧经验备菜，而会立刻调低堂食食材量、增加外卖包装盒的采购。他之所以如此灵活，是因为大脑里有个“应变开关”——根据当下情况决定每条经验该听多少。TFT里的门控残差网络就是这枚开关。

门控残差网络（Gated Residual Network，GRN）接收两类输入：主输入特征 a 和外部上下文向量 c（通常由静态变量编码而来）。它在内部用门控线性单元（GLU）决定信息流动的强度，再用残差连接和 LayerNorm 保持深层训练稳定：

变量选择网络是 GRN 的关键应用：每个输入特征先经过各自的 GRN 产生特征向量和得分，再通过 softmax 得到归一化权重，最后按权重加权求和。模型因此能针对不同样本自动调整“该信哪个变量”。当暴雨预警和节日排期同时到达，那枚“应变开关”会压低历史经验的权重、抬高天气信息的权重——老板不必重新学怎么开餐厅，只需在关键时刻调整关注点。

多头注意力

门店生意好时，老板会同时让几位经验丰富的老店长各盯一件事：一位盯节气与客流的关系，一位盯最近异常订单的苗头，还有一位盯老顾客的消费习惯变化。几位店长各看各的，最后在例会上把观察拼在一起，形成完整判断。

TFT用多头注意力机制实现同样的分工。每个注意力头独立执行“缩放点积注意力”，并行地捕捉序列中不同模式的长程依赖——有的头抓到周期性规律，有的头关注近期突变。基础计算方式如下：

特别的是，TFT在最后的解码层使用单头注意力，以便直接输出可解释的注意力权重——这是它区别于普通Transformer的设计亮点。多头注意力就像一群各有所长的老店长：一个看节日、一个看趋势、一个看异常。他们各执己见虽不能单独拍板，但汇合后的观察足以支撑老板做出决策。

编码解码结构

预测的过程有点像“备菜—出餐”的流水线：先翻看过去几天的流水账（编码器盘点历史），再结合未来的排期表（解码器预估未来），最后把预估结果做成几档规格——保守备菜、常规备菜、充足备菜，分别对应低、中、高三种置信水平。

在结构上，编码器处理长度为历史窗口的观测序列，输出携带历史信息的隐状态；解码器以已知未来变量为输入，结合编码器隐状态“翻译”出未来时间步的表征。这一思路与NLP中的“源序列→目标序列”编解码一脉相承，但TFT把注意力灵活地连接在历史与未来之间，既看过去也看未来可知信息。

为了量化不确定性，TFT在输出层同时预测多个分位数（如 0.1、0.5、0.9），用分位数损失训练：

三档备菜量各有用途：保守档保证不浪费食材，常规档服务日常客流，充足档应对意外高峰。老板不必赌一个确定数字，而是手握一套“风险预案”——这正是分位数输出在业务中的价值。

可解释与实战

这家餐厅之所以被街坊信任，是因为老板每次都解释推荐理由：“明天是七夕且天气晴，预估客流比平日多三成，建议提前腌制牛肉。”这种“可解释性”让决策有据可循，也让顾客愿意配合。

TFT同样重视可解释性，提供了两把“透明钥匙”：其一是注意力权重可视化，观察模型在预测未来时重点“回看”了哪些历史时刻；其二是变量选择权重，直接量化每个输入变量对当前预测的贡献。变量选择权重由 softmax 计算：

实战方面，数据预处理要注意按序列做归一化、充分编码时间戳特征、按 group 划分样本；训练时推荐早停和较小学习率；评估时除了 MAE 和 RMSE，常用 P50 中位数误差与分位数损失之和（QRM）衡量区间预测质量。老板把依据讲给顾客听，赢得了长期信任；TFT把注意力与变量权重“摊开”给工程师看，让模型从“黑盒”变成了“会解释自己的厨房”，这正是它落地工业场景的底气。

AI 应用场景

Python 演示

import torchimport torch.nn as nn  class GLU(nn.Module):    """门控线性单元: 用sigmoid门控决定信息通过比例"""     def __init__(self, hidden_size):        super().__init__()        self.fc = nn.Linear(hidden_size, hidden_size)        self.gate = nn.Linear(hidden_size, hidden_size)     def forward(self, x):        return self.fc(x) * torch.sigmoid(self.gate(x))  class GRN(nn.Module):    """门控残差网络: 融合主输入与静态上下文"""     def __init__(self, hidden_size):        super().__init__()        self.fc1 = nn.Linear(hidden_size, hidden_size)        self.fc2 = nn.Linear(hidden_size, hidden_size)        self.glu = GLU(hidden_size)        self.norm = nn.LayerNorm(hidden_size)     def forward(self, a, c=None):        eta1 = self.fc1(a)        if c is not None:            eta1 = eta1 + self.fc2(c)        eta2 = torch.nn.functional.elu(eta1)        out = self.glu(eta2)        return self.norm(a + out)  class SimpleTFT(nn.Module):    """简化版TFT: 特征投影 + GRN + 多头注意力 + 分位数输出"""     def __init__(self, num_features, hidden_size=32,                 num_heads=2, quantiles=[0.1, 0.5, 0.9]):        super().__init__()        self.embed = nn.Linear(num_features, hidden_size)        self.grn = GRN(hidden_size)        self.attn = nn.MultiheadAttention(hidden_size, num_heads,                                          batch_first=True)        self.output = nn.Linear(hidden_size, len(quantiles))        self.quantiles = quantiles     def forward(self, x):        h = torch.relu(self.embed(x))        h = self.grn(h)        h, _ = self.attn(h, h, h)        return self.output(h[:, -1, :])  class QuantileLoss(nn.Module):    """分位数损失: 对低估和高估施加不对称惩罚"""     def __init__(self, quantiles=[0.1, 0.5, 0.9]):        super().__init__()        self.quantiles = quantiles     def forward(self, preds, target):        loss = 0.0        for i, q in enumerate(self.quantiles):            diff = target - preds[:, i]            loss += torch.max(q * diff, (q - 1) * diff).mean()        return loss  def main():    torch.manual_seed(42)    batch = 16    seq_len = 8    num_features = 5    x = torch.randn(batch, seq_len, num_features)    y = torch.randn(batch, 3)    model = SimpleTFT(num_features)    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)    criterion = QuantileLoss()    for epoch in range(5):        optimizer.zero_grad()        loss = criterion(model(x), y)        loss.backward()        optimizer.step()        print(f"epoch {epoch + 1}: loss = {loss.item():.4f}")  if __name__ == "__main__":    main()

1. self.embed = nn.Linear(num_features, hidden_size)把原始多特征映射到统一隐空间，后续模块才能共享表示。
2. eta1 = self.fc1(a)对主输入做第一层线性变换，为融合上下文做准备。
3. eta2 = torch.nn.functional.elu(eta1)用ELU激活引入非线性，负区间不饱和不易梯度消失。
4. out = self.glu(eta2)经过GLU门控，模型只放行高价值信息，抑制噪声信号。
5. return self.norm(a + out)残差连接再加LayerNorm，稳定深层训练。
6. h, _ = self.attn(h, h, h)对隐状态做自注意力，捕捉序列内部的长程依赖。
7. return self.output(h[:, -1, :])取最后一个时间步的隐状态映射到多个分位数。
8. loss += torch.max(q * diff, (q - 1) * diff).mean()分位数损失核心公式，对高估和低估施加不对称惩罚。

常见误区

面试题