简介基于深度迁移学习的水质预测研究算法源码是一份面向计算机、数学、电子信息等专业课程设计、期末大作业及毕设项目的完整工程代码。项目以水质预测为应用场景覆盖数据加载、时间特征生成、模型构建、迁移学习训练和结果评估等环节代码结构清晰可直接运行调整。压缩包共68个文件以31个Python算法脚本和27个pyc预编译文件为主另有5个npy数据、4个csv数据及1个yml环境配置整体大小5.21MB轻量便捷。源码中集成了Autoformer、Transformer、LSTM、BiLSTM、CNN、MLP、Informer等多种主流模型并提供基础实验与迁移学习实验两套入口方便对比不同模型和训练策略对水质预测精度的影响还包含数据预处理、时间特征提取、评估指标、掩码工具等功能模块适合深度学习初学者动手调试、理解模型机制支撑相关课题的快速验证。目前已有70人浏览学习适合作为实战演练和项目立项参考。1. 水质预测算法源码里的深度迁移学习先解决一个现实问题水质预测的难点不在模型跑不出来而在数据分布不稳定。不同监测断面、不同季节、不同传感器采集到的 pH、溶解氧、浊度序列统计特性差异很大一个站点训好的模型换到另一个站点精度经常直接掉 20%。深度迁移学习把源域上学到的周期依赖和趋势分解能力迁移到目标域解决的是样本少、分布漂移、模型复用三个问题。这套基于深度迁移学习的水质预测研究算法源码内置 Autoformer、Informer、Transformer、LSTM、BiLSTM、MLP、CNN、CLA 等算法模型从 run.py 启动到 exp_main_transfer.py 完成迁移训练链路完整适合做课程设计、期末大作业和毕设案例也适合拿来做深度学习算法源码级的二次改造。下面按源码实际结构拆开讲。2. 源码结构与数据流从 run.py 到 data_loader 的启动链路2.1 目录结构与角色定位展开 projectcode_1020 目录顶层有 models、data、exp、utils、data_provider 五个核心目录。models 下是全部时序模型定义Autoformer.py、Informer.py、Transformer.py、LSTM.py、BiLSTM.py、MLP.py、CNN.py、CLA.py以及 Autoformer_EncDec.py、SelfAttention_Family.py、Transformer_EncDec.py 这些编码解码组件。Autoformer 的序列分解和自相关机制被拆到 Autoformer_EncDec.py 和 AutoCorrelation.py 里做迁移训练时只需要看这几个文件就能定位哪些层可以冻结。exp 目录控制训练流程exp_basic.py 是实验基类exp_main.py 处理常规监督训练exp_main_transfer.py 是深度迁移学习的入口。run.py 是全局启动脚本通过命令行参数决定加载哪个数据集、哪个模型、走哪条实验链路。utils 下面是 timefeatures.py时间特征编码、metrics.py评估指标、masking.py自回归掩码、download_data.py数据下载、tools.py工具函数。data 目录里除了默认的 ETT 电力数据集还有 data_loader.py 负责把 CSV 转成训练、验证、测试三个滑窗序列。模块职责改造时机run.py参数解析与模型/数据装配换数据集、加参数、切换迁移模式data_provider/data_loader.py读 CSV、滑窗切分、归一化自定义水质站点数据时必改models/CLA.py对比学习模块做无监督预训练表征时使用exp/exp_main_transfer.py预训练加载、冻结控制、微调调迁移策略的核心文件utils/metrics.pyMAE、MSE、MAPE 计算换评估口径时修改utils/timefeatures.py把时间列转成周期特征增加季节、昼夜特征时扩展environment.ymlconda 依赖清单复现环境时直接使用这个结构是典型的两阶段实验框架先用数据充足的源域跑预训练再加载 checkpoint 做目标域微调。run.py 里的 is_training 控制训练还是测试transfer 控制是否走迁移训练分支。2.2 配置入口 run.py 与参数解析run.py 不写死配置而是用 argparse 接收大量命令行参数。实际使用中我一般写一个 shell 脚本把参数一次传进去方便反复调整。下面是一个可直接运行的命令python run.py \ --model Autoformer \ --data ETT \ --root_path ./data/ETT/ \ --data_path ETTh1.csv \ --features M \ --target OT \ --seq_len 168 \ --label_len 168 \ --pred_len 48 \ --enc_in 7 \ --dec_in 7 \ --c_out 7 \ --batch_size 32 \ --learning_rate 0.0001 \ --train_epochs 20 \ --is_training 1 \ --transfer 0这些参数决定整个实验形态。--model 指定 models 目录下的模型类名--features 有三种取值M 表示多变量输入多变量输出S 表示单变量MS 表示多变量输入单变量输出seq_len 是回看窗口长度label_len 是解码器里已知标签的长度pred_len 是预测步长。做水质预测时 seq_len 我一般取 96 到 168因为水质指标有昼夜节律和周末周期窗口太短学不到周期性太长训练成本翻倍且容易过拟合。--transfer 0 走 exp_main.py 的普通监督训练--transfer 1 走 exp_main_transfer.py 的迁移训练。两者共用同一套数据加载和评估逻辑区别在于模型初始化时是否加载预训练权重训练阶段是否冻结部分层。这个开关是跑通源码包的关键很多人下载后不传这个参数导致预训练逻辑根本没被触发。2.3 data_factory 与 data_loader 的数据组织data_provider/data_factory.py 是一个工厂函数根据 --data 的值返回对应的 Dataset 类。默认的 ETT 数据是电力变压器温度数据7 个特征包括 HUFL、HULL、MOT、OT 等。换水质数据时把 --root_path 指向水质 CSV 所在目录--data_path 指向文件名并确认列名与 data_loader.py 里读取逻辑一致。data_loader.py 的核心是滑窗切分和时间特征拼接。每个训练样本由四部分组成seq_x 是历史窗口原始序列seq_y 是对应未来窗口标签seq_x_mark 和 seq_y_mark 是 timefeatures 生成的周期特征。切分比例由 train_ratio 等参数控制默认 6:2:2。归一化只用训练集 fit StandardScaler验证集和测试集沿用训练集的均值和方差这里一旦写错就引入数据泄漏。masking.py 在 Informer 和 Transformer 的解码器里生成三角掩码防止模型在自回归生成时看到未来时刻。做水质预测时如果发现预测曲线在突变点滞后严重优先检查 mask 是否生效而不是急着换模型。时间特征部分会在编码器里与原始序列拼接Mask 只作用于注意力矩阵两者互不干扰。2.4 时间特征编码 timefeatures.py 的扩展点timefeatures.py 里标准做法是给每条样本生成 hour、day、weekday 等时间特征。水质预测里有一个常见问题水温、溶解氧的波动受季节影响很大直接把 month 当成数值编码模型会认为 12 月和 1 月距离最近相邻实际上它们在循环周期上是连续的。改成余弦编码能解决这个问题在 TimeFeature 类下扩展一个周期特征即可class MonthOfYear(TimeFeature): def __init__(self): self.freq M def __call__(self, index): month index.month return [ np.cos(2 * np.pi * month / 12.0), np.sin(2 * np.pi * month / 12.0) ]这段代码返回两个值代表月份在 12 小时钟上的横纵坐标。Cos 和 Sin 的组合让 12 月和 1 月在特征空间里是相邻的模型更容易学到季节连续性。TimeFeature 基类要求子类实现calldata_loader 构建 seq_x_mark 时会遍历所有已注册的 feature 并做拼接所以扩展后重启训练就能生效。我一般还会同样处理 hour 特征把 24 小时编码到圆周上白天和夜间的过渡会平滑很多。3. 迁移学习在时序预测里的落地exp_main_transfer.py 与模型微调3.1 预训练二阶段实现exp_main_transfer.py 是这个源码包里最值得读的文件。它的基本流程--transfer 设为 1 时先加载源域预训练 checkpoint再创建目标模型实例按层级名匹配覆盖目标模型参数不匹配的层保持随机初始化然后进入常规训练循环。这个按名匹配的加载方式决定了源模型和目标模型必须保持相同的编码器结构这也是为什么推荐用同一类模型做迁移跨结构迁移需要额外的映射层。源码包里的 checkpoint 通常保存在 checkpoints 目录命名包含模型名和数据名。做迁移训练前先确认 checkpoint 存在否则 exp_main_transfer.py 会静默跳过加载直接随机初始化训练此时你以为是迁移学习实际跑的仍是普通训练这个坑最容易忽略。一个常用的层冻结辅助函数长这样def freeze_encoder(model, freeze_ratio0.6): layers [layer for layer in model.children()] freeze_num int(len(layers) * freeze_ratio) for layer in layers[:freeze_num]: for param in layer.parameters(): param.requires_grad False return modelfreeze_encoder 的意图是把模型前 60% 的层冻结这些层的参数在反向传播中不更新。低层学的是通用时序模式比如周期、趋势、局部波动跨数据集复用价值高高层学的是源域特有的输出映射到了目标域需要重新训练。水质预测样本量少于几千条时冻结比例 50% 到 70% 效果最稳源域与目标域差异大时降到 30%。3.2 冻结层与解冻策略只冻结不解冻也不是最优解。业界更常见的做法是两段式微调前几个 epoch 只训练输出层和归一化层等验证 loss 下降放缓后解冻全部层用衰减后的学习率继续训练。exp_main_transfer.py 如果没内置这个逻辑我会在训练循环里加一个 epoch 判断if epoch 5: for param in model.parameters(): param.requires_grad True optimizer torch.optim.Adam(model.parameters(), lrlr * 0.1)这段代码在第 5 轮后解冻所有层并把学习率降为原来的 10%。前 5 轮相当于让预测头适配目标域的数值分布后阶段再做全局细调。这么做的好处是避免迁移初期大梯度更新破坏预训练学到的特征表示。如果加载的是 Autoformer 的 checkpoint还需要注意输入 embedding 的长度是否一致源域 seq_len 和目标域不一样时position embedding 会报 size mismatch我通常直接过滤掉这些键只加载序列分解和自相关模块的权重。3.3 损失函数与评估指标 metrics.py水质预测的损失函数一般用 MSE 或 MAE源码里 utils/metrics.py 的 metric 函数同时返回 MAE、MSE、MAPE 三个指标。迁移训练里有一个容易被忽略的细节目标域样本少时数据分布可能随时间漂移早期样本和近期样本不宜等权。可以给样本按时间位置加权重def temporal_weight(index, total, alpha0.3): return alpha (1 - alpha) * (index / total)这段代码返回 0.3 到 1.0 之间的权重越靠近当前时刻的样本权重越大。在计算 MSE 时用 weight 乘上每个样本的误差平方代替原来的均匀平均。alpha 控制旧样本的保留程度水质数据如果存在突发污染事件alpha 建议调到 0.1让模型更快响应最近的变化。这个加权逻辑可以放在 data_loader 返回样本时计算好也可以在 loss 循环里动态生成我一般放在数据集类里省得每次迭代重复计算。3.4 从源码改造出自定义数据集的迁移脚本实际做毕设案例时我不会直接改 run.py而是写一个独立脚本调用 exp_main_transfer.py 里的类。这样能保持源码包原始文件不变改坏了也不影响回滚。下面是一个最小改造示例from exp.exp_main_transfer import Exp_Main_Transfer args { model: Autoformer, data: ETT, root_path: ./data/water/, data_path: station_a.csv, features: M, target: Dissolved_Oxygen, seq_len: 168, label_len: 168, pred_len: 48, enc_in: 6, dec_in: 6, c_out: 1, batch_size: 32, learning_rate: 0.0001, train_epochs: 30, transfer: 1, checkpoints: ./checkpoints/etth1_autofomer.ckpt, } exp Exp_Main_Transfer(args) exp.train()注意 c_out 在单目标预测里设成 1多变量输出时设成特征数。target 字段是 CSV 里的目标列名data_loader 会据此筛选标签列。跑完如果训练 loss 下降但验证 loss 不降先查归一化是否只 fit 在训练集再确认预训练权重确实被加载进来可以在模型初始化后打印某层参数和 checkpoint 里的值对比一下。4. 模型选型与多模型对比Autoformer、Informer、LSTM、BiLSTM 怎么挑4.1 各模型在水质场景的适用性源码包一次性给了 8 个模型很多同学下载后不知道先跑哪个。按我的经验分三类Autoformer 和 Informer 适合长序列、强周期场景比如连续 7 天预测溶解氧Transformer 提供标准注意力基线适合先跑通流程LSTM 和 BiLSTM 对短窗口更友好参数量小训练快。CLA.py 是对比学习模块配合迁移学习做无监督预训练用未标注的水质样本学表征再在下游任务微调。模型适合序列长度训练速度迁移友好度水质场景建议LSTM24~96快高单站点短期预测BiLSTM24~168中高双向上下文适合昼夜波动Transformer96~336中高基线模型Informer96~720中中长序列稀疏注意力Autoformer96~720中中趋势季节分解适合水温MLP任意短窗口快低简单基线CNN24~96快中局部特征提取CLA前置模块慢高预训练表征辅助下游选型逻辑可以用三句话概括序列短用循环网络序列长且周期明显用 Autoformer要做迁移学习就优先选编码器结构清晰的模型因为层级参数名对齐容易冻结策略也容易控制。LSTM 和 BiLSTM 的迁移友好度高因为它们的状态转移参数是共享的不同序列长度之间天然兼容。4.2 参数配置ETT 数据与水质数据的差异跑通源码包的第一步通常是在 ETT 数据上复现 Autoformer 的结果。ETT 是电力变压器温度数据7 个变量先确认官方参数能正常收敛再替换成水质 CSV。两类数据的差异主要在特征属性水质包含 pH、浊度、氨氮、溶解氧pH 和溶解氧有昼夜节律浊度在降雨后会出现尖峰异常点比 ETT 多。建议先做特征工程比如把浊度做 log 变换而不是直接改模型结构。一个容易出效果的参数组合python run.py \ --model Autoformer \ --data ETT \ --features MS \ --target OT \ --seq_len 96 \ --label_len 48 \ --pred_len 24 \ --enc_in 7 \ --dec_in 7 \ --c_out 1 \ --d_model 512 \ --n_heads 8 \ --e_layers 2 \ --d_layers 1 \ --factor 3 \ --batch_size 16 \ --train_epochs 30 \ --patience 5这里把 features 设成 MS多变量输入、单变量输出c_out 设为 1适合先专注预测溶解氧。Autoformer 的 factor 是稀疏注意力里的 top-k 因子默认 3 到 5数值越大每层保留的关联越多计算量也越大。patience 是早停轮数验证 loss 连续 5 轮不降就停止。d_model 控制 embedding 维度512 是性能和显存的折中点显存紧张可以降到 256。这样配置的意义是先拿单目标预测把迁移流程跑通再逐步扩展成多输出。4.3 训练中的常见陷阱与排错第一个高频坑是 NaN 损失。原因一般是学习率太大或数据里存在缺失值。水质监测 CSV 经常有空值标准做法是在 data_loader 读取后做 dropna或者用前后时刻均值填充。如果不清洗前向传播到 layer norm 或者注意力 softmax 时数值不稳定loss 直接变成 NaN训练白跑。第二个坑是数据泄漏。如果先在整个数据集上 fit StandardScaler 再切分测试集的均值和方差会参与归一化导致指标虚高。快速验证方法把训练轮数设为 1预测 1 个点如果 loss 立即降到极低大概率泄漏。正确顺序是先用训练集 fit scaler再用同一套参数 transform 验证集和测试集。第三个坑是迁移后效果反降。这种现象经常出现在源域和目标域分布差异太大时Autoformer 会把源域的季节分量迁移到目标域但目标域的季节周期可能完全不同。此时把冻结比例降到 0.3并且只冻结编码器的前两层让序列分解层保持可训练让模型自行调整季节倾向。还有一点是学习率不要照搬源域训练的值迁移微调的初始学习率一般小于源域学习率的十分之一。5. 进阶技巧把源码改造成真实水质多站点预测项目5.1 多站点数据聚合与数据加载改造真实项目里不会只测一个断面常见场景是把多个站点的数据合并训练。每个站点的 pH、浊度序列分布不同直接拼接会让模型学到站点之间的平均效果单个站点预测精度反而更差。常见做法是每个站点单独归一化然后把站点编号编码成附属特征。站点编号是类别变量不能直接喂整数我一般转成 sin/cos 编码def add_site_feature(df, site_id, total_sites): df[site_sin] np.sin(2 * np.pi * site_id / total_sites) df[site_cos] np.cos(2 * np.pi * site_id / total_sites) return dfsin/cos 编码保证站点之间没有人为的远近关系模型能区分来源又不会把编号数值大小当成可比较的量。这段代码放在 data_loader 读取阶段。迁移学习在这里的经典用法是用数据量充足的 A 站作为源域预训练把 B 站 30 天数据作为目标域微调B 站样本少不重新训练整个模型。5.2 环境复现与依赖检查拿到源码包第一件事是看 environment.yml。里面通常包含 Python 版本、PyTorch、numpy、pandas、scikit-learn 等依赖。推荐用 conda 创建独立环境避免把全局环境搞乱。torch 版本不匹配会出现 unknown opcode 这类诡异错误排查起来很花时间。conda env create -f environment.yml conda activate water_transfer如果 environment.yml 缺失我一般先安装核心依赖 torch、numpy、pandas、scikit-learn再装 matplotlib 用于出图。验证环境只需要跑一个最小命令两分钟内走完一个完整训练循环python run.py --model LSTM --data ETT --seq_len 24 --pred_len 1 --train_epochs 1这个命令只训练 1 轮数据量小能快速确认数据加载、模型前向、loss 反传路径都正常。看到 loss 打印出来而不是报错就可以放心跑完整实验。5.3 迁移效果验证的对照实验验证迁移学习到底有没有用推荐做一个对照实验目标域只保留 600 条训练样本分别执行--transfer 0和--transfer 1比较两组在验证集上的 MAPE。迁移组的 MAPE 如果低 3 到 5 个百分点说明预训练权重确实带来了收益。另一个对比指标是收敛速度迁移组通常在 10 轮内达到基线组 30 轮的精度这个结论放在课程设计或毕设案例的结论部分很有说服力。做对照实验必须固定随机种子。run.py 里的 seed 参数在数据加载前设置 torch.manual_seed 和 np.random.seed确保两个对照组使用完全相同的数据切分和模型初始化顺序。同一份代码、同一个种子、只改 transfer 开关最后的指标差异才能归因于迁移学习本身。本文还有配套的精品资源点击获取
深度迁移学习水质预测算法源码解析与实战指南
简介基于深度迁移学习的水质预测研究算法源码是一份面向计算机、数学、电子信息等专业课程设计、期末大作业及毕设项目的完整工程代码。项目以水质预测为应用场景覆盖数据加载、时间特征生成、模型构建、迁移学习训练和结果评估等环节代码结构清晰可直接运行调整。压缩包共68个文件以31个Python算法脚本和27个pyc预编译文件为主另有5个npy数据、4个csv数据及1个yml环境配置整体大小5.21MB轻量便捷。源码中集成了Autoformer、Transformer、LSTM、BiLSTM、CNN、MLP、Informer等多种主流模型并提供基础实验与迁移学习实验两套入口方便对比不同模型和训练策略对水质预测精度的影响还包含数据预处理、时间特征提取、评估指标、掩码工具等功能模块适合深度学习初学者动手调试、理解模型机制支撑相关课题的快速验证。目前已有70人浏览学习适合作为实战演练和项目立项参考。1. 水质预测算法源码里的深度迁移学习先解决一个现实问题水质预测的难点不在模型跑不出来而在数据分布不稳定。不同监测断面、不同季节、不同传感器采集到的 pH、溶解氧、浊度序列统计特性差异很大一个站点训好的模型换到另一个站点精度经常直接掉 20%。深度迁移学习把源域上学到的周期依赖和趋势分解能力迁移到目标域解决的是样本少、分布漂移、模型复用三个问题。这套基于深度迁移学习的水质预测研究算法源码内置 Autoformer、Informer、Transformer、LSTM、BiLSTM、MLP、CNN、CLA 等算法模型从 run.py 启动到 exp_main_transfer.py 完成迁移训练链路完整适合做课程设计、期末大作业和毕设案例也适合拿来做深度学习算法源码级的二次改造。下面按源码实际结构拆开讲。2. 源码结构与数据流从 run.py 到 data_loader 的启动链路2.1 目录结构与角色定位展开 projectcode_1020 目录顶层有 models、data、exp、utils、data_provider 五个核心目录。models 下是全部时序模型定义Autoformer.py、Informer.py、Transformer.py、LSTM.py、BiLSTM.py、MLP.py、CNN.py、CLA.py以及 Autoformer_EncDec.py、SelfAttention_Family.py、Transformer_EncDec.py 这些编码解码组件。Autoformer 的序列分解和自相关机制被拆到 Autoformer_EncDec.py 和 AutoCorrelation.py 里做迁移训练时只需要看这几个文件就能定位哪些层可以冻结。exp 目录控制训练流程exp_basic.py 是实验基类exp_main.py 处理常规监督训练exp_main_transfer.py 是深度迁移学习的入口。run.py 是全局启动脚本通过命令行参数决定加载哪个数据集、哪个模型、走哪条实验链路。utils 下面是 timefeatures.py时间特征编码、metrics.py评估指标、masking.py自回归掩码、download_data.py数据下载、tools.py工具函数。data 目录里除了默认的 ETT 电力数据集还有 data_loader.py 负责把 CSV 转成训练、验证、测试三个滑窗序列。模块职责改造时机run.py参数解析与模型/数据装配换数据集、加参数、切换迁移模式data_provider/data_loader.py读 CSV、滑窗切分、归一化自定义水质站点数据时必改models/CLA.py对比学习模块做无监督预训练表征时使用exp/exp_main_transfer.py预训练加载、冻结控制、微调调迁移策略的核心文件utils/metrics.pyMAE、MSE、MAPE 计算换评估口径时修改utils/timefeatures.py把时间列转成周期特征增加季节、昼夜特征时扩展environment.ymlconda 依赖清单复现环境时直接使用这个结构是典型的两阶段实验框架先用数据充足的源域跑预训练再加载 checkpoint 做目标域微调。run.py 里的 is_training 控制训练还是测试transfer 控制是否走迁移训练分支。2.2 配置入口 run.py 与参数解析run.py 不写死配置而是用 argparse 接收大量命令行参数。实际使用中我一般写一个 shell 脚本把参数一次传进去方便反复调整。下面是一个可直接运行的命令python run.py \ --model Autoformer \ --data ETT \ --root_path ./data/ETT/ \ --data_path ETTh1.csv \ --features M \ --target OT \ --seq_len 168 \ --label_len 168 \ --pred_len 48 \ --enc_in 7 \ --dec_in 7 \ --c_out 7 \ --batch_size 32 \ --learning_rate 0.0001 \ --train_epochs 20 \ --is_training 1 \ --transfer 0这些参数决定整个实验形态。--model 指定 models 目录下的模型类名--features 有三种取值M 表示多变量输入多变量输出S 表示单变量MS 表示多变量输入单变量输出seq_len 是回看窗口长度label_len 是解码器里已知标签的长度pred_len 是预测步长。做水质预测时 seq_len 我一般取 96 到 168因为水质指标有昼夜节律和周末周期窗口太短学不到周期性太长训练成本翻倍且容易过拟合。--transfer 0 走 exp_main.py 的普通监督训练--transfer 1 走 exp_main_transfer.py 的迁移训练。两者共用同一套数据加载和评估逻辑区别在于模型初始化时是否加载预训练权重训练阶段是否冻结部分层。这个开关是跑通源码包的关键很多人下载后不传这个参数导致预训练逻辑根本没被触发。2.3 data_factory 与 data_loader 的数据组织data_provider/data_factory.py 是一个工厂函数根据 --data 的值返回对应的 Dataset 类。默认的 ETT 数据是电力变压器温度数据7 个特征包括 HUFL、HULL、MOT、OT 等。换水质数据时把 --root_path 指向水质 CSV 所在目录--data_path 指向文件名并确认列名与 data_loader.py 里读取逻辑一致。data_loader.py 的核心是滑窗切分和时间特征拼接。每个训练样本由四部分组成seq_x 是历史窗口原始序列seq_y 是对应未来窗口标签seq_x_mark 和 seq_y_mark 是 timefeatures 生成的周期特征。切分比例由 train_ratio 等参数控制默认 6:2:2。归一化只用训练集 fit StandardScaler验证集和测试集沿用训练集的均值和方差这里一旦写错就引入数据泄漏。masking.py 在 Informer 和 Transformer 的解码器里生成三角掩码防止模型在自回归生成时看到未来时刻。做水质预测时如果发现预测曲线在突变点滞后严重优先检查 mask 是否生效而不是急着换模型。时间特征部分会在编码器里与原始序列拼接Mask 只作用于注意力矩阵两者互不干扰。2.4 时间特征编码 timefeatures.py 的扩展点timefeatures.py 里标准做法是给每条样本生成 hour、day、weekday 等时间特征。水质预测里有一个常见问题水温、溶解氧的波动受季节影响很大直接把 month 当成数值编码模型会认为 12 月和 1 月距离最近相邻实际上它们在循环周期上是连续的。改成余弦编码能解决这个问题在 TimeFeature 类下扩展一个周期特征即可class MonthOfYear(TimeFeature): def __init__(self): self.freq M def __call__(self, index): month index.month return [ np.cos(2 * np.pi * month / 12.0), np.sin(2 * np.pi * month / 12.0) ]这段代码返回两个值代表月份在 12 小时钟上的横纵坐标。Cos 和 Sin 的组合让 12 月和 1 月在特征空间里是相邻的模型更容易学到季节连续性。TimeFeature 基类要求子类实现calldata_loader 构建 seq_x_mark 时会遍历所有已注册的 feature 并做拼接所以扩展后重启训练就能生效。我一般还会同样处理 hour 特征把 24 小时编码到圆周上白天和夜间的过渡会平滑很多。3. 迁移学习在时序预测里的落地exp_main_transfer.py 与模型微调3.1 预训练二阶段实现exp_main_transfer.py 是这个源码包里最值得读的文件。它的基本流程--transfer 设为 1 时先加载源域预训练 checkpoint再创建目标模型实例按层级名匹配覆盖目标模型参数不匹配的层保持随机初始化然后进入常规训练循环。这个按名匹配的加载方式决定了源模型和目标模型必须保持相同的编码器结构这也是为什么推荐用同一类模型做迁移跨结构迁移需要额外的映射层。源码包里的 checkpoint 通常保存在 checkpoints 目录命名包含模型名和数据名。做迁移训练前先确认 checkpoint 存在否则 exp_main_transfer.py 会静默跳过加载直接随机初始化训练此时你以为是迁移学习实际跑的仍是普通训练这个坑最容易忽略。一个常用的层冻结辅助函数长这样def freeze_encoder(model, freeze_ratio0.6): layers [layer for layer in model.children()] freeze_num int(len(layers) * freeze_ratio) for layer in layers[:freeze_num]: for param in layer.parameters(): param.requires_grad False return modelfreeze_encoder 的意图是把模型前 60% 的层冻结这些层的参数在反向传播中不更新。低层学的是通用时序模式比如周期、趋势、局部波动跨数据集复用价值高高层学的是源域特有的输出映射到了目标域需要重新训练。水质预测样本量少于几千条时冻结比例 50% 到 70% 效果最稳源域与目标域差异大时降到 30%。3.2 冻结层与解冻策略只冻结不解冻也不是最优解。业界更常见的做法是两段式微调前几个 epoch 只训练输出层和归一化层等验证 loss 下降放缓后解冻全部层用衰减后的学习率继续训练。exp_main_transfer.py 如果没内置这个逻辑我会在训练循环里加一个 epoch 判断if epoch 5: for param in model.parameters(): param.requires_grad True optimizer torch.optim.Adam(model.parameters(), lrlr * 0.1)这段代码在第 5 轮后解冻所有层并把学习率降为原来的 10%。前 5 轮相当于让预测头适配目标域的数值分布后阶段再做全局细调。这么做的好处是避免迁移初期大梯度更新破坏预训练学到的特征表示。如果加载的是 Autoformer 的 checkpoint还需要注意输入 embedding 的长度是否一致源域 seq_len 和目标域不一样时position embedding 会报 size mismatch我通常直接过滤掉这些键只加载序列分解和自相关模块的权重。3.3 损失函数与评估指标 metrics.py水质预测的损失函数一般用 MSE 或 MAE源码里 utils/metrics.py 的 metric 函数同时返回 MAE、MSE、MAPE 三个指标。迁移训练里有一个容易被忽略的细节目标域样本少时数据分布可能随时间漂移早期样本和近期样本不宜等权。可以给样本按时间位置加权重def temporal_weight(index, total, alpha0.3): return alpha (1 - alpha) * (index / total)这段代码返回 0.3 到 1.0 之间的权重越靠近当前时刻的样本权重越大。在计算 MSE 时用 weight 乘上每个样本的误差平方代替原来的均匀平均。alpha 控制旧样本的保留程度水质数据如果存在突发污染事件alpha 建议调到 0.1让模型更快响应最近的变化。这个加权逻辑可以放在 data_loader 返回样本时计算好也可以在 loss 循环里动态生成我一般放在数据集类里省得每次迭代重复计算。3.4 从源码改造出自定义数据集的迁移脚本实际做毕设案例时我不会直接改 run.py而是写一个独立脚本调用 exp_main_transfer.py 里的类。这样能保持源码包原始文件不变改坏了也不影响回滚。下面是一个最小改造示例from exp.exp_main_transfer import Exp_Main_Transfer args { model: Autoformer, data: ETT, root_path: ./data/water/, data_path: station_a.csv, features: M, target: Dissolved_Oxygen, seq_len: 168, label_len: 168, pred_len: 48, enc_in: 6, dec_in: 6, c_out: 1, batch_size: 32, learning_rate: 0.0001, train_epochs: 30, transfer: 1, checkpoints: ./checkpoints/etth1_autofomer.ckpt, } exp Exp_Main_Transfer(args) exp.train()注意 c_out 在单目标预测里设成 1多变量输出时设成特征数。target 字段是 CSV 里的目标列名data_loader 会据此筛选标签列。跑完如果训练 loss 下降但验证 loss 不降先查归一化是否只 fit 在训练集再确认预训练权重确实被加载进来可以在模型初始化后打印某层参数和 checkpoint 里的值对比一下。4. 模型选型与多模型对比Autoformer、Informer、LSTM、BiLSTM 怎么挑4.1 各模型在水质场景的适用性源码包一次性给了 8 个模型很多同学下载后不知道先跑哪个。按我的经验分三类Autoformer 和 Informer 适合长序列、强周期场景比如连续 7 天预测溶解氧Transformer 提供标准注意力基线适合先跑通流程LSTM 和 BiLSTM 对短窗口更友好参数量小训练快。CLA.py 是对比学习模块配合迁移学习做无监督预训练用未标注的水质样本学表征再在下游任务微调。模型适合序列长度训练速度迁移友好度水质场景建议LSTM24~96快高单站点短期预测BiLSTM24~168中高双向上下文适合昼夜波动Transformer96~336中高基线模型Informer96~720中中长序列稀疏注意力Autoformer96~720中中趋势季节分解适合水温MLP任意短窗口快低简单基线CNN24~96快中局部特征提取CLA前置模块慢高预训练表征辅助下游选型逻辑可以用三句话概括序列短用循环网络序列长且周期明显用 Autoformer要做迁移学习就优先选编码器结构清晰的模型因为层级参数名对齐容易冻结策略也容易控制。LSTM 和 BiLSTM 的迁移友好度高因为它们的状态转移参数是共享的不同序列长度之间天然兼容。4.2 参数配置ETT 数据与水质数据的差异跑通源码包的第一步通常是在 ETT 数据上复现 Autoformer 的结果。ETT 是电力变压器温度数据7 个变量先确认官方参数能正常收敛再替换成水质 CSV。两类数据的差异主要在特征属性水质包含 pH、浊度、氨氮、溶解氧pH 和溶解氧有昼夜节律浊度在降雨后会出现尖峰异常点比 ETT 多。建议先做特征工程比如把浊度做 log 变换而不是直接改模型结构。一个容易出效果的参数组合python run.py \ --model Autoformer \ --data ETT \ --features MS \ --target OT \ --seq_len 96 \ --label_len 48 \ --pred_len 24 \ --enc_in 7 \ --dec_in 7 \ --c_out 1 \ --d_model 512 \ --n_heads 8 \ --e_layers 2 \ --d_layers 1 \ --factor 3 \ --batch_size 16 \ --train_epochs 30 \ --patience 5这里把 features 设成 MS多变量输入、单变量输出c_out 设为 1适合先专注预测溶解氧。Autoformer 的 factor 是稀疏注意力里的 top-k 因子默认 3 到 5数值越大每层保留的关联越多计算量也越大。patience 是早停轮数验证 loss 连续 5 轮不降就停止。d_model 控制 embedding 维度512 是性能和显存的折中点显存紧张可以降到 256。这样配置的意义是先拿单目标预测把迁移流程跑通再逐步扩展成多输出。4.3 训练中的常见陷阱与排错第一个高频坑是 NaN 损失。原因一般是学习率太大或数据里存在缺失值。水质监测 CSV 经常有空值标准做法是在 data_loader 读取后做 dropna或者用前后时刻均值填充。如果不清洗前向传播到 layer norm 或者注意力 softmax 时数值不稳定loss 直接变成 NaN训练白跑。第二个坑是数据泄漏。如果先在整个数据集上 fit StandardScaler 再切分测试集的均值和方差会参与归一化导致指标虚高。快速验证方法把训练轮数设为 1预测 1 个点如果 loss 立即降到极低大概率泄漏。正确顺序是先用训练集 fit scaler再用同一套参数 transform 验证集和测试集。第三个坑是迁移后效果反降。这种现象经常出现在源域和目标域分布差异太大时Autoformer 会把源域的季节分量迁移到目标域但目标域的季节周期可能完全不同。此时把冻结比例降到 0.3并且只冻结编码器的前两层让序列分解层保持可训练让模型自行调整季节倾向。还有一点是学习率不要照搬源域训练的值迁移微调的初始学习率一般小于源域学习率的十分之一。5. 进阶技巧把源码改造成真实水质多站点预测项目5.1 多站点数据聚合与数据加载改造真实项目里不会只测一个断面常见场景是把多个站点的数据合并训练。每个站点的 pH、浊度序列分布不同直接拼接会让模型学到站点之间的平均效果单个站点预测精度反而更差。常见做法是每个站点单独归一化然后把站点编号编码成附属特征。站点编号是类别变量不能直接喂整数我一般转成 sin/cos 编码def add_site_feature(df, site_id, total_sites): df[site_sin] np.sin(2 * np.pi * site_id / total_sites) df[site_cos] np.cos(2 * np.pi * site_id / total_sites) return dfsin/cos 编码保证站点之间没有人为的远近关系模型能区分来源又不会把编号数值大小当成可比较的量。这段代码放在 data_loader 读取阶段。迁移学习在这里的经典用法是用数据量充足的 A 站作为源域预训练把 B 站 30 天数据作为目标域微调B 站样本少不重新训练整个模型。5.2 环境复现与依赖检查拿到源码包第一件事是看 environment.yml。里面通常包含 Python 版本、PyTorch、numpy、pandas、scikit-learn 等依赖。推荐用 conda 创建独立环境避免把全局环境搞乱。torch 版本不匹配会出现 unknown opcode 这类诡异错误排查起来很花时间。conda env create -f environment.yml conda activate water_transfer如果 environment.yml 缺失我一般先安装核心依赖 torch、numpy、pandas、scikit-learn再装 matplotlib 用于出图。验证环境只需要跑一个最小命令两分钟内走完一个完整训练循环python run.py --model LSTM --data ETT --seq_len 24 --pred_len 1 --train_epochs 1这个命令只训练 1 轮数据量小能快速确认数据加载、模型前向、loss 反传路径都正常。看到 loss 打印出来而不是报错就可以放心跑完整实验。5.3 迁移效果验证的对照实验验证迁移学习到底有没有用推荐做一个对照实验目标域只保留 600 条训练样本分别执行--transfer 0和--transfer 1比较两组在验证集上的 MAPE。迁移组的 MAPE 如果低 3 到 5 个百分点说明预训练权重确实带来了收益。另一个对比指标是收敛速度迁移组通常在 10 轮内达到基线组 30 轮的精度这个结论放在课程设计或毕设案例的结论部分很有说服力。做对照实验必须固定随机种子。run.py 里的 seed 参数在数据加载前设置 torch.manual_seed 和 np.random.seed确保两个对照组使用完全相同的数据切分和模型初始化顺序。同一份代码、同一个种子、只改 transfer 开关最后的指标差异才能归因于迁移学习本身。本文还有配套的精品资源点击获取