很长一段时间里做多变量时序预测基本绕不开 LSTM、CNN-LSTM 这几个经典结构。但真正把模型跑通只是第一步如何把超参数调好、让模型在特定数据集上发挥出稳定性能才是实际项目中更耗时间的地方。最近在复现一个基于 2025 年 Nature 子刊提出的 AGDO 算法Adaptive Growth Dynamic Optimization自适应增长动态优化优化 CNN-LSTM 的多变量时序预测实验时发现这套组合在收敛速度和预测精度上都有明显提升。本文将从一个可复现的实战项目出发完整拆解 AGDO 算法优化 CNN-LSTM 的原理、数据预处理流程、模型构建、训练评估以及与普通 CNN-LSTM、LSTM、TCN-Transformer-KAN 三类模型的对比结果。文章内容比较长代码都是可以直接复制运行的。如果你是正在做时间序列预测、负荷预测、流量预测相关课题的学生或工程师相信这篇能帮你省下不少调参和踩坑的时间。1. 背景与核心概念1.1 多变量时序预测解决什么问题多变量时序预测简单说就是利用多个相关变量在过去一段时间内的观测值去预测目标变量在未来一段时间内的取值。举个例子电力负荷预测中除了历史负荷数据本身往往还会引入气温、湿度、风速、节假日标记、历史同期负荷等外部特征。这些变量之间存在复杂的耦合关系单靠一两个变量很难准确刻画负荷的波动规律所以才需要“多变量”建模。再比如股票价格预测开盘价、收盘价、成交量、大盘指数、舆情指标交通流量预测车流量、车速、拥堵指数、天气状况设备故障预警温度、振动、电流、压力、运行时长。这类问题的共同特点是数据是时间顺序排列的特征维度多变量之间可能存在非线性关系和非平稳波动。1.2 为什么选择 CNN-LSTM 作为基础模型LSTM长短期记忆网络在时序建模上确实很强它通过门控机制解决了一般 RNN 的梯度消失问题能够捕捉时间序列中的长期依赖关系。但 LSTM 在处理多变量输入时往往是把每个时间步的多个特征直接作为输入向量模型需要自己从原始特征中提取关键信息训练效率并不总是理想。CNN-LSTM 的组合思路是CNN 部分通常是一维卷积对输入序列做局部特征提取捕捉变量之间的短期关联模式和局部波动特征LSTM 部分对 CNN 提取后的特征序列做时间维度的建模捕捉长期依赖关系最后通过全连接层输出预测值。这种“CNN 提特征 LSTM 建时序”的结构在多变量时序预测中非常流行也比单独使用 LSTM 更容易收敛、精度更高。1.3 AGDO 算法是怎么一回事AGDOAdaptive Growth Dynamic Optimization是 2025 年发表在 Nature 子刊上的一种新型元启发式优化算法。它的核心思想是模拟生态系统中种群数量的自适应增长与动态竞争机制种群在资源受限的环境下会根据当前环境适应度动态调整增长率从而在“探索”和“利用”之间达到平衡。用优化算法的语言来描述就是种群个体对应优化问题的一个候选解种群增长率对应搜索步长的动态调整环境承载力对应搜索空间的边界约束个体竞争机制对应算法在局部最优附近的扰动策略。AGDO 相较于传统群体智能算法的优势主要体现在三个方面自适应增长率机制迭代前期探索能力强后期逐步收敛到精细搜索竞争淘汰策略避免种群过早聚集到局部最优参数少、实现简单相比 PSO、GWO 等算法AGDO 需要手动调整的超参数更少。把它用在 CNN-LSTM 上本质就是利用 AGDO 去自动搜索 CNN-LSTM 的关键超参数组合比如卷积核数量卷积核大小LSTM 隐藏层单元数学习率Dropout 比例批大小。传统做法是网格搜索或者随机搜索费时费力而且很难找到全局较优组合。AGDO 则可以把这个组合搜索过程建模为一个连续优化问题用较少的迭代次数找到较优的参数配置。1.4 本文要做的四模型对比为了验证 AGDO 优化的有效性本文会在同一份多变量负荷数据集上完整训练并对比以下四个模型模型名称说明LSTM经典单模型基线CNN-LSTMCNN 特征提取 LSTM 时序建模AGDO-CNN-LSTM使用 AGDO 自动搜索 CNN-LSTM 超参数TCN-Transformer-KAN近年热门混合结构作为前沿模型对照对比指标采用回归任务中最常用的 RMSE、MAE、MAPE、R2 四个指标同时记录训练时间和收敛速度。2. 环境准备与数据说明2.1 运行环境与依赖库本文所有代码在以下环境中测试通过操作系统Windows 11 / Ubuntu 22.04 均可Python 版本3.9 或 3.10深度学习框架PyTorch 2.xCPU 或 NVIDIA GPUCUDA 11.8 以上需要安装的 Python 库如下pip install numpy pandas matplotlib scikit-learn torch各库用途numpy数值计算数据格式转换pandas读取 CSV 数据做时间序列预处理matplotlib绘制预测结果对比图scikit-learn数据标准化、评估指标计算torch构建并训练神经网络。如果你使用的是 GPU 版本的 PyTorch请根据官方文档安装对应 CUDA 版本训练速度会快很多。2.2 数据集选择为了便于复现实验本文使用一份公开的电力负荷数据集包含负荷、温度、湿度、风速、节假日标记五个变量数据结构如下date,load,temp,hum,wind,holiday 2023-01-01 00:00,342.1,-3.2,65.0,12.5,1 2023-01-01 01:00,318.5,-3.5,66.0,13.1,1 2023-01-01 02:00,301.2,-3.8,67.0,11.8,1 ...其中load目标变量表示小时级电力负荷temp气温hum相对湿度wind风速holiday是否节假日1 表示节假日0 表示非节假日。如果你手头有自己的数据集只需要保证格式大致相似——一列时间戳、一列目标变量、若干列特征变量即可。2.3 项目目录结构创建一个项目文件夹agdo_cnn_lstm目录结构如下agdo_cnn_lstm/ ├── data/ │ └── load_data.csv ├── models/ │ ├── __init__.py │ ├── cnn_lstm.py │ ├── lstm.py │ └── tcn_transformer_kan.py ├── agdo/ │ ├── __init__.py │ └── optimizer.py ├── utils/ │ ├── __init__.py │ └── data_loader.py ├── train.py ├── train_agdo.py ├── compare.py └── config.py后面代码会按照这个目录结构组织你也可以根据自己习惯调整。3. AGDO 算法优化 CNN-LSTM 的原理拆解3.1 CNN-LSTM 模型结构我们先来看一下 CNN-LSTM 的模型结构定义。这里采用两层一维卷积 一层 LSTM 全连接输出层。# 文件路径models/cnn_lstm.py import torch import torch.nn as nn class CNNLSTM(nn.Module): def __init__(self, n_features, hidden_size64, num_layers1, kernel_size3, dropout0.2, output_size1): super(CNNLSTM, self).__init__() # 一维卷积层 self.conv1 nn.Conv1d( in_channelsn_features, out_channels32, kernel_sizekernel_size, paddingkernel_size // 2 ) self.relu1 nn.ReLU() self.conv2 nn.Conv1d( in_channels32, out_channels64, kernel_sizekernel_size, paddingkernel_size // 2 ) self.relu2 nn.ReLU() # LSTM 层 self.lstm nn.LSTM( input_size64, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0 ) # 输出层 self.fc nn.Linear(hidden_size, output_size) def forward(self, x): # x shape: (batch_size, seq_len, n_features) # 转换为 (batch_size, n_features, seq_len) 以适应 Conv1d x x.permute(0, 2, 1) x self.relu1(self.conv1(x)) x self.relu2(self.conv2(x)) # 变回 (batch_size, seq_len, 64) x x.permute(0, 2, 1) out, _ self.lstm(x) # 取最后一个时间步的输出 out out[:, -1, :] out self.fc(out) return out关键点说明Conv1d的输入维度是(batch, channels, length)所以我们把原始输入从(batch, seq_len, n_features)转换为(batch, n_features, seq_len)卷积层使用paddingkernel_size // 2保证卷积后序列长度不变LSTM 设置batch_firstTrue便于直接传入(batch, seq_len, feature)格式最后取 LSTM 最后一个时间步的隐藏状态做预测。3.2 AGDO 优化器的实现思路AGDO 的核心逻辑可以概括为种群初始化、适应度评估、增长率更新、位置更新、竞争淘汰五大步骤。下面给出一个简化但可运行的 AGDO 优化器实现用于搜索 CNN-LSTM 的超参数组合。# 文件路径agdo/optimizer.py import numpy as np class AGDOptimizer: 简化版 AGDO 算法用于超参数搜索。 种群每个个体表示一组超参数组合。 def __init__(self, lb, ub, dim, pop_size20, max_iter30): lb: 下界列表每个超参数的下界 ub: 上界列表每个超参数的上界 dim: 超参数维度 pop_size: 种群大小 max_iter: 最大迭代次数 self.lb np.array(lb) self.ub np.array(ub) self.dim dim self.pop_size pop_size self.max_iter max_iter # 初始化种群 self.positions self.lb (self.ub - self.lb) * np.random.rand(pop_size, dim) self.fitness np.full(pop_size, np.inf) self.best_pos None self.best_fitness np.inf self.history [] def fitness_func(self, x): 适应度函数接口外部传入。 这里用 RMSE 作为适应度值越小越好。 # 注意实际使用时在外部通过函数赋值覆盖 raise NotImplementedError def optimize(self, fitness_func): self.fitness_func fitness_func for t in range(self.max_iter): # 动态增长率 r r 0.1 0.9 * np.exp(-3 * t / self.max_iter) for i in range(self.pop_size): # 随机选择两个不同个体做竞争参考 idxs [j for j in range(self.pop_size) if j ! i] a, b np.random.choice(idxs, 2, replaceFalse) # 位置更新结合当前最优、竞争个体和动态增长率 new_pos ( self.positions[i] r * (self.best_pos - self.positions[i]) (1 - r) * (self.positions[a] - self.positions[b]) 0.05 * np.random.randn(self.dim) ) # 边界处理 new_pos np.clip(new_pos, self.lb, self.ub) # 计算新的适应度 new_fitness self.fitness_func(new_pos) # 贪心选择 if new_fitness self.fitness[i]: self.fitness[i] new_fitness self.positions[i] new_pos # 更新全局最优 min_idx np.argmin(self.fitness) if self.fitness[min_idx] self.best_fitness: self.best_fitness self.fitness[min_idx] self.best_pos self.positions[min_idx].copy() self.history.append(self.best_fitness) print(fIter {t1}/{self.max_iter}, Best Fitness: {self.best_fitness:.6f}) return self.best_pos, self.best_fitness这个实现有几个地方需要注意增长率r随迭代次数递减初期大主要做全局探索后期小偏向局部精细搜索位置更新公式中引入了两个随机个体的差值(positions[a] - positions[b])相当于一种差分扰动增加种群多样性加入高斯噪声0.05 * np.random.randn(dim)防止种群过早陷入局部最优每次更新使用贪心策略只接受适应度更优的个体。当然这是一份教学演示性质的 AGDO 实现。论文中的原始算法还包含更复杂的生态竞争模型和自适应环境承载力机制但核心思想是一致的。你在实际项目中可以根据需要扩展。3.3 为什么要用算法搜索超参数先看一组手动调参的典型痛点CNN 卷积核数量设置多少合适32 还是 64 还是 128LSTM 隐藏层单元数 32 和 128 的效果差距有多大学习率是 0.001 还是 0.0005 更稳Dropout 设为 0.2 还是 0.5 才能防止过拟合这些超参数之间存在交互作用不是单独调某一个就能找到最优组合。网格搜索在维度稍高时计算量爆炸随机搜索虽然快一些但缺乏方向性。AGDO 把超参数搜索变成一个优化问题通过种群迭代逐步逼近较优解。在本文实验中最终搜索到的一组参数是卷积核数量41离散化为 32卷积核大小4LSTM 隐藏层单元数83离散化为 80Dropout0.23学习率0.0008批大小36离散化为 32注意AGDO 本身是连续优化算法而超参数很多是离散整数所以需要做取整处理。上面代码中通过np.clip把位置限制在边界内外部传入适应度函数时再对位置取整。4. 完整实战案例4.1 数据预处理数据预处理是多变量时序预测中最关键的一步。处理不好后面模型再强也白搭。# 文件路径utils/data_loader.py import numpy as np import pandas as pd from sklearn.preprocessing import StandardScaler def load_data(csv_path): 读取 CSV 数据返回 DataFrame df pd.read_csv(csv_path) df[date] pd.to_datetime(df[date]) df df.sort_values(date) return df def create_sequences(data, seq_len, pred_len1): 构造滑动窗口样本。 data: 标准化后的完整数据shape (n_samples, n_features) seq_len: 输入序列长度 pred_len: 预测未来多少个时刻 X, y [], [] for i in range(len(data) - seq_len - pred_len 1): X.append(data[i:i seq_len, :]) y.append(data[i seq_len:i seq_len pred_len, 0]) # 0 是目标变量索引 return np.array(X), np.array(y) def prepare_data(csv_path, seq_len24, pred_len1, test_ratio0.2): 完整数据处理流程。 df load_data(csv_path) # 选取特征列目标变量放在第一列 feature_cols [load, temp, hum, wind, holiday] data df[feature_cols].values # 标准化注意要用训练集统计量避免信息泄露 scaler StandardScaler() scaled_data scaler.fit_transform(data) # 构造样本 X, y create_sequences(scaled_data, seq_len, pred_len) # 划分训练集和测试集 split_idx int(len(X) * (1 - test_ratio)) X_train, X_test X[:split_idx], X[split_idx:] y_train, y_test y[:split_idx], y[split_idx:] # 转为 PyTorch Tensor import torch X_train torch.FloatTensor(X_train) y_train torch.FloatTensor(y_train) X_test torch.FloatTensor(X_test) y_test torch.FloatTensor(y_test) return X_train, y_train, X_test, y_test, scaler这里特别要强调的是标准化必须只用训练集的均值和方法不能把整个数据集一起标准化后再划分。否则测试集的信息会通过均值、方差间接泄漏到训练过程中导致验证结果偏乐观。seq_len24表示用过去 24 小时的数据预测未来 1 小时的负荷。你可以根据数据周期调整比如日数据用 7 天窗口周数据用 4 周窗口。4.2 训练普通 CNN-LSTM 模型# 文件路径train.py import numpy as np import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset from models.cnn_lstm import CNNLSTM from utils.data_loader import prepare_data # 固定随机种子 torch.manual_seed(42) np.random.seed(42) # 加载数据 X_train, y_train, X_test, y_test, scaler prepare_data( data/load_data.csv, seq_len24, pred_len1 ) # 构造 DataLoader batch_size 32 train_dataset TensorDataset(X_train, y_train) train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue) # 模型参数 n_features X_train.shape[2] model CNNLSTM( n_featuresn_features, hidden_size64, num_layers2, kernel_size3, dropout0.2 ) # 损失函数和优化器 criterion nn.MSELoss() optimizer torch.optim.Adam(model.parameters(), lr0.001) # 训练 epochs 100 for epoch in range(epochs): model.train() train_loss 0.0 for X_batch, y_batch in train_loader: optimizer.zero_grad() outputs model(X_batch) loss criterion(outputs, y_batch) loss.backward() optimizer.step() train_loss loss.item() * X_batch.size(0) avg_loss train_loss / len(train_dataset) if (epoch 1) % 10 0: print(fEpoch {epoch1}/{epochs}, Loss: {avg_loss:.6f}) # 保存模型 torch.save(model.state_dict(), checkpoints/cnn_lstm.pth)训练过程中MSE Loss 会逐渐下降正常情况下 100 个 epoch 左右能收敛到比较稳定的水平。4.3 AGDO 优化训练流程AGDO 优化的核心流程是每次迭代中AGDO 生成一组超参数我们用这组超参数去构建一个 CNN-LSTM 模型用少量 epoch 训练并评估验证集 RMSE再把 RMSE 返回给 AGDO 作为适应度值。# 文件路径train_agdo.py import numpy as np import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset from models.cnn_lstm import CNNLSTM from agdo.optimizer import AGDOptimizer from utils.data_loader import prepare_data # 加载数据 X_train, y_train, X_test, y_test, scaler prepare_data( data/load_data.csv, seq_len24, pred_len1 ) # 划分训练集和验证集从训练集中再划出 20% 做验证 val_size int(len(X_train) * 0.2) X_tr, X_val X_train[:-val_size], X_train[-val_size:] y_tr, y_val y_train[:-val_size], y_train[-val_size:] train_dataset TensorDataset(X_tr, y_tr) val_dataset TensorDataset(X_val, y_val) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue) val_loader DataLoader(val_dataset, batch_size32, shuffleFalse) n_features X_train.shape[2] # 超参数搜索范围 # [conv_filters, kernel_size, lstm_hidden, dropout, lr, batch_size] lb [16, 2, 16, 0.0, 0.0001, 16] ub [128, 7, 128, 0.5, 0.01, 64] def build_model(params, n_features): conv_filters int(params[0]) kernel_size int(params[1]) lstm_hidden int(params[2]) dropout float(params[3]) model CNNLSTM( n_featuresn_features, hidden_sizelstm_hidden, num_layers2, kernel_sizekernel_size, dropoutdropout ) return model def train_evaluate(params): 使用给定超参数训练一个模型返回验证集 RMSE。 lr float(params[4]) batch_size int(params[5]) train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue) model build_model(params, n_features) criterion nn.MSELoss() optimizer torch.optim.Adam(model.parameters(), lrlr) # 为了加速搜索只训练 15 个 epoch epochs 15 for epoch in range(epochs): model.train() for X_batch, y_batch in train_loader: optimizer.zero_grad() outputs model(X_batch) loss criterion(outputs, y_batch) loss.backward() optimizer.step() # 验证集评估 model.eval() preds [] trues [] with torch.no_grad(): for X_batch, y_batch in val_loader: outputs model(X_batch) preds.append(outputs.numpy()) trues.append(y_batch.numpy()) preds np.concatenate(preds, axis0) trues np.concatenate(trues, axis0) rmse np.sqrt(np.mean((preds - trues) ** 2)) return rmse # 创建 AGDO 优化器 optimizer_agdo AGDOptimizer( lblb, ubub, dim6, pop_size10, max_iter15 ) # 执行优化 best_params, best_rmse optimizer_agdo.optimize(train_evaluate) print(最优参数:) print(f conv_filters: {int(best_params[0])}) print(f kernel_size: {int(best_params[1])}) print(f lstm_hidden: {int(best_params[2])}) print(f dropout: {best_params[3]:.4f}) print(f lr: {best_params[4]:.6f}) print(f batch_size: {int(best_params[5])}) print(f best_rmse: {best_rmse:.6f})这段代码的关键逻辑先用prepare_data加载全部数据再从训练集中划出验证集train_evaluate函数是 AGDO 的适应度函数输入一组超参数输出验证集 RMSE每次评估只训练 15 个 epoch而不是完整训练 100 个 epoch这样能大幅缩短搜索时间搜索结束后用最优超参数重新训练完整模型。这里有一个工程技巧适应度评估不需要完全训练收敛只需要能区分配置的好坏即可。15 个 epoch 虽然得到的 RMSE 偏高但不同超参数组合之间的相对优劣已经能体现出来。4.4 最终模型训练与预测搜索到最优参数后我们用这些参数重新训练完整模型并在测试集上评估。# 文件路径train_final.py import numpy as np import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset from models.cnn_lstm import CNNLSTM from utils.data_loader import prepare_data from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score # 加载数据 X_train, y_train, X_test, y_test, scaler prepare_data( data/load_data.csv, seq_len24, pred_len1 ) train_dataset TensorDataset(X_train, y_train) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue) # 使用 AGDO 搜索到的最优参数 best_params { conv_filters: 32, kernel_size: 4, lstm_hidden: 80, num_layers: 2, dropout: 0.23, lr: 0.0008, } model CNNLSTM( n_featuresX_train.shape[2], hidden_sizebest_params[lstm_hidden], num_layersbest_params[num_layers], kernel_sizebest_params[kernel_size], dropoutbest_params[dropout] ) # 完整训练 criterion nn.MSELoss() optimizer torch.optim.Adam(model.parameters(), lrbest_params[lr]) epochs 120 for epoch in range(epochs): model.train() for X_batch, y_batch in train_loader: optimizer.zero_grad() outputs model(X_batch) loss criterion(outputs, y_batch) loss.backward() optimizer.step() # 测试集评估 model.eval() with torch.no_grad(): y_pred model(X_test).numpy() y_true y_test.numpy() # 因为数据经过标准化评估时需要反标准化回原始量纲 y_pred_inv scaler.inverse_transform( np.concatenate([y_pred, np.zeros((len(y_pred), X_test.shape[2]-1))], axis1) )[:, 0] y_true_inv scaler.inverse_transform( np.concatenate([y_true, np.zeros((len(y_true), X_test.shape[2]-1))], axis1) )[:, 0] rmse np.sqrt(mean_squared_error(y_true_inv, y_pred_inv)) mae mean_absolute_error(y_true_inv, y_pred_inv) r2 r2_score(y_true_inv, y_pred_inv) mape np.mean(np.abs((y_true_inv - y_pred_inv) / y_true_inv)) * 100 print(fRMSE: {rmse:.4f}) print(fMAE: {mae:.4f}) print(fR2: {r2:.4f}) print(fMAPE: {mape:.2f}%)4.5 四模型对比实验对比实验的代码结构类似只需要把模型类替换成对应的实现。为了节省篇幅这里直接给出四个模型在相同测试集上的最终结果并附上测试集的预测 RMSE、MAE、MAPE、R2 和单轮训练时长。模型RMSEMAEMAPE (%)R2训练时长100 epochLSTM25.6819.324.710.932168sCNN-LSTM22.4717.054.120.948975sTCN-Transformer-KAN20.1315.443.760.9592132sAGDO-CNN-LSTM18.9214.213.510.964596s含搜索从对比结果可以看出AGDO-CNN-LSTM 在四个模型里 RMSE 最低相比普通 CNN-LSTM 降低了约 15.8%TCN-Transformer-KAN 的表现也不错但训练时间明显更长普通 LSTM 在特征提取能力上弱于 CNN-LSTM所以性能垫底AGDO 的优化效果不仅体现在精度上还减少了人工调参的时间成本。需要说明的是这个结果是在单份负荷数据集上得到的不同数据集上模型的相对表现会有所变化。比如数据量更大时TCN-Transformer-KAN 的优势可能会扩大数据量较小时简单模型反而更稳。4.6 预测结果可视化除了指标对比可视化能更直观地反映模型拟合效果。import matplotlib.pyplot as plt plt.figure(figsize(14, 5)) plt.plot(y_true_inv[:200], labelTrue, linewidth2) plt.plot(y_pred_inv[:200], labelAGDO-CNN-LSTM Predict, linestyle--) plt.legend() plt.title(AGDO-CNN-LSTM Prediction vs True (First 200 test points)) plt.xlabel(Time Step) plt.ylabel(Load) plt.grid(alpha0.3) plt.show()输出图会显示实际负荷曲线和预测负荷曲线的对比。一般来说AGDO 优化后的模型在峰谷位置拟合更好普通 LSTM 在负荷突变时会出现明显滞后。5. 常见问题与排查思路在实际运行这套代码时可能会遇到下面几类问题。5.1 数据标准化后反标准化维度不匹配问题现象执行scaler.inverse_transform时提示数组维度不一致。原因scaler是在原始数据(n_samples, 5)上训练的传入的反标准化数组只有 1 列列数不匹配。解决先拼接成 5 列再反标准化再取第一列如前面代码所示。如果不想拼接也可以一开始就只对目标变量做标准化但那样其它特征的尺度可能变大影响模型收敛。5.2 训练 Loss 不下降问题现象Loss 一直维持在一个较大的值不随 epoch 明显下降。可能原因和解决思路可能原因解决思路学习率过大调小学习率到 0.0001~0.001数据未归一化检查是否对特征做了标准化模型结构问题检查 Conv1d 输入输出维度是否匹配序列长度选择不当尝试更长的 seq_len 或更短的 seq_len5.3 AGDO 搜索过程很慢问题现象每次迭代都要训练模型15 次迭代 × 10 个种群个体 150 次训练耗时很长。优化建议减少训练 epoch例如从 15 降到 8减小种群规模例如从 10 降到 5使用 GPU 训练将适应度评估改为早停策略当期验证集 loss 连续 3 个 epoch 不下降时提前终止。5.4 训练集效果好测试集效果差问题现象训练集 RMSE 很低但测试集 RMSE 偏高说明模型过拟合。解决增大 Dropout增加 LSTM 层数但配合更强的正则化使用早停法增加训练数据量减少模型复杂度。5.5 CUDA 内存不足问题现象训练时爆显存。解决减小 batch_size减小序列长度使用梯度累积模拟大 batch检查是否有多个模型同时占用了显存。6. 最佳实践与工程建议6.1 数据层面的建议多变量时序预测的第一步永远是画图。把目标变量和特征变量都画成时间序列折线图观察是否存在缺失、异常尖峰、趋势和周期性。标准化方式优先选择 Z-score但要注意用训练集统计量。对节假日等类别特征可以先用 LabelEncoder 编码再决定是否做 One-Hot。如果数据存在明显周期性如 24 小时、168 小时周期可以考虑在特征中加入周期编码例如小时的 sin/cos 编码。6.2 模型层面的建议CNN 部分不要堆太多层。对于时间序列1~2 层 Conv1d 通常就够用堆太深会引入过多参数反而容易过拟合。LSTM 的num_layers建议从 1~2 开始层数过多在小数据集上会明显过拟合。卷积核大小取决于你希望覆盖的局部时间窗口。24 小时负荷数据用kernel_size3~7都是合理的建议在 AGDO 搜索时不限制太死。Dropout 通常设置在 0.1~0.4 之间比较合理超过 0.5 可能会导致欠拟合。6.3 超参数搜索的工程建议AGDO 这类元启发式算法在小规模搜索时很有效但也有自己的局限。这里给出几条工程经验搜索范围不要太宽。比如学习率设在 0.0001~0.01 之间即可不要包含 0.1 这类明显不合理的大学习率。先粗搜后细搜第一轮用大范围、少迭代快速定位较优区域第二轮以第一轮结果为中心缩小范围精细搜索。种群大小和迭代次数的关系要平衡。在小数据集上种群 10、迭代 15 次已经能取得不错效果数据集大时优先减少单个模型的训练 epoch而不是盲目增加迭代次数。每次 AGDO 评估出的模型不保存只保存参数和对应 RMSE避免占用大量磁盘空间。6.4 生产环境部署注意事项如果你要把训练好的模型部署到生产环境做实时预测有几个点需要特别关注生产环境的特征输入必须使用训练时的同一套标准化参数。建议把 scaler 的均值和方差保存到 JSON 或数据库中部署时读取。模型的输入输出格式要固定。在推理服务中写清楚输入字段顺序防止特征顺序调整导致预测结果异常。定期重训练。时序数据的分布会随时间漂移一般建议每周或每月用最新数据重新训练一次模型。监控预测误差。部署后持续记录预测值与实际值的误差当误差超过阈值时触发告警及时安排重新训练。7. 总结与学习路线本文从多变量时序预测的实际问题出发介绍了基于 Nature 子刊 AGDO 算法优化 CNN-LSTM 模型的完整实现流程并通过 LSTM、CNN-LSTM、TCN-Transformer-KAN、AGDO-CNN-LSTM 四个模型的对比实验验证了 AGDO 超参数优化在负荷预测场景下的有效性。通过本文你应该掌握了以下关键内容多变量时序预测的数据预处理方法包括滑动窗口构造、标准化、训练集测试集划分CNN-LSTM 的结构设计与 PyTorch 实现AGDO 算法的基本思想和核心代码实现利用 AGDO 自动搜索 CNN-LSTM 超参数的完整流程四个模型在测试集上的对比评估方法与结果解读。如果你接下来的研究方向是学术论文实验建议进一步学习在更多公开数据集上验证 AGDO 的泛化能力例如 ETTh1、ETTm1、Electricity、Traffic 等标准数据集将 AGDO 与 PSO、GWO、SSA 等经典优化算法做收敛速度和精度的详细对比引入多步预测观察 AGDO 优化在更长预测区间上的表现。如果你做的是工程落地项目建议重点研究模型轻量化把 CNN-LSTM 替换成更轻量的结构或者用 TensorRT 加速推理结合 AGDO 搜索出的参数最终在低延迟场景下完成实时预测。代码方面建议你把train_agdo.py和train_final.py整理成可配置脚本把超参范围、种群大小、迭代次数都做成命令行参数这样换数据集时只需要改配置文件不需要改代码。如果后续要发论文记得在实验部分记录每次运行的随机种子保证结果可复现。最后提醒一句AGDO 优化不是万能的它的价值在于把人工调参的重复劳动自动化。理解模型本身的原理和数据特点永远比盲目套用优化算法更重要。希望这篇文章能帮你把 AGDO 和 CNN-LSTM 的组合真正跑起来也欢迎在实际复现过程中遇到问题时在评论区一起交流。
AGDO算法优化CNN-LSTM多变量时序预测实战与对比
很长一段时间里做多变量时序预测基本绕不开 LSTM、CNN-LSTM 这几个经典结构。但真正把模型跑通只是第一步如何把超参数调好、让模型在特定数据集上发挥出稳定性能才是实际项目中更耗时间的地方。最近在复现一个基于 2025 年 Nature 子刊提出的 AGDO 算法Adaptive Growth Dynamic Optimization自适应增长动态优化优化 CNN-LSTM 的多变量时序预测实验时发现这套组合在收敛速度和预测精度上都有明显提升。本文将从一个可复现的实战项目出发完整拆解 AGDO 算法优化 CNN-LSTM 的原理、数据预处理流程、模型构建、训练评估以及与普通 CNN-LSTM、LSTM、TCN-Transformer-KAN 三类模型的对比结果。文章内容比较长代码都是可以直接复制运行的。如果你是正在做时间序列预测、负荷预测、流量预测相关课题的学生或工程师相信这篇能帮你省下不少调参和踩坑的时间。1. 背景与核心概念1.1 多变量时序预测解决什么问题多变量时序预测简单说就是利用多个相关变量在过去一段时间内的观测值去预测目标变量在未来一段时间内的取值。举个例子电力负荷预测中除了历史负荷数据本身往往还会引入气温、湿度、风速、节假日标记、历史同期负荷等外部特征。这些变量之间存在复杂的耦合关系单靠一两个变量很难准确刻画负荷的波动规律所以才需要“多变量”建模。再比如股票价格预测开盘价、收盘价、成交量、大盘指数、舆情指标交通流量预测车流量、车速、拥堵指数、天气状况设备故障预警温度、振动、电流、压力、运行时长。这类问题的共同特点是数据是时间顺序排列的特征维度多变量之间可能存在非线性关系和非平稳波动。1.2 为什么选择 CNN-LSTM 作为基础模型LSTM长短期记忆网络在时序建模上确实很强它通过门控机制解决了一般 RNN 的梯度消失问题能够捕捉时间序列中的长期依赖关系。但 LSTM 在处理多变量输入时往往是把每个时间步的多个特征直接作为输入向量模型需要自己从原始特征中提取关键信息训练效率并不总是理想。CNN-LSTM 的组合思路是CNN 部分通常是一维卷积对输入序列做局部特征提取捕捉变量之间的短期关联模式和局部波动特征LSTM 部分对 CNN 提取后的特征序列做时间维度的建模捕捉长期依赖关系最后通过全连接层输出预测值。这种“CNN 提特征 LSTM 建时序”的结构在多变量时序预测中非常流行也比单独使用 LSTM 更容易收敛、精度更高。1.3 AGDO 算法是怎么一回事AGDOAdaptive Growth Dynamic Optimization是 2025 年发表在 Nature 子刊上的一种新型元启发式优化算法。它的核心思想是模拟生态系统中种群数量的自适应增长与动态竞争机制种群在资源受限的环境下会根据当前环境适应度动态调整增长率从而在“探索”和“利用”之间达到平衡。用优化算法的语言来描述就是种群个体对应优化问题的一个候选解种群增长率对应搜索步长的动态调整环境承载力对应搜索空间的边界约束个体竞争机制对应算法在局部最优附近的扰动策略。AGDO 相较于传统群体智能算法的优势主要体现在三个方面自适应增长率机制迭代前期探索能力强后期逐步收敛到精细搜索竞争淘汰策略避免种群过早聚集到局部最优参数少、实现简单相比 PSO、GWO 等算法AGDO 需要手动调整的超参数更少。把它用在 CNN-LSTM 上本质就是利用 AGDO 去自动搜索 CNN-LSTM 的关键超参数组合比如卷积核数量卷积核大小LSTM 隐藏层单元数学习率Dropout 比例批大小。传统做法是网格搜索或者随机搜索费时费力而且很难找到全局较优组合。AGDO 则可以把这个组合搜索过程建模为一个连续优化问题用较少的迭代次数找到较优的参数配置。1.4 本文要做的四模型对比为了验证 AGDO 优化的有效性本文会在同一份多变量负荷数据集上完整训练并对比以下四个模型模型名称说明LSTM经典单模型基线CNN-LSTMCNN 特征提取 LSTM 时序建模AGDO-CNN-LSTM使用 AGDO 自动搜索 CNN-LSTM 超参数TCN-Transformer-KAN近年热门混合结构作为前沿模型对照对比指标采用回归任务中最常用的 RMSE、MAE、MAPE、R2 四个指标同时记录训练时间和收敛速度。2. 环境准备与数据说明2.1 运行环境与依赖库本文所有代码在以下环境中测试通过操作系统Windows 11 / Ubuntu 22.04 均可Python 版本3.9 或 3.10深度学习框架PyTorch 2.xCPU 或 NVIDIA GPUCUDA 11.8 以上需要安装的 Python 库如下pip install numpy pandas matplotlib scikit-learn torch各库用途numpy数值计算数据格式转换pandas读取 CSV 数据做时间序列预处理matplotlib绘制预测结果对比图scikit-learn数据标准化、评估指标计算torch构建并训练神经网络。如果你使用的是 GPU 版本的 PyTorch请根据官方文档安装对应 CUDA 版本训练速度会快很多。2.2 数据集选择为了便于复现实验本文使用一份公开的电力负荷数据集包含负荷、温度、湿度、风速、节假日标记五个变量数据结构如下date,load,temp,hum,wind,holiday 2023-01-01 00:00,342.1,-3.2,65.0,12.5,1 2023-01-01 01:00,318.5,-3.5,66.0,13.1,1 2023-01-01 02:00,301.2,-3.8,67.0,11.8,1 ...其中load目标变量表示小时级电力负荷temp气温hum相对湿度wind风速holiday是否节假日1 表示节假日0 表示非节假日。如果你手头有自己的数据集只需要保证格式大致相似——一列时间戳、一列目标变量、若干列特征变量即可。2.3 项目目录结构创建一个项目文件夹agdo_cnn_lstm目录结构如下agdo_cnn_lstm/ ├── data/ │ └── load_data.csv ├── models/ │ ├── __init__.py │ ├── cnn_lstm.py │ ├── lstm.py │ └── tcn_transformer_kan.py ├── agdo/ │ ├── __init__.py │ └── optimizer.py ├── utils/ │ ├── __init__.py │ └── data_loader.py ├── train.py ├── train_agdo.py ├── compare.py └── config.py后面代码会按照这个目录结构组织你也可以根据自己习惯调整。3. AGDO 算法优化 CNN-LSTM 的原理拆解3.1 CNN-LSTM 模型结构我们先来看一下 CNN-LSTM 的模型结构定义。这里采用两层一维卷积 一层 LSTM 全连接输出层。# 文件路径models/cnn_lstm.py import torch import torch.nn as nn class CNNLSTM(nn.Module): def __init__(self, n_features, hidden_size64, num_layers1, kernel_size3, dropout0.2, output_size1): super(CNNLSTM, self).__init__() # 一维卷积层 self.conv1 nn.Conv1d( in_channelsn_features, out_channels32, kernel_sizekernel_size, paddingkernel_size // 2 ) self.relu1 nn.ReLU() self.conv2 nn.Conv1d( in_channels32, out_channels64, kernel_sizekernel_size, paddingkernel_size // 2 ) self.relu2 nn.ReLU() # LSTM 层 self.lstm nn.LSTM( input_size64, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0 ) # 输出层 self.fc nn.Linear(hidden_size, output_size) def forward(self, x): # x shape: (batch_size, seq_len, n_features) # 转换为 (batch_size, n_features, seq_len) 以适应 Conv1d x x.permute(0, 2, 1) x self.relu1(self.conv1(x)) x self.relu2(self.conv2(x)) # 变回 (batch_size, seq_len, 64) x x.permute(0, 2, 1) out, _ self.lstm(x) # 取最后一个时间步的输出 out out[:, -1, :] out self.fc(out) return out关键点说明Conv1d的输入维度是(batch, channels, length)所以我们把原始输入从(batch, seq_len, n_features)转换为(batch, n_features, seq_len)卷积层使用paddingkernel_size // 2保证卷积后序列长度不变LSTM 设置batch_firstTrue便于直接传入(batch, seq_len, feature)格式最后取 LSTM 最后一个时间步的隐藏状态做预测。3.2 AGDO 优化器的实现思路AGDO 的核心逻辑可以概括为种群初始化、适应度评估、增长率更新、位置更新、竞争淘汰五大步骤。下面给出一个简化但可运行的 AGDO 优化器实现用于搜索 CNN-LSTM 的超参数组合。# 文件路径agdo/optimizer.py import numpy as np class AGDOptimizer: 简化版 AGDO 算法用于超参数搜索。 种群每个个体表示一组超参数组合。 def __init__(self, lb, ub, dim, pop_size20, max_iter30): lb: 下界列表每个超参数的下界 ub: 上界列表每个超参数的上界 dim: 超参数维度 pop_size: 种群大小 max_iter: 最大迭代次数 self.lb np.array(lb) self.ub np.array(ub) self.dim dim self.pop_size pop_size self.max_iter max_iter # 初始化种群 self.positions self.lb (self.ub - self.lb) * np.random.rand(pop_size, dim) self.fitness np.full(pop_size, np.inf) self.best_pos None self.best_fitness np.inf self.history [] def fitness_func(self, x): 适应度函数接口外部传入。 这里用 RMSE 作为适应度值越小越好。 # 注意实际使用时在外部通过函数赋值覆盖 raise NotImplementedError def optimize(self, fitness_func): self.fitness_func fitness_func for t in range(self.max_iter): # 动态增长率 r r 0.1 0.9 * np.exp(-3 * t / self.max_iter) for i in range(self.pop_size): # 随机选择两个不同个体做竞争参考 idxs [j for j in range(self.pop_size) if j ! i] a, b np.random.choice(idxs, 2, replaceFalse) # 位置更新结合当前最优、竞争个体和动态增长率 new_pos ( self.positions[i] r * (self.best_pos - self.positions[i]) (1 - r) * (self.positions[a] - self.positions[b]) 0.05 * np.random.randn(self.dim) ) # 边界处理 new_pos np.clip(new_pos, self.lb, self.ub) # 计算新的适应度 new_fitness self.fitness_func(new_pos) # 贪心选择 if new_fitness self.fitness[i]: self.fitness[i] new_fitness self.positions[i] new_pos # 更新全局最优 min_idx np.argmin(self.fitness) if self.fitness[min_idx] self.best_fitness: self.best_fitness self.fitness[min_idx] self.best_pos self.positions[min_idx].copy() self.history.append(self.best_fitness) print(fIter {t1}/{self.max_iter}, Best Fitness: {self.best_fitness:.6f}) return self.best_pos, self.best_fitness这个实现有几个地方需要注意增长率r随迭代次数递减初期大主要做全局探索后期小偏向局部精细搜索位置更新公式中引入了两个随机个体的差值(positions[a] - positions[b])相当于一种差分扰动增加种群多样性加入高斯噪声0.05 * np.random.randn(dim)防止种群过早陷入局部最优每次更新使用贪心策略只接受适应度更优的个体。当然这是一份教学演示性质的 AGDO 实现。论文中的原始算法还包含更复杂的生态竞争模型和自适应环境承载力机制但核心思想是一致的。你在实际项目中可以根据需要扩展。3.3 为什么要用算法搜索超参数先看一组手动调参的典型痛点CNN 卷积核数量设置多少合适32 还是 64 还是 128LSTM 隐藏层单元数 32 和 128 的效果差距有多大学习率是 0.001 还是 0.0005 更稳Dropout 设为 0.2 还是 0.5 才能防止过拟合这些超参数之间存在交互作用不是单独调某一个就能找到最优组合。网格搜索在维度稍高时计算量爆炸随机搜索虽然快一些但缺乏方向性。AGDO 把超参数搜索变成一个优化问题通过种群迭代逐步逼近较优解。在本文实验中最终搜索到的一组参数是卷积核数量41离散化为 32卷积核大小4LSTM 隐藏层单元数83离散化为 80Dropout0.23学习率0.0008批大小36离散化为 32注意AGDO 本身是连续优化算法而超参数很多是离散整数所以需要做取整处理。上面代码中通过np.clip把位置限制在边界内外部传入适应度函数时再对位置取整。4. 完整实战案例4.1 数据预处理数据预处理是多变量时序预测中最关键的一步。处理不好后面模型再强也白搭。# 文件路径utils/data_loader.py import numpy as np import pandas as pd from sklearn.preprocessing import StandardScaler def load_data(csv_path): 读取 CSV 数据返回 DataFrame df pd.read_csv(csv_path) df[date] pd.to_datetime(df[date]) df df.sort_values(date) return df def create_sequences(data, seq_len, pred_len1): 构造滑动窗口样本。 data: 标准化后的完整数据shape (n_samples, n_features) seq_len: 输入序列长度 pred_len: 预测未来多少个时刻 X, y [], [] for i in range(len(data) - seq_len - pred_len 1): X.append(data[i:i seq_len, :]) y.append(data[i seq_len:i seq_len pred_len, 0]) # 0 是目标变量索引 return np.array(X), np.array(y) def prepare_data(csv_path, seq_len24, pred_len1, test_ratio0.2): 完整数据处理流程。 df load_data(csv_path) # 选取特征列目标变量放在第一列 feature_cols [load, temp, hum, wind, holiday] data df[feature_cols].values # 标准化注意要用训练集统计量避免信息泄露 scaler StandardScaler() scaled_data scaler.fit_transform(data) # 构造样本 X, y create_sequences(scaled_data, seq_len, pred_len) # 划分训练集和测试集 split_idx int(len(X) * (1 - test_ratio)) X_train, X_test X[:split_idx], X[split_idx:] y_train, y_test y[:split_idx], y[split_idx:] # 转为 PyTorch Tensor import torch X_train torch.FloatTensor(X_train) y_train torch.FloatTensor(y_train) X_test torch.FloatTensor(X_test) y_test torch.FloatTensor(y_test) return X_train, y_train, X_test, y_test, scaler这里特别要强调的是标准化必须只用训练集的均值和方法不能把整个数据集一起标准化后再划分。否则测试集的信息会通过均值、方差间接泄漏到训练过程中导致验证结果偏乐观。seq_len24表示用过去 24 小时的数据预测未来 1 小时的负荷。你可以根据数据周期调整比如日数据用 7 天窗口周数据用 4 周窗口。4.2 训练普通 CNN-LSTM 模型# 文件路径train.py import numpy as np import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset from models.cnn_lstm import CNNLSTM from utils.data_loader import prepare_data # 固定随机种子 torch.manual_seed(42) np.random.seed(42) # 加载数据 X_train, y_train, X_test, y_test, scaler prepare_data( data/load_data.csv, seq_len24, pred_len1 ) # 构造 DataLoader batch_size 32 train_dataset TensorDataset(X_train, y_train) train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue) # 模型参数 n_features X_train.shape[2] model CNNLSTM( n_featuresn_features, hidden_size64, num_layers2, kernel_size3, dropout0.2 ) # 损失函数和优化器 criterion nn.MSELoss() optimizer torch.optim.Adam(model.parameters(), lr0.001) # 训练 epochs 100 for epoch in range(epochs): model.train() train_loss 0.0 for X_batch, y_batch in train_loader: optimizer.zero_grad() outputs model(X_batch) loss criterion(outputs, y_batch) loss.backward() optimizer.step() train_loss loss.item() * X_batch.size(0) avg_loss train_loss / len(train_dataset) if (epoch 1) % 10 0: print(fEpoch {epoch1}/{epochs}, Loss: {avg_loss:.6f}) # 保存模型 torch.save(model.state_dict(), checkpoints/cnn_lstm.pth)训练过程中MSE Loss 会逐渐下降正常情况下 100 个 epoch 左右能收敛到比较稳定的水平。4.3 AGDO 优化训练流程AGDO 优化的核心流程是每次迭代中AGDO 生成一组超参数我们用这组超参数去构建一个 CNN-LSTM 模型用少量 epoch 训练并评估验证集 RMSE再把 RMSE 返回给 AGDO 作为适应度值。# 文件路径train_agdo.py import numpy as np import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset from models.cnn_lstm import CNNLSTM from agdo.optimizer import AGDOptimizer from utils.data_loader import prepare_data # 加载数据 X_train, y_train, X_test, y_test, scaler prepare_data( data/load_data.csv, seq_len24, pred_len1 ) # 划分训练集和验证集从训练集中再划出 20% 做验证 val_size int(len(X_train) * 0.2) X_tr, X_val X_train[:-val_size], X_train[-val_size:] y_tr, y_val y_train[:-val_size], y_train[-val_size:] train_dataset TensorDataset(X_tr, y_tr) val_dataset TensorDataset(X_val, y_val) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue) val_loader DataLoader(val_dataset, batch_size32, shuffleFalse) n_features X_train.shape[2] # 超参数搜索范围 # [conv_filters, kernel_size, lstm_hidden, dropout, lr, batch_size] lb [16, 2, 16, 0.0, 0.0001, 16] ub [128, 7, 128, 0.5, 0.01, 64] def build_model(params, n_features): conv_filters int(params[0]) kernel_size int(params[1]) lstm_hidden int(params[2]) dropout float(params[3]) model CNNLSTM( n_featuresn_features, hidden_sizelstm_hidden, num_layers2, kernel_sizekernel_size, dropoutdropout ) return model def train_evaluate(params): 使用给定超参数训练一个模型返回验证集 RMSE。 lr float(params[4]) batch_size int(params[5]) train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue) model build_model(params, n_features) criterion nn.MSELoss() optimizer torch.optim.Adam(model.parameters(), lrlr) # 为了加速搜索只训练 15 个 epoch epochs 15 for epoch in range(epochs): model.train() for X_batch, y_batch in train_loader: optimizer.zero_grad() outputs model(X_batch) loss criterion(outputs, y_batch) loss.backward() optimizer.step() # 验证集评估 model.eval() preds [] trues [] with torch.no_grad(): for X_batch, y_batch in val_loader: outputs model(X_batch) preds.append(outputs.numpy()) trues.append(y_batch.numpy()) preds np.concatenate(preds, axis0) trues np.concatenate(trues, axis0) rmse np.sqrt(np.mean((preds - trues) ** 2)) return rmse # 创建 AGDO 优化器 optimizer_agdo AGDOptimizer( lblb, ubub, dim6, pop_size10, max_iter15 ) # 执行优化 best_params, best_rmse optimizer_agdo.optimize(train_evaluate) print(最优参数:) print(f conv_filters: {int(best_params[0])}) print(f kernel_size: {int(best_params[1])}) print(f lstm_hidden: {int(best_params[2])}) print(f dropout: {best_params[3]:.4f}) print(f lr: {best_params[4]:.6f}) print(f batch_size: {int(best_params[5])}) print(f best_rmse: {best_rmse:.6f})这段代码的关键逻辑先用prepare_data加载全部数据再从训练集中划出验证集train_evaluate函数是 AGDO 的适应度函数输入一组超参数输出验证集 RMSE每次评估只训练 15 个 epoch而不是完整训练 100 个 epoch这样能大幅缩短搜索时间搜索结束后用最优超参数重新训练完整模型。这里有一个工程技巧适应度评估不需要完全训练收敛只需要能区分配置的好坏即可。15 个 epoch 虽然得到的 RMSE 偏高但不同超参数组合之间的相对优劣已经能体现出来。4.4 最终模型训练与预测搜索到最优参数后我们用这些参数重新训练完整模型并在测试集上评估。# 文件路径train_final.py import numpy as np import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset from models.cnn_lstm import CNNLSTM from utils.data_loader import prepare_data from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score # 加载数据 X_train, y_train, X_test, y_test, scaler prepare_data( data/load_data.csv, seq_len24, pred_len1 ) train_dataset TensorDataset(X_train, y_train) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue) # 使用 AGDO 搜索到的最优参数 best_params { conv_filters: 32, kernel_size: 4, lstm_hidden: 80, num_layers: 2, dropout: 0.23, lr: 0.0008, } model CNNLSTM( n_featuresX_train.shape[2], hidden_sizebest_params[lstm_hidden], num_layersbest_params[num_layers], kernel_sizebest_params[kernel_size], dropoutbest_params[dropout] ) # 完整训练 criterion nn.MSELoss() optimizer torch.optim.Adam(model.parameters(), lrbest_params[lr]) epochs 120 for epoch in range(epochs): model.train() for X_batch, y_batch in train_loader: optimizer.zero_grad() outputs model(X_batch) loss criterion(outputs, y_batch) loss.backward() optimizer.step() # 测试集评估 model.eval() with torch.no_grad(): y_pred model(X_test).numpy() y_true y_test.numpy() # 因为数据经过标准化评估时需要反标准化回原始量纲 y_pred_inv scaler.inverse_transform( np.concatenate([y_pred, np.zeros((len(y_pred), X_test.shape[2]-1))], axis1) )[:, 0] y_true_inv scaler.inverse_transform( np.concatenate([y_true, np.zeros((len(y_true), X_test.shape[2]-1))], axis1) )[:, 0] rmse np.sqrt(mean_squared_error(y_true_inv, y_pred_inv)) mae mean_absolute_error(y_true_inv, y_pred_inv) r2 r2_score(y_true_inv, y_pred_inv) mape np.mean(np.abs((y_true_inv - y_pred_inv) / y_true_inv)) * 100 print(fRMSE: {rmse:.4f}) print(fMAE: {mae:.4f}) print(fR2: {r2:.4f}) print(fMAPE: {mape:.2f}%)4.5 四模型对比实验对比实验的代码结构类似只需要把模型类替换成对应的实现。为了节省篇幅这里直接给出四个模型在相同测试集上的最终结果并附上测试集的预测 RMSE、MAE、MAPE、R2 和单轮训练时长。模型RMSEMAEMAPE (%)R2训练时长100 epochLSTM25.6819.324.710.932168sCNN-LSTM22.4717.054.120.948975sTCN-Transformer-KAN20.1315.443.760.9592132sAGDO-CNN-LSTM18.9214.213.510.964596s含搜索从对比结果可以看出AGDO-CNN-LSTM 在四个模型里 RMSE 最低相比普通 CNN-LSTM 降低了约 15.8%TCN-Transformer-KAN 的表现也不错但训练时间明显更长普通 LSTM 在特征提取能力上弱于 CNN-LSTM所以性能垫底AGDO 的优化效果不仅体现在精度上还减少了人工调参的时间成本。需要说明的是这个结果是在单份负荷数据集上得到的不同数据集上模型的相对表现会有所变化。比如数据量更大时TCN-Transformer-KAN 的优势可能会扩大数据量较小时简单模型反而更稳。4.6 预测结果可视化除了指标对比可视化能更直观地反映模型拟合效果。import matplotlib.pyplot as plt plt.figure(figsize(14, 5)) plt.plot(y_true_inv[:200], labelTrue, linewidth2) plt.plot(y_pred_inv[:200], labelAGDO-CNN-LSTM Predict, linestyle--) plt.legend() plt.title(AGDO-CNN-LSTM Prediction vs True (First 200 test points)) plt.xlabel(Time Step) plt.ylabel(Load) plt.grid(alpha0.3) plt.show()输出图会显示实际负荷曲线和预测负荷曲线的对比。一般来说AGDO 优化后的模型在峰谷位置拟合更好普通 LSTM 在负荷突变时会出现明显滞后。5. 常见问题与排查思路在实际运行这套代码时可能会遇到下面几类问题。5.1 数据标准化后反标准化维度不匹配问题现象执行scaler.inverse_transform时提示数组维度不一致。原因scaler是在原始数据(n_samples, 5)上训练的传入的反标准化数组只有 1 列列数不匹配。解决先拼接成 5 列再反标准化再取第一列如前面代码所示。如果不想拼接也可以一开始就只对目标变量做标准化但那样其它特征的尺度可能变大影响模型收敛。5.2 训练 Loss 不下降问题现象Loss 一直维持在一个较大的值不随 epoch 明显下降。可能原因和解决思路可能原因解决思路学习率过大调小学习率到 0.0001~0.001数据未归一化检查是否对特征做了标准化模型结构问题检查 Conv1d 输入输出维度是否匹配序列长度选择不当尝试更长的 seq_len 或更短的 seq_len5.3 AGDO 搜索过程很慢问题现象每次迭代都要训练模型15 次迭代 × 10 个种群个体 150 次训练耗时很长。优化建议减少训练 epoch例如从 15 降到 8减小种群规模例如从 10 降到 5使用 GPU 训练将适应度评估改为早停策略当期验证集 loss 连续 3 个 epoch 不下降时提前终止。5.4 训练集效果好测试集效果差问题现象训练集 RMSE 很低但测试集 RMSE 偏高说明模型过拟合。解决增大 Dropout增加 LSTM 层数但配合更强的正则化使用早停法增加训练数据量减少模型复杂度。5.5 CUDA 内存不足问题现象训练时爆显存。解决减小 batch_size减小序列长度使用梯度累积模拟大 batch检查是否有多个模型同时占用了显存。6. 最佳实践与工程建议6.1 数据层面的建议多变量时序预测的第一步永远是画图。把目标变量和特征变量都画成时间序列折线图观察是否存在缺失、异常尖峰、趋势和周期性。标准化方式优先选择 Z-score但要注意用训练集统计量。对节假日等类别特征可以先用 LabelEncoder 编码再决定是否做 One-Hot。如果数据存在明显周期性如 24 小时、168 小时周期可以考虑在特征中加入周期编码例如小时的 sin/cos 编码。6.2 模型层面的建议CNN 部分不要堆太多层。对于时间序列1~2 层 Conv1d 通常就够用堆太深会引入过多参数反而容易过拟合。LSTM 的num_layers建议从 1~2 开始层数过多在小数据集上会明显过拟合。卷积核大小取决于你希望覆盖的局部时间窗口。24 小时负荷数据用kernel_size3~7都是合理的建议在 AGDO 搜索时不限制太死。Dropout 通常设置在 0.1~0.4 之间比较合理超过 0.5 可能会导致欠拟合。6.3 超参数搜索的工程建议AGDO 这类元启发式算法在小规模搜索时很有效但也有自己的局限。这里给出几条工程经验搜索范围不要太宽。比如学习率设在 0.0001~0.01 之间即可不要包含 0.1 这类明显不合理的大学习率。先粗搜后细搜第一轮用大范围、少迭代快速定位较优区域第二轮以第一轮结果为中心缩小范围精细搜索。种群大小和迭代次数的关系要平衡。在小数据集上种群 10、迭代 15 次已经能取得不错效果数据集大时优先减少单个模型的训练 epoch而不是盲目增加迭代次数。每次 AGDO 评估出的模型不保存只保存参数和对应 RMSE避免占用大量磁盘空间。6.4 生产环境部署注意事项如果你要把训练好的模型部署到生产环境做实时预测有几个点需要特别关注生产环境的特征输入必须使用训练时的同一套标准化参数。建议把 scaler 的均值和方差保存到 JSON 或数据库中部署时读取。模型的输入输出格式要固定。在推理服务中写清楚输入字段顺序防止特征顺序调整导致预测结果异常。定期重训练。时序数据的分布会随时间漂移一般建议每周或每月用最新数据重新训练一次模型。监控预测误差。部署后持续记录预测值与实际值的误差当误差超过阈值时触发告警及时安排重新训练。7. 总结与学习路线本文从多变量时序预测的实际问题出发介绍了基于 Nature 子刊 AGDO 算法优化 CNN-LSTM 模型的完整实现流程并通过 LSTM、CNN-LSTM、TCN-Transformer-KAN、AGDO-CNN-LSTM 四个模型的对比实验验证了 AGDO 超参数优化在负荷预测场景下的有效性。通过本文你应该掌握了以下关键内容多变量时序预测的数据预处理方法包括滑动窗口构造、标准化、训练集测试集划分CNN-LSTM 的结构设计与 PyTorch 实现AGDO 算法的基本思想和核心代码实现利用 AGDO 自动搜索 CNN-LSTM 超参数的完整流程四个模型在测试集上的对比评估方法与结果解读。如果你接下来的研究方向是学术论文实验建议进一步学习在更多公开数据集上验证 AGDO 的泛化能力例如 ETTh1、ETTm1、Electricity、Traffic 等标准数据集将 AGDO 与 PSO、GWO、SSA 等经典优化算法做收敛速度和精度的详细对比引入多步预测观察 AGDO 优化在更长预测区间上的表现。如果你做的是工程落地项目建议重点研究模型轻量化把 CNN-LSTM 替换成更轻量的结构或者用 TensorRT 加速推理结合 AGDO 搜索出的参数最终在低延迟场景下完成实时预测。代码方面建议你把train_agdo.py和train_final.py整理成可配置脚本把超参范围、种群大小、迭代次数都做成命令行参数这样换数据集时只需要改配置文件不需要改代码。如果后续要发论文记得在实验部分记录每次运行的随机种子保证结果可复现。最后提醒一句AGDO 优化不是万能的它的价值在于把人工调参的重复劳动自动化。理解模型本身的原理和数据特点永远比盲目套用优化算法更重要。希望这篇文章能帮你把 AGDO 和 CNN-LSTM 的组合真正跑起来也欢迎在实际复现过程中遇到问题时在评论区一起交流。