简介这是基于联邦学习框架与NSL-KDD公开数据集构建的网络入侵检测项目源码包适合网络安全方向的研究生、本科生及机器学习初学者用于课程设计、毕业设计或实战项目参考。项目完整实现了联邦学习环境下的客户端训练、服务端聚合与模型评估流程并配有数据预处理脚本、模型定义、连接通信工具、参数配置及图形界面模块文档说明中提供了运行指引和结果对比分析整体可直接编译运行。压缩包共63个文件大小约26.19MB主要包含Python源码与编译生成的pyc文件、txt说明文档、日志记录、模型权重文件以及实验对比图等目录结构清晰便于按模块学习与二次开发。目前已有351人学习下载对于希望快速掌握联邦学习在网络入侵检测领域应用实践的读者而言是一份门槛适中、完成度较高的高分参考资源。1. 这个联邦学习入侵检测项目不是玩具是能写进简历的完整方案如果你搜过python实现基于联邦学习和NSL-KDD数据集的网络入侵检测源码大概率是在找一套能直接跑、能写进毕设或简历的完整工程。这个标题听起来长拆开其实就是三件事用联邦学习做网络入侵检测数据集用NSL-KDD代码用python实现外加一份说明文档。它能解决的核心问题是——当企业内部多个网络节点不能把流量日志汇总到一台中心服务器时如何在不共享原始数据的前提下训练出一个可用的入侵检测模型。为什么值得花时间复现因为它同时踩中两个高频需求一是网络安全方向需要一个标准数据集来对比实验NSL-KDD就是现成的基准二是隐私保护让联邦学习成为这两年的大热方向二者结合正好是一个有技术亮点、有实验数据、有实用价值的完整项目。适合的人群很明确正在做毕业设计的计算机/网络安全专业学生想转行机器学习方向但没项目经验的从业者以及需要给小论文补实验的硕士研究生。我下面讲的这套落地路径不是我现编的而是做这个方向最常见的工程套路照着走就能跑通。2. 联邦学习与NSL-KDD先把两个基础打牢2.1 联邦学习在入侵检测里解决什么数据不出域也能联合训练先想一个实际场景一个集团下有五家分公司每家的防火墙和服务器都会记录流量日志。正常做法是把这五份日志全部拷到中心机房训练一个入侵检测模型。但问题来了——里面可能有客户ip、内部账号、业务特征合规上根本不允许把这些日志统一收集。于是联邦学习出现了每家分司本地训练一个模型然后把模型参数而不是原始日志发给中心服务器中心服务器把五个人的模型参数取均值再分发回去如此迭代多轮。这个流程就是联邦平均算法FedAvg。它有两次通信关键点第一次服务器下发初始模型给各客户端第二次各客户端训练几轮后上传梯度或权重。整个过程中原始数据始终留在本地这就是联邦学习最核心的卖点。实际复现这个项目时你不需要真的搭五台机器——在单机上模拟多个客户端把数据切片分给它们就行。这里还要提一个容易困惑的概念灾难性遗忘。在联邦学习里如果某个客户端的数据分布突然变化或者某个客户端一直只拿某一类样本训练本地模型可能会把之前学到的旧知识忘掉。这在网络入侵检测里尤其常见因为不同节点的攻击类型分布完全不同后面避坑章我会专门讲它怎么影响你的实验结果。2.2 NSL-KDD比KDDCup99干净、更适合做入侵检测基准NSL-KDD是KDDCup99数据集的改进版本。老版KDDCup99最大的问题是数据量太大且冗余严重训练集中有约78%的样本是重复的直接导致模型偏向高频记录测试指标虚高。NSL-KDD删掉了这些冗余训练集是KDDTrain约12.6万条测试集是KDDTest约2.25万条规模适中单机跑起来完全没有压力。数据每条有41维特征再加上一个标签列。这41维里最重要的是三类基础特征比如duration、src_bytes、dst_bytes、流量特征比如count、srv_count、内容特征比如num_failed_logins、is_guest_login。标签一共有5类Normal、Dos、Probe、R2L、U2R。注意这里面DoS样本非常多而R2L和U2R非常少这种极度不平衡是后面评估指标翻车的根源。做个具体对比KDDTrain中Normal有约67000条DoS约45000条Probe约11000条R2L不到1000条U2R更是只有几十条。如果直接拿准确率评价模型只要把所有样本都预测成Normal准确率也能超过53%再加上DoS很容易学到最终准确率能到80%以上但U2R和R2L基本全错。所以后面所有评估我都要求看F1、精准率、召回率特别是U2R和R2L各自的指标而不是只看整体准确率。2.3 为什么用这个组合结合点与适用人群联邦学习擅长处理数据孤岛NSL-KDD则是网络入侵检测的标准算法对比平台两者结合的点在于NSL-KDD本身提供了天然可切分的攻击类型分布你可以把它按不同客户端、不同攻击类型切成非独立同分布non-IID数据用来模拟真实网络中各节点只遭遇某几类攻击的情况。这也是这个项目能拿高分的重要实验设计点。python生态是另一个加分项。你不用去碰C或者Java那套分布式框架只需要PyTorch、pandas、sklearn就能模拟整个联邦流程。对于刚入门的同学python安装配置本身可能就是个门槛但比搭Flower联邦框架要友好得多。我建议第一版不要引入Flower、PySyft这类重量级库用原生python和PyTorch手写明流程跑通了再考虑换框架。这样你能看清每一行代码在做什么出问题时也更容易定位。3. 跑通代码环境搭建与数据预处理3.1 环境准备与依赖安装这个项目依赖不复杂核心是pytorch、pandas、numpy、scikit-learn。python版本建议3.8以上太老版本会碰到PyTorch不支持的情况。如果你刚装上python还没配好环境先在命令行确认一下python --version pip --version然后新建一个虚拟环境避免把系统环境搞乱。我个人习惯用venv而不是conda更轻量python -m venv fedenv source fedenv/bin/activate # Windows上用 fedenv\Scripts\activate pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu pip install pandas numpy scikit-learn matplotlib参数说明--index-url指定使用CPU版PyTorch如果你的电脑有NVIDIA显卡可以把cpu换成cu118但要先确认自己的CUDA版本。没显卡也完全能跑这个项目数据量不大CPU训练最多次分钟级就出结果。安装完成后pip list看一眼版本torch 2.x、pandas 2.x都没有兼容问题。3.2 NSL-KDD数据加载与标准化拿到NSL-KDD的CSV文件后第一件事是处理特征列名。原始CSV没有表头你需要手动定义41个列名再加上最后的标签列和难度列KDDTrain有难度列测试时用不到。这里给出完整加载代码import pandas as pd from sklearn.preprocessing import LabelEncoder, StandardScaler cols [ duration,protocol_type,service,flag,src_bytes,dst_bytes, land,wrong_fragment,urgent,hot,num_failed_logins, logged_in,num_compromised,root_shell,su_attempted, num_root,num_file_creations,num_shells,num_access_files, num_outbound_cmds,is_host_login,is_guest_login,count, srv_count,serror_rate,srv_serror_rate,rerror_rate, srv_rerror_rate,same_srv_rate,diff_srv_rate,srv_diff_host_rate, dst_host_count,dst_host_srv_count,dst_host_same_srv_rate, dst_host_diff_srv_rate,dst_host_same_src_port_rate, dst_host_srv_diff_host_rate,dst_host_serror_rate, dst_host_srv_serror_rate,dst_host_rerror_rate, dst_host_srv_rerror_rate ] df_train pd.read_csv(KDDTrain.csv, headerNone, namescols [label, difficulty]) df_test pd.read_csv(KDDTest.csv, headerNone, namescols [label, difficulty]) df_train df_train.drop([difficulty], axis1) df_test df_test.drop([difficulty], axis1)逻辑说明列名数组必须与csv文件里的字段一一对应错一个全错。label放在最后difficulty列只在训练集里存在测试集可能只有两列label和difficulty直接用names加上即可。接下来做两件预处理对三个符号特征做one-hot编码对数值特征做标准化。常见错误是先标准化再one-hot这会把编码后的布尔值也做标准化导致特征尺度被破坏正确顺序是先编码后标准化cate_cols [protocol_type, service, flag] num_cols [c for c in cols if c not in cate_cols] df_train_all pd.get_dummies(df_train, columnscate_cols) df_test_all pd.get_dummies(df_test, columnscate_cols) # 对齐训练/测试的特征列避免类别数量不一致 df_test_all df_test_all.reindex(columnsdf_train_all.columns, fill_value0) scaler StandardScaler() X_train scaler.fit_transform(df_train_all.drop([label], axis1)) X_test scaler.transform(df_test_all.drop([label], axis1)) le LabelEncoder() y_train le.fit_transform(df_train[label]) y_test le.transform(df_test[label])这里的reindex是坑点。测试集的service种类可能比训练集少直接get_dummies会导致列数不一致后面模型会报维度不匹配。reindex补零就是为了让两边特征维度强制对齐。转换后X_train的shape是(125973, 122)补零后特征维度统一为122维。3.3 客户端数据切分IID与非IID模拟联邦学习时假设有5个客户端。最简单的IID切分是随机打乱后均分这样每个客户端的数据分布和全局基本一致。但更贴近现实的是non-IID切分按标签类别划分比如客户端0只拿到DoS样本客户端1只拿Probe样本其余拿混合样本。这里我给出IID和non-IID两种切分方式建议第一次跑用IID先把流程跑通import numpy as np import torch num_clients 5 shuffle_idx np.random.permutation(len(X_train)) client_data {} partition_size len(X_train) // num_clients for i in range(num_clients): start i * partition_size end start partition_size if i ! num_clients - 1 else len(X_train) idx shuffle_idx[start:end] client_data[i] { x: torch.tensor(X_train[idx], dtypetorch.float32), y: torch.tensor(y_train[idx], dtypetorch.long) }这段代码把训练集均匀切给5个客户端partition_size是每份大小。注意最后一个客户端要拿剩余的全部数据防止因整除问题丢样本。非IID切分后面避坑章再细说第一版先用IID验证你的聚合逻辑是否正确。4. 联邦训练核心模型聚合与参数设置4.1 客户端本地训练与模型更新模型我建议用三层MLP就够了NSL-KDD的特征维度122不是图像那种高维输入太复杂的网络反而容易过拟合。下面这个MLP由输入层、两个隐藏层和输出层组成import torch.nn as nn import torch.nn.functional as F class MLP(nn.Module): def __init__(self, input_dim122, num_classes5): super(MLP, self).__init__() self.fc1 nn.Linear(input_dim, 128) self.fc2 nn.Linear(128, 64) self.fc3 nn.Linear(64, num_classes) self.dropout nn.Dropout(0.3) def forward(self, x): x F.relu(self.fc1(x)) x self.dropout(x) x F.relu(self.fc2(x)) x self.fc3(x) return x每个客户端用自己那份数据本地训练若干轮local_epoch然后返回模型的state_dict。训练函数需要返回更新后的权重核心代码如下def local_train(model, data, epochs5, lr0.01, batch_size64): model.train() optimizer torch.optim.Adam(model.parameters(), lrlr) loss_fn nn.CrossEntropyLoss() dataset torch.utils.data.TensorDataset(data[x], data[y]) loader torch.utils.data.DataLoader(dataset, batch_sizebatch_size, shuffleTrue) for _ in range(epochs): for batch_x, batch_y in loader: optimizer.zero_grad() output model(batch_x) loss loss_fn(output, batch_y) loss.backward() optimizer.step() return model.state_dict()参数说明lr是学习率epochs是本地训练轮数batch_size是批量大小。这三个参数直接影响收敛速度和最终精度。我见过不少人把epochs设成50结果每个客户端都被本地数据带偏全局聚合时权重平均后性能反而下降。经验值IID场景下本地epochs设35non-IID场景下更低后面避坑章会解释原因。4.2 服务器端FedAvg聚合服务器端不做训练只负责把客户端上传的权重做加权平均。FedAvg的公式很简单$$w_{global} \sum_{k1}^{K} \frac{n_k}{n} w_k$$其中$n_k$是客户端k的样本数$n$是全部样本数。如果你按均分切的数据直接等权平均也行。下面这段是等权平均def fed_avg(global_model, client_weights): with torch.no_grad(): avg_state {} for key in global_model.state_dict().keys(): avg_state[key] sum(w[key] for w in client_weights) / len(client_weights) global_model.load_state_dict(avg_state) return global_model然后就是联邦循环初始化全局模型每轮随机选一部分客户端参与训练接收更新聚合重复。完整的一轮如下global_model MLP() rounds 30 client_ids list(range(num_clients)) for round_idx in range(rounds): selected np.random.choice(client_ids, size3, replaceFalse) # 每轮随机选3个 client_weights [] for cid in selected: # 注意这里要对全局模型做深拷贝避免客户端修改全局模型 local_model MLP() local_model.load_state_dict(global_model.state_dict()) w local_train(local_model, client_data[cid]) client_weights.append(w) global_model fed_avg(global_model, client_weights) # 每轮结束在测试集上评估 acc evaluate(global_model, X_test, y_test) print(fRound {round_idx1}, Test Accuracy: {acc:.4f})selected个数可以小于客户端总数这叫客户端采样能减少通信量。但采样太少会让聚合不稳定一般选至少一半客户端参与。还需要注意深拷贝问题local_model MLP()每次新建再load_state_dict防止多个客户端共享同一份模型参数导致梯度叠加。我第一版踩过这个坑所有客户端公用一个模型结果每轮更新方向被来源不明的梯度污染损失函数完全乱跳。4.3 关键参数表与效果预期为了让你有个可抄作业的起点我把这套方案的关键参数整理成表。不同文章给的参数大差不差我的建议值是基于CPU单机验证过的参数建议值作用影响客户端总数5模拟参与方数量太多会让单机训练变慢每轮参与客户端数3通信采样量太少会震荡太多逼近集中式本地训练轮数3-5客户端本地迭代次数太大导致模型漂移学习率0.01Adam初始学习率过大不收敛过小收敛慢batch_size64批量大小受内存限制别超过256总轮数30-50联邦通信轮次看损失曲线判断优化器Adam默认选择比SGD稳定不用调动量按照这套参数IID切分下30轮基本能到86%90%的测试准确率F1在0.820.86之间。non-IID切分下准确率会掉到75%80%这是正常的因为每个客户端只见到部分攻击类型。如果你的结果远低于这个区间优先检查数据切分和预处理不要急着改模型结构。5. 避坑训练不收敛、评估指标虚高等常见问题排查5.1 现象一准确率90%但F1只有0.4你兴冲冲看训练日志测试准确率到92%但一打印分类报告U2R的F1是0R2L的F1是0。这是NSL-KDD最经典的坑类别不平衡被准确率掩盖了。原因U2R和R2L样本数量极少模型把所有样本都判成Normal或DoS准确性损失不大但这两类完全没有被识别。解决不要用普通交叉熵改用带类别权重的交叉熵CrossEntropyLoss(weightclass_weights)。权重按1/class_count计算并归一化代码就一行from sklearn.utils.class_weight import compute_class_weight classes np.unique(y_train) weights compute_class_weight(balanced, classesclasses, yy_train) loss_fn nn.CrossEntropyLoss(weighttorch.tensor(weights, dtypetorch.float32))另外评估指标必须看宏平均F1macro F1而不是准确率。我习惯每轮结束后同时打印classification_report重点关注U2R和R2L的召回率。如果你的结果里这两类的召回率始终为0说明数据里这两类样本数太少模型很难学到特征可以考虑在客户端数据切分时对这两类做上采样但不要动测试集。5.2 现象二联邦训练震荡损失曲线像心电图联调时遇到最多的是全局模型在测试集上的准确率忽高忽低前一轮82%下一轮跳回70%。原因有三类一是每轮参与客户端采样太少比如5个只选2个聚合权重波动大二是学习率太高客户端在本地最优解附近震荡三是客户端本地epochs过多各客户端模型漂移到不同区域平均后互相抵消。解决顺序先把学习率从0.05降到0.01再把客户端采样数从2改成3最后把本地epochs从10降到5。这三步做完波动基本能被压住。如果还震荡在服务器端对聚合值做动量平滑global_state global_model.state_dict() for key in global_state.keys(): global_state[key] 0.9 * global_state[key] 0.1 * avg_state[key]这相当于给聚合加了个一阶低通滤波能明显减小震荡代价是收敛速度变慢适合排查问题时使用。5.3 现象三客户端数据不平衡导致模型漂移non-IID场景下假设客户端0只有DoS样本客户端1只有Normal样本这两个客户端各自训练的模型可能学出完全相反的决策边界。FedAvg把这俩模型平均后得到的模型对两类都分不清。这不是参数问题而是联邦学习固有的统计异质性挑战。解决办法有两个第一个是加近端项让客户端本地训练时不能偏离全局模型太远这就是FedProx的核心思想。实现上很简单在损失函数后加一个proximal项prox_weight 0.01 global_params {k: v.clone().detach() for k, v in global_model.state_dict().items()} # 在loss计算时 prox_loss 0 for name, param in local_model.named_parameters(): prox_loss ((param - global_params[name]) ** 2).sum() loss loss_fn(output, batch_y) prox_weight * prox_loss第二个办法是调整数据切分策略。用Dirichlet分布控制类别分布模拟轻度异质性而不是极端地每个客户端只拥有一种攻击类型。具体做法是按类别概率采样让客户端0有70%的DoS其他三类各10%更贴近真实场景。我建议先跑极端non-IID看清上限再退一步用Dirichlet分布做对比实验这样报告里能多一张图。5.4 现象四内存溢出或训练中断单机上模拟多个客户端最容易爆内存的是把一个122列的大数组拷贝好几份。训练集12.6万条每条122个float32约5.8MB复制10份也才58MB按理说不至于爆。但如果你把测试集也做one-hot后reindex并且保留了所有中间副本就可能在预处理阶段堆出几百MB。真正会刷爆内存的是DataLoader的num_workers设置过大。在Windows上num_workers大于0会在每个epoch启动多个进程且没有ifname main保护时直接报错或死锁。解决方案开发调试用num_workers0跑实验时再调大。另外把输入类型统一成torch.float32不要用float64后者内存翻倍且对MLP无精度收益。还要说一个不常见但影响巨大的坑reindex之后数据类型变成int64如果直接scaler.transform得到的是float64的numpy数组再转torch.float32是没问题的。但如果你忘了转就送进模型PyTorch会直接报错。养成一个习惯X_train torch.tensor(X_train, dtypetorch.float32)写全不要省。6. 验证与进阶用一份高置信度的实验报告收尾6.1 多轮实验对比表跑完代码只是第一步高分项目的重点是实验对比。至少要对比三组集中式训练所有数据放一起训练、联邦IID、联邦non-IID。集中式是整个方案的天花板联邦IID应该接近它non-IID会掉几个点但换来隐私保护这个trade-off就是你报告里最有说服力的结论。模式测试准确率宏平均F1训练时长分钟集中式91.2%0.854.2联邦 IID89.4%0.835.1联邦 non-IID78.3%0.695.3以上是示例数据你用自己的结果填。如果差距太大先检查预处理是否一致如果联邦IID和集中式差超过3个点大概率是聚合逻辑有bug或者本地训练轮数太少。6.2 诊断图怎么画一张全局模型在测试集上的损失/准确率曲线能说明收敛性。画图用matplotlib每轮记录一次别只画准确率损失曲线更能暴露震荡。我的做法是保存每一轮的测试损失到列表训练结束后一次性绘图避免频繁刷新拖慢速度。另外画一个按类别分的混淆矩阵热力图尤其标注U2R和R2L的识别情况这张图在答辩中非常加分。6.3 我的习惯跑完项目后我通常会留一个复现清单先把random.seed和torch.manual_seed设死确保每次结果可复现然后记录三处关键参数学习率、本地epochs、每轮客户端数到文本文件方便回溯。这个项目最大的教训就是不要一上来就追求复杂算法FedAvg加MLP已经能拿到像样的结果后面再慢慢换FedProx、加注意力机制你的报告才有层次感。记住评审老师看你的工作好不好不是看你堆了多少新技术而是看你有没有把基准方法吃透、问题定位准确、对比实验做到位。希望帮到你。本文还有配套的精品资源点击获取
联邦学习+NSL-KDD：基于Python的网络入侵检测完整实现
简介这是基于联邦学习框架与NSL-KDD公开数据集构建的网络入侵检测项目源码包适合网络安全方向的研究生、本科生及机器学习初学者用于课程设计、毕业设计或实战项目参考。项目完整实现了联邦学习环境下的客户端训练、服务端聚合与模型评估流程并配有数据预处理脚本、模型定义、连接通信工具、参数配置及图形界面模块文档说明中提供了运行指引和结果对比分析整体可直接编译运行。压缩包共63个文件大小约26.19MB主要包含Python源码与编译生成的pyc文件、txt说明文档、日志记录、模型权重文件以及实验对比图等目录结构清晰便于按模块学习与二次开发。目前已有351人学习下载对于希望快速掌握联邦学习在网络入侵检测领域应用实践的读者而言是一份门槛适中、完成度较高的高分参考资源。1. 这个联邦学习入侵检测项目不是玩具是能写进简历的完整方案如果你搜过python实现基于联邦学习和NSL-KDD数据集的网络入侵检测源码大概率是在找一套能直接跑、能写进毕设或简历的完整工程。这个标题听起来长拆开其实就是三件事用联邦学习做网络入侵检测数据集用NSL-KDD代码用python实现外加一份说明文档。它能解决的核心问题是——当企业内部多个网络节点不能把流量日志汇总到一台中心服务器时如何在不共享原始数据的前提下训练出一个可用的入侵检测模型。为什么值得花时间复现因为它同时踩中两个高频需求一是网络安全方向需要一个标准数据集来对比实验NSL-KDD就是现成的基准二是隐私保护让联邦学习成为这两年的大热方向二者结合正好是一个有技术亮点、有实验数据、有实用价值的完整项目。适合的人群很明确正在做毕业设计的计算机/网络安全专业学生想转行机器学习方向但没项目经验的从业者以及需要给小论文补实验的硕士研究生。我下面讲的这套落地路径不是我现编的而是做这个方向最常见的工程套路照着走就能跑通。2. 联邦学习与NSL-KDD先把两个基础打牢2.1 联邦学习在入侵检测里解决什么数据不出域也能联合训练先想一个实际场景一个集团下有五家分公司每家的防火墙和服务器都会记录流量日志。正常做法是把这五份日志全部拷到中心机房训练一个入侵检测模型。但问题来了——里面可能有客户ip、内部账号、业务特征合规上根本不允许把这些日志统一收集。于是联邦学习出现了每家分司本地训练一个模型然后把模型参数而不是原始日志发给中心服务器中心服务器把五个人的模型参数取均值再分发回去如此迭代多轮。这个流程就是联邦平均算法FedAvg。它有两次通信关键点第一次服务器下发初始模型给各客户端第二次各客户端训练几轮后上传梯度或权重。整个过程中原始数据始终留在本地这就是联邦学习最核心的卖点。实际复现这个项目时你不需要真的搭五台机器——在单机上模拟多个客户端把数据切片分给它们就行。这里还要提一个容易困惑的概念灾难性遗忘。在联邦学习里如果某个客户端的数据分布突然变化或者某个客户端一直只拿某一类样本训练本地模型可能会把之前学到的旧知识忘掉。这在网络入侵检测里尤其常见因为不同节点的攻击类型分布完全不同后面避坑章我会专门讲它怎么影响你的实验结果。2.2 NSL-KDD比KDDCup99干净、更适合做入侵检测基准NSL-KDD是KDDCup99数据集的改进版本。老版KDDCup99最大的问题是数据量太大且冗余严重训练集中有约78%的样本是重复的直接导致模型偏向高频记录测试指标虚高。NSL-KDD删掉了这些冗余训练集是KDDTrain约12.6万条测试集是KDDTest约2.25万条规模适中单机跑起来完全没有压力。数据每条有41维特征再加上一个标签列。这41维里最重要的是三类基础特征比如duration、src_bytes、dst_bytes、流量特征比如count、srv_count、内容特征比如num_failed_logins、is_guest_login。标签一共有5类Normal、Dos、Probe、R2L、U2R。注意这里面DoS样本非常多而R2L和U2R非常少这种极度不平衡是后面评估指标翻车的根源。做个具体对比KDDTrain中Normal有约67000条DoS约45000条Probe约11000条R2L不到1000条U2R更是只有几十条。如果直接拿准确率评价模型只要把所有样本都预测成Normal准确率也能超过53%再加上DoS很容易学到最终准确率能到80%以上但U2R和R2L基本全错。所以后面所有评估我都要求看F1、精准率、召回率特别是U2R和R2L各自的指标而不是只看整体准确率。2.3 为什么用这个组合结合点与适用人群联邦学习擅长处理数据孤岛NSL-KDD则是网络入侵检测的标准算法对比平台两者结合的点在于NSL-KDD本身提供了天然可切分的攻击类型分布你可以把它按不同客户端、不同攻击类型切成非独立同分布non-IID数据用来模拟真实网络中各节点只遭遇某几类攻击的情况。这也是这个项目能拿高分的重要实验设计点。python生态是另一个加分项。你不用去碰C或者Java那套分布式框架只需要PyTorch、pandas、sklearn就能模拟整个联邦流程。对于刚入门的同学python安装配置本身可能就是个门槛但比搭Flower联邦框架要友好得多。我建议第一版不要引入Flower、PySyft这类重量级库用原生python和PyTorch手写明流程跑通了再考虑换框架。这样你能看清每一行代码在做什么出问题时也更容易定位。3. 跑通代码环境搭建与数据预处理3.1 环境准备与依赖安装这个项目依赖不复杂核心是pytorch、pandas、numpy、scikit-learn。python版本建议3.8以上太老版本会碰到PyTorch不支持的情况。如果你刚装上python还没配好环境先在命令行确认一下python --version pip --version然后新建一个虚拟环境避免把系统环境搞乱。我个人习惯用venv而不是conda更轻量python -m venv fedenv source fedenv/bin/activate # Windows上用 fedenv\Scripts\activate pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu pip install pandas numpy scikit-learn matplotlib参数说明--index-url指定使用CPU版PyTorch如果你的电脑有NVIDIA显卡可以把cpu换成cu118但要先确认自己的CUDA版本。没显卡也完全能跑这个项目数据量不大CPU训练最多次分钟级就出结果。安装完成后pip list看一眼版本torch 2.x、pandas 2.x都没有兼容问题。3.2 NSL-KDD数据加载与标准化拿到NSL-KDD的CSV文件后第一件事是处理特征列名。原始CSV没有表头你需要手动定义41个列名再加上最后的标签列和难度列KDDTrain有难度列测试时用不到。这里给出完整加载代码import pandas as pd from sklearn.preprocessing import LabelEncoder, StandardScaler cols [ duration,protocol_type,service,flag,src_bytes,dst_bytes, land,wrong_fragment,urgent,hot,num_failed_logins, logged_in,num_compromised,root_shell,su_attempted, num_root,num_file_creations,num_shells,num_access_files, num_outbound_cmds,is_host_login,is_guest_login,count, srv_count,serror_rate,srv_serror_rate,rerror_rate, srv_rerror_rate,same_srv_rate,diff_srv_rate,srv_diff_host_rate, dst_host_count,dst_host_srv_count,dst_host_same_srv_rate, dst_host_diff_srv_rate,dst_host_same_src_port_rate, dst_host_srv_diff_host_rate,dst_host_serror_rate, dst_host_srv_serror_rate,dst_host_rerror_rate, dst_host_srv_rerror_rate ] df_train pd.read_csv(KDDTrain.csv, headerNone, namescols [label, difficulty]) df_test pd.read_csv(KDDTest.csv, headerNone, namescols [label, difficulty]) df_train df_train.drop([difficulty], axis1) df_test df_test.drop([difficulty], axis1)逻辑说明列名数组必须与csv文件里的字段一一对应错一个全错。label放在最后difficulty列只在训练集里存在测试集可能只有两列label和difficulty直接用names加上即可。接下来做两件预处理对三个符号特征做one-hot编码对数值特征做标准化。常见错误是先标准化再one-hot这会把编码后的布尔值也做标准化导致特征尺度被破坏正确顺序是先编码后标准化cate_cols [protocol_type, service, flag] num_cols [c for c in cols if c not in cate_cols] df_train_all pd.get_dummies(df_train, columnscate_cols) df_test_all pd.get_dummies(df_test, columnscate_cols) # 对齐训练/测试的特征列避免类别数量不一致 df_test_all df_test_all.reindex(columnsdf_train_all.columns, fill_value0) scaler StandardScaler() X_train scaler.fit_transform(df_train_all.drop([label], axis1)) X_test scaler.transform(df_test_all.drop([label], axis1)) le LabelEncoder() y_train le.fit_transform(df_train[label]) y_test le.transform(df_test[label])这里的reindex是坑点。测试集的service种类可能比训练集少直接get_dummies会导致列数不一致后面模型会报维度不匹配。reindex补零就是为了让两边特征维度强制对齐。转换后X_train的shape是(125973, 122)补零后特征维度统一为122维。3.3 客户端数据切分IID与非IID模拟联邦学习时假设有5个客户端。最简单的IID切分是随机打乱后均分这样每个客户端的数据分布和全局基本一致。但更贴近现实的是non-IID切分按标签类别划分比如客户端0只拿到DoS样本客户端1只拿Probe样本其余拿混合样本。这里我给出IID和non-IID两种切分方式建议第一次跑用IID先把流程跑通import numpy as np import torch num_clients 5 shuffle_idx np.random.permutation(len(X_train)) client_data {} partition_size len(X_train) // num_clients for i in range(num_clients): start i * partition_size end start partition_size if i ! num_clients - 1 else len(X_train) idx shuffle_idx[start:end] client_data[i] { x: torch.tensor(X_train[idx], dtypetorch.float32), y: torch.tensor(y_train[idx], dtypetorch.long) }这段代码把训练集均匀切给5个客户端partition_size是每份大小。注意最后一个客户端要拿剩余的全部数据防止因整除问题丢样本。非IID切分后面避坑章再细说第一版先用IID验证你的聚合逻辑是否正确。4. 联邦训练核心模型聚合与参数设置4.1 客户端本地训练与模型更新模型我建议用三层MLP就够了NSL-KDD的特征维度122不是图像那种高维输入太复杂的网络反而容易过拟合。下面这个MLP由输入层、两个隐藏层和输出层组成import torch.nn as nn import torch.nn.functional as F class MLP(nn.Module): def __init__(self, input_dim122, num_classes5): super(MLP, self).__init__() self.fc1 nn.Linear(input_dim, 128) self.fc2 nn.Linear(128, 64) self.fc3 nn.Linear(64, num_classes) self.dropout nn.Dropout(0.3) def forward(self, x): x F.relu(self.fc1(x)) x self.dropout(x) x F.relu(self.fc2(x)) x self.fc3(x) return x每个客户端用自己那份数据本地训练若干轮local_epoch然后返回模型的state_dict。训练函数需要返回更新后的权重核心代码如下def local_train(model, data, epochs5, lr0.01, batch_size64): model.train() optimizer torch.optim.Adam(model.parameters(), lrlr) loss_fn nn.CrossEntropyLoss() dataset torch.utils.data.TensorDataset(data[x], data[y]) loader torch.utils.data.DataLoader(dataset, batch_sizebatch_size, shuffleTrue) for _ in range(epochs): for batch_x, batch_y in loader: optimizer.zero_grad() output model(batch_x) loss loss_fn(output, batch_y) loss.backward() optimizer.step() return model.state_dict()参数说明lr是学习率epochs是本地训练轮数batch_size是批量大小。这三个参数直接影响收敛速度和最终精度。我见过不少人把epochs设成50结果每个客户端都被本地数据带偏全局聚合时权重平均后性能反而下降。经验值IID场景下本地epochs设35non-IID场景下更低后面避坑章会解释原因。4.2 服务器端FedAvg聚合服务器端不做训练只负责把客户端上传的权重做加权平均。FedAvg的公式很简单$$w_{global} \sum_{k1}^{K} \frac{n_k}{n} w_k$$其中$n_k$是客户端k的样本数$n$是全部样本数。如果你按均分切的数据直接等权平均也行。下面这段是等权平均def fed_avg(global_model, client_weights): with torch.no_grad(): avg_state {} for key in global_model.state_dict().keys(): avg_state[key] sum(w[key] for w in client_weights) / len(client_weights) global_model.load_state_dict(avg_state) return global_model然后就是联邦循环初始化全局模型每轮随机选一部分客户端参与训练接收更新聚合重复。完整的一轮如下global_model MLP() rounds 30 client_ids list(range(num_clients)) for round_idx in range(rounds): selected np.random.choice(client_ids, size3, replaceFalse) # 每轮随机选3个 client_weights [] for cid in selected: # 注意这里要对全局模型做深拷贝避免客户端修改全局模型 local_model MLP() local_model.load_state_dict(global_model.state_dict()) w local_train(local_model, client_data[cid]) client_weights.append(w) global_model fed_avg(global_model, client_weights) # 每轮结束在测试集上评估 acc evaluate(global_model, X_test, y_test) print(fRound {round_idx1}, Test Accuracy: {acc:.4f})selected个数可以小于客户端总数这叫客户端采样能减少通信量。但采样太少会让聚合不稳定一般选至少一半客户端参与。还需要注意深拷贝问题local_model MLP()每次新建再load_state_dict防止多个客户端共享同一份模型参数导致梯度叠加。我第一版踩过这个坑所有客户端公用一个模型结果每轮更新方向被来源不明的梯度污染损失函数完全乱跳。4.3 关键参数表与效果预期为了让你有个可抄作业的起点我把这套方案的关键参数整理成表。不同文章给的参数大差不差我的建议值是基于CPU单机验证过的参数建议值作用影响客户端总数5模拟参与方数量太多会让单机训练变慢每轮参与客户端数3通信采样量太少会震荡太多逼近集中式本地训练轮数3-5客户端本地迭代次数太大导致模型漂移学习率0.01Adam初始学习率过大不收敛过小收敛慢batch_size64批量大小受内存限制别超过256总轮数30-50联邦通信轮次看损失曲线判断优化器Adam默认选择比SGD稳定不用调动量按照这套参数IID切分下30轮基本能到86%90%的测试准确率F1在0.820.86之间。non-IID切分下准确率会掉到75%80%这是正常的因为每个客户端只见到部分攻击类型。如果你的结果远低于这个区间优先检查数据切分和预处理不要急着改模型结构。5. 避坑训练不收敛、评估指标虚高等常见问题排查5.1 现象一准确率90%但F1只有0.4你兴冲冲看训练日志测试准确率到92%但一打印分类报告U2R的F1是0R2L的F1是0。这是NSL-KDD最经典的坑类别不平衡被准确率掩盖了。原因U2R和R2L样本数量极少模型把所有样本都判成Normal或DoS准确性损失不大但这两类完全没有被识别。解决不要用普通交叉熵改用带类别权重的交叉熵CrossEntropyLoss(weightclass_weights)。权重按1/class_count计算并归一化代码就一行from sklearn.utils.class_weight import compute_class_weight classes np.unique(y_train) weights compute_class_weight(balanced, classesclasses, yy_train) loss_fn nn.CrossEntropyLoss(weighttorch.tensor(weights, dtypetorch.float32))另外评估指标必须看宏平均F1macro F1而不是准确率。我习惯每轮结束后同时打印classification_report重点关注U2R和R2L的召回率。如果你的结果里这两类的召回率始终为0说明数据里这两类样本数太少模型很难学到特征可以考虑在客户端数据切分时对这两类做上采样但不要动测试集。5.2 现象二联邦训练震荡损失曲线像心电图联调时遇到最多的是全局模型在测试集上的准确率忽高忽低前一轮82%下一轮跳回70%。原因有三类一是每轮参与客户端采样太少比如5个只选2个聚合权重波动大二是学习率太高客户端在本地最优解附近震荡三是客户端本地epochs过多各客户端模型漂移到不同区域平均后互相抵消。解决顺序先把学习率从0.05降到0.01再把客户端采样数从2改成3最后把本地epochs从10降到5。这三步做完波动基本能被压住。如果还震荡在服务器端对聚合值做动量平滑global_state global_model.state_dict() for key in global_state.keys(): global_state[key] 0.9 * global_state[key] 0.1 * avg_state[key]这相当于给聚合加了个一阶低通滤波能明显减小震荡代价是收敛速度变慢适合排查问题时使用。5.3 现象三客户端数据不平衡导致模型漂移non-IID场景下假设客户端0只有DoS样本客户端1只有Normal样本这两个客户端各自训练的模型可能学出完全相反的决策边界。FedAvg把这俩模型平均后得到的模型对两类都分不清。这不是参数问题而是联邦学习固有的统计异质性挑战。解决办法有两个第一个是加近端项让客户端本地训练时不能偏离全局模型太远这就是FedProx的核心思想。实现上很简单在损失函数后加一个proximal项prox_weight 0.01 global_params {k: v.clone().detach() for k, v in global_model.state_dict().items()} # 在loss计算时 prox_loss 0 for name, param in local_model.named_parameters(): prox_loss ((param - global_params[name]) ** 2).sum() loss loss_fn(output, batch_y) prox_weight * prox_loss第二个办法是调整数据切分策略。用Dirichlet分布控制类别分布模拟轻度异质性而不是极端地每个客户端只拥有一种攻击类型。具体做法是按类别概率采样让客户端0有70%的DoS其他三类各10%更贴近真实场景。我建议先跑极端non-IID看清上限再退一步用Dirichlet分布做对比实验这样报告里能多一张图。5.4 现象四内存溢出或训练中断单机上模拟多个客户端最容易爆内存的是把一个122列的大数组拷贝好几份。训练集12.6万条每条122个float32约5.8MB复制10份也才58MB按理说不至于爆。但如果你把测试集也做one-hot后reindex并且保留了所有中间副本就可能在预处理阶段堆出几百MB。真正会刷爆内存的是DataLoader的num_workers设置过大。在Windows上num_workers大于0会在每个epoch启动多个进程且没有ifname main保护时直接报错或死锁。解决方案开发调试用num_workers0跑实验时再调大。另外把输入类型统一成torch.float32不要用float64后者内存翻倍且对MLP无精度收益。还要说一个不常见但影响巨大的坑reindex之后数据类型变成int64如果直接scaler.transform得到的是float64的numpy数组再转torch.float32是没问题的。但如果你忘了转就送进模型PyTorch会直接报错。养成一个习惯X_train torch.tensor(X_train, dtypetorch.float32)写全不要省。6. 验证与进阶用一份高置信度的实验报告收尾6.1 多轮实验对比表跑完代码只是第一步高分项目的重点是实验对比。至少要对比三组集中式训练所有数据放一起训练、联邦IID、联邦non-IID。集中式是整个方案的天花板联邦IID应该接近它non-IID会掉几个点但换来隐私保护这个trade-off就是你报告里最有说服力的结论。模式测试准确率宏平均F1训练时长分钟集中式91.2%0.854.2联邦 IID89.4%0.835.1联邦 non-IID78.3%0.695.3以上是示例数据你用自己的结果填。如果差距太大先检查预处理是否一致如果联邦IID和集中式差超过3个点大概率是聚合逻辑有bug或者本地训练轮数太少。6.2 诊断图怎么画一张全局模型在测试集上的损失/准确率曲线能说明收敛性。画图用matplotlib每轮记录一次别只画准确率损失曲线更能暴露震荡。我的做法是保存每一轮的测试损失到列表训练结束后一次性绘图避免频繁刷新拖慢速度。另外画一个按类别分的混淆矩阵热力图尤其标注U2R和R2L的识别情况这张图在答辩中非常加分。6.3 我的习惯跑完项目后我通常会留一个复现清单先把random.seed和torch.manual_seed设死确保每次结果可复现然后记录三处关键参数学习率、本地epochs、每轮客户端数到文本文件方便回溯。这个项目最大的教训就是不要一上来就追求复杂算法FedAvg加MLP已经能拿到像样的结果后面再慢慢换FedProx、加注意力机制你的报告才有层次感。记住评审老师看你的工作好不好不是看你堆了多少新技术而是看你有没有把基准方法吃透、问题定位准确、对比实验做到位。希望帮到你。本文还有配套的精品资源点击获取