深度学习这两年几乎成了技术圈的全民话题但很多朋友一开始接触就被各种名词砸懵了——卷积、循环、注意力机制、大模型……其实不管后面的网络结构多花哨它们的地基都是同一个东西神经网络Neural Network。这个项目的名字叫“从零开始搭建一个神经网络”听起来很基础但基础恰恰是最值得死磕的部分。我见过太多人调包调得飞起却连反向传播的梯度在哪一层断掉都说不清楚。这篇文章就沿着这条线把神经网络从直觉到实现完整走一遍。这篇内容不挑基础只要你会一点Python、记得微积分里链式法则的大概意思就能跟上。我会先讲清楚神经网络在解决什么问题然后手写一个能跑的三层网络再从反向传播、学习率、初始化这些最容易翻车的环节入手把训练过程中的坑一个个摆出来。搁平时这些细节可能被框架封装得严严实实但越是被封装的东西越值得解开看看。1. 神经网络到底在学什么先建立直觉1.1 一个能“记住规律”的函数拟合器第一次接触神经网络的人最容易把它想得太玄。其实往朴素了说神经网络就是一个函数拟合器。给它一堆输入和对应的输出它通过不断调整内部参数去找一个函数让输入到输出的映射关系尽可能逼近真实规律。举个例子。假设你在预测房价输入是面积、楼层、朝向这些特征输出是房价。真实世界里的房价规律非常复杂你没法用手写if-else把规律写清楚。但神经网络可以它有大量参数每个参数都参与计算通过训练不断微调最后学到一个形如 ( y f(x) ) 的复杂映射关系。这个过程有点像在黑暗里摸一个曲面每一轮训练就是沿着曲面最陡的方向往下走一步最终走到一个局部最低点。很多人会把神经网络里的“神经元”类比成人脑神经元这个类比帮你建立印象可以但别太当真。实际的数学过程就是一堆矩阵乘法和非线性变换的叠加。每个神经元做的事本质上是对输入做一次线性组合再套一个激活函数增加非线性能力。1.2 为什么要从零手写而不是直接用框架现在的PyTorch、TensorFlow都太成熟了几行代码就能定义一个网络。这就带来一个问题框架把复杂度藏得太好好到很多初学者根本没机会看到梯度是什么、参数怎么更新、层与层之间数据形状怎么流动。我记得自己第一次用PyTorch训练模型敲完loss.backward()就算完事了那时候觉得训练好简单。直到后来面试被问到“如果某一层激活函数换成ReLU反向传播时梯度会有什么变化”我居然愣了半天——因为我从来没看过梯度长什么样。从那以后我再也不建议新朋友一上来就直接上框架。从零手写神经网络最大的价值在于“被迫面对每一个细节”。你会亲手实现前向传播的矩阵运算亲手写损失函数亲手把链式法则拆成一个又一个梯度表达式再亲手把它们组装成反向传播过程。这四个环节写一遍比在框架上训练一百个模型都管用。2. 搭建前的核心准备框架选型与基础数学2.1 工具选型NumPy还是PyTorch既然要从零搭建一个自然的问题是用什么工具这里有两种路径。第一种是纯NumPy手写也就是不依赖任何自动求导框架所有梯度公式都自己写。好处是你对每个导数公式都了然于胸坏处是代码会稍微多一些、调试起来也麻烦。第二种是用PyTorch但刻意不用它的自动求导功能或者只用它对单个张量做操作相当于“半手写”。我个人建议走第一种路径。原因很简单如果只用NumPy你会发现所有实现细节都暴露在阳光底下没有任何可以“逃课”的地方。等到你把NumPy版本跑通了再用PyTorch去实现你会猛然发现自己能读懂框架的每一步操作——这个从“看不懂”到“能预测”的转变就是真正的进步。项目环境只需要 Python 3.8 以上、NumPy 和 matplotlib。如果你后面想对比PyTorch实现再装一个PyTorch CPU版就够了。不要再装别的环境越干净排查问题越容易。2.2 基础数学前向传播的矩阵运算逻辑神经网络的前向传播说白了就是一组矩阵乘法和逐元素激活函数交替进行。我们定义一个三层的全连接网络输入层有n_input个节点隐藏层有n_hidden个节点输出层有n_output个节点。每一层都有一个权重矩阵W和偏置向量b当前层的输出就是[ z W \cdot a_{\text{prev}} b ] [ a \sigma(z) ]其中a_prev是上一层的激活输出σ是激活函数。每一层都做同样的事层层递进最后得到预测值。这里最容易犯的错是维度匹配。比如输入层有2个节点隐藏层有4个节点那这个隐藏层的权重矩阵形状应该是(4, 2)这样乘以(2, 1)的输入向量得到(4, 1)的结果。写成代码的时候如果你用 batch 形式处理数据那么输入形状是(batch_size, 2)权重矩阵用(2, 4)还是(4, 2)就有讲究了。我的建议是统一用(n_features, n_units)的形式也就是权重矩阵的列数等于上一层节点数行数等于当前层节点数这样在处理多个样本时矩阵乘法X W的形状语义最清晰。3. 从零定义网络结构一个三层全连接网络3.1 网络结构设计2-4-1意味着什么为了不把注意力分散到太多概念上这个项目用一个非常经典的2-4-1网络结构输入层2个节点隐藏层4个节点输出层1个节点。为什么是2个输入因为我们要造一个简单的非线性分类或回归数据集方便画图观察。比如经典的异或XOR问题输入是二维坐标点输出是0或1。XOR之所以经常出现在神经网络入门课里是因为它线性不可分——单层感知机搞不定但一个带隐藏层的网络就能轻松学出来。用这个任务你就能亲眼见证“多层”到底带来了什么。隐藏层选4个节点没有太多玄学主要是在表达能力和计算量之间取个平衡。节点太少了拟合不出XOR的边界太多了又让反向传播的公式变得冗长。4个节点够用且直观。输出层用1个节点输出一个 0 到 1 之间的数值经过阈值判断就能得到分类结果。这个结构虽然简单但它已经包含了神经网络的所有核心部件参数矩阵、偏置、激活函数、前向传播、反向传播、梯度下降。能把2-4-1网络彻底吃透后面看任何现代架构都不会心虚。3.2 激活函数与权重初始化用ReLU还是Sigmoid激活函数是这个网络里最不能随便对付的部分。任务不一样激活函数的选择差异很大。对于XOR这类二分类任务隐藏层我用Sigmoid输出层也用Sigmoid。Sigmoid函数把输入压到0到1之间天然适合解释成概率。但有一个问题Sigmoid在输入绝对值很大的时候梯度会趋近于0这就是梯度消失的雏形。为了让网络学得动权重初始化的值不能太大。权重初始化有两种常见方案一种是均匀分布初始化把权重初始值均匀采样在[-0.5, 0.5]之间另一种是更讲究的Xavier初始化它根据层节点的数量来调整初始值的范围公式是[ W \sim U\left(-\sqrt{\frac{6}{n_{in} n_{out}}}, \sqrt{\frac{6}{n_{in} n_{out}}}\right) ]Xavier初始化的动机很简单希望前向传播时每一层的方差保持稳定不让信号在逐层传播时放大到爆炸或者衰减到消失。如果隐藏层用ReLU更常用的其实是He初始化。但在我们这个2-4-1小网络里层数少普通均匀分布初始化也不会出太大问题只是作为习惯我还是推荐用Xavier。好习惯是慢慢养成的等到以后网络层数多了这个习惯能帮你省掉很多调试时间。3.3 损失函数选择回归还是分类损失函数决定了网络“往哪个方向调整参数”。如果是二分类任务最自然的选择是交叉熵损失配合Softmax或Sigmoid输出。但由于我们要手写反向传播交叉熵求梯度的时候会稍微绕一点所以初学阶段很多人会先选均方误差MSE。MSE对二分类也不是不行只是梯度行为略有不同收敛速度会慢一些但它简单公式干净[ L \frac{1}{2} \sum_{k1}^{n_{output}} (y_k - \hat{y}_k)^2 ]前面乘以1/2是为了求导时消掉平方项的系数纯粹为了表达式好看。要注意在实际项目中分类任务优先用交叉熵回归任务才用MSE。我这里用MSE只是为了演示不代表推荐在真实分类项目里这么做。等你把梯度推导熟练了再切换到交叉熵会非常容易。4. 手写反向传播神经网络的灵魂4.1 梯度下降的直觉沿着最陡的方向下山先记住一个画面你在雾气弥漫的山坡上想走到谷底但看不清整座山。你能做的就是感知脚下哪个方向最陡然后朝那个方向迈一步。梯度下降就是这样。损失函数L是关于网络所有权重的一个高维函数梯度就是L对每个权重的偏导数向量。梯度的方向是函数值上升最快的方向我们朝它的反方向走就能让损失下降。每次更新权重的公式是[ W W - \eta \cdot \frac{\partial L}{\partial W} ]这个更新公式里η是学习率相当于步子迈多大。步子迈大了可能直接跨过谷底甚至发散迈小了又走得慢。我不喜欢讲抽象概念直接给经验值这个2层小网络学习率设置在0.1~0.5之间通常都能收敛。但如果是深一点的网络比如10层以上学习率往往要降到1e-3甚至更低否则梯度爆炸会让你怀疑人生。4.2 链式法则与反向传播实现反向传播的核心就是链式法则。假设网络有两层那么损失对第一层权重的梯度需要先算出损失对输出层激活值的梯度再乘上输出层到隐藏层的梯度一路连乘到第一层。以输出层的权重更新为例。假设输出层只有一个神经元损失对输出层权重 ( w_{kj} ) 的梯度是[ \frac{\partial L}{\partial w_{kj}} \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial w_{kj}} ]其中(\frac{\partial L}{\partial a} (a - y))这是MSE的导数(\frac{\partial a}{\partial z} a(1-a))这是Sigmoid的导数(\frac{\partial z}{\partial w_{kj}} a_{j}^{prev})是上一层第 j 个神经元的输出。三个项一乘输出层的梯度就出来了。然后把这个梯度往下一层传递乘上隐藏层的激活函数导数再乘上输入值就得到隐藏层权重的梯度。写代码的时候我习惯把每一个中间量分开存下来z1、a1、z2、a2。前向传播时保存这些中间结果反向传播时直接取用避免重复计算。这是工程上的习惯但在教学里它也让代码逻辑一目了然。4.3 学习率到底怎么选学习率是训练里最常被调的超参数。我不会只给一个数字而是给你一套判断方法。训练时打印每次迭代的损失值。如果损失出现剧烈震荡基本就是学习率过大了。如果损失下降得非常慢几百轮后还停留在高位可能就是学习率太小。这两个极端我都见过最好用的办法是从一个稍大一点的值开始比如0.5观察损失曲线如果发散就除以10如果太慢就乘2。来回几次之后你自然能找到那个“刚好能稳定下降”的范围。还有一点学习率不是永恒的。一轮训练里前期用大学习率快速靠近谷底后期用小学习率精细调整这个策略叫学习率衰减。在小项目里可以先不加但你要知道有这回事因为真实项目里它几乎是标配。5. 完整代码基于NumPy的训练过程5.1 数据准备与归一化先造数据。XOR问题的数据很简单import numpy as np X np.array([[0, 0], [0, 1], [1, 0], [1, 1]]) y np.array([[0], [1], [1], [0]])数据和标签都准备好了。总共就4个样本算是迷你数据集。在更真实的任务里归一化往往是第一步——把每个特征的均值变成0、标准差变成1否则数值范围大的特征会在梯度计算中主导方向让模型学偏。XOR数据本身已经是0和1不需要额外归一化。但我在代码里还是会写一个标准的归一化函数并顺手说明一下在训练集上计算均值和方差然后应用到验证集和测试集上而不是分别计算。这个细节很多人会忽略但它对模型在真实场景上的表现影响很大。5.2 训练循环与batch策略在写训练循环之前先明确一下全量更新和小批量更新的区别。4个样本太少直接全量更新也没问题但我建议把代码写成支持 batch 的形式这样以后换大数据集不用大改。完整的训练循环分五步前向传播计算每一层的z和a计算损失反向传播得到每个参数的梯度按学习率更新权重和偏置记录损失绘制曲线。下面是我反复测试过能稳定收敛的NumPy实现def sigmoid(x): return 1 / (1 np.exp(-x)) def sigmoid_derivative(a): return a * (1 - a) class NeuralNetwork: def __init__(self, n_input, n_hidden, n_output): # Xavier初始化 limit1 np.sqrt(6 / (n_input n_hidden)) self.W1 np.random.uniform(-limit1, limit1, (n_input, n_hidden)) self.b1 np.zeros((1, n_hidden)) limit2 np.sqrt(6 / (n_hidden n_output)) self.W2 np.random.uniform(-limit2, limit2, (n_hidden, n_output)) self.b2 np.zeros((1, n_output)) def forward(self, X): self.z1 X self.W1 self.b1 self.a1 sigmoid(self.z1) self.z2 self.a1 self.W2 self.b2 self.a2 sigmoid(self.z2) return self.a2 def backward(self, X, y, learning_rate): m X.shape[0] # 输出层梯度 dz2 self.a2 - y # MSE sigmoid 的组合梯度 dW2 self.a1.T dz2 / m db2 np.sum(dz2, axis0, keepdimsTrue) / m # 隐藏层梯度 da1 dz2 self.W2.T dz1 da1 * sigmoid_derivative(self.a1) dW1 X.T dz1 / m db1 np.sum(dz1, axis0, keepdimsTrue) / m # 参数更新 self.W2 - learning_rate * dW2 self.b2 - learning_rate * db2 self.W1 - learning_rate * dW1 self.b1 - learning_rate * db1 def train(self, X, y, epochs, learning_rate): losses [] for i in range(epochs): output self.forward(X) loss np.mean((output - y) ** 2) losses.append(loss) self.backward(X, y, learning_rate) if i % 1000 0: print(fEpoch {i}, Loss: {loss:.6f}) return losses这段代码里有个非常关键的细节dz2 self.a2 - y。很多人刚学时很困惑为什么这一步没有分开写MSE的梯度和Sigmoid的梯度因为MSE配合Sigmoid时两者的导数相乘之后分子分母刚好约掉了最后就剩下(a2 - y)。这个合体公式在输出层配合Sigmoid时是成立的但要注意如果你的隐藏层激活函数不是Sigmoid或者损失函数不是MSE这个简化公式就不能乱套用。5.3 用PyTorch复现同一套逻辑NumPy版本跑通之后用PyTorch复现能让你更清楚框架到底帮你做了什么。import torch import torch.nn as nn class TorchNet(nn.Module): def __init__(self, n_input, n_hidden, n_output): super().__init__() self.fc1 nn.Linear(n_input, n_hidden) self.fc2 nn.Linear(n_hidden, n_output) self.sigmoid nn.Sigmoid() def forward(self, x): x self.sigmoid(self.fc1(x)) x self.sigmoid(self.fc2(x)) return x model TorchNet(2, 4, 1) criterion nn.MSELoss() optimizer torch.optim.SGD(model.parameters(), lr0.5) X_t torch.tensor(X, dtypetorch.float32) y_t torch.tensor(y, dtypetorch.float32) for epoch in range(10000): optimizer.zero_grad() output model(X_t) loss criterion(output, y_t) loss.backward() optimizer.step() if epoch % 1000 0: print(fEpoch {epoch}, Loss: {loss.item():.6f})对比两个版本你会发现PyTorch代码短很多核心就是loss.backward()和optimizer.step()。但如果你没手写过反向传播你不太可能真正理解backward()背后发生了什么。现在再回头看这段代码你应该能想象出backward()在计算图中沿反方向走了一遍每经过一层就把梯度存到对应参数的.grad属性里optimizer.step()则拿着这些梯度去更新参数。理解了这个过程框架对你来说就不再是黑盒子。6. 训练中的常见问题与排查技巧6.1 损失不下降从哪一步排查这是遇到最多的情况训练了好几轮损失纹丝不动。我建议按下面的顺序排查。先检查梯度是否为0。在反向传播后打印W1.grad或者自己算出的梯度矩阵如果全是0说明前向传播那里就断了最常见的原因是权重初始化为0导致所有神经元的梯度完全一样网络退化成一个对称结构。解决办法是随机初始化永远不要把权重初始化为全0。再检查激活函数输出是否饱和。如果所有样本的隐藏层输出都接近1说明权重初始化太大、信号在激活函数那里压扁了梯度几乎传不下去。解决方案是改用Xavier初始化或者减小输入数据的数值范围。最后检查学习率是否过大。损失直接变成NaN通常就是学习率过大导致梯度爆炸。这个在数值上一眼就能看出来如果前面两个都没问题就把学习率除以10试试。6.2 过拟合与欠拟合在小模型里怎么观察我们这个2-4-1网络因为任务简单不太容易过拟合。但既然做基础项目这个知识最好一并建立起来。欠拟合的表现是损失降不下去训练集上的准确率也很低。在小网络中常见原因是隐藏层节点数太少表达能力不够。解决方法是增加节点数或层数。过拟合的表现是训练集损失很低但测试集损失很高。在小模型里你很难把4个样本记住还泛化但以后做真实数据时过拟合会是最常遇到的拦路虎。应对过拟合的三板斧是增加数据量、降低模型复杂度、加正则化。其中正则化最简单的做法是在损失函数里加一项权重平方和比如L2正则[ L L_{原始} \frac{\lambda}{2} \sum_{i} W_i^2 ]这样权重不会长得太大模型的拟合曲线就更平滑。在NumPy手写时对应地在梯度里加上λ * W就行。这个操作我在真实项目里几乎每次都会加上。6.3 数值不稳梯度消失与梯度爆炸的简单验证数值不稳定是训练神经网络最常见的底层问题。在小网络里不太容易碰到但你可以通过一个小实验提前体验把网络层数从2层加到5层、10层然后观察反向传播时第一层权重的梯度数量级。你会发现随着层数增加第一层的梯度要么指数级变小梯度消失要么指数级变大梯度爆炸。原因就是链式法则里每多乘一个小于1的数梯度就越乘越小。这解释了为什么现代网络结构中会用残差连接和批归一化——它们本质上是给梯度提供一条“高速公路”让它不用一路经过每一层激活函数的导数。虽然这些内容超出本项目范围但你现在知道这些看起来高深的技术解决的问题根源就在这里。7. 从多层感知机到现代架构下一步怎么走7.1 CNN、RNN、Transformer怎么从基础演变而来当你彻底掌握了这种全连接前馈神经网络后面的学习路径会顺畅很多。**卷积神经网络CNN**不是推翻了全连接网络而是针对图像数据做了一种特殊假设局部特征可以通过卷积核被重复利用。它依然有前向传播、依然有反向传播只是层的类型从矩阵乘法变成了卷积运算。如果你理解了梯度链式法则在普通全连接层里怎么流动卷积层的反向传播也只是把链式法则应用在卷积操作上而已。**循环神经网络RNN**解决的是时序数据的建模问题它会多一个“时间步”的维度在网络展开之后本质上还是一个多层网络的反向传播只不过每层的参数是共享的。至于现在的Transformer它的核心是自注意力机制但它的前向流程里依然包含全连接层、激活函数、层归一化。你会发现所有现代模型的骨架里都有你手写过的这些基础操作的影子。这也是为什么我一直觉得基础网络值得花大把时间去啃。7.2 学习建议什么时候该用轮子写到这我必须给一句实在话不要为了手写而手写但要为了理解而手写。在你完成一到两个从零实现的项目之后真实工作里请放心大胆用PyTorch、TensorFlow这些框架它们经过无数工程师的打磨稳定性和效率都远超人肉实现。时代不需要每个人都重新造一遍轮子但初级从业者至少要亲手拆过一次轮子才对轮子为什么长这样有发言权。我的建议是这个项目做完再做一次手写CNN卷积层的前向和反向传播再做一次手写RNN one-step的传播。三次之后你对深度学习的理解已经超过了绝大多数只调包的人。如果后面想往算法岗发展这些手写功力会在面试时救你一把。写在最后几个反复踩坑后的心得我每次带新手做这个项目都会发现几个反反复复出现的问题最后整理成速查表希望你用的时候能少走弯路常见错误表现解决方案权重初始化为0损失不降梯度全0用随机初始化Xavier / He学习率过大损失震荡或变为NaN学习率除以10甚至更低Sigmoid饱和梯度消失损失下降极慢减小初始化范围或改用ReLU忘记归一化特征尺度差距大收敛慢训练集统计均值方差应用到全部分集数据形状错位矩阵乘法报错或结果异常打印每一层张量形状对照公式检查还有一个容易被忽视的习惯训练时每1000轮打印一次损失还不够最好把loss曲线画出来。matplotlib画个折线图一眼就能看出收敛趋势。我见过很多人只看终态损失值损失曲线明明在剧烈震荡却浑然不觉。曲线比数值诚实得多。最后这个2-4-1的迷你网络虽然小但它包含了神经网络的全部骨架。你可以尝试给它加一层隐藏层或者把Sigmoid换成ReLU或者把MSE换成交叉熵——每次只改一个变量仔细观察训练行为的变化。这种“单变量实验”的方法是你以后调任何模型的基本功。我个人每次调参都坚持一次只动一个变量否则出了问题根本不知道是哪一步改坏的。
从零手写神经网络：理解反向传播与梯度下降的核心原理
深度学习这两年几乎成了技术圈的全民话题但很多朋友一开始接触就被各种名词砸懵了——卷积、循环、注意力机制、大模型……其实不管后面的网络结构多花哨它们的地基都是同一个东西神经网络Neural Network。这个项目的名字叫“从零开始搭建一个神经网络”听起来很基础但基础恰恰是最值得死磕的部分。我见过太多人调包调得飞起却连反向传播的梯度在哪一层断掉都说不清楚。这篇文章就沿着这条线把神经网络从直觉到实现完整走一遍。这篇内容不挑基础只要你会一点Python、记得微积分里链式法则的大概意思就能跟上。我会先讲清楚神经网络在解决什么问题然后手写一个能跑的三层网络再从反向传播、学习率、初始化这些最容易翻车的环节入手把训练过程中的坑一个个摆出来。搁平时这些细节可能被框架封装得严严实实但越是被封装的东西越值得解开看看。1. 神经网络到底在学什么先建立直觉1.1 一个能“记住规律”的函数拟合器第一次接触神经网络的人最容易把它想得太玄。其实往朴素了说神经网络就是一个函数拟合器。给它一堆输入和对应的输出它通过不断调整内部参数去找一个函数让输入到输出的映射关系尽可能逼近真实规律。举个例子。假设你在预测房价输入是面积、楼层、朝向这些特征输出是房价。真实世界里的房价规律非常复杂你没法用手写if-else把规律写清楚。但神经网络可以它有大量参数每个参数都参与计算通过训练不断微调最后学到一个形如 ( y f(x) ) 的复杂映射关系。这个过程有点像在黑暗里摸一个曲面每一轮训练就是沿着曲面最陡的方向往下走一步最终走到一个局部最低点。很多人会把神经网络里的“神经元”类比成人脑神经元这个类比帮你建立印象可以但别太当真。实际的数学过程就是一堆矩阵乘法和非线性变换的叠加。每个神经元做的事本质上是对输入做一次线性组合再套一个激活函数增加非线性能力。1.2 为什么要从零手写而不是直接用框架现在的PyTorch、TensorFlow都太成熟了几行代码就能定义一个网络。这就带来一个问题框架把复杂度藏得太好好到很多初学者根本没机会看到梯度是什么、参数怎么更新、层与层之间数据形状怎么流动。我记得自己第一次用PyTorch训练模型敲完loss.backward()就算完事了那时候觉得训练好简单。直到后来面试被问到“如果某一层激活函数换成ReLU反向传播时梯度会有什么变化”我居然愣了半天——因为我从来没看过梯度长什么样。从那以后我再也不建议新朋友一上来就直接上框架。从零手写神经网络最大的价值在于“被迫面对每一个细节”。你会亲手实现前向传播的矩阵运算亲手写损失函数亲手把链式法则拆成一个又一个梯度表达式再亲手把它们组装成反向传播过程。这四个环节写一遍比在框架上训练一百个模型都管用。2. 搭建前的核心准备框架选型与基础数学2.1 工具选型NumPy还是PyTorch既然要从零搭建一个自然的问题是用什么工具这里有两种路径。第一种是纯NumPy手写也就是不依赖任何自动求导框架所有梯度公式都自己写。好处是你对每个导数公式都了然于胸坏处是代码会稍微多一些、调试起来也麻烦。第二种是用PyTorch但刻意不用它的自动求导功能或者只用它对单个张量做操作相当于“半手写”。我个人建议走第一种路径。原因很简单如果只用NumPy你会发现所有实现细节都暴露在阳光底下没有任何可以“逃课”的地方。等到你把NumPy版本跑通了再用PyTorch去实现你会猛然发现自己能读懂框架的每一步操作——这个从“看不懂”到“能预测”的转变就是真正的进步。项目环境只需要 Python 3.8 以上、NumPy 和 matplotlib。如果你后面想对比PyTorch实现再装一个PyTorch CPU版就够了。不要再装别的环境越干净排查问题越容易。2.2 基础数学前向传播的矩阵运算逻辑神经网络的前向传播说白了就是一组矩阵乘法和逐元素激活函数交替进行。我们定义一个三层的全连接网络输入层有n_input个节点隐藏层有n_hidden个节点输出层有n_output个节点。每一层都有一个权重矩阵W和偏置向量b当前层的输出就是[ z W \cdot a_{\text{prev}} b ] [ a \sigma(z) ]其中a_prev是上一层的激活输出σ是激活函数。每一层都做同样的事层层递进最后得到预测值。这里最容易犯的错是维度匹配。比如输入层有2个节点隐藏层有4个节点那这个隐藏层的权重矩阵形状应该是(4, 2)这样乘以(2, 1)的输入向量得到(4, 1)的结果。写成代码的时候如果你用 batch 形式处理数据那么输入形状是(batch_size, 2)权重矩阵用(2, 4)还是(4, 2)就有讲究了。我的建议是统一用(n_features, n_units)的形式也就是权重矩阵的列数等于上一层节点数行数等于当前层节点数这样在处理多个样本时矩阵乘法X W的形状语义最清晰。3. 从零定义网络结构一个三层全连接网络3.1 网络结构设计2-4-1意味着什么为了不把注意力分散到太多概念上这个项目用一个非常经典的2-4-1网络结构输入层2个节点隐藏层4个节点输出层1个节点。为什么是2个输入因为我们要造一个简单的非线性分类或回归数据集方便画图观察。比如经典的异或XOR问题输入是二维坐标点输出是0或1。XOR之所以经常出现在神经网络入门课里是因为它线性不可分——单层感知机搞不定但一个带隐藏层的网络就能轻松学出来。用这个任务你就能亲眼见证“多层”到底带来了什么。隐藏层选4个节点没有太多玄学主要是在表达能力和计算量之间取个平衡。节点太少了拟合不出XOR的边界太多了又让反向传播的公式变得冗长。4个节点够用且直观。输出层用1个节点输出一个 0 到 1 之间的数值经过阈值判断就能得到分类结果。这个结构虽然简单但它已经包含了神经网络的所有核心部件参数矩阵、偏置、激活函数、前向传播、反向传播、梯度下降。能把2-4-1网络彻底吃透后面看任何现代架构都不会心虚。3.2 激活函数与权重初始化用ReLU还是Sigmoid激活函数是这个网络里最不能随便对付的部分。任务不一样激活函数的选择差异很大。对于XOR这类二分类任务隐藏层我用Sigmoid输出层也用Sigmoid。Sigmoid函数把输入压到0到1之间天然适合解释成概率。但有一个问题Sigmoid在输入绝对值很大的时候梯度会趋近于0这就是梯度消失的雏形。为了让网络学得动权重初始化的值不能太大。权重初始化有两种常见方案一种是均匀分布初始化把权重初始值均匀采样在[-0.5, 0.5]之间另一种是更讲究的Xavier初始化它根据层节点的数量来调整初始值的范围公式是[ W \sim U\left(-\sqrt{\frac{6}{n_{in} n_{out}}}, \sqrt{\frac{6}{n_{in} n_{out}}}\right) ]Xavier初始化的动机很简单希望前向传播时每一层的方差保持稳定不让信号在逐层传播时放大到爆炸或者衰减到消失。如果隐藏层用ReLU更常用的其实是He初始化。但在我们这个2-4-1小网络里层数少普通均匀分布初始化也不会出太大问题只是作为习惯我还是推荐用Xavier。好习惯是慢慢养成的等到以后网络层数多了这个习惯能帮你省掉很多调试时间。3.3 损失函数选择回归还是分类损失函数决定了网络“往哪个方向调整参数”。如果是二分类任务最自然的选择是交叉熵损失配合Softmax或Sigmoid输出。但由于我们要手写反向传播交叉熵求梯度的时候会稍微绕一点所以初学阶段很多人会先选均方误差MSE。MSE对二分类也不是不行只是梯度行为略有不同收敛速度会慢一些但它简单公式干净[ L \frac{1}{2} \sum_{k1}^{n_{output}} (y_k - \hat{y}_k)^2 ]前面乘以1/2是为了求导时消掉平方项的系数纯粹为了表达式好看。要注意在实际项目中分类任务优先用交叉熵回归任务才用MSE。我这里用MSE只是为了演示不代表推荐在真实分类项目里这么做。等你把梯度推导熟练了再切换到交叉熵会非常容易。4. 手写反向传播神经网络的灵魂4.1 梯度下降的直觉沿着最陡的方向下山先记住一个画面你在雾气弥漫的山坡上想走到谷底但看不清整座山。你能做的就是感知脚下哪个方向最陡然后朝那个方向迈一步。梯度下降就是这样。损失函数L是关于网络所有权重的一个高维函数梯度就是L对每个权重的偏导数向量。梯度的方向是函数值上升最快的方向我们朝它的反方向走就能让损失下降。每次更新权重的公式是[ W W - \eta \cdot \frac{\partial L}{\partial W} ]这个更新公式里η是学习率相当于步子迈多大。步子迈大了可能直接跨过谷底甚至发散迈小了又走得慢。我不喜欢讲抽象概念直接给经验值这个2层小网络学习率设置在0.1~0.5之间通常都能收敛。但如果是深一点的网络比如10层以上学习率往往要降到1e-3甚至更低否则梯度爆炸会让你怀疑人生。4.2 链式法则与反向传播实现反向传播的核心就是链式法则。假设网络有两层那么损失对第一层权重的梯度需要先算出损失对输出层激活值的梯度再乘上输出层到隐藏层的梯度一路连乘到第一层。以输出层的权重更新为例。假设输出层只有一个神经元损失对输出层权重 ( w_{kj} ) 的梯度是[ \frac{\partial L}{\partial w_{kj}} \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial w_{kj}} ]其中(\frac{\partial L}{\partial a} (a - y))这是MSE的导数(\frac{\partial a}{\partial z} a(1-a))这是Sigmoid的导数(\frac{\partial z}{\partial w_{kj}} a_{j}^{prev})是上一层第 j 个神经元的输出。三个项一乘输出层的梯度就出来了。然后把这个梯度往下一层传递乘上隐藏层的激活函数导数再乘上输入值就得到隐藏层权重的梯度。写代码的时候我习惯把每一个中间量分开存下来z1、a1、z2、a2。前向传播时保存这些中间结果反向传播时直接取用避免重复计算。这是工程上的习惯但在教学里它也让代码逻辑一目了然。4.3 学习率到底怎么选学习率是训练里最常被调的超参数。我不会只给一个数字而是给你一套判断方法。训练时打印每次迭代的损失值。如果损失出现剧烈震荡基本就是学习率过大了。如果损失下降得非常慢几百轮后还停留在高位可能就是学习率太小。这两个极端我都见过最好用的办法是从一个稍大一点的值开始比如0.5观察损失曲线如果发散就除以10如果太慢就乘2。来回几次之后你自然能找到那个“刚好能稳定下降”的范围。还有一点学习率不是永恒的。一轮训练里前期用大学习率快速靠近谷底后期用小学习率精细调整这个策略叫学习率衰减。在小项目里可以先不加但你要知道有这回事因为真实项目里它几乎是标配。5. 完整代码基于NumPy的训练过程5.1 数据准备与归一化先造数据。XOR问题的数据很简单import numpy as np X np.array([[0, 0], [0, 1], [1, 0], [1, 1]]) y np.array([[0], [1], [1], [0]])数据和标签都准备好了。总共就4个样本算是迷你数据集。在更真实的任务里归一化往往是第一步——把每个特征的均值变成0、标准差变成1否则数值范围大的特征会在梯度计算中主导方向让模型学偏。XOR数据本身已经是0和1不需要额外归一化。但我在代码里还是会写一个标准的归一化函数并顺手说明一下在训练集上计算均值和方差然后应用到验证集和测试集上而不是分别计算。这个细节很多人会忽略但它对模型在真实场景上的表现影响很大。5.2 训练循环与batch策略在写训练循环之前先明确一下全量更新和小批量更新的区别。4个样本太少直接全量更新也没问题但我建议把代码写成支持 batch 的形式这样以后换大数据集不用大改。完整的训练循环分五步前向传播计算每一层的z和a计算损失反向传播得到每个参数的梯度按学习率更新权重和偏置记录损失绘制曲线。下面是我反复测试过能稳定收敛的NumPy实现def sigmoid(x): return 1 / (1 np.exp(-x)) def sigmoid_derivative(a): return a * (1 - a) class NeuralNetwork: def __init__(self, n_input, n_hidden, n_output): # Xavier初始化 limit1 np.sqrt(6 / (n_input n_hidden)) self.W1 np.random.uniform(-limit1, limit1, (n_input, n_hidden)) self.b1 np.zeros((1, n_hidden)) limit2 np.sqrt(6 / (n_hidden n_output)) self.W2 np.random.uniform(-limit2, limit2, (n_hidden, n_output)) self.b2 np.zeros((1, n_output)) def forward(self, X): self.z1 X self.W1 self.b1 self.a1 sigmoid(self.z1) self.z2 self.a1 self.W2 self.b2 self.a2 sigmoid(self.z2) return self.a2 def backward(self, X, y, learning_rate): m X.shape[0] # 输出层梯度 dz2 self.a2 - y # MSE sigmoid 的组合梯度 dW2 self.a1.T dz2 / m db2 np.sum(dz2, axis0, keepdimsTrue) / m # 隐藏层梯度 da1 dz2 self.W2.T dz1 da1 * sigmoid_derivative(self.a1) dW1 X.T dz1 / m db1 np.sum(dz1, axis0, keepdimsTrue) / m # 参数更新 self.W2 - learning_rate * dW2 self.b2 - learning_rate * db2 self.W1 - learning_rate * dW1 self.b1 - learning_rate * db1 def train(self, X, y, epochs, learning_rate): losses [] for i in range(epochs): output self.forward(X) loss np.mean((output - y) ** 2) losses.append(loss) self.backward(X, y, learning_rate) if i % 1000 0: print(fEpoch {i}, Loss: {loss:.6f}) return losses这段代码里有个非常关键的细节dz2 self.a2 - y。很多人刚学时很困惑为什么这一步没有分开写MSE的梯度和Sigmoid的梯度因为MSE配合Sigmoid时两者的导数相乘之后分子分母刚好约掉了最后就剩下(a2 - y)。这个合体公式在输出层配合Sigmoid时是成立的但要注意如果你的隐藏层激活函数不是Sigmoid或者损失函数不是MSE这个简化公式就不能乱套用。5.3 用PyTorch复现同一套逻辑NumPy版本跑通之后用PyTorch复现能让你更清楚框架到底帮你做了什么。import torch import torch.nn as nn class TorchNet(nn.Module): def __init__(self, n_input, n_hidden, n_output): super().__init__() self.fc1 nn.Linear(n_input, n_hidden) self.fc2 nn.Linear(n_hidden, n_output) self.sigmoid nn.Sigmoid() def forward(self, x): x self.sigmoid(self.fc1(x)) x self.sigmoid(self.fc2(x)) return x model TorchNet(2, 4, 1) criterion nn.MSELoss() optimizer torch.optim.SGD(model.parameters(), lr0.5) X_t torch.tensor(X, dtypetorch.float32) y_t torch.tensor(y, dtypetorch.float32) for epoch in range(10000): optimizer.zero_grad() output model(X_t) loss criterion(output, y_t) loss.backward() optimizer.step() if epoch % 1000 0: print(fEpoch {epoch}, Loss: {loss.item():.6f})对比两个版本你会发现PyTorch代码短很多核心就是loss.backward()和optimizer.step()。但如果你没手写过反向传播你不太可能真正理解backward()背后发生了什么。现在再回头看这段代码你应该能想象出backward()在计算图中沿反方向走了一遍每经过一层就把梯度存到对应参数的.grad属性里optimizer.step()则拿着这些梯度去更新参数。理解了这个过程框架对你来说就不再是黑盒子。6. 训练中的常见问题与排查技巧6.1 损失不下降从哪一步排查这是遇到最多的情况训练了好几轮损失纹丝不动。我建议按下面的顺序排查。先检查梯度是否为0。在反向传播后打印W1.grad或者自己算出的梯度矩阵如果全是0说明前向传播那里就断了最常见的原因是权重初始化为0导致所有神经元的梯度完全一样网络退化成一个对称结构。解决办法是随机初始化永远不要把权重初始化为全0。再检查激活函数输出是否饱和。如果所有样本的隐藏层输出都接近1说明权重初始化太大、信号在激活函数那里压扁了梯度几乎传不下去。解决方案是改用Xavier初始化或者减小输入数据的数值范围。最后检查学习率是否过大。损失直接变成NaN通常就是学习率过大导致梯度爆炸。这个在数值上一眼就能看出来如果前面两个都没问题就把学习率除以10试试。6.2 过拟合与欠拟合在小模型里怎么观察我们这个2-4-1网络因为任务简单不太容易过拟合。但既然做基础项目这个知识最好一并建立起来。欠拟合的表现是损失降不下去训练集上的准确率也很低。在小网络中常见原因是隐藏层节点数太少表达能力不够。解决方法是增加节点数或层数。过拟合的表现是训练集损失很低但测试集损失很高。在小模型里你很难把4个样本记住还泛化但以后做真实数据时过拟合会是最常遇到的拦路虎。应对过拟合的三板斧是增加数据量、降低模型复杂度、加正则化。其中正则化最简单的做法是在损失函数里加一项权重平方和比如L2正则[ L L_{原始} \frac{\lambda}{2} \sum_{i} W_i^2 ]这样权重不会长得太大模型的拟合曲线就更平滑。在NumPy手写时对应地在梯度里加上λ * W就行。这个操作我在真实项目里几乎每次都会加上。6.3 数值不稳梯度消失与梯度爆炸的简单验证数值不稳定是训练神经网络最常见的底层问题。在小网络里不太容易碰到但你可以通过一个小实验提前体验把网络层数从2层加到5层、10层然后观察反向传播时第一层权重的梯度数量级。你会发现随着层数增加第一层的梯度要么指数级变小梯度消失要么指数级变大梯度爆炸。原因就是链式法则里每多乘一个小于1的数梯度就越乘越小。这解释了为什么现代网络结构中会用残差连接和批归一化——它们本质上是给梯度提供一条“高速公路”让它不用一路经过每一层激活函数的导数。虽然这些内容超出本项目范围但你现在知道这些看起来高深的技术解决的问题根源就在这里。7. 从多层感知机到现代架构下一步怎么走7.1 CNN、RNN、Transformer怎么从基础演变而来当你彻底掌握了这种全连接前馈神经网络后面的学习路径会顺畅很多。**卷积神经网络CNN**不是推翻了全连接网络而是针对图像数据做了一种特殊假设局部特征可以通过卷积核被重复利用。它依然有前向传播、依然有反向传播只是层的类型从矩阵乘法变成了卷积运算。如果你理解了梯度链式法则在普通全连接层里怎么流动卷积层的反向传播也只是把链式法则应用在卷积操作上而已。**循环神经网络RNN**解决的是时序数据的建模问题它会多一个“时间步”的维度在网络展开之后本质上还是一个多层网络的反向传播只不过每层的参数是共享的。至于现在的Transformer它的核心是自注意力机制但它的前向流程里依然包含全连接层、激活函数、层归一化。你会发现所有现代模型的骨架里都有你手写过的这些基础操作的影子。这也是为什么我一直觉得基础网络值得花大把时间去啃。7.2 学习建议什么时候该用轮子写到这我必须给一句实在话不要为了手写而手写但要为了理解而手写。在你完成一到两个从零实现的项目之后真实工作里请放心大胆用PyTorch、TensorFlow这些框架它们经过无数工程师的打磨稳定性和效率都远超人肉实现。时代不需要每个人都重新造一遍轮子但初级从业者至少要亲手拆过一次轮子才对轮子为什么长这样有发言权。我的建议是这个项目做完再做一次手写CNN卷积层的前向和反向传播再做一次手写RNN one-step的传播。三次之后你对深度学习的理解已经超过了绝大多数只调包的人。如果后面想往算法岗发展这些手写功力会在面试时救你一把。写在最后几个反复踩坑后的心得我每次带新手做这个项目都会发现几个反反复复出现的问题最后整理成速查表希望你用的时候能少走弯路常见错误表现解决方案权重初始化为0损失不降梯度全0用随机初始化Xavier / He学习率过大损失震荡或变为NaN学习率除以10甚至更低Sigmoid饱和梯度消失损失下降极慢减小初始化范围或改用ReLU忘记归一化特征尺度差距大收敛慢训练集统计均值方差应用到全部分集数据形状错位矩阵乘法报错或结果异常打印每一层张量形状对照公式检查还有一个容易被忽视的习惯训练时每1000轮打印一次损失还不够最好把loss曲线画出来。matplotlib画个折线图一眼就能看出收敛趋势。我见过很多人只看终态损失值损失曲线明明在剧烈震荡却浑然不觉。曲线比数值诚实得多。最后这个2-4-1的迷你网络虽然小但它包含了神经网络的全部骨架。你可以尝试给它加一层隐藏层或者把Sigmoid换成ReLU或者把MSE换成交叉熵——每次只改一个变量仔细观察训练行为的变化。这种“单变量实验”的方法是你以后调任何模型的基本功。我个人每次调参都坚持一次只动一个变量否则出了问题根本不知道是哪一步改坏的。