一年前我在准备一场大模型技术分享时翻遍了相关资料发现一个很典型的问题网上讲词向量的教程和讲 Transformer 的教程往往相互割裂刚看完 Word2Vec 的概念很快就跳到自注意力机制和大模型中间巨大的逻辑断层让人卡壳。于是我把整个链路——从词向量如何产生、RNN 为什么吃力到 Transformer 的核心设计再到 GPT、BERT 这类大模型怎么把规模推起来——完整梳理了一遍整理成这套动画形式的急速入门笔记。如果你对 AI 大模型背后的原理感兴趣但又不想一开始就啃 70 页英文论文这篇文章正好适合你。这篇文章围绕一条主线展开让机器理解语言这件事是怎么一步步走到今天的大模型时代的。我会用一个又一个“为什么”把链路串起来配上动画化的思路描述帮你把零散知识连成体系。内容覆盖词向量的核心思想、Transformer 的注意力机制、大模型的训练与扩展逻辑以及常见误区和学习路线。读完你不仅能听懂大模型圈子里常说的“自注意力”“预训练”“微调”“上下文窗口”还能在自己的项目里判断该用什么思路去应用大模型。1. 背景与核心概念1.1 为什么先有词向量才有大模型很多初学者一上来就研究 Transformer 结构读了几篇博客后还是不明白为什么输入一段文字之前要先做 Embedding嵌入这其实是因为计算机不认识“苹果”“香蕉”这种汉字或单词它只认识数字。词向量的作用就是把自然语言里的最小语义单元——词映射到一个高维数值空间里让语义相近的词在空间中彼此靠近。这个过程相当于给机器铺了一条“语义坐标系”。比如“猫”和“狗”两个词的向量距离会比较近而“猫”和“汽车”的向量距离会比较远。早期模型处理语言时使用的是 One-Hot 编码也就是每个词用一个超长的 0/1 向量表示维度等于词表大小。这种方式有两个致命问题一是维度爆炸50 万词的词表就要用 50 万维向量二是词与词之间没有语义关系“猫”和“猫科动物”在向量空间里毫无关联。词向量的出现解决了这两个问题。它的核心突破是“分布式表示”用有限维度的稠密向量去承载词的语义信息。后来出现的 Word2Vec、GloVe 等方法让词向量具有了有趣的加减法性质“国王 - 男性 女性 ≈ 女王”。虽然这个性质不能在所有场景中成立但足以说明词向量成功捕捉到了单词之间的语义关系这为后来复杂的语义建模打下了基础。1.2 Transformer 与大模型的关系Transformer 是一种神经网络架构它并不等于大模型但它是当前绝大多数大模型的底座。我们常说的 GPT、BERT、T5、LLaMA这些模型的骨架都是 Transformer。可以说没有 Transformer 的自注意力机制就没有今天轰轰烈烈的大模型时代。大模型的“大”主要体现在参数量、训练数据量和计算资源上。从几亿参数的小规模模型到千亿级参数的 GPT-3、万亿级稀疏模型规模变大后模型出现了许多小模型不具备的能力比如上下文学习、思维链推理等。但规模并不是魔法它依赖于 Transformer 架构能充分利用并行计算、稳定处理长序列这些特性。1.3 这篇文章适合什么样的读者如果你有以下情况之一本文会非常适合你想理解大模型底层原理但觉得论文太难啃有 Python 基础但不清楚 Transformer 里 Q、K、V 到底是什么被新闻里“大模型”“词向量”等词轰炸想做一次系统化梳理正在准备大模型相关面试需要把原理主线快速摸清。接下来我们从最底层的词向量讲起一步一步走到 Transformer 和大模型。整个过程我会尽可能用简洁的比喻和动画式描述帮你在脑子里形成清晰的图像。2. 词向量让机器理解语言的起点2.1 One-Hot 编码的困境先看最直接的数字编码方式。假设我们有一个词表里面只有四个词[我, 爱, 自然, 语言]。用 One-Hot 编码可以这样表示我 - [1, 0, 0, 0] 爱 - [0, 1, 0, 0] 自然 - [0, 0, 1, 0] 语言 - [0, 0, 0, 1]这种编码方式简单粗暴但问题是每个向量都是正交的向量之间的余弦相似度永远是 0。在模型看来“苹果”这词和“香蕉”这词没有任何关系因为它们对应的维度完全不同。更麻烦的是真实场景中的词表可能达到几十万甚至上百万One-Hot 向量动辄几十万维训练和存储成本都非常高。如果你在深度学习中见过 Embedding 层它的本质其实是一张“查找表”。每个词经过 Embedding 层后从一个稀疏的 One-Hot 向量变成稠密的低维向量。Embedding 层的参数一开始是随机初始化的随着模型训练逐渐调整最终每个词都能得到一个有语义含义的向量表示。2.2 分布式表示与分布假设词向量的核心是“分布式表示”Distributed Representation。它认为词的语义不是由一个独立维度决定的而是由整个向量中各维度的组合模式共同决定的。支撑这个方法的一个关键假设是“分布假设”——出现在相似上下文中的词往往具有相似的语义。这个思想最早来自语言学家 Zellig Harris后来被自然语言处理领域广泛采用。“You shall know a word by the company it keeps”看一个词要看它的同伴这句名言描述的就是这个道理。Word2Vec 就是利用这个假设实现的。它有两种经典训练模式CBOW 和 Skip-gram。CBOWContinuous Bag-of-Words用上下文词预测中间词。比如看到“我 __ 自然语言”模型要预测中间那个词是“爱”。Skip-gram用中间词预测上下文词。比如看到“爱”模型要预测它周围的词可能是“我”“自然”“语言”。两种方式本质都是在训练过程中让语义相近的词学会共享相似的向量表示。CBOW 训练速度快对高频词更友好Skip-gram 在低频词上表现更好但训练速度稍慢。之后出现的 GloVe 则结合了全局词频统计信息和局部上下文窗口在部分任务上表现更好。2.3 Word2Vec 的直观理解与代码示意Word2Vec 虽然很少被直接用在现代大模型里但它的思想至今影响着整个 NLP 领域。我们来看一个非常精简的 PyTorch 风格实现思路帮你理解训练过程。import torch import torch.nn as nn # 模型结构一个 Embedding 层 一个线性层 class Word2Vec(nn.Module): def __init__(self, vocab_size, embedding_dim): super().__init__() self.embedding nn.Embedding(vocab_size, embedding_dim) self.output nn.Linear(embedding_dim, vocab_size) def forward(self, input_ids): # input_ids: [batch_size] embeds self.embedding(input_ids) # [batch_size, embedding_dim] logits self.output(embeds) # [batch_size, vocab_size] return logits训练时模型做的事情非常“语言模型化”输入一个词输出每个词成为它上下文的概率分布。我们拿一条语料“我 爱 自然 语言 处理”来说把“爱”作为中心词它的上下文可以是周围的“我”“自然”模型接收“爱”的 one-hot 向量或 id经过 Embedding 和线性层输出一个概率分布目标是让“我”和“自然”的概率尽量大通过反向传播调整 Embedding 层里的数值让词向量逐渐带上语义信息。大量语料反复训练后每个词对应的向量就具备了几何意义。我们可以在向量空间里计算相似度甚至做类比推理。这里的重点是理解“训练过程中的副产品是词向量”这一思想模型本身并不重要重要的是模型中 Embedding 层的参数。2.4 词向量的局限词向量虽然让机器第一次“理解”了词义但它有一个明显问题一个词只有一个固定的向量。这意味着“苹果”这个词无论是表示水果还是手机品牌都使用同一个向量。一词多义、语境依赖、指代消解等问题词向量无法有效解决。另外词向量也没有考虑词的顺序信息。把“猫追老鼠”和“老鼠追猫”这两句话中的词向量按位置对齐后模型会认为它们的语义非常相似但实际含义完全不同。这说明只靠静态词向量远不足以建模真正的人类语言。于是研究者的目光从“词的表示”转向了“句子和上下文的表示”。这也解释了我们为什么需要 RNN、LSTM以及最终的 Transformer。3. 为什么最终是 Transformer3.1 RNN 与 LSTM 的尝试及其瓶颈循环神经网络RNN是早期处理序列数据的主力。它的设计理念很自然一步一步地读取序列把之前看到的信息保存在一个隐藏状态里再结合当前输入更新这个状态。打个比方RNN 就像一个逐字阅读的人读过前面一句话后脑子里留有一个“记忆摘要”。但 RNN 的问题是当序列很长时最初的信息会随着一步步传递不断衰减最终在隐藏状态里基本消失。这就是所谓的“长距离依赖问题”也是梯度消失问题的一种体现。LSTM 通过引入“门控机制”来缓解这个问题。它可以决定哪些信息要记住、哪些要遗忘因此在较长序列上比普通 RNN 表现更好。但 LSTM 仍然存在两个痛点串行计算慢每个时间步必须依赖上一步的隐藏状态没法并行处理整个序列长距离建模仍然有限虽然比 RNN 好但要建模非常长的文本上下文依然吃力。在 Transformer 出现之前处理序列的基本套路是“先把词变成词向量再喂给 RNN/LSTM最后用注意力机制加强某些关键位置的表示”。注意力机制最早被用在 Seq2Seq 模型里用来让解码器在生成每个词时动态地回看编码器中相关位置的词。这个机制证明了“动态选择重要信息”比“把所有信息压缩成一个向量”更有效。3.2 从注意力机制到自注意力机制Seq2Seq 中的注意力机制解决的是“解码时应该关注源句子里的哪些词”。而 Transformer 走得更远它让句子内部每个词之间互相计算注意力分数这就是自注意力机制Self-Attention。自注意力的思路可以这样理解当你读“它没有通过考试因为它没有认真复习”这句话时看到“它”时你会自然地把“它”和“考试”“复习”关联起来。自注意力机制希望模型也能做到同样的事——为每个词动态地寻找句子中其他词的相关性并将这些相关信息聚合到当前词的表示中。更重要的是自注意力对句子中任意两个词都直接计算依赖关系距离远近不再影响信息传递。这彻底解决了 RNN 的长距离依赖问题同时所有词对的计算可以并行完成极大提升了训练效率。3.3 与 CNN 和 RNN 的对比经常有人问CNN 也能处理图像和文本为什么大模型不用 CNNCNN 通过卷积核在局部窗口内提取特征擅长捕捉局部模式。但对文本这种长距离依赖很强的数据CNN 需要堆叠很多层才能把远处的信息关联起来而且卷积核的感受野有限建模效率不如自注意力直接。RNN 的问题前面已经提到串行计算和长距离信息衰减。而 Transformer 的自注意力机制做到了“任意位置直接交互 全序列并行计算”在长文本建模上天然有优势。下面用表格直观对比三种架构特性CNNRNN/LSTMTransformer计算方式局部窗口卷积逐步递归全局两两计算并行性很好差串行很好长距离依赖需要堆叠多层较差直接建模典型应用图像分类、目标检测早期 NLP 序列建模几乎所有大模型参数量利用率较低中高一句话总结Transformer 不是凭空出现的它是为了解决 RNN/CNN 在处理长序列时的固有瓶颈而被设计出来的。这也是为什么后来几乎所有大模型都选择了 Transformer 架构。4. Transformer 的核心机制拆解Transformer 的经典结构来自 2017 年谷歌发布的论文《Attention Is All You Need》。论文标题非常直接——注意力机制就够了。接下来我们把 Transformer 的核心组件逐个拆开看看它是怎么工作的。4.1 输入表示Token 与位置编码Transformer 的输入不再是简单的词向量而是由三部分组成的Token 化把文本切分成子词Subword序列。比如“unhappy”可能被切为“un”和“happy”。子词切分能较好地处理未登录词是当前大模型的主流做法。词嵌入把每个 Token 映射成向量。位置编码由于自注意力机制本身不关心词的顺序它是对所有词同时计算的我们必须人为地把位置信息注入到输入中。位置编码常见的方式有两种一是用正弦余弦函数生成固定的位置向量二是在训练中学习一个可训练的位置向量。现代大模型更多使用可学习的绝对位置编码或旋转位置编码RoPE。旋转位置编码通过旋转操作注入位置信息已经广泛应用于 LLaMA、Qwen 等模型。我们可以把输入表示理解为每个 Token 的向量 词向量 位置向量。这样模型既能知道“谁在哪个位置”又能在自注意力中自由关联任意两个位置。4.2 自注意力机制Q、K、V 的直观理解自注意力是 Transformer 的心脏。要看懂它需要理解三个角色Query查询、Key键、Value值。用一个办公室找人的例子来比喻Query 是你手里的问题“我想找负责项目进度的人是谁”Key 是每个人的“标签”比如“项目负责人”“后端开发”“产品经理”Value 是这个人的“完整资料”。自注意力做的事情是拿每个词的 Query 去和所有词的 Key 做匹配得到一个分数再用这个分数对对应的 Value 做加权求和。匹配分数越高说明当前词应该更多地关注对方携带的信息。数学上可以写成Attention(Q, K, V) softmax(Q * K^T / sqrt(d_k)) * V其中d_k是 Key 向量的维度除以sqrt(d_k)是为了防止点积结果过大导致 softmax 之后梯度消失。举例来说输入句子“猫 追 老鼠”“猫”这个词的 Query 会和“老鼠”的 Key 计算出一个较高的注意力分数因为它们在语义和句法上关系紧密。最终“猫”这个位置的输出向量会融合“老鼠”的部分信息而不是只保留自己的信息。经过多层这样的计算每个位置的表示都会包含它关注到的上下文信息这就是上下文相关的词向量。4.3 多头注意力机制单个自注意力机制只能捕捉一种关联模式但语言的语义关系非常复杂。“苹果发布会”和“苹果很好吃”这两句话中“苹果”分别与“发布会”“好吃”相关但相关的方式不同。为了捕捉多样化的关系Transformer 引入了多头注意力机制。多头注意力就是把 Query、Key、Value 分别拆成多个子空间每个子空间独立计算注意力最后拼接起来。直观上说多个头相当于多个不同角度观察句子头 1 可能关注语法依赖比如定中关系、动宾关系头 2 可能关注指代关系比如代词指向具体的名词头 3 可能关注全局主题把同一个语义场景的词聚在一起。从代码实现上看多头注意力可以统一用矩阵乘法完成这也是 Transformer 能高效并行计算的原因之一。import torch import torch.nn as nn import torch.nn.functional as F class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() assert d_model % num_heads 0 self.d_model d_model self.num_heads num_heads self.head_dim d_model // num_heads self.wq nn.Linear(d_model, d_model) self.wk nn.Linear(d_model, d_model) self.wv nn.Linear(d_model, d_model) self.wo nn.Linear(d_model, d_model) def forward(self, x, maskNone): batch_size, seq_len, _ x.size() Q self.wq(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) K self.wk(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) V self.wv(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) scores Q K.transpose(-2, -1) / (self.head_dim ** 0.5) if mask is not None: scores scores.masked_fill(mask 0, float(-inf)) attn F.softmax(scores, dim-1) context attn V # [batch, heads, seq_len, head_dim] context context.transpose(1, 2).contiguous().view(batch_size, seq_len, self.d_model) return self.wo(context)上面的代码更偏向教学演示实际框架中会有更多优化比如 FlashAttention、KV Cache 等但核心逻辑就是这样线性投影、拆分头、计算注意力分数、加权融合、再拼接融合。你如果阅读 PyTorch 官方实现或者 HuggingFace 的源码看到的整体流程会非常相似。4.4 前馈网络、残差连接与层归一化每层 Transformer 除了多头注意力以外还有一个前馈网络Feed-Forward NetworkFFN。FFN 通常由两个线性层和一个激活函数组成作用是对每个位置的向量做非线性变换增强模型的表达能力。残差连接和层归一化是保证训练稳定的关键。残差连接把输入和输出直接相加即output x Sublayer(x)。这样能缓解深层网络的梯度消失让信息更顺畅地从浅层传到深层。层归一化对每个样本的特征维度做归一化让模型每一层的输入分布更稳定加速收敛。从整体来看一个 Transformer 编码器块包含多头自注意力 → 残差连接 → 层归一化前馈网络 → 残差连接 → 层归一化。堆叠多层这样的块就得到了编码器。GPT 等生成式大模型一般只使用 Transformer 的解码器部分且通过掩码确保当前位置只能看到它之前的 Token这就是所谓的“因果注意力”。4.5 编码器与解码器、训练与推理原始 Transformer 分为编码器和解码器两部分。编码器理解整个输入句子解码器逐步生成输出序列。后来大模型发展出两条主要路线BERT 路线只使用编码器适合文本理解、分类、抽取等任务。GPT 路线只使用解码器适合文本生成、对话、内容续写等任务。如今横扫大模型市场的 GPT 路线本质是一个“自回归语言模型”。它的训练目标很简单给定前面所有 Token预测下一个 Token 是什么。当一个模型在海量文本上反复学习“猜下一个词”后它学到的不只是语言规律还包括大量世界知识和推理模式。这也是为什么 ChatGPT 这类模型能回答问题、写代码、做总结。训练完毕后模型的使用过程叫“推理”。自回归推理是逐 Token 生成的模型输出一个词把这个词拼到已有序列后面再预测下一个词直到生成结束符或达到最大长度。这个过程对记忆和计算的开销很大因此工程上出现了 KV Cache 等技术用来缓存之前算过的 Key 和 Value避免每次生成时重新计算。5. 从 Transformer 到大模型5.1 为什么“大”会有效很多人在初期都会有这样的疑问既然 Transformer 架构已经被提出了为什么还要强调“大模型”答案是研究者在扩大参数量时观察到了模型的“涌现能力”。小模型的能力增长是平滑的参数量翻倍效果好一点再翻倍效果又好一点。但当参数量跨越某个阈值后模型在一些复杂任务上的能力突然大幅提升。它可以进行上下文学习In-Context Learning也就是在提示词里给几个示例模型就能仿照示例回答新问题而无需修改参数它还能进行思维链推理在回答复杂问题时把中间步骤写出来从而提高正确率。这种“涌现能力”和大规模预训练数据密不可分。大模型要学的不是语法规则而是从海量网页、书籍、代码中提炼出的知识、风格和逻辑模式。这也是为什么“预训练 微调 人类反馈对齐”成了当今大模型的标准流程。5.2 从词向量到大模型的三次升级我把“词向量 → 大模型”的进化理解成三次关键升级第一次升级从静态词到上下文词。词向量时代“苹果”始终是同一个向量到了 Transformer 时代同一个 Token 在不同语句中经过自注意力层后会生成不同的上下文相关向量。模型真正具备了“一词多义”的理解能力。第二次升级从句子编码到生成式建模。BERT 通过“完形填空”式的预训练理解句子GPT 通过“预测下一个词”的方式学会生成语言。后者天然具有更大的应用空间也因此成为大模型的主流路线。第三次升级从单模态到多模态。OpenAI 的 GPT-4V、谷歌的 Gemini、国内的 Qwen-VL 等模型已经将文本、图像、音频、视频等多种模态融入同一个模型中。它们共用 Transformer 的结构只是输入表示和编码方式不同。Transformer 之所以能统治多模态时代根本原因在于它不关心输入是什么类型只要你能把数据变成序列化的 Token它就能建模。5.3 大模型的训练过程概览大模型训练一般分为几个阶段了解这个过程对于正确理解大模型至关重要。预训练阶段模型在海量无标注文本上做自监督学习。GPT 的学习方式是“读取前文预测下一个 Token”。训练非常昂贵通常需要数千块 GPU 运行数周甚至数月。监督微调阶段使用人工标注好的指令数据让模型学会按照指令回答。这个阶段让模型从“接续文本”变成“回答问题”。SFT 数据质量直接决定了模型的基础对话能力。人类反馈对齐阶段通过奖励模型和强化学习如 RLHF优化模型的回答风格让模型更符合人类的偏好比如更安全、更有帮助、更诚实。这个阶段是大模型区别于传统语言模型的重要标志。下面用一个简表说明各阶段的目的和差异训练阶段输入数据目标资源消耗预训练海量无标注文本预测下一个 Token极高监督微调指令 人工回答学会跟随指令中高人类反馈对齐人类偏好排序/打分符合偏好、安全有用中5.4 从“大模型原理”到“AI 大模型应用开发”对大模型有了基本原理的理解后你可能会好奇怎样才能把这些模型用起来这里需要区分“训练大模型”和“应用大模型”。大多数团队并不会从零训练一个百亿参数的大模型而是采用“基座模型 二次开发”的方式。常见的应用开发路径包括API 调用使用 OpenAI、文心一言、通义千问等平台的 API通过提示词设计直接完成任务提示词工程通过精心设计的 Prompt 引导模型完成特定任务比如写摘要、做翻译、生成 SQL检索增强生成RAG把大模型和外部知识库结合让模型在回答时先检索相关资料再生成答案减少幻觉微调在开源基座模型如 LLaMA、Qwen、ChatGLM的基础上用业务数据做进一步训练本地部署通过 vLLM、Ollama、llama.cpp 等工具在私有环境部署开源模型满足数据安全需求。在这些路径中词向量和 Transformer 的原理依然非常有用。做 RAG 时需要把文档切块、用文本嵌入模型转换为向量存入向量数据库这一步本质上就是在使用“现代版词向量”。用微调时你需要理解 Transformer 的输入输出格式、注意力掩码、学习率设置等细节。5.5 多模态大模型的扩展思路多模态大模型是当前 AI 大模型的发展方向之一常见做法是把图像、视频的视觉特征与文本特征对齐到同一个语义空间。以视觉语言模型为例通常包括视觉编码器把图片切块后编码成视觉特征序列投影层把视觉特征映射到和文本嵌入相同的维度空间LLM 主干把视觉特征序列和文本 Token 序列拼接交给 Transformer 做统一建模。这种方法下模型可以像理解文字一样理解图片。这也再次说明Transformer 架构的最大优势是通用性。无论是词向量还是图像编码器输出的特征序列一旦它们都被标准化成“Token 序列”Transformer 就能在这上面进行推理。6. 常见理解误区与学习路径6.1 常见误区误区一词向量已经过时不用学。词向量是大模型的基础构件。现代大模型在输入层、注意力投影层中都含有嵌入矩阵这些矩阵本质上就是“现代词向量”。如果你不理解向量空间和语义表征的概念就很难理解为什么 RAG 可以工作为什么不同模型可以共享 embedding。误区二Transformer 是万能结构可以解决一切问题。Transformer 也有瓶颈比如自注意力的计算复杂度是 O(n²)序列越长计算成本越高。因此才有了 FlashAttention、稀疏注意力、线性注意力等优化手段。理解 Transformer 的局限比理解它的强大更能帮助你选择合适的模型架构。误区三大模型是一个你无法触碰的黑盒只要会用 API 就行。对于应用开发者来说了解大模型的内部机制能让你在使用时更游刃有余。当你遇到“模型输出不稳定”“幻觉严重”“长文本截断”时如果你能理解自注意力、上下文窗口、位置编码等概念定位问题的速度会快很多。误区四只要堆参数和算力模型就能一直变强。从工程角度看数据质量、训练稳定性、对齐策略同样重要。OpenAI 的相关研究已经表明在模型规模、数据量、计算量三者之间需要保持合理比例。数据质量差参数量再大也会限制模型能力上限。6.2 系统学习路线建议如果你想把这条主线学扎实我建议按照以下顺序推进。第一步掌握 Python 和深度学习基础。理解张量、自动求导、神经网络基本结构会用 PyTorch 完成简单分类任务。第二步亲手实现一个词向量模型。建议在小型语料上训练一个 Word2Vec 或 GloVe观察词向量聚类和相似度计算的效果。这一步能让你真正理解“向量的数值操作如何产生语义”。第三步手写一个极简 Transformer。不用追求完整复现只需要实现多头注意力和位置编码在一个小的翻译或文本生成任务上跑通。很多教程推荐“从零实现 GPT”这个项目能帮你把过拟合的记忆变成真正的理解。第四步阅读开源大模型的源码与论文。推荐从 GPT-2、BERT 开始然后看 LLaMA 的官方实现重点关注 RoPE、RMSNorm、SwiGLU 等改进点。你会发现绝大多数大模型只是对原始 Transformer 做了工程上的修修改改。第五步选一个方向做实战。想做开发就学习 RAG、Prompt 工程、模型微调和部署想做研究就深入注意力机制改进、模型压缩、多模态对齐等方向。6.3 动手实践资源参考学习这套体系最怕的是只看不练。建议用下列资源作为起点资源说明Hugging Face Transformers 文档大模型应用最常用的开源库里面包含大量完整示例PyTorch 官方教程分词、嵌入、自注意力的实现都值得模仿LLaMA 官方代码了解现代大模型的工程实现细节3Blue1Brown 深度学习系列用动画讲解神经网络和大模型原理配合本文观看效果极佳手写 GPT 系列项目从零实现一个小型 GPT是夯实原理的最佳途径之一如果你之前已经会写代码但不太熟悉 Transformer 的细节那么动手写一个 1 到 2 层的迷你 GPT在莎士比亚数据集上训练是性价比非常高的练习。6.4 大模型未来的发展方向对这个领域保持关注的话可以留意四个方向一是高效推理。大模型推理成本高压缩、量化、蒸馏、投机采样等技术会越来越重要。二是长上下文。如何高效处理百万级 Token 的上下文是竞争焦点之一。三是多模态融合。从文本、图像扩展到视频、3D、传感器数据统一的多模态大模型将走向更广泛的应用。四是智能体Agent。大模型不再只是聊天机器人的大脑而是能调用工具、规划任务、使用 API 完成实际工作的智能体。这些方向的核心底层都离不开我们刚才梳理的词向量、Transformer 和自注意力机制。7. 总结这篇文章从最底层的词向量出发回答了一个核心问题机器是怎么一步步理解自然语言的。回顾一下我们梳理出的关键路径词的数字化经历了从 One-Hot 到分布式词向量的转变静态词向量的局限催生了上下文相关的表示方法RNN 和 LSTM 在长距离依赖和并行计算上的瓶颈最终让 Transformer 脱颖而出Transformer 通过自注意力机制、多头注意力、位置编码等设计实现了全局建模大模型是在 Transformer 架构的基础上通过大规模参数、海量数据和预训练范式崛起的无论是 RAG、微调、多模态还是 Agent底层都依赖这套表示学习和注意力机制。当你再看到别人讨论“词向量”“Transformer”“AI 大模型”这些关键词时心里应该已经有一条清晰的线索了。下一步建议别急着追新论文先动手把一个迷你 GPT 或一个简单问答机器人跑起来。你会发现真正让人卡住的往往不是论文里的复杂公式而是那些看似小巧却贯穿始终的概念。把这些概念亲手实现一遍你的收获会比读十篇文章更大。如果这篇文章帮你理清了思路欢迎收藏备用也欢迎在评论区分享你学习 Transformer 和大模型时遇到的问题。下一篇我会继续结合工程实践深入聊一聊如何从零微调一个开源大模型。
从词向量到Transformer：一文看懂AI大模型原理
一年前我在准备一场大模型技术分享时翻遍了相关资料发现一个很典型的问题网上讲词向量的教程和讲 Transformer 的教程往往相互割裂刚看完 Word2Vec 的概念很快就跳到自注意力机制和大模型中间巨大的逻辑断层让人卡壳。于是我把整个链路——从词向量如何产生、RNN 为什么吃力到 Transformer 的核心设计再到 GPT、BERT 这类大模型怎么把规模推起来——完整梳理了一遍整理成这套动画形式的急速入门笔记。如果你对 AI 大模型背后的原理感兴趣但又不想一开始就啃 70 页英文论文这篇文章正好适合你。这篇文章围绕一条主线展开让机器理解语言这件事是怎么一步步走到今天的大模型时代的。我会用一个又一个“为什么”把链路串起来配上动画化的思路描述帮你把零散知识连成体系。内容覆盖词向量的核心思想、Transformer 的注意力机制、大模型的训练与扩展逻辑以及常见误区和学习路线。读完你不仅能听懂大模型圈子里常说的“自注意力”“预训练”“微调”“上下文窗口”还能在自己的项目里判断该用什么思路去应用大模型。1. 背景与核心概念1.1 为什么先有词向量才有大模型很多初学者一上来就研究 Transformer 结构读了几篇博客后还是不明白为什么输入一段文字之前要先做 Embedding嵌入这其实是因为计算机不认识“苹果”“香蕉”这种汉字或单词它只认识数字。词向量的作用就是把自然语言里的最小语义单元——词映射到一个高维数值空间里让语义相近的词在空间中彼此靠近。这个过程相当于给机器铺了一条“语义坐标系”。比如“猫”和“狗”两个词的向量距离会比较近而“猫”和“汽车”的向量距离会比较远。早期模型处理语言时使用的是 One-Hot 编码也就是每个词用一个超长的 0/1 向量表示维度等于词表大小。这种方式有两个致命问题一是维度爆炸50 万词的词表就要用 50 万维向量二是词与词之间没有语义关系“猫”和“猫科动物”在向量空间里毫无关联。词向量的出现解决了这两个问题。它的核心突破是“分布式表示”用有限维度的稠密向量去承载词的语义信息。后来出现的 Word2Vec、GloVe 等方法让词向量具有了有趣的加减法性质“国王 - 男性 女性 ≈ 女王”。虽然这个性质不能在所有场景中成立但足以说明词向量成功捕捉到了单词之间的语义关系这为后来复杂的语义建模打下了基础。1.2 Transformer 与大模型的关系Transformer 是一种神经网络架构它并不等于大模型但它是当前绝大多数大模型的底座。我们常说的 GPT、BERT、T5、LLaMA这些模型的骨架都是 Transformer。可以说没有 Transformer 的自注意力机制就没有今天轰轰烈烈的大模型时代。大模型的“大”主要体现在参数量、训练数据量和计算资源上。从几亿参数的小规模模型到千亿级参数的 GPT-3、万亿级稀疏模型规模变大后模型出现了许多小模型不具备的能力比如上下文学习、思维链推理等。但规模并不是魔法它依赖于 Transformer 架构能充分利用并行计算、稳定处理长序列这些特性。1.3 这篇文章适合什么样的读者如果你有以下情况之一本文会非常适合你想理解大模型底层原理但觉得论文太难啃有 Python 基础但不清楚 Transformer 里 Q、K、V 到底是什么被新闻里“大模型”“词向量”等词轰炸想做一次系统化梳理正在准备大模型相关面试需要把原理主线快速摸清。接下来我们从最底层的词向量讲起一步一步走到 Transformer 和大模型。整个过程我会尽可能用简洁的比喻和动画式描述帮你在脑子里形成清晰的图像。2. 词向量让机器理解语言的起点2.1 One-Hot 编码的困境先看最直接的数字编码方式。假设我们有一个词表里面只有四个词[我, 爱, 自然, 语言]。用 One-Hot 编码可以这样表示我 - [1, 0, 0, 0] 爱 - [0, 1, 0, 0] 自然 - [0, 0, 1, 0] 语言 - [0, 0, 0, 1]这种编码方式简单粗暴但问题是每个向量都是正交的向量之间的余弦相似度永远是 0。在模型看来“苹果”这词和“香蕉”这词没有任何关系因为它们对应的维度完全不同。更麻烦的是真实场景中的词表可能达到几十万甚至上百万One-Hot 向量动辄几十万维训练和存储成本都非常高。如果你在深度学习中见过 Embedding 层它的本质其实是一张“查找表”。每个词经过 Embedding 层后从一个稀疏的 One-Hot 向量变成稠密的低维向量。Embedding 层的参数一开始是随机初始化的随着模型训练逐渐调整最终每个词都能得到一个有语义含义的向量表示。2.2 分布式表示与分布假设词向量的核心是“分布式表示”Distributed Representation。它认为词的语义不是由一个独立维度决定的而是由整个向量中各维度的组合模式共同决定的。支撑这个方法的一个关键假设是“分布假设”——出现在相似上下文中的词往往具有相似的语义。这个思想最早来自语言学家 Zellig Harris后来被自然语言处理领域广泛采用。“You shall know a word by the company it keeps”看一个词要看它的同伴这句名言描述的就是这个道理。Word2Vec 就是利用这个假设实现的。它有两种经典训练模式CBOW 和 Skip-gram。CBOWContinuous Bag-of-Words用上下文词预测中间词。比如看到“我 __ 自然语言”模型要预测中间那个词是“爱”。Skip-gram用中间词预测上下文词。比如看到“爱”模型要预测它周围的词可能是“我”“自然”“语言”。两种方式本质都是在训练过程中让语义相近的词学会共享相似的向量表示。CBOW 训练速度快对高频词更友好Skip-gram 在低频词上表现更好但训练速度稍慢。之后出现的 GloVe 则结合了全局词频统计信息和局部上下文窗口在部分任务上表现更好。2.3 Word2Vec 的直观理解与代码示意Word2Vec 虽然很少被直接用在现代大模型里但它的思想至今影响着整个 NLP 领域。我们来看一个非常精简的 PyTorch 风格实现思路帮你理解训练过程。import torch import torch.nn as nn # 模型结构一个 Embedding 层 一个线性层 class Word2Vec(nn.Module): def __init__(self, vocab_size, embedding_dim): super().__init__() self.embedding nn.Embedding(vocab_size, embedding_dim) self.output nn.Linear(embedding_dim, vocab_size) def forward(self, input_ids): # input_ids: [batch_size] embeds self.embedding(input_ids) # [batch_size, embedding_dim] logits self.output(embeds) # [batch_size, vocab_size] return logits训练时模型做的事情非常“语言模型化”输入一个词输出每个词成为它上下文的概率分布。我们拿一条语料“我 爱 自然 语言 处理”来说把“爱”作为中心词它的上下文可以是周围的“我”“自然”模型接收“爱”的 one-hot 向量或 id经过 Embedding 和线性层输出一个概率分布目标是让“我”和“自然”的概率尽量大通过反向传播调整 Embedding 层里的数值让词向量逐渐带上语义信息。大量语料反复训练后每个词对应的向量就具备了几何意义。我们可以在向量空间里计算相似度甚至做类比推理。这里的重点是理解“训练过程中的副产品是词向量”这一思想模型本身并不重要重要的是模型中 Embedding 层的参数。2.4 词向量的局限词向量虽然让机器第一次“理解”了词义但它有一个明显问题一个词只有一个固定的向量。这意味着“苹果”这个词无论是表示水果还是手机品牌都使用同一个向量。一词多义、语境依赖、指代消解等问题词向量无法有效解决。另外词向量也没有考虑词的顺序信息。把“猫追老鼠”和“老鼠追猫”这两句话中的词向量按位置对齐后模型会认为它们的语义非常相似但实际含义完全不同。这说明只靠静态词向量远不足以建模真正的人类语言。于是研究者的目光从“词的表示”转向了“句子和上下文的表示”。这也解释了我们为什么需要 RNN、LSTM以及最终的 Transformer。3. 为什么最终是 Transformer3.1 RNN 与 LSTM 的尝试及其瓶颈循环神经网络RNN是早期处理序列数据的主力。它的设计理念很自然一步一步地读取序列把之前看到的信息保存在一个隐藏状态里再结合当前输入更新这个状态。打个比方RNN 就像一个逐字阅读的人读过前面一句话后脑子里留有一个“记忆摘要”。但 RNN 的问题是当序列很长时最初的信息会随着一步步传递不断衰减最终在隐藏状态里基本消失。这就是所谓的“长距离依赖问题”也是梯度消失问题的一种体现。LSTM 通过引入“门控机制”来缓解这个问题。它可以决定哪些信息要记住、哪些要遗忘因此在较长序列上比普通 RNN 表现更好。但 LSTM 仍然存在两个痛点串行计算慢每个时间步必须依赖上一步的隐藏状态没法并行处理整个序列长距离建模仍然有限虽然比 RNN 好但要建模非常长的文本上下文依然吃力。在 Transformer 出现之前处理序列的基本套路是“先把词变成词向量再喂给 RNN/LSTM最后用注意力机制加强某些关键位置的表示”。注意力机制最早被用在 Seq2Seq 模型里用来让解码器在生成每个词时动态地回看编码器中相关位置的词。这个机制证明了“动态选择重要信息”比“把所有信息压缩成一个向量”更有效。3.2 从注意力机制到自注意力机制Seq2Seq 中的注意力机制解决的是“解码时应该关注源句子里的哪些词”。而 Transformer 走得更远它让句子内部每个词之间互相计算注意力分数这就是自注意力机制Self-Attention。自注意力的思路可以这样理解当你读“它没有通过考试因为它没有认真复习”这句话时看到“它”时你会自然地把“它”和“考试”“复习”关联起来。自注意力机制希望模型也能做到同样的事——为每个词动态地寻找句子中其他词的相关性并将这些相关信息聚合到当前词的表示中。更重要的是自注意力对句子中任意两个词都直接计算依赖关系距离远近不再影响信息传递。这彻底解决了 RNN 的长距离依赖问题同时所有词对的计算可以并行完成极大提升了训练效率。3.3 与 CNN 和 RNN 的对比经常有人问CNN 也能处理图像和文本为什么大模型不用 CNNCNN 通过卷积核在局部窗口内提取特征擅长捕捉局部模式。但对文本这种长距离依赖很强的数据CNN 需要堆叠很多层才能把远处的信息关联起来而且卷积核的感受野有限建模效率不如自注意力直接。RNN 的问题前面已经提到串行计算和长距离信息衰减。而 Transformer 的自注意力机制做到了“任意位置直接交互 全序列并行计算”在长文本建模上天然有优势。下面用表格直观对比三种架构特性CNNRNN/LSTMTransformer计算方式局部窗口卷积逐步递归全局两两计算并行性很好差串行很好长距离依赖需要堆叠多层较差直接建模典型应用图像分类、目标检测早期 NLP 序列建模几乎所有大模型参数量利用率较低中高一句话总结Transformer 不是凭空出现的它是为了解决 RNN/CNN 在处理长序列时的固有瓶颈而被设计出来的。这也是为什么后来几乎所有大模型都选择了 Transformer 架构。4. Transformer 的核心机制拆解Transformer 的经典结构来自 2017 年谷歌发布的论文《Attention Is All You Need》。论文标题非常直接——注意力机制就够了。接下来我们把 Transformer 的核心组件逐个拆开看看它是怎么工作的。4.1 输入表示Token 与位置编码Transformer 的输入不再是简单的词向量而是由三部分组成的Token 化把文本切分成子词Subword序列。比如“unhappy”可能被切为“un”和“happy”。子词切分能较好地处理未登录词是当前大模型的主流做法。词嵌入把每个 Token 映射成向量。位置编码由于自注意力机制本身不关心词的顺序它是对所有词同时计算的我们必须人为地把位置信息注入到输入中。位置编码常见的方式有两种一是用正弦余弦函数生成固定的位置向量二是在训练中学习一个可训练的位置向量。现代大模型更多使用可学习的绝对位置编码或旋转位置编码RoPE。旋转位置编码通过旋转操作注入位置信息已经广泛应用于 LLaMA、Qwen 等模型。我们可以把输入表示理解为每个 Token 的向量 词向量 位置向量。这样模型既能知道“谁在哪个位置”又能在自注意力中自由关联任意两个位置。4.2 自注意力机制Q、K、V 的直观理解自注意力是 Transformer 的心脏。要看懂它需要理解三个角色Query查询、Key键、Value值。用一个办公室找人的例子来比喻Query 是你手里的问题“我想找负责项目进度的人是谁”Key 是每个人的“标签”比如“项目负责人”“后端开发”“产品经理”Value 是这个人的“完整资料”。自注意力做的事情是拿每个词的 Query 去和所有词的 Key 做匹配得到一个分数再用这个分数对对应的 Value 做加权求和。匹配分数越高说明当前词应该更多地关注对方携带的信息。数学上可以写成Attention(Q, K, V) softmax(Q * K^T / sqrt(d_k)) * V其中d_k是 Key 向量的维度除以sqrt(d_k)是为了防止点积结果过大导致 softmax 之后梯度消失。举例来说输入句子“猫 追 老鼠”“猫”这个词的 Query 会和“老鼠”的 Key 计算出一个较高的注意力分数因为它们在语义和句法上关系紧密。最终“猫”这个位置的输出向量会融合“老鼠”的部分信息而不是只保留自己的信息。经过多层这样的计算每个位置的表示都会包含它关注到的上下文信息这就是上下文相关的词向量。4.3 多头注意力机制单个自注意力机制只能捕捉一种关联模式但语言的语义关系非常复杂。“苹果发布会”和“苹果很好吃”这两句话中“苹果”分别与“发布会”“好吃”相关但相关的方式不同。为了捕捉多样化的关系Transformer 引入了多头注意力机制。多头注意力就是把 Query、Key、Value 分别拆成多个子空间每个子空间独立计算注意力最后拼接起来。直观上说多个头相当于多个不同角度观察句子头 1 可能关注语法依赖比如定中关系、动宾关系头 2 可能关注指代关系比如代词指向具体的名词头 3 可能关注全局主题把同一个语义场景的词聚在一起。从代码实现上看多头注意力可以统一用矩阵乘法完成这也是 Transformer 能高效并行计算的原因之一。import torch import torch.nn as nn import torch.nn.functional as F class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() assert d_model % num_heads 0 self.d_model d_model self.num_heads num_heads self.head_dim d_model // num_heads self.wq nn.Linear(d_model, d_model) self.wk nn.Linear(d_model, d_model) self.wv nn.Linear(d_model, d_model) self.wo nn.Linear(d_model, d_model) def forward(self, x, maskNone): batch_size, seq_len, _ x.size() Q self.wq(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) K self.wk(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) V self.wv(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) scores Q K.transpose(-2, -1) / (self.head_dim ** 0.5) if mask is not None: scores scores.masked_fill(mask 0, float(-inf)) attn F.softmax(scores, dim-1) context attn V # [batch, heads, seq_len, head_dim] context context.transpose(1, 2).contiguous().view(batch_size, seq_len, self.d_model) return self.wo(context)上面的代码更偏向教学演示实际框架中会有更多优化比如 FlashAttention、KV Cache 等但核心逻辑就是这样线性投影、拆分头、计算注意力分数、加权融合、再拼接融合。你如果阅读 PyTorch 官方实现或者 HuggingFace 的源码看到的整体流程会非常相似。4.4 前馈网络、残差连接与层归一化每层 Transformer 除了多头注意力以外还有一个前馈网络Feed-Forward NetworkFFN。FFN 通常由两个线性层和一个激活函数组成作用是对每个位置的向量做非线性变换增强模型的表达能力。残差连接和层归一化是保证训练稳定的关键。残差连接把输入和输出直接相加即output x Sublayer(x)。这样能缓解深层网络的梯度消失让信息更顺畅地从浅层传到深层。层归一化对每个样本的特征维度做归一化让模型每一层的输入分布更稳定加速收敛。从整体来看一个 Transformer 编码器块包含多头自注意力 → 残差连接 → 层归一化前馈网络 → 残差连接 → 层归一化。堆叠多层这样的块就得到了编码器。GPT 等生成式大模型一般只使用 Transformer 的解码器部分且通过掩码确保当前位置只能看到它之前的 Token这就是所谓的“因果注意力”。4.5 编码器与解码器、训练与推理原始 Transformer 分为编码器和解码器两部分。编码器理解整个输入句子解码器逐步生成输出序列。后来大模型发展出两条主要路线BERT 路线只使用编码器适合文本理解、分类、抽取等任务。GPT 路线只使用解码器适合文本生成、对话、内容续写等任务。如今横扫大模型市场的 GPT 路线本质是一个“自回归语言模型”。它的训练目标很简单给定前面所有 Token预测下一个 Token 是什么。当一个模型在海量文本上反复学习“猜下一个词”后它学到的不只是语言规律还包括大量世界知识和推理模式。这也是为什么 ChatGPT 这类模型能回答问题、写代码、做总结。训练完毕后模型的使用过程叫“推理”。自回归推理是逐 Token 生成的模型输出一个词把这个词拼到已有序列后面再预测下一个词直到生成结束符或达到最大长度。这个过程对记忆和计算的开销很大因此工程上出现了 KV Cache 等技术用来缓存之前算过的 Key 和 Value避免每次生成时重新计算。5. 从 Transformer 到大模型5.1 为什么“大”会有效很多人在初期都会有这样的疑问既然 Transformer 架构已经被提出了为什么还要强调“大模型”答案是研究者在扩大参数量时观察到了模型的“涌现能力”。小模型的能力增长是平滑的参数量翻倍效果好一点再翻倍效果又好一点。但当参数量跨越某个阈值后模型在一些复杂任务上的能力突然大幅提升。它可以进行上下文学习In-Context Learning也就是在提示词里给几个示例模型就能仿照示例回答新问题而无需修改参数它还能进行思维链推理在回答复杂问题时把中间步骤写出来从而提高正确率。这种“涌现能力”和大规模预训练数据密不可分。大模型要学的不是语法规则而是从海量网页、书籍、代码中提炼出的知识、风格和逻辑模式。这也是为什么“预训练 微调 人类反馈对齐”成了当今大模型的标准流程。5.2 从词向量到大模型的三次升级我把“词向量 → 大模型”的进化理解成三次关键升级第一次升级从静态词到上下文词。词向量时代“苹果”始终是同一个向量到了 Transformer 时代同一个 Token 在不同语句中经过自注意力层后会生成不同的上下文相关向量。模型真正具备了“一词多义”的理解能力。第二次升级从句子编码到生成式建模。BERT 通过“完形填空”式的预训练理解句子GPT 通过“预测下一个词”的方式学会生成语言。后者天然具有更大的应用空间也因此成为大模型的主流路线。第三次升级从单模态到多模态。OpenAI 的 GPT-4V、谷歌的 Gemini、国内的 Qwen-VL 等模型已经将文本、图像、音频、视频等多种模态融入同一个模型中。它们共用 Transformer 的结构只是输入表示和编码方式不同。Transformer 之所以能统治多模态时代根本原因在于它不关心输入是什么类型只要你能把数据变成序列化的 Token它就能建模。5.3 大模型的训练过程概览大模型训练一般分为几个阶段了解这个过程对于正确理解大模型至关重要。预训练阶段模型在海量无标注文本上做自监督学习。GPT 的学习方式是“读取前文预测下一个 Token”。训练非常昂贵通常需要数千块 GPU 运行数周甚至数月。监督微调阶段使用人工标注好的指令数据让模型学会按照指令回答。这个阶段让模型从“接续文本”变成“回答问题”。SFT 数据质量直接决定了模型的基础对话能力。人类反馈对齐阶段通过奖励模型和强化学习如 RLHF优化模型的回答风格让模型更符合人类的偏好比如更安全、更有帮助、更诚实。这个阶段是大模型区别于传统语言模型的重要标志。下面用一个简表说明各阶段的目的和差异训练阶段输入数据目标资源消耗预训练海量无标注文本预测下一个 Token极高监督微调指令 人工回答学会跟随指令中高人类反馈对齐人类偏好排序/打分符合偏好、安全有用中5.4 从“大模型原理”到“AI 大模型应用开发”对大模型有了基本原理的理解后你可能会好奇怎样才能把这些模型用起来这里需要区分“训练大模型”和“应用大模型”。大多数团队并不会从零训练一个百亿参数的大模型而是采用“基座模型 二次开发”的方式。常见的应用开发路径包括API 调用使用 OpenAI、文心一言、通义千问等平台的 API通过提示词设计直接完成任务提示词工程通过精心设计的 Prompt 引导模型完成特定任务比如写摘要、做翻译、生成 SQL检索增强生成RAG把大模型和外部知识库结合让模型在回答时先检索相关资料再生成答案减少幻觉微调在开源基座模型如 LLaMA、Qwen、ChatGLM的基础上用业务数据做进一步训练本地部署通过 vLLM、Ollama、llama.cpp 等工具在私有环境部署开源模型满足数据安全需求。在这些路径中词向量和 Transformer 的原理依然非常有用。做 RAG 时需要把文档切块、用文本嵌入模型转换为向量存入向量数据库这一步本质上就是在使用“现代版词向量”。用微调时你需要理解 Transformer 的输入输出格式、注意力掩码、学习率设置等细节。5.5 多模态大模型的扩展思路多模态大模型是当前 AI 大模型的发展方向之一常见做法是把图像、视频的视觉特征与文本特征对齐到同一个语义空间。以视觉语言模型为例通常包括视觉编码器把图片切块后编码成视觉特征序列投影层把视觉特征映射到和文本嵌入相同的维度空间LLM 主干把视觉特征序列和文本 Token 序列拼接交给 Transformer 做统一建模。这种方法下模型可以像理解文字一样理解图片。这也再次说明Transformer 架构的最大优势是通用性。无论是词向量还是图像编码器输出的特征序列一旦它们都被标准化成“Token 序列”Transformer 就能在这上面进行推理。6. 常见理解误区与学习路径6.1 常见误区误区一词向量已经过时不用学。词向量是大模型的基础构件。现代大模型在输入层、注意力投影层中都含有嵌入矩阵这些矩阵本质上就是“现代词向量”。如果你不理解向量空间和语义表征的概念就很难理解为什么 RAG 可以工作为什么不同模型可以共享 embedding。误区二Transformer 是万能结构可以解决一切问题。Transformer 也有瓶颈比如自注意力的计算复杂度是 O(n²)序列越长计算成本越高。因此才有了 FlashAttention、稀疏注意力、线性注意力等优化手段。理解 Transformer 的局限比理解它的强大更能帮助你选择合适的模型架构。误区三大模型是一个你无法触碰的黑盒只要会用 API 就行。对于应用开发者来说了解大模型的内部机制能让你在使用时更游刃有余。当你遇到“模型输出不稳定”“幻觉严重”“长文本截断”时如果你能理解自注意力、上下文窗口、位置编码等概念定位问题的速度会快很多。误区四只要堆参数和算力模型就能一直变强。从工程角度看数据质量、训练稳定性、对齐策略同样重要。OpenAI 的相关研究已经表明在模型规模、数据量、计算量三者之间需要保持合理比例。数据质量差参数量再大也会限制模型能力上限。6.2 系统学习路线建议如果你想把这条主线学扎实我建议按照以下顺序推进。第一步掌握 Python 和深度学习基础。理解张量、自动求导、神经网络基本结构会用 PyTorch 完成简单分类任务。第二步亲手实现一个词向量模型。建议在小型语料上训练一个 Word2Vec 或 GloVe观察词向量聚类和相似度计算的效果。这一步能让你真正理解“向量的数值操作如何产生语义”。第三步手写一个极简 Transformer。不用追求完整复现只需要实现多头注意力和位置编码在一个小的翻译或文本生成任务上跑通。很多教程推荐“从零实现 GPT”这个项目能帮你把过拟合的记忆变成真正的理解。第四步阅读开源大模型的源码与论文。推荐从 GPT-2、BERT 开始然后看 LLaMA 的官方实现重点关注 RoPE、RMSNorm、SwiGLU 等改进点。你会发现绝大多数大模型只是对原始 Transformer 做了工程上的修修改改。第五步选一个方向做实战。想做开发就学习 RAG、Prompt 工程、模型微调和部署想做研究就深入注意力机制改进、模型压缩、多模态对齐等方向。6.3 动手实践资源参考学习这套体系最怕的是只看不练。建议用下列资源作为起点资源说明Hugging Face Transformers 文档大模型应用最常用的开源库里面包含大量完整示例PyTorch 官方教程分词、嵌入、自注意力的实现都值得模仿LLaMA 官方代码了解现代大模型的工程实现细节3Blue1Brown 深度学习系列用动画讲解神经网络和大模型原理配合本文观看效果极佳手写 GPT 系列项目从零实现一个小型 GPT是夯实原理的最佳途径之一如果你之前已经会写代码但不太熟悉 Transformer 的细节那么动手写一个 1 到 2 层的迷你 GPT在莎士比亚数据集上训练是性价比非常高的练习。6.4 大模型未来的发展方向对这个领域保持关注的话可以留意四个方向一是高效推理。大模型推理成本高压缩、量化、蒸馏、投机采样等技术会越来越重要。二是长上下文。如何高效处理百万级 Token 的上下文是竞争焦点之一。三是多模态融合。从文本、图像扩展到视频、3D、传感器数据统一的多模态大模型将走向更广泛的应用。四是智能体Agent。大模型不再只是聊天机器人的大脑而是能调用工具、规划任务、使用 API 完成实际工作的智能体。这些方向的核心底层都离不开我们刚才梳理的词向量、Transformer 和自注意力机制。7. 总结这篇文章从最底层的词向量出发回答了一个核心问题机器是怎么一步步理解自然语言的。回顾一下我们梳理出的关键路径词的数字化经历了从 One-Hot 到分布式词向量的转变静态词向量的局限催生了上下文相关的表示方法RNN 和 LSTM 在长距离依赖和并行计算上的瓶颈最终让 Transformer 脱颖而出Transformer 通过自注意力机制、多头注意力、位置编码等设计实现了全局建模大模型是在 Transformer 架构的基础上通过大规模参数、海量数据和预训练范式崛起的无论是 RAG、微调、多模态还是 Agent底层都依赖这套表示学习和注意力机制。当你再看到别人讨论“词向量”“Transformer”“AI 大模型”这些关键词时心里应该已经有一条清晰的线索了。下一步建议别急着追新论文先动手把一个迷你 GPT 或一个简单问答机器人跑起来。你会发现真正让人卡住的往往不是论文里的复杂公式而是那些看似小巧却贯穿始终的概念。把这些概念亲手实现一遍你的收获会比读十篇文章更大。如果这篇文章帮你理清了思路欢迎收藏备用也欢迎在评论区分享你学习 Transformer 和大模型时遇到的问题。下一篇我会继续结合工程实践深入聊一聊如何从零微调一个开源大模型。