先聊个真实的场景你公司里买了一批通用大模型API或者开源的Qwen、Llama系列部署在本地日常写文案、做客服问答还行。可一旦让它处理财务报表、医疗器械说明书、法律合同、设备维修手册这类内容它就开始一本正经地胡说了。这时候很多人第一反应是做微调拿几千条问答对去SFT一下结果发现模型“会说话了但还是不懂行”。问题出在哪大概率是缺了一步关键动作——Continued Pre-Training。继续预训练业内一般简称CPT意思是把通用大模型放在某个行业的专属语料里接着做一轮预训练。它和微调的本质区别是微调学的是“说话的形式”CPT学的是“行业的常识、术语、知识结构和专业表达”。在我接触到的企业落地案例里凡是要把模型从“通用”推向“行业”CPT几乎是绕不开的一步。这篇文章就把我自己的实战经验整理出来从数据准备、训练策略、效果评估到踩坑记录一次性讲清楚。1. 先把概念讲透CPT到底是什么企业为什么需要它1.1 通用模型和行业模型之间差的不只是“知识量”很多企业老板觉得大模型知道的已经够多了缺的只是“行业知识”。实际上行业模型和通用模型之间的差距远不止多塞几篇行业报告进去那么简单。语言模型的能力来自它在预训练阶段见过的大量文本通用模型见过的是互联网公开语料比例上以百科、新闻、小说、代码、论坛为主。而一个行业的真实语料比如某某设备的操作手册、某某产品的检验标准、某某领域的合同范本在互联网上占比极小甚至很多是线上搜不到的。于是模型会出现一个典型现象你说“心梗”它懂你说“STEMI”它可能就懵了你让它写代码它厉害你让它读懂一条复杂的采购条款、识别其中风险点它就无从下手。这不叫知识量不够而是它在预训练阶段就没看过足够多的行业文本对行业里的高频词汇、行文结构、逻辑链条完全没有形成“肌肉记忆”。Continued Pre-Training解决的正是这个问题用海量行业文本接着训练让模型重新适应这个领域的语言分布。1.2 CPT、SFT、RAG三方分工别把它们的边界用错这里必须把三个概念的关系理顺因为我在实际项目中见过太多混为一谈的情况。SFT监督微调学的是“按指令做出正确回应”的格式。它的输入输出是问答对、对话记录目标是让模型学会怎么把已有的知识组织成回答。SFT的数据量通常在几万到几十万条学的是交互范式不是新知识。RAG检索增强生成是不改模型权重在推理时先从外部知识库检索相关内容再让模型基于检索结果回答。它的优势是灵活、可实时更新缺点是检索质量直接影响回答质量而且每次都要查库响应变慢、系统链路变长。CPT继续预训练是用大量原始行业文本不是问答对而是成篇的专业文章、报告、文档继续训练模型让新知识直接写进模型权重里。它学的是“这个领域的语言本身长什么样”哪些术语经常一起出现哪个环节的流程如何表述有哪些隐含的专业逻辑。三者的关系我做了一张分工表方法解决什么问题典型数据规模对模型的影响CPT领域知识不足、术语不懂、专业表达弱数亿到数十亿token改变模型内在知识提升领域语言能力SFT回答格式不对、不会按指令输出几万到几十万条改变输出行为习惯不注入大量新知识RAG知识需要实时更新、事实性要求高知识库文档不定量不改权重检索外部信息辅助生成一句话总结如果模型“读不懂领域文本”先CPT如果模型“懂知识但不会按要求回答”再做SFT如果知识更新快、需要追最新信息上RAG。实际项目里三者也经常叠加使用但顺序不能乱。我就是先CPT一轮打底再SFT对齐交互格式最后在部分场景引入RAG做事实核查效果才稳定下来。2. 数据工程来了这一步能决定行业模型90%的成败2.1 行业语料从哪儿来怎么判断值不值得用很多工程师拿到CPT任务第一反应是去网上爬数据。这里我必须泼一盆冷水CPT是一个对数据规模和噪声极其敏感的训练阶段来源杂、清洗不到位的语料轻则让模型训练不稳定重则让模型学到错误知识、输出乱飞。我建议从四类来源收集行业语料按优先级排企业内部沉淀文档。这是最宝贵、最难获取的一类包括产品说明书、技术白皮书、历史方案、售后记录、内部培训材料、行业解决方案。价值在于专有性强外部语料给不了。行业公开数据集。很多行业协会有公开的标准、规范、技术报告政府公开的统计数据学术论文库里的综述和专利这些都是正儿八经的高质量语料。垂直媒体与行业协会刊物。比如行业周刊、年度报告、观察文章特点是时效性好能帮模型了解行业最新动态。通用但高度相关的语料。例如通用技术文档、百科词条、经典教材用来补充基础常识缓和领域语料“太偏”造成的通用能力退化。拿到一批数据后先做一个“目测抽查”随机抽100条文档看够不够长、有没有大量乱码、是否与目标行业强相关。我见过一个团队整了一堆PDF解出来全是扫描图片OCR都没跑直接喂进去训练结果模型学会了一堆乱码。这一步虽然土但确实能省后面很多时间。2.2 清洗、去重与敏感信息过滤的实操细节数据处理是整个CPT里面最花时间、也最容易做糙的环节。几个核心操作逐一说明。第一格式统一。文本统一转成UTF-8去掉控制字符、零宽字符、异常空格。HTML文档要抽取正文PDF要看是文本型还是扫描型扫描型必须走OCR。我踩过最大的坑就是PDF直接抽出换行符导致所有段落都被拦腰切断喂进模型后损失一路飙升。第二质量过滤。用规则把广告痕迹明显的文本、纯链接列表、乱码段落、重复的导航文字过滤掉。更进一步的团队会训一个小模型做质量打分但成本偏高我通常用启发式规则加长度过滤就够了。所谓的启发式规则就是设定几条硬指标比如段落少于50个字跳过、重复字符比例超过20%跳过、包含“点击领取”“扫码加群”这类广告关键词的段落直接丢。第三关键一步去重。预训练模型最怕重复数据尤其是互联网语料里大量转载、复制如果不去重模型会在某个句子上过拟合生成时反复绕圈。去重我常用两个级别的方案字面级别的MinHash去重处理高相似文本句子级别的精确去重直接把一模一样的段落删掉。实操中我用datasketch库做MinHash对全部语料按窗口算签名再按相似度阈值判重。数据量上亿token时这步跑一个晚上是正常的不用慌。第四安全与隐私处理。企业内部数据常含客户名、手机号、身份证号、内部系统信息训练前务必做脱敏。我的经验是统一用正则识别手机号、邮箱、身份证模式再用占位符替换涉及公司机密的章节宁可删掉也不要侥幸带着去训。万一模型把这些信息“背下来”后续上线把内部信息吐出来安全、声誉、法律问题全来了绝对划不来。另外如果有版权疑虑的公开出版物建议谨慎使用优先用有授权的自有资料和开放授权数据。2.3 数据配比多少通用语料才算“防遗忘”把领域语料和通用语料混在一起训练是决定CPT效果的关键技术决策。如果100%用行业语料模型很容易“偏科”通用能力大面积退化如果通用语料比例太高领域知识又学不进去。我做过几组对照实验最终通常按领域语料和通用语料7:3或者8:2混。通用语料这部分不用额外搜集直接用模型原预训练数据里开源的通用子集或者用公开的维基百科、书库、代码库拼接。为什么需要保留一部分通用语料这里要用一个生活类比一个人进了新行业每天只看行业手册固然专业知识涨得快但日常沟通、常识判断会退化。你得让他一边啃专业书一边保持阅读新闻、百科的习惯。模型的权重空间是有限的全喂领域语料过去学到的东西会被新梯度覆盖这就是灾难性遗忘。混入通用数据相当于在学习和“遗忘”之间做对抗防止模型丢掉原来的语言能力和常识。数据配比做出来后建议按token统计而不是按文档数量或行数统计。同一个tokenizer跑完所有语料统计total token数再按目标配比抽数据。不要偷懒按行数配比因为不同来源文本的单行token差异可能极大。3. 训练策略把CPT真正跑起来的关键参数与全流程3.1 全参训练还是LoRA算清这笔账再动手CPT最直接的做法是在通用模型权重上继续全量训练所有参数都更新。但企业场景下全参训练的开销往往令人肉疼。以7B模型为例全参预训练光激活值和梯度就要吃掉数倍于模型大小的显存如果用A100 80G单卡最多塞下几百条样本通常得上几十张卡并行跑一星期起步。所以企业级CPT我见过的主流做法是参数高效微调里的LoRA低秩适配。LoRA的思路是冻结原模型权重只在每层注入一个低秩矩阵作为增量训练时只更新这两个低秩矩阵。它能把可训练参数量从70亿降到几千万显存占用约为全参的1/3到1/2一块A100也能跑起来时间成本大幅下降。但LoRA有三点必须注意秩的选择。秩越高表达能力越强过拟合风险也随之增加。我常用的是64起步数据规模大、多样性高时升到1287B模型效果不明显时再往上加到256一般够用。可训练范围。可以只让Attention层参与LoRA训练也可以让全部线性层参与。我自己试下来领域知识注入需要更多参数承载所以会放开全部线性层效果比只调Attention层好不少。微调之后再合并。LoRA只是把增量矩阵单独存了推理时是可以用低秩矩阵动态合并回原始权重里做推理加速上线前不要忘记合并权重并做量化验证。如果团队预算充足、对效果要求极高且后续要在这个行业模型上继续做SFT那全参CPT仍是效果最稳、上限最高的路线。中小企业可以先LoRA验证数据有效、流程跑通后再决定是否砸钱全参。3.2 核心超参选择学习率、epoch、序列长度一个都不能想当然CPT和SFT的超参习惯差异很大照搬微调参数是新手最常见的翻车原因。学习率是最敏感的一个。预训练阶段的学习率一般比微调低一个数量级左右。如果做全参CPT我通常从通用预训练的1/10开始试探7B模型常见落在1e-5到5e-5之间LoRA因为只更新低秩矩阵学习率可以稍高我习惯先用2e-4观察loss波动再上下调。千万别学SFT直接用5e-5甚至更高CPT更新步数多、数据量大学习率高一点就会让loss炸掉。epoch要控制在极低范围。通用预训练数据集通常以万亿token计模型只是过一遍。CPT的领域数据相对少我建议控制在1到3个epoch。超过3个epoch模型几乎必定在领域数据上过拟合最典型的表现是训练loss降得很低但生成时开始重复固定句式、丧失多样性。千万不能拿“多训练几轮效果更好”的朴素想法套到CPT上。序列长度建议与状态保持一致。如果目的是注入长文档知识序列长度最好加到4096甚至8192。序列长度翻倍注意力计算量约翻4倍显卡时间成倍增长这也要权衡。我的经验是先用2048把方案验证跑通确认数据和流程没问题后再扩到8192追求长文档质量。3.3 训练过程监控与检查点策略别盯着tensorboard的loss曲线只等它下降。CPT周期长中途不干预很容易翻车。我的监控清单包含四件事loss曲线是否平滑下降。如果出现断崖式上升后恢复说明模型遇到异常batch数据清洗有漏洞。梯度范数是否失控。如果梯度范数突然飙到正常值的数十倍说明数据里混入了异常长文或异常高重复段落需要停下来清洗。验证集loss与训练loss的差距。训练后期差距拉大意味着过拟合已经开始了可以提前终止。抽样生成案例。每隔固定步数用几个典型的行业问题让模型生成文本肉眼看输出是否开始出现专业、连贯的内容这比任何指标都直观。检查点不能只留最后一个。我的习惯是每隔一定步数保存一个checkpoint训练结束后统一回到验证集上评估选择最好的一个继续后续SFT。不要迷信“最后一步一定最好”中途检查点往往因为还没过拟合效果更均衡。4. 评估体系CPT效果好不好别只盯着PPL4.1 三个核心评估维度少一个都是坑训练结束后的评估是整个项目最容易自欺欺人的环节。只报训练loss下降了多少等于考试不看分数只看“我做了多少题”。我建议至少从三个维度构建评估体系。领域知识注入程度。也就是模型对专业术语、法规条文、行业流程的掌握有没有提升。做法是建一批领域问答集和填空题覆盖高频术语、行业常识、典型案例模型阅读后自动作答人工评分或参考标准答案比对。通用能力保持度。CPT最大的隐患是灾难性遗忘。我在训练前会固定一批通用评测集比如通用知识问答、逻辑推理、代码生成、数学计算。训练后跑同一份测试如果分数掉得超过5%到10%就得回头调数据配比或降低学习率。输出质量与合规。行业模型上线前必须有人工做bad case评审。重点看有没有生成对立、违法、不当内容有没有泄露训练数据里的隐私信息有没有在专业问题上给出看似自信实则错误答案。4.2 一套实用评估流程照着做就能跑起来我项目里常跑的一套评估流程大概分四步定基准训练前就用原文答案、领域题和通用题跑一遍初始模型记录基线分数。训后评估训练结束用同一套题跑新模型对比分数。人工抽查随机抽200条领域生成样本让行业专家打分主要看专业准确率、表达流畅度、格式正确性。小规模试用找内部用户上线试用一周收集真实反馈再定位是知识问题还是交互问题。PPL困惑度这个指标一定要单独说一句CPT做完领域文本的PPL通常会下降但通用文本的PPL可能上升这是正常现象。PPL下降不等于效果变好比如模型在数据上过拟合了PPL照样低。所以我把它当辅助参考不作为主要决策依据。5. 常见问题与排查技巧实录现象可能原因排查思路解决方案训练中期loss突然飙升数据里有异常batch检查崩溃点附近的样本检查是否有超长文本或重复噪声清洗数据去掉异常样本必要时回退checkpoint训练损失降得很慢学习率过低或数据噪声大看学习率曲线抽看数据质量适当调高学习率二次清洗数据提高有效领域语料占比领域能力提升不明显LoRA秩太低/epoch太少加重领域测试集观察细粒度正确率提高秩到128或256数据清理后多训1个epoch生成内容开始复读机过拟合看训练集和验证集loss差距降低epoch增加通用语料比例通用能力大幅下降灾难性遗忘跑通用基线测试提高通用语料配比降低学习率训练显存不够崩掉batch太大/序列太长看显存占用日志减小batch开梯度累积序列裁剪过长段落几个细节分享都是真金白银换来的教训。6. 成本估算与落地建议6.1 一次行业CPT到底要花多少钱企业比较关心成本。按7B模型、数据量50亿token做一次LoRA式CPT来估算A100 80G单卡大约能跑只是时间偏长大概需要200小时到300小时4卡并行时间缩短到60到80小时电费加机器损耗粗算成本在小几万元区间。如果走全参训练机时翻几番成本奔着几十万去了。50亿token是什么概念大概相当于1.5万篇10万字的专业文档。对多数中型企业来说攒出这个量级的行业语料是可行的但需要组织内容团队整理。6.2 什么情况下别碰CPT先想清楚再动手不是每个项目都需要CPT。如果模型只是简单问答、知识需求不深SFT足够如果知识更新频繁、答案来源要求可追溯RAG更合适。CPT适合那些行业文本量大、专业表达密集、模型需要长期承载领域能力的场景比如医疗、金融、法律、制造、能源等行业。它才是“把通用模型变成行业模型”的本质操作。我给企业的建议是先花两周做数据盘点找出真正有价值、可授权的文本资产再花一周做小规模数据配比实验用一个小模型验证路径最后再上全量训练。这个节奏看着慢实际上能省掉后期大量返工成本。最后说点我的真实感受带过几个CPT项目后我最大的感受是这个技术本质上不拼模型有多大、显卡有多少拼的是数据和工程耐心。市面上那么多开源大模型谁都能拿过来跑但能把自家行业的脏乱差数据整理成高质量训练语料能忍得住看loss曲线几天下不去的焦躁能耐心做专业评测而不是只盯分数这才能拉开差距。有朋友问我要不要开源项目代码我的回答是代码本身不难难的是把“行业语料”这个核心资产组织起来。CPT就是把企业沉淀的行业文本转化为模型能力的过程想明白这一点很多选择就清晰了。
大模型如何真正懂行业？继续预训练CPT实战全解析
先聊个真实的场景你公司里买了一批通用大模型API或者开源的Qwen、Llama系列部署在本地日常写文案、做客服问答还行。可一旦让它处理财务报表、医疗器械说明书、法律合同、设备维修手册这类内容它就开始一本正经地胡说了。这时候很多人第一反应是做微调拿几千条问答对去SFT一下结果发现模型“会说话了但还是不懂行”。问题出在哪大概率是缺了一步关键动作——Continued Pre-Training。继续预训练业内一般简称CPT意思是把通用大模型放在某个行业的专属语料里接着做一轮预训练。它和微调的本质区别是微调学的是“说话的形式”CPT学的是“行业的常识、术语、知识结构和专业表达”。在我接触到的企业落地案例里凡是要把模型从“通用”推向“行业”CPT几乎是绕不开的一步。这篇文章就把我自己的实战经验整理出来从数据准备、训练策略、效果评估到踩坑记录一次性讲清楚。1. 先把概念讲透CPT到底是什么企业为什么需要它1.1 通用模型和行业模型之间差的不只是“知识量”很多企业老板觉得大模型知道的已经够多了缺的只是“行业知识”。实际上行业模型和通用模型之间的差距远不止多塞几篇行业报告进去那么简单。语言模型的能力来自它在预训练阶段见过的大量文本通用模型见过的是互联网公开语料比例上以百科、新闻、小说、代码、论坛为主。而一个行业的真实语料比如某某设备的操作手册、某某产品的检验标准、某某领域的合同范本在互联网上占比极小甚至很多是线上搜不到的。于是模型会出现一个典型现象你说“心梗”它懂你说“STEMI”它可能就懵了你让它写代码它厉害你让它读懂一条复杂的采购条款、识别其中风险点它就无从下手。这不叫知识量不够而是它在预训练阶段就没看过足够多的行业文本对行业里的高频词汇、行文结构、逻辑链条完全没有形成“肌肉记忆”。Continued Pre-Training解决的正是这个问题用海量行业文本接着训练让模型重新适应这个领域的语言分布。1.2 CPT、SFT、RAG三方分工别把它们的边界用错这里必须把三个概念的关系理顺因为我在实际项目中见过太多混为一谈的情况。SFT监督微调学的是“按指令做出正确回应”的格式。它的输入输出是问答对、对话记录目标是让模型学会怎么把已有的知识组织成回答。SFT的数据量通常在几万到几十万条学的是交互范式不是新知识。RAG检索增强生成是不改模型权重在推理时先从外部知识库检索相关内容再让模型基于检索结果回答。它的优势是灵活、可实时更新缺点是检索质量直接影响回答质量而且每次都要查库响应变慢、系统链路变长。CPT继续预训练是用大量原始行业文本不是问答对而是成篇的专业文章、报告、文档继续训练模型让新知识直接写进模型权重里。它学的是“这个领域的语言本身长什么样”哪些术语经常一起出现哪个环节的流程如何表述有哪些隐含的专业逻辑。三者的关系我做了一张分工表方法解决什么问题典型数据规模对模型的影响CPT领域知识不足、术语不懂、专业表达弱数亿到数十亿token改变模型内在知识提升领域语言能力SFT回答格式不对、不会按指令输出几万到几十万条改变输出行为习惯不注入大量新知识RAG知识需要实时更新、事实性要求高知识库文档不定量不改权重检索外部信息辅助生成一句话总结如果模型“读不懂领域文本”先CPT如果模型“懂知识但不会按要求回答”再做SFT如果知识更新快、需要追最新信息上RAG。实际项目里三者也经常叠加使用但顺序不能乱。我就是先CPT一轮打底再SFT对齐交互格式最后在部分场景引入RAG做事实核查效果才稳定下来。2. 数据工程来了这一步能决定行业模型90%的成败2.1 行业语料从哪儿来怎么判断值不值得用很多工程师拿到CPT任务第一反应是去网上爬数据。这里我必须泼一盆冷水CPT是一个对数据规模和噪声极其敏感的训练阶段来源杂、清洗不到位的语料轻则让模型训练不稳定重则让模型学到错误知识、输出乱飞。我建议从四类来源收集行业语料按优先级排企业内部沉淀文档。这是最宝贵、最难获取的一类包括产品说明书、技术白皮书、历史方案、售后记录、内部培训材料、行业解决方案。价值在于专有性强外部语料给不了。行业公开数据集。很多行业协会有公开的标准、规范、技术报告政府公开的统计数据学术论文库里的综述和专利这些都是正儿八经的高质量语料。垂直媒体与行业协会刊物。比如行业周刊、年度报告、观察文章特点是时效性好能帮模型了解行业最新动态。通用但高度相关的语料。例如通用技术文档、百科词条、经典教材用来补充基础常识缓和领域语料“太偏”造成的通用能力退化。拿到一批数据后先做一个“目测抽查”随机抽100条文档看够不够长、有没有大量乱码、是否与目标行业强相关。我见过一个团队整了一堆PDF解出来全是扫描图片OCR都没跑直接喂进去训练结果模型学会了一堆乱码。这一步虽然土但确实能省后面很多时间。2.2 清洗、去重与敏感信息过滤的实操细节数据处理是整个CPT里面最花时间、也最容易做糙的环节。几个核心操作逐一说明。第一格式统一。文本统一转成UTF-8去掉控制字符、零宽字符、异常空格。HTML文档要抽取正文PDF要看是文本型还是扫描型扫描型必须走OCR。我踩过最大的坑就是PDF直接抽出换行符导致所有段落都被拦腰切断喂进模型后损失一路飙升。第二质量过滤。用规则把广告痕迹明显的文本、纯链接列表、乱码段落、重复的导航文字过滤掉。更进一步的团队会训一个小模型做质量打分但成本偏高我通常用启发式规则加长度过滤就够了。所谓的启发式规则就是设定几条硬指标比如段落少于50个字跳过、重复字符比例超过20%跳过、包含“点击领取”“扫码加群”这类广告关键词的段落直接丢。第三关键一步去重。预训练模型最怕重复数据尤其是互联网语料里大量转载、复制如果不去重模型会在某个句子上过拟合生成时反复绕圈。去重我常用两个级别的方案字面级别的MinHash去重处理高相似文本句子级别的精确去重直接把一模一样的段落删掉。实操中我用datasketch库做MinHash对全部语料按窗口算签名再按相似度阈值判重。数据量上亿token时这步跑一个晚上是正常的不用慌。第四安全与隐私处理。企业内部数据常含客户名、手机号、身份证号、内部系统信息训练前务必做脱敏。我的经验是统一用正则识别手机号、邮箱、身份证模式再用占位符替换涉及公司机密的章节宁可删掉也不要侥幸带着去训。万一模型把这些信息“背下来”后续上线把内部信息吐出来安全、声誉、法律问题全来了绝对划不来。另外如果有版权疑虑的公开出版物建议谨慎使用优先用有授权的自有资料和开放授权数据。2.3 数据配比多少通用语料才算“防遗忘”把领域语料和通用语料混在一起训练是决定CPT效果的关键技术决策。如果100%用行业语料模型很容易“偏科”通用能力大面积退化如果通用语料比例太高领域知识又学不进去。我做过几组对照实验最终通常按领域语料和通用语料7:3或者8:2混。通用语料这部分不用额外搜集直接用模型原预训练数据里开源的通用子集或者用公开的维基百科、书库、代码库拼接。为什么需要保留一部分通用语料这里要用一个生活类比一个人进了新行业每天只看行业手册固然专业知识涨得快但日常沟通、常识判断会退化。你得让他一边啃专业书一边保持阅读新闻、百科的习惯。模型的权重空间是有限的全喂领域语料过去学到的东西会被新梯度覆盖这就是灾难性遗忘。混入通用数据相当于在学习和“遗忘”之间做对抗防止模型丢掉原来的语言能力和常识。数据配比做出来后建议按token统计而不是按文档数量或行数统计。同一个tokenizer跑完所有语料统计total token数再按目标配比抽数据。不要偷懒按行数配比因为不同来源文本的单行token差异可能极大。3. 训练策略把CPT真正跑起来的关键参数与全流程3.1 全参训练还是LoRA算清这笔账再动手CPT最直接的做法是在通用模型权重上继续全量训练所有参数都更新。但企业场景下全参训练的开销往往令人肉疼。以7B模型为例全参预训练光激活值和梯度就要吃掉数倍于模型大小的显存如果用A100 80G单卡最多塞下几百条样本通常得上几十张卡并行跑一星期起步。所以企业级CPT我见过的主流做法是参数高效微调里的LoRA低秩适配。LoRA的思路是冻结原模型权重只在每层注入一个低秩矩阵作为增量训练时只更新这两个低秩矩阵。它能把可训练参数量从70亿降到几千万显存占用约为全参的1/3到1/2一块A100也能跑起来时间成本大幅下降。但LoRA有三点必须注意秩的选择。秩越高表达能力越强过拟合风险也随之增加。我常用的是64起步数据规模大、多样性高时升到1287B模型效果不明显时再往上加到256一般够用。可训练范围。可以只让Attention层参与LoRA训练也可以让全部线性层参与。我自己试下来领域知识注入需要更多参数承载所以会放开全部线性层效果比只调Attention层好不少。微调之后再合并。LoRA只是把增量矩阵单独存了推理时是可以用低秩矩阵动态合并回原始权重里做推理加速上线前不要忘记合并权重并做量化验证。如果团队预算充足、对效果要求极高且后续要在这个行业模型上继续做SFT那全参CPT仍是效果最稳、上限最高的路线。中小企业可以先LoRA验证数据有效、流程跑通后再决定是否砸钱全参。3.2 核心超参选择学习率、epoch、序列长度一个都不能想当然CPT和SFT的超参习惯差异很大照搬微调参数是新手最常见的翻车原因。学习率是最敏感的一个。预训练阶段的学习率一般比微调低一个数量级左右。如果做全参CPT我通常从通用预训练的1/10开始试探7B模型常见落在1e-5到5e-5之间LoRA因为只更新低秩矩阵学习率可以稍高我习惯先用2e-4观察loss波动再上下调。千万别学SFT直接用5e-5甚至更高CPT更新步数多、数据量大学习率高一点就会让loss炸掉。epoch要控制在极低范围。通用预训练数据集通常以万亿token计模型只是过一遍。CPT的领域数据相对少我建议控制在1到3个epoch。超过3个epoch模型几乎必定在领域数据上过拟合最典型的表现是训练loss降得很低但生成时开始重复固定句式、丧失多样性。千万不能拿“多训练几轮效果更好”的朴素想法套到CPT上。序列长度建议与状态保持一致。如果目的是注入长文档知识序列长度最好加到4096甚至8192。序列长度翻倍注意力计算量约翻4倍显卡时间成倍增长这也要权衡。我的经验是先用2048把方案验证跑通确认数据和流程没问题后再扩到8192追求长文档质量。3.3 训练过程监控与检查点策略别盯着tensorboard的loss曲线只等它下降。CPT周期长中途不干预很容易翻车。我的监控清单包含四件事loss曲线是否平滑下降。如果出现断崖式上升后恢复说明模型遇到异常batch数据清洗有漏洞。梯度范数是否失控。如果梯度范数突然飙到正常值的数十倍说明数据里混入了异常长文或异常高重复段落需要停下来清洗。验证集loss与训练loss的差距。训练后期差距拉大意味着过拟合已经开始了可以提前终止。抽样生成案例。每隔固定步数用几个典型的行业问题让模型生成文本肉眼看输出是否开始出现专业、连贯的内容这比任何指标都直观。检查点不能只留最后一个。我的习惯是每隔一定步数保存一个checkpoint训练结束后统一回到验证集上评估选择最好的一个继续后续SFT。不要迷信“最后一步一定最好”中途检查点往往因为还没过拟合效果更均衡。4. 评估体系CPT效果好不好别只盯着PPL4.1 三个核心评估维度少一个都是坑训练结束后的评估是整个项目最容易自欺欺人的环节。只报训练loss下降了多少等于考试不看分数只看“我做了多少题”。我建议至少从三个维度构建评估体系。领域知识注入程度。也就是模型对专业术语、法规条文、行业流程的掌握有没有提升。做法是建一批领域问答集和填空题覆盖高频术语、行业常识、典型案例模型阅读后自动作答人工评分或参考标准答案比对。通用能力保持度。CPT最大的隐患是灾难性遗忘。我在训练前会固定一批通用评测集比如通用知识问答、逻辑推理、代码生成、数学计算。训练后跑同一份测试如果分数掉得超过5%到10%就得回头调数据配比或降低学习率。输出质量与合规。行业模型上线前必须有人工做bad case评审。重点看有没有生成对立、违法、不当内容有没有泄露训练数据里的隐私信息有没有在专业问题上给出看似自信实则错误答案。4.2 一套实用评估流程照着做就能跑起来我项目里常跑的一套评估流程大概分四步定基准训练前就用原文答案、领域题和通用题跑一遍初始模型记录基线分数。训后评估训练结束用同一套题跑新模型对比分数。人工抽查随机抽200条领域生成样本让行业专家打分主要看专业准确率、表达流畅度、格式正确性。小规模试用找内部用户上线试用一周收集真实反馈再定位是知识问题还是交互问题。PPL困惑度这个指标一定要单独说一句CPT做完领域文本的PPL通常会下降但通用文本的PPL可能上升这是正常现象。PPL下降不等于效果变好比如模型在数据上过拟合了PPL照样低。所以我把它当辅助参考不作为主要决策依据。5. 常见问题与排查技巧实录现象可能原因排查思路解决方案训练中期loss突然飙升数据里有异常batch检查崩溃点附近的样本检查是否有超长文本或重复噪声清洗数据去掉异常样本必要时回退checkpoint训练损失降得很慢学习率过低或数据噪声大看学习率曲线抽看数据质量适当调高学习率二次清洗数据提高有效领域语料占比领域能力提升不明显LoRA秩太低/epoch太少加重领域测试集观察细粒度正确率提高秩到128或256数据清理后多训1个epoch生成内容开始复读机过拟合看训练集和验证集loss差距降低epoch增加通用语料比例通用能力大幅下降灾难性遗忘跑通用基线测试提高通用语料配比降低学习率训练显存不够崩掉batch太大/序列太长看显存占用日志减小batch开梯度累积序列裁剪过长段落几个细节分享都是真金白银换来的教训。6. 成本估算与落地建议6.1 一次行业CPT到底要花多少钱企业比较关心成本。按7B模型、数据量50亿token做一次LoRA式CPT来估算A100 80G单卡大约能跑只是时间偏长大概需要200小时到300小时4卡并行时间缩短到60到80小时电费加机器损耗粗算成本在小几万元区间。如果走全参训练机时翻几番成本奔着几十万去了。50亿token是什么概念大概相当于1.5万篇10万字的专业文档。对多数中型企业来说攒出这个量级的行业语料是可行的但需要组织内容团队整理。6.2 什么情况下别碰CPT先想清楚再动手不是每个项目都需要CPT。如果模型只是简单问答、知识需求不深SFT足够如果知识更新频繁、答案来源要求可追溯RAG更合适。CPT适合那些行业文本量大、专业表达密集、模型需要长期承载领域能力的场景比如医疗、金融、法律、制造、能源等行业。它才是“把通用模型变成行业模型”的本质操作。我给企业的建议是先花两周做数据盘点找出真正有价值、可授权的文本资产再花一周做小规模数据配比实验用一个小模型验证路径最后再上全量训练。这个节奏看着慢实际上能省掉后期大量返工成本。最后说点我的真实感受带过几个CPT项目后我最大的感受是这个技术本质上不拼模型有多大、显卡有多少拼的是数据和工程耐心。市面上那么多开源大模型谁都能拿过来跑但能把自家行业的脏乱差数据整理成高质量训练语料能忍得住看loss曲线几天下不去的焦躁能耐心做专业评测而不是只盯分数这才能拉开差距。有朋友问我要不要开源项目代码我的回答是代码本身不难难的是把“行业语料”这个核心资产组织起来。CPT就是把企业沉淀的行业文本转化为模型能力的过程想明白这一点很多选择就清晰了。