小罗碎碎念本文核心内容来自Zhuoran Liu, Junyi Shen等.Co-assistant networks by pathology foundation model and convolutional neural network for gigapixel whole slide image analysis. Medical Image Analysis, 2026, 113: 104202.研究团队来自电子科技大学、四川大学华西医院、西北大学、乐山师范学院相关代码已开源至GitHub。为了减轻医生负担计算机辅助诊断系统应运而生其中多示例学习Multiple Instance Learning, MIL 是当前的主流技术方案。它无需对每张切片做逐像素的精细标注仅依靠整张切片的诊断标签就能让AI自主学习识别癌变区域大幅降低了数据标注的成本。但这条技术路线一直绕不开一个两难的选择1、使用病理基础模型在海量病理数据上预训练的大模型如同“见过数十万张切片的全科老专家”。它全局视野开阔泛化能力强换一家医院的切片也能维持基本诊断能力但存在天生短板自注意力机制会关联所有细粒度特征很容易将无关噪声纳入判断就像老专家扫得太快容易把杂质误判为可疑病灶同时它对细胞级的局部细节捕捉能力偏弱医生很难追溯它的判断依据“黑箱”属性较强。2、使用小型卷积神经网络比如经典的ResNet-18如同“手持显微镜的专科检验师”。它擅长捕捉局部纹理、细胞形态能精准定位异常细胞判断依据清晰可解释性强但短板也很明显训练数据有限导致见识不足泛化能力差换一种染色方式、换一台扫描仪诊断效果就会大幅下滑很难直接跨院、跨中心使用。一边是全局强但细节弱、解释性差的大模型一边是细节准但泛化弱的小网络有没有办法把两者的优势真正结合起来这正是电子科技大学、四川大学华西医院等团队发表于医学影像顶刊《Medical Image Analysis》的研究要解决的核心问题。他们提出的可解释大小协同Interpretable Large-Small Co-assistant, ILSC 框架让大模型与小CNN并行工作、互相辅助同时实现了更高的诊断精度、更强的泛化能力和更好的可解释性。ILSC病理图像分析框架输入的十亿像素级全切片图像经预处理切分为标准图像块后进入两条并行的特征提取支路整体设计核心是融合病理基础大模型与卷积神经网络的互补优势兼顾全局泛化能力与局部细节精度。上方通用特征提取支路采用冻结的预训练病理大模型搭配轻量适配器与PFM空间注意力模块提取全局通用的病理特征下方特定特征提取支路以ResNet-18为主干网络通过细胞级注意力聚焦细胞层面的判别性局部特征同时接收融合模块输出的软标签完成知识蒸馏弥补小网络泛化能力弱的短板。两路支路输出的图像块特征按权重λₐ加权融合经线性变换降维后送入共享的块注意力模块聚合得到整张切片的全局特征表示最终输出切片级分类结果分层注意力机制也同时为模型提供了可解释的诊断依据。医学AI交流群目前小罗全平台关注量120,000交流群总成员4000大部分来自国内外顶尖院校/医院期待您的加入由于近期入群推销人员较多已开启入群验证扫码添加我的联系方式备注姓名-单位-科室/专业即可邀您入群。一、双分支并行大模型带教小网络不是替代是互补ILSC的核心创新在于跳出了“选大模型还是选小网络”的二选一思维转而设计了一套双分支并行的协同架构一个分支用大模型提取通用的全局病理特征负责“把握整体方向”另一个分支用小CNN挖掘任务相关的局部细胞特征负责“抠准细节精度”最后将两路信息融合输出最终诊断。更巧妙的是训练阶段的设计大模型会通过知识蒸馏的方式“带教”小网络把自己学到的通用病理知识传递给小CNN从根源上弥补小网络泛化能力弱的短板。两者不是竞争关系而是真正的优势互补。AI界的“多学科会诊”整个ILSC框架的工作流程可以清晰分为三个阶段如同一场标准化的多专家会诊。第一步通用特征提取——全科顾问的初筛所有切分好的图像块首先送入通用特征提取分支也就是“大模型通道”。这里使用冻结的预训练病理大模型论文中采用PLIP作为基础仅通过适配器Adapter做轻量微调无需改动大模型主体参数既节省算力又完整保留了大模型学到的通用病理知识。随后特征会经过两层注意力筛选第一层是PFM空间注意力给大模型输出的每组细粒度特征打分过滤掉无价值的噪声特征只保留有诊断意义的信息第二层是图像块级注意力给整张切片中成百上千个小图像块加权筛选出最可疑的关键区域。这就像全科医生先快速扫完所有切片区域先排除绝大多数正常组织圈出几处可疑重点区域同时过滤掉模糊、染色不均的干扰信息为后续精细检查缩小范围。这一设计针对性解决了大模型自注意力易引入噪声的问题让大模型的判断更聚焦、更精准。第二步特定特征提取——显微专家的精查与此同时完全相同的图像块会送入另一条并行分支特定特征提取模块也就是“小CNN通道”。这里以轻量的ResNet-18为主干网络搭配细胞级注意力机制专门挖掘图像块内部的细胞形态、纹理等局部判别特征。小网络的训练还有一个关键的“外挂”知识蒸馏。大模型分支输出的图像块预测结果会作为“软标签”指导小CNN的训练相当于全科医生把自己的诊断经验同步给专科医生帮专科医生快速建立全局认知无需从零开始摸索。这就像专科医生手持高倍显微镜对着全科医生圈出的可疑区域逐个观察细胞形态细节精准识别癌变特征。小CNN天生的局部性和平移等变性让它能更好地过滤噪声、聚焦细胞级异常给出的判断依据也更清晰这正是大模型欠缺的可解释性。第三步特征融合分类——双专家联合会诊两路分支提取的图像块特征会按照预设权重进行融合再送入共享的图像块注意力模块聚合成整张切片的最终特征输出切片级的诊断结果。为了让模型的“关注点”和“诊断结论”保持一致研究团队还加入了注意力-语义一致性损失让模型对某个图像块的注意力权重与该区域的癌变预测概率成正比。简单来说模型越觉得某个区域可疑分配给这个区域的注意力就越高保证判断逻辑自洽。这就像会诊的最后环节全科医生和专科医生汇总各自意见综合全局风险和局部细节给出最终诊断报告并且报告里明确标注了判断的依据区域方便病理医生直接核验。二、性能、泛化、可解释性的三重突破基准测试为了验证ILSC框架的效果研究团队在4个主流病理数据集上开展了严格的对比测试涵盖二分类判断是否癌变和多分类区分癌症亚型任务与8种当前主流的MIL方法同台竞技。实验采用准确率ACC、曲线下面积AUC、F1分数三个核心指标所有实验重复5次取平均值保证结果的可靠性。从最终结果来看ILSC在所有数据集上都取得了最优性能优势十分显著在乳腺癌淋巴结转移数据集CAMELYON16上ILSC的准确率、AUC、F1分数分别比第二名高出7.1%、4.9%和9.2%提升幅度非常突出在前列腺癌分级数据集PANDA上三项指标分别领先1.8%、1.0%和2.1%在难度更高的多分类任务上ILSC的优势更加明显在5分类卵巢癌亚型数据集UBC-OCEAN上准确率、AUC、F1分数分别比第二名高出4.5%、1.6%和5.8%。可能有人会疑问“是不是因为ILSC用了大模型其他方法没用”为了排除这个因素研究团队让所有对比方法都使用同一个病理大模型PLIP作为特征提取器站在同一起跑线上再做比较。结果ILSC依然稳居第一在CAMELYON16上准确率和F1分数仍分别领先第二名4.4%和4.6%。这说明性能提升不是单纯靠堆大模型实现的ILSC的双分支协同设计才是突破的核心——它能有效弥补大模型的自身缺陷进一步释放大模型的潜力。泛化测试对于临床应用来说“换个数据集还能不能用”比“测试集跑分高”更重要。真实世界里不同医院的切片染色、扫描设备、制片习惯都有差异模型如果只能在训练过的数据集上好用就没有实际临床价值。为此研究团队专门设置了跨数据集外部测试用CAMELYON16数据集训练好的模型直接在完全未见过的CAMELYON17数据集上测试用TCGA-BRCA乳腺癌数据集训练的模型直接在独立的BACH数据集上测试。当都使用ResNet-50作为主干时ILSC在CAMELYON17上的准确率、AUC、F1分数分别比第二名高出12.5%、6.9%和9.0%在BACH数据集上三项指标更是分别领先9.2%、16.0%和16.5%就算完全从零开始训练、不使用任何预训练权重ILSC在CAMELYON17上的准确率也比第二名高出34.2%几乎是碾压级优势。这背后正是大模型分支带来的强泛化能力搭配小CNN的精准特征提取让模型既能适应新的数据分布又不会丢失细节精度。消融与对比为了明确每个模块的实际贡献研究团队做了细致的消融实验。结果验证了最初的设计判断大模型分支泛化能力更强在外部测试集上的表现远优于纯小CNN分支小CNN分支可解释性更好能精准定位关键区域两个分支结合的完整ILSC框架在所有指标上都达到最优真正实现了112的效果。更值得关注的是研究团队还把ILSC和LoRA、PiSSA、DoRA这些主流的参数高效微调PEFT方法做了对比。结果显示就算和加了注意力机制的PEFT方法相比ILSC依然全面领先——比如使用UNI大模型作为主干时ILSC的准确率、AUC、F1分数分别比LoRA方法高出10.4%、6.5%和12.0%。这说明相比只在大模型内部做微调引入小CNN分支补充局部特征是提升病理大模型效果更有效的路径。可解释性医疗AI落地的一大门槛就是“黑箱问题”——如果AI只说“这个切片有癌”却说不清判断依据医生根本不敢用于临床。ILSC在可解释性上也做了专门验证。研究团队测试了一个核心问题如果只让每个模型选出最可疑的少量图像块用这些块的预测代表整张切片的诊断谁的准确率更高结果显示哪怕只选很少的图像块ILSC的AUC都始终高于其他方法。这意味着ILSC选出的关键区域更准、更有代表性它能清晰地告诉医生“我是根据这几处区域判断出癌变的”医生可以直接核验这些区域判断AI的结论是否可靠。论文中的可视化示例也直观展示了这一点ILSC能精准定位到癌变的细胞区域标注结果与真实病理标注高度吻合。三、大小协同将重塑数字病理的未来给病理医生配上“全局显微”双重视野ILSC框架的出现给数字病理的落地带来了三个实实在在的改变。第一是诊断精度的提升尤其针对疑难病例。传统单一模型要么容易漏诊细节要么容易误判全局而双分支协同的模式同时兼顾了整体组织形态和局部细胞特征能有效降低漏诊率提升诊断灵敏度——这对于癌症诊断至关重要漏诊一个癌细胞可能就意味着病人错过最佳治疗时机。第二是可解释性的突破让AI从“黑箱”变成“透明助手”。细胞级的注意力定位让病理医生能清晰看到AI的判断依据既方便医生复核也能帮助年轻病理医生快速学习诊断思路推动优质医疗资源下沉。第三是泛化能力的提升降低了落地门槛。过去很多AI病理模型换一家医院就效果暴跌需要重新标注大量数据训练而ILSC依托大模型的通用病理知识搭配小网络的任务适配能力能更好地适应不同医院的切片数据大幅减少本地化适配的成本。从单一切片到全维度精准诊断当然目前的ILSC框架还有广阔的拓展空间研究团队也在论文中明确了未来的研究方向。首先是任务拓展。目前的框架主要用于癌症分类任务未来可以延伸到更复杂的生存分析、预后预测不只是判断“有没有癌”还能预测“病人的治疗效果如何、生存期有多长”为临床治疗提供更全面的参考。其次是多模态融合。现在的模型仅使用了病理切片图像未来可以结合临床病历、基因组数据等多维度信息打造更全面的辅助诊断系统真正实现精准医疗。第三是场景下沉。目前测试使用的都是高质量标准切片而基层医院的切片可能存在染色不均、扫描质量差等问题未来优化模型对低质量数据的适配能力能让这项技术真正下沉到基层提升基层医院的病理诊断水平。从更长远的视角看这种“大模型小网络”的协同思路解锁了海量存量病理数据的价值。过去很多没有精细标注的病理切片很难用来训练小模型而依托大模型的通用知识搭配小网络的任务微调能让更多沉睡的病理数据发挥价值反过来又推动模型能力提升形成正向循环。医学AI交流群目前小罗全平台关注量120,000交流群总成员4000大部分来自国内外顶尖院校/医院期待您的加入由于近期入群推销人员较多已开启入群验证扫码添加我的联系方式备注姓名-单位-科室/专业即可邀您入群。
