1. 项目缘起当文档问答遇上“盲人摸象”最近在做一个内部知识库的升级项目客户扔过来一堆五花八门的文档有PDF格式的年度财报里面全是图表和数字表格有产品发布会的PPT截图还有工程师随手拍的设备故障现场照片甚至有几段会议录音转成的文字稿。老板的要求很明确做一个智能问答系统让员工能像问同事一样用自然语言提问系统得从这堆“大杂烩”里找到答案。一开始我们团队信心满满直接上了当时最火的“检索增强生成”RAG方案。思路很经典把文档切块、向量化、存进向量数据库用户提问时检索最相关的几个文本块塞给大模型生成答案。结果呢上线第一天就翻车了。用户问“去年Q3华东区的销售额是多少请结合趋势图说明。” 系统检索回来的全是财报里提到“销售额”的文本段落但死活找不到对应的柱状图。生成的答案只能干巴巴地复述数字完全没法“结合趋势图说明”。另一个用户上传了一张设备面板的故障灯照片问“这个红灯代表什么故障处理步骤是什么” 系统直接懵了因为它只“认识”文字对图片里的指示灯符号和仪表读数视而不见。那一刻我深刻体会到什么叫“盲人摸象”。传统的RAG框架本质上是个“文本单模态”系统。它把世界简化成了文字对于PDF里的图表、图片中的视觉信息、甚至排版格式所隐含的结构比如标题、表格它要么视而不见要么只能通过OCR勉强转成文字丢失了大量关键语义。在多模态文档成为主流的今天这种能力的缺失是致命的。图表里的一个箭头、设计图上的一个标注、视频中的关键帧都可能承载着问题的核心答案。这就是我们探索并设计MARA面向多模态文档问答的自适应检索增强框架的初衷。它不是一个凭空想象的概念而是为了解决真实、棘手的生产问题如何让机器像人一样真正“看懂”一份包含文字、图片、表格、公式的复杂文档并从中精准、连贯地回答出问题2. MARA框架总览从“单线程”检索到“多模态”协同作战在深入技术细节之前我们先从顶层看看MARA是如何重新组织这场“信息狩猎”的。传统的RAG流程可以比作一个只懂一种语言的侦探他只能翻阅文字档案文本嵌入然后根据文字线索问题向量去匹配最后口述报告生成答案。而MARA更像一个配备了多种专业工具和拥有协同指挥能力的特勤小组。它的核心革新在于两点多模态感知与自适应决策。整个框架的运作可以分解为四个核心阶段我将其概括为“感知-理解-决策-执行”的闭环。2.1 多模态解析与表征层给机器装上“眼睛”和“结构感知器”这是所有工作的基础。一份多模态文档进来MARA不会像传统方法那样粗暴地把它全部OCR成一段冗长的、失去结构的文本。相反它像一位专业的文档分析师进行精细的解构模态解耦与特征提取文本不仅仅是提取字符还要识别段落、标题、列表等逻辑结构。我们使用像LayoutLMv3或UDOP这类经过文档布局预训练的模型它们能同时理解文本内容和其在页面上的二维位置关系。图像/图表对于文档中的每一个图像区域Figure我们使用视觉编码器如CLIP的ViT或专门针对文档图表优化的模型如ChartOCR提取密集的视觉特征。关键点在于这些特征不是孤立的。我们会将图像所在的页面位置、以及其周围的标题、引用文本如“如图1所示”作为上下文一起编码形成“视觉-文本”关联特征。表格表格是半结构化数据的典型。我们会使用专门的表格识别模型如Table Transformer检测表格区域然后将其结构化为HTML或Markdown格式同时保留表头、单元格合并等语义信息。对于复杂的财务表格我们甚至会简单推断行列之间的计算关系。公式使用LaTeX-OCR工具将公式图像转换为LaTeX代码这是一种既精确又富含数学语义的表示形式。统一语义空间映射 这是技术上的一个关键挑战。文本特征、图像特征、表格结构化数据它们原本生活在不同的“度量空间”里直接比较相似度就像比较“苹果的甜度”和“橙子的颜色”。MARA通过一个多模态对齐模块来解决。我们利用海量的图文对数据如COCO、文档数据集预训练一个投影层将不同模态的特征全部映射到一个共享的高维语义空间中。在这个空间里“销售额增长”的文本描述、展示增长曲线的图表特征、以及包含增长数字的表格单元格它们的向量表示会非常接近。这就为后续的跨模态检索打下了基础。实操心得这一步最吃资源也最容易出坑。我们最初尝试用一个大模型如GPT-4V来处理所有模态虽然简单但成本极高且延迟无法接受。后来转向“专家模型集成”路线用轻量、专精的模型处理各自擅长的模态如PaddleOCR处理文字DINOv2提取通用视觉特征再通过一个相对简单的对齐网络进行融合。这样在精度和效率间取得了更好的平衡。一个重要的技巧是在提取特征时一定要把“位置信息”Bounding Box和“模态类型”作为元数据Metadata保留下来这在后续的重排和生成阶段至关重要。2.2 自适应检索策略引擎从“一把梭”到“智能调度”传统RAG是“一次性检索”而MARA的检索是多阶段、自适应的。我们把这个引擎称为“策略中心”它的核心是一个轻量级的决策模型可以是一个微调的小型LLM或一个基于规则嵌入的分类器它根据用户问题的复杂度和意图动态选择检索路径。路径一简单事实型问答。例如“文档的作者是谁”。决策引擎会判断这是一个纯文本匹配问题直接触发稠密向量检索Dense Retrieval在统一的语义空间里用问题向量查找最相关的文本片段。速度快精度高。路径二涉及视觉内容的问题。例如“请描述图5中的流程”。引擎会识别出“图5”这个关键实体触发混合检索Hybrid Retrieval。首先通过稀疏检索如BM25快速定位到文档中提及“图5”的文本上下文然后利用多模态编码器计算问题与文档中所有图像的相似度找到最匹配的“图5”视觉特征最后将文本上下文和视觉特征同时送入下一阶段。路径三复杂推理或多跳问答。例如“对比产品A和产品B在Q3和Q4的销量并用图表支持你的结论”。这是一个需要串联多个信息点的复杂问题。引擎会启用Agentic RAG智能体式RAG流程。它可能将问题分解为子问题1找到产品A的Q3、Q4销量可能来自表格2找到产品B的Q3、Q4销量3找到包含销量对比的图表。然后它可能会进行多轮迭代检索用上一轮检索到的信息如产品A的名字来优化下一轮的查询如“产品A销量 图表”像侦探一样层层推进。这个自适应引擎的“智能”来自于对大量问答对的训练让它学会分类问题类型。在实践中我们定义了几个关键分类特征问题中是否包含视觉实体引用如图、表、是否包含比较性词汇对比、差异、是否包含数值计算总和、平均值等。2.3 多模态上下文融合与重排序拼图游戏的高手检索阶段可能会返回来自不同模态、不同文档位置的多个信息“碎片”几段文本、一张图表、一个表格单元格。直接把这些碎片扔给大模型它很可能会产生混淆或幻觉。因此一个强大的融合与重排序Re-ranking模块必不可少。跨模态相关性重排我们引入一个交叉编码器Cross-Encoder。与检索时使用的双编码器Bi-Encoder不同交叉编码器会将问题和每一个候选信息碎片连同其模态类型和上下文进行深度交互计算得到一个更精细的相关性分数。例如对于问题“解释图3中的峰值原因”一段描述“图3显示了用户活跃度的突然上升”的文本和另一段描述“图4的硬件故障”的文本前者在交叉编码器看来相关性会高得多即使它们的初始向量相似度可能接近。上下文富化与去冗余对于重排后的顶级结果MARA会进行“上下文富化”。例如对于一张检索到的图表我们会自动将其“标题”、“图注”以及文档中引用它的前后文段落作为附加文本信息绑定在一起。对于表格我们会将其所在章节的标题作为上下文。这样每个信息碎片都变成了一个包含自身内容、模态、位置和周边文本的“富信息单元”。结构组织最后按照这些信息单元在原始文档中的逻辑顺序如页码、位置或语义重要性进行组织形成一个结构化的、多模态的上下文列表准备喂给生成器。踩坑实录我们曾经忽略重排序导致生成的答案经常“张冠李戴”把图1的解释安到图2上。引入基于DeBERTa微调的交叉编码器后效果立竿见影。另一个关键点是控制上下文长度。多模态特征尤其是经过编码的视觉特征可能非常长会迅速耗尽大模型的上下文窗口。我们的解决方案是对于视觉内容在融合阶段仅保留其最关键的、经过对齐的语义向量而非原始像素特征或者生成一段详细的文本描述Caption用文本来代表视觉信息从而大幅节省Token。2.4 多模态感知的答案生成真正的“图文并茂”回答这是临门一脚。我们最终选用的生成模型必须是支持多模态输入的例如GPT-4V、Qwen-VL-Plus或DeepSeek-V2。我们将前一步准备好的、结构化的多模态上下文格式化文本 图像特征/或图像描述 表格数据以及用户问题一起构建成提示Prompt。提示工程在这里至关重要。一个有效的Prompt模板通常包含角色设定你是一个专业的文档分析助手。指令请严格基于提供的上下文回答问题。上下文包含文本、图表描述和表格数据。上下文格式化明确分隔不同来源和模态的信息例如使用[Text from Page 5][Description of Figure 2: ...][Data from Table 3: ...]等标签。约束如果信息不足请明确说明禁止混淆不同图表或表格的信息。输出格式要求答案清晰如果引用图表请注明“如图X所示”。这样大模型在生成时就能有意识地去“引用”视觉信息说出“从图2的曲线可以看出...”或“如表1数据所示...”这样符合人类习惯的、真正融合了多模态信息的答案。3. 核心挑战与实战调优填平理想与现实的鸿沟设计框架是一回事让它稳定高效地跑起来是另一回事。在MARA的落地过程中我们遇到了几个绕不开的硬骨头。3.1 多模态对齐的“语义鸿沟”问题理论上共享语义空间很美。但实际上让一段描述“市场增长”的文字和一个“上扬的折线图”在向量空间里紧挨着非常困难。预训练的对齐模型在通用数据集上表现尚可但一到我们垂直领域的专业文档如工程图纸、医疗报告效果就急剧下降。我们的解决方案是领域自适应微调。构造领域特定的对齐数据我们从内部文档中人工标注或利用大模型GPT-4V半自动地生成大量的“文本片段图像区域”配对。例如从一份医疗报告中截取“左肺下叶可见结节状高密度影”的文本和对应的CT影像切片区域作为一个正样本。对比学习微调使用类似CLIP的对比学习框架但 backbone 换成我们已有的专家编码器。目标函数是拉近配对的多模态特征距离推远不配对的特征距离。这个过程计算量不小但能显著提升垂直领域的检索精度。引入知识图谱作为桥梁对于一些高度专业的概念我们在对齐时引入领域知识图谱。例如将“齿轮”的文本、齿轮的图片、以及知识图谱中“齿轮”实体的嵌入三者进行联合对齐让语义空间吸收结构化知识从而更鲁棒。3.2 自适应检索的策略学习与冷启动自适应检索引擎需要一个决策模型但这个模型一开始没有数据怎么训练这就是冷启动问题。我们的策略是“规则筑基数据迭代”初期我们基于经验编写了一套清晰的规则库。例如如果问题中包含“图X”、“表Y”、“照片”等关键词则走混合检索路径如果包含“计算”、“对比”、“首先...然后...”等复杂逻辑词则走Agentic路径。这套规则能解决80%的常见情况让系统先跑起来。数据积累系统上线后所有用户的问题、被触发的检索路径、以及最终人工评估的答案质量或用户反馈都被记录下来形成一个“策略-效果”日志。迭代优化我们用这些日志数据训练一个分类模型如XGBoost或轻量级BERT来学习更精细的问题分类。例如模型可能学到即使问题里没有“图”字但出现了“颜色”、“形状”、“布局”等词也应倾向于触发视觉检索。这样系统就从基于规则的“自动化”进化到了基于学习的“智能化”。3.3 效率与成本的权衡让“重武器”用在刀刃上多模态模型尤其是大参数视觉语言模型的推理成本非常高。如果每个问题、每张图片都调用GPT-4V成本将无法承受。我们的架构做了分层处理轻量级路由层使用快速的小模型如Sentence-BERT 简单分类器完成问题分类和初步检索过滤掉大量简单问题。重型分析层只有对于被路由判定为“复杂”、“需深度视觉理解”的问题才会调用昂贵的多模态大模型进行最终的上下文融合与答案生成。对于简单事实问题仅用纯文本模型如ChatGLM3、Qwen2.5生成即可。缓存策略对常见的文档和问题将其多模态上下文表示和最终答案进行缓存。当类似问题再次出现时直接返回缓存结果极大降低计算开销和延迟。4. 效果评估与迭代方向不只是准确率评估一个多模态问答系统不能只看传统的文本QA指标如EM F1。我们建立了一个更全面的评估体系多模态引用准确率模型生成的答案中对图、表的引用是否正确是否出现了“如图8所示”但文档只有7张图这种低级错误这部分需要人工评估。信息融合度答案是否有机融合了来自文本和视觉的信息还是简单罗列例如对于“根据图表和下文分析原因”这类问题好的答案应该建立图表趋势与文本解释之间的因果联系。人工满意度评分让真实用户如公司员工使用系统并对答案的“有用性”、“准确性”、“完整性”进行五星评分。这是最直接的指标。效率指标平均响应时间P99延迟、单次查询成本。这直接关系到系统的可用性和可持续性。基于这些评估MARA的迭代方向也日益清晰更细粒度的模态理解从整图理解到图中的对象识别、关系检测如箭头指向、数据标签。时序多模态处理支持视频、动画文档理解随时间变化的信息。更强的推理与规划能力让Agentic RAG部分更智能能自主规划更复杂的多跳推理路径。端到端优化探索将检索器、重排序器、生成器进行联合训练的可能性虽然挑战巨大但可能是性能突破的关键。从“盲人摸象”到“明察秋毫”MARA框架的实践告诉我们面向多模态文档的智能问答绝非简单地将图片OCR后塞给RAG。它需要一套系统性的架构设计涵盖从精准的模态解析、智能的检索调度、深度的上下文融合到可控的生成输出。这条路还在不断延伸但每一次让机器更准确地“看懂”一份复杂文档都让我们离那个“像问同事一样问文档”的终极目标更近了一步。
