ARTICLE DETAIL

资讯详情

深耕编程入门与网站建设的一线实战洞察。

MedMKEB: A Comprehensive Knowledge Editing Benchmark for Medical Multimodal Large Language Models

MedMKEB: A Comprehensive Knowledge Editing Benchmark for Medical Multimodal Large Language Models 主要内容本文提出了首个针对医疗多模态大语言模型(Medical Multimodal Large Language Models, Medical MLLMs)知识编辑的综合基准MedMKEB。该基准基于高质量医疗视觉问答数据集构建,包含反事实修正、语义泛化、知识迁移和对抗鲁棒性等编辑任务,并经医学专家验证以确保准确性。MedMKEB从五个维度评估知识编辑效果:可靠性:模型输出是否与新注入知识一致;局部性:无关知识是否不受编辑影响;泛化性:模型能否将编辑知识应用于语义相似的未见过案例;可移植性:编辑知识能否迁移到相关推理场景;鲁棒性:编辑后模型在对抗性提示下的稳定性。通过在主流通用和医疗MLLMs上的单编辑和序列编辑实验,研究发现现有知识编辑方法在医疗领域存在局限性(如泛化性不足、多跳推理能力弱等),强调了开发专门医疗编辑策略的必要性。MedMKEB旨在成为推动可信、高效医疗知识编辑算法发展的标准基准。创新点首个多模态医疗知识编辑基准:MedMKEB是首个覆盖多模态(图像、文本)、多任务(视觉问答、知识推理等)且经专家验证的医疗知识编辑基准。多维度评估框架:设计了包含可靠性、局部性、泛化性、可移植性和鲁棒性的评
返回列表