EGM-Qwen3-VL-4B震撼发布革命性小型视觉语言模型如何超越2350亿参数大模型【免费下载链接】EGM-4B项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/EGM-4BEGM-Qwen3-VL-4B是来自 EGM (Efficient Visual Grounding Language Models) 家族的高效视觉定位模型。它基于 Qwen3-VL-4B-Thinking 构建通过两阶段 pipeline 训练监督微调SFT和使用 GRPOGroup Relative Policy Optimization的强化学习RL。这个仅有40亿参数的模型在多个视觉定位任务中表现惊人甚至超越了2350亿参数的大模型 核心优势小模型如何挑战大模型不同规模的视觉语言模型VLMs通常共享相同的视觉编码器。小型模型落后于大型模型主要是由于文本理解能力的差距——62.8%的小型模型错误源于包含多个关系描述的复杂提示。EGM 通过生成许多中等质量的标记来自小型模型来弥补这一差距从而匹配大型 VLMs 产生更少但更昂贵标记的性能。 性能突破超越2350亿参数模型的关键指标在 RefCOCO 基准测试中EGM-Qwen3-VL-4B 实现了90.9的平均 IoU相比基础模型 Qwen3-VL-4B-Thinking 的87.2甚至超越了 Qwen3-VL-235B-A22B-Instruct88.2平均 IoU同时速度显著提升。以下是部分关键数据集的对比模型RefCOCORefCOCORefCOCOg-UndetRefCOCOg-DetRefClefFlickr30kLocalized-NarrativesLVIS平均 IoUQwen3-VL-4B-Thinking90.092.785.685.289.579.387.087.787.2EGM-Qwen3-VL-4B93.595.190.089.793.184.990.490.890.9️ 简单三步上手 EGM-Qwen3-VL-4B1️⃣ 安装依赖确保您的环境中已安装 Hugging Face Transformers 和相关依赖pip install transformers accelerate torch pillow2️⃣ 下载模型使用 Hugging Face CLI 下载模型到本地huggingface-cli download nvidia/EGM-4B --local-dir ./models/EGM-4B3️⃣ 快速使用示例以下是一个简单的 Python 代码示例展示如何使用 EGM-Qwen3-VL-4B 进行视觉定位from transformers import AutoProcessor, AutoModelForVisualGrounding processor AutoProcessor.from_pretrained(./models/EGM-4B) model AutoModelForVisualGrounding.from_pretrained(./models/EGM-4B) # 加载图像和文本提示 image processor(imagesopen(example.jpg, rb).read(), return_tensorspt) text processor(text请定位图中的红色汽车, return_tensorspt) # 进行推理 outputs model(**image,** text) 技术原理EGM 的两阶段训练秘籍SFT 阶段专有 VLM 为视觉定位训练数据生成详细的思维链推理步骤。基础模型在此数据上进行微调。SFT checkpoint 可在 nvidia/EGM-4B-SFT 获取。RL 阶段使用 GRPOGroup Relative Policy Optimization进行强化学习进一步优化模型性能。这一阶段帮助模型在复杂场景中做出更精准的定位决策。 致谢本仓库受益于 Qwen3-VL、InternVL、verl 和 verl-internvl 等开源项目。通过 EGM-Qwen3-VL-4B开发者和研究人员可以在保持高性能的同时享受小型模型带来的速度和资源优势。无论是学术研究还是工业应用这款模型都将成为视觉定位任务的理想选择【免费下载链接】EGM-4B项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/EGM-4B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
