打赏

相关文章

TinyGPT-V 和 MiniGPT-4 在架构设计上的主要区别

MiniGPT-4 是“大 LLM 冻结视觉编码器 单层线性投影”的经典桥接式 MLLM;TinyGPT-V 是“小 LLM 视觉模块 更复杂 mapping / norm / LoRA 训练策略”的轻量化 sVLM。1. 总体架构对比对比项MiniGPT-4TinyGPT-V设计目标验证强 LLM 接入视觉后可涌现 GPT-4V 类多模态…

优化sVLM 的计算效率:轻量级注意力机制

在 sVLM 中,轻量级注意力机制的核心目标不是简单把模型做小,而是减少多模态推理中最贵的部分: 1. 视觉 token 太多 2. 图像 token 进入 LLM 后参与自注意力 3. 自注意力复杂度随序列长度近似 O(N) 4. 小模型虽然参数少,但视觉 tok…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部