Yimu Wang “LEO-MINI 是一种高效的多模式法学硕士，使用条件令牌缩减和混合

...多模态专家” https://yimuwangcs.github.io/projects/emnlp25_leo-mini/index.html 多模态大语言模型（MLLM）中视觉标记的冗余显着降低了其计算效率。最近的方法，例如重采样器和摘要器，试图减少视觉标记的数量，但以视觉推理能力为代价。为了解决这个问题，我们提出了 LEO-Mini，这是一种新颖的 MLLM，可以显着减少视觉标记的数量为了提高效率，LEO-Mini 采用了 CoTR，一种新颖的令牌缩减模块，利用视觉令牌、文本令牌和紧凑的可学习查询之间的相似性，将大量视觉令牌合并为较小的令牌集。为了提高效率，为了以最小的计算开销扩展模型的能力，LEO-Mini 采用了 MMoE，这是一种新颖的多模态专家模块组合，MMoE 采用了一组 LoRA 专家和新颖的路由器。基于输入文本和视觉标记在它们之间进行切换，而不是仅使用输入隐藏状态。MMoE 还包括一个通用 LoRA 专家，该专家始终被激活以学习 LLM 推理的一般知识。为了提取更丰富的视觉特征，MMoE 聘请了一组接受过不同领域特定数据训练的视觉专家，为了证明 LEO-Mini 提高了效率和性能，我们在各种基准视觉语言任务上对它进行了评估。