Yimu Wang “LEO-MINI 是一種高效的多模式法學碩士，使用條件令牌縮減和混合

...多模態專家” https://yimuwangcs.github.io/projects/emnlp25_leo-mini/index.html 多模態大語言模型（MLLM）中視覺標記的冗餘顯著降低了其計算效率。最近的方法，例如重採樣器和摘要器，試圖減少視覺標記的數量，但以視覺推理能力為代價。為了解決這個問題，我們提出了 LEO-Mini，這是一種新穎的 MLLM，可以顯著減少視覺標記的數量為了提高效率，LEO-Mini 採用了 CoTR，一種新穎的令牌縮減模塊，利用視覺令牌、文本令牌和緊湊的可學習查詢之間的相似性，將大量視覺令牌合併為較小的令牌集。為了提高效率，為了以最小的計算開銷擴展模型的能力，LEO-Mini 採用了 MMoE，這是一種新穎的多模態專家模塊組合，MMoE 採用了一組 LoRA 專家和新穎的路由器。基於輸入文本和視覺標記在它們之間進行切換，而不是僅使用輸入隱藏狀態。MMoE 還包括一個通用 LoRA 專家，該專家始終被激活以學習 LLM 推理的一般知識。為了提取更豐富的視覺特徵，MMoE 聘請了一組接受過不同領域特定數據訓練的視覺專家，為了證明 LEO-Mini 提高了效率和性能，我們在各種基準視覺語言任務上對它進行了評估。