Yimu Wang「LEO-MINI は、条件付きトークン削減とトークンの混合を使用した効率的なマルチモーダル LLM

...マルチモーダル専門家" https://yimuwangcs.github.io/projects/emnlp25_leo-mini/index.html マルチモーダル大規模言語モデル (MLLM) のビジュアル トークンの冗長性により、計算効率が大幅に低下します。リサンプラーやサマライザーなどの最近のアプローチでは、ビジュアル トークンの数を削減しようとしていますが、視覚的な推論能力が犠牲になります。これに対処するために、私たちは次のように提案します。 LEO-Mini は、視覚的トークンの数を大幅に削減し、同時に視覚的推論機能を向上させる新しい MLLM です。効率性を高めるために、LEO-Mini には、視覚的トークン、テキスト トークン、および効率性を高めるためのコンパクトな学習可能なクエリ間の類似性を使用して、多数の視覚的トークンをより小さなトークンのセットに統合する新しいトークン削減モジュールである CoTR が組み込まれています。 MMoE は、マルチモーダル エキスパート モジュールの新しい組み合わせであり、入力された非表示状態のみを使用するのではなく、入力テキストとビジュアル トークンに基づいてそれらを切り替える一連の LoRA エキスパートを採用しており、より豊富な視覚的特徴を抽出するために、MMoE はさまざまなドメイン固有のデータで訓練されたビジョン エキスパート セットを採用しています。さまざまなベンチマーク ビジョン言語タスクに関する既存の効率的な MLLM と比較します。