Yimu Wang „LEO-MINI ist ein effizientes multimodales LLM mit bedingter Token-Reduktion und einer Mischung aus

... multimodale Experten“ https://yimuwangcs.github.io/projects/emnlp25_leo-mini/index.html Die Redundanz visueller Token in multimodalen großen Sprachmodellen (MLLMs) verringert deren Recheneffizienz erheblich. Neuere Ansätze wie Resampler und Summierer haben versucht, die Anzahl visueller Token zu reduzieren, jedoch auf Kosten der Fähigkeit zum visuellen Denken. Um dieses Problem anzugehen, schlagen wir LEO-Mini vor, einen Roman MLLM, das die Anzahl visueller Token erheblich reduziert und gleichzeitig die visuellen Denkfähigkeiten steigert, enthält CoTR, ein neuartiges Token-Reduktionsmodul, um eine große Anzahl visueller Token in einem kleineren Satz von Token zu konsolidieren und dabei die Ähnlichkeit zwischen visuellen Token, Text-Token und einer kompakten lernbaren Abfrage zu nutzen Das Modul „Multimodale Experten“ verwendet eine Reihe von LoRA-Experten mit einem neuartigen Router, um auf der Grundlage des eingegebenen Texts und der visuellen Token zu wechseln. MMoE umfasst außerdem einen allgemeinen LoRA-Experten, der immer aktiviert ist, um umfassendere visuelle Funktionen zu extrahieren. Um die verbesserte Effizienz und Leistung von LEO-Mini zu demonstrieren, werten wir es aus verschiedene Benchmark-Vision-Sprachaufgaben.