Yimu Wang "LEO-MINI. un LLM multimodal efficace utilisant la réduction conditionnelle de jetons et un mélange de

... experts multimodaux" https://yimuwangcs.github.io/projects/emnlp25_leo-mini/index.html La redondance des jetons visuels dans les grands modèles de langage multimodaux (MLLM) réduit considérablement leur efficacité de calcul. Des approches récentes, telles que les rééchantillonneurs et les synthétiseurs, ont cherché à réduire le nombre de jetons visuels, mais au détriment de la capacité de raisonnement visuel. Pour résoudre ce problème, nous proposons LEO-Mini, un nouveau MLLM qui réduit considérablement Le nombre de jetons visuels et augmente simultanément les capacités de raisonnement visuel. Pour plus d'efficacité, LEO-Mini intègre CoTR, un nouveau module de réduction de jetons pour consolider un grand nombre de jetons visuels dans un ensemble plus petit de jetons, en utilisant la similitude entre les jetons visuels, les jetons de texte et une requête d'apprentissage compacte. Pour plus d'efficacité, pour augmenter la capacité du modèle avec une surcharge de calcul minimale, LEO-Mini utilise MMoE, un nouveau mélange de modules experts multimodaux. Des experts LoRA dotés d'un nouveau routeur pour basculer entre eux en fonction du texte d'entrée et des jetons visuels au lieu d'utiliser uniquement l'état caché d'entrée. MMoE comprend également un expert LoRA général qui est toujours activé pour acquérir des connaissances générales pour le raisonnement LLM. Pour extraire des fonctionnalités visuelles plus riches, MMoE emploie un ensemble d'experts en vision formés sur diverses données spécifiques à un domaine. Pour démontrer l'efficacité et les performances améliorées de LEO-Mini, nous l'évaluons par rapport aux MLLM efficaces existants sur diverses tâches de langage de vision de référence.