Yimu Wang "LEO-MINI는 조건부 토큰 축소 및 혼합을 사용하는 효율적인 다중 모드 LLM입니다.

... 다중 모드 전문가" https://yimuwangcs.github.io/projects/emnlp25_leo-mini/index.html 다중 모드 대형 언어 모델(MLLM)에서 시각적 토큰의 중복은 계산 효율성을 크게 감소시킵니다. 리샘플러 및 요약기와 같은 최근 접근 방식은 시각적 토큰 수를 줄이려고 노력했지만 시각적 추론 능력을 희생했습니다. 이를 해결하기 위해 우리는 효율성을 위해 LEO-Mini는 시각적 토큰, 텍스트 토큰 및 소형 학습 가능한 쿼리 간의 유사성을 사용하여 많은 수의 시각적 토큰을 더 작은 토큰 세트로 통합하는 새로운 토큰 축소 모듈인 CoTR을 통합합니다. 효율성을 위해 LEO-Mini는 다중 모드 전문가 모듈의 새로운 혼합인 MMoE를 사용합니다. 입력 숨겨진 상태만 사용하는 대신 입력 텍스트와 시각적 토큰을 기반으로 전환하는 새로운 라우터 MMoE에는 LLM 추론에 대한 일반 지식을 학습하기 위해 항상 활성화되는 일반 LoRA 전문가가 포함되어 있습니다. MMoE는 다양한 도메인별 데이터에 대해 훈련된 비전 전문가 세트를 고용하여 다양한 벤치마크 비전 언어 작업에서 기존의 효율적인 MLLM과 비교하여 평가합니다.