Chameleon: シームレスなマルチモーダルなドキュメント作成のための革新的なモデル

メタ研究者は、画像とテキストのシーケンスをシームレスに統合するマルチモーダル基盤モデルである Chameleon を開発しました。モダリティを分離する従来のモデルとは異なり、Chameleon の統合アーキテクチャはテキストなどの画像をトークン化し、モダリティ全体での包括的なドキュメント モデリングとインターリーブ推論を可能にします。この初期の融合アプローチにおける最適化の課題に対処するために、研究者らはアーキテクチャの強化とトレーニング技術を導入し、その結果、Meta の大規模データセットでのトレーニングに成功しました。 Chameleon の評価では、テキストのみのタスクで競争力のあるパフォーマンスが実証され、常識的推論と数学では LLaMa-2 を上回っています。画像関連のタスクでは、画像キャプションや視覚的な質問応答に優れており、より少ないショット数でより大きなモデルを上回るかそれに匹敵します。

Chameleon: A Unified Foundation Model for Seamless Multimodal Document Modeling

Chameleon: シームレスなマルチモーダル ドキュメント モデリングのための統合基盤モデル

Recent multimodal foundation models have revolutionized the field of artificial intelligence, enabling impressive advancements in tasks such as natural language processing, image recognition, and question answering. However, these models often treat different modalities separately, employing specific encoders or decoders for each. This approach inherently limits their ability to effectively fuse information across modalities and produce comprehensive multimodal documents that seamlessly integrate diverse sequences of images and text.

最近のマルチモーダル基盤モデルは人工知能の分野に革命をもたらし、自然言語処理、画像認識、質問応答などのタスクにおいて目覚ましい進歩を可能にしました。ただし、これらのモデルは多くの場合、異なるモダリティを個別に扱い、それぞれに特定のエンコーダーまたはデコーダーを使用します。このアプローチでは、モダリティ間で情報を効果的に融合し、画像とテキストの多様なシーケンスをシームレスに統合する包括的なマルチモーダル ドキュメントを作成する能力が本質的に制限されます。

Meta researchers have addressed this challenge by introducing Chameleon, a groundbreaking mixed-modal foundation model designed to facilitate seamless reasoning and generation with interleaved textual and image sequences. Unlike traditional models, Chameleon employs a unified architecture that treats both modalities equally by tokenizing images akin to text. This approach, termed early fusion, allows for seamless flow of information across modalities but also presents unique optimization challenges.

メタ研究者は、インターリーブされたテキストと画像のシーケンスによるシームレスな推論と生成を容易にするように設計された画期的な混合モード基盤モデルである Chameleon を導入することで、この課題に対処しました。従来のモデルとは異なり、Chameleon は、テキストに似た画像をトークン化することで両方のモダリティを同等に扱う統合アーキテクチャを採用しています。早期融合と呼ばれるこのアプローチは、モダリティ間でのシームレスな情報の流れを可能にしますが、最適化に特有の課題も生じます。

To overcome these challenges, the researchers have incorporated architectural enhancements and innovative training techniques into Chameleon's design. By adapting transformer architecture and fine-tuning strategies, they have laid the foundation for a model capable of addressing the complexities of multimodal document modeling.

これらの課題を克服するために、研究者らはアーキテクチャの強化と革新的なトレーニング技術を Chameleon の設計に組み込みました。トランスフォーマ アーキテクチャと微調整戦略を適応させることで、マルチモーダル ドキュメント モデリングの複雑さに対処できるモデルの基礎を築きました。

To capture the visual information effectively, they developed a novel image tokenizer that encodes high-resolution 512 × 512 images into 1024 tokens from an 8192-codebook. This tokenization process ensures that images are represented in a manner compatible with the text tokens, facilitating seamless reasoning across modalities. They further refined their tokenizer by introducing a BPE tokenizer with a 65,536-vocabulary, including image tokens, trained using the sentencepiece library. This enhanced tokenizer improved the model's performance and stability.

視覚情報を効果的にキャプチャするために、彼らは高解像度 512 × 512 の画像を 8192 コードブックから 1024 のトークンにエンコードする新しい画像トークナイザーを開発しました。このトークン化プロセスにより、画像がテキスト トークンと互換性のある方法で表現されることが保証され、モダリティ全体でのシームレスな推論が容易になります。彼らは、センテンスピース ライブラリを使用してトレーニングされた、画像トークンを含む 65,536 の語彙を備えた BPE トークナイザーを導入することで、トークナイザーをさらに改良しました。この強化されたトークナイザーにより、モデルのパフォーマンスと安定性が向上しました。

During training, they employed QK-Norm, dropout, and z-loss regularization techniques to address stability issues. Additionally, they leveraged Meta's RSC platform for efficient and scalable training. Inference in Chameleon is streamlined using PyTorch and xformers, supporting both streaming and non-streaming modes with token masking for conditional logic.

トレーニング中に、彼らは安定性の問題に対処するために、QK ノルム、ドロップアウト、および Z 損失正則化手法を採用しました。さらに、効率的でスケーラブルなトレーニングのために Meta の RSC プラットフォームを活用しました。 Chameleon の推論は、PyTorch と xformers を使用して合理化され、条件付きロジックのトークン マスキングを使用してストリーミング モードと非ストリーミング モードの両方をサポートします。

To enhance model capabilities and safety, Chameleon underwent a rigorous alignment stage, undergoing fine-tuning on diverse datasets encompassing Text, Code, Visual Chat, and Safety. This comprehensive training regimen aimed to improve the model's generalizability and mitigate potential risks. They curated high-quality images for Image Generation using an aesthetic classifier, ensuring that the model generates visually appealing and relevant images.

モデルの機能と安全性を強化するために、Chameleon は厳密な調整段階を経て、テキスト、コード、ビジュアル チャット、安全性を含むさまざまなデータセットで微調整を受けました。この包括的なトレーニング計画は、モデルの一般化可能性を向上させ、潜在的なリスクを軽減することを目的としていました。彼らは、美的分類子を使用して画像生成用に高品質の画像を厳選し、モデルが視覚的に魅力的で関連性の高い画像を生成することを保証しました。

Supervised Fine-Tuning (SFT) played a crucial role in Chameleon's training process. By balancing data across modalities and employing a cosine learning rate schedule with a weight decay of 0.1, the researchers optimized the model's performance exclusively based on answer prompts. Dropout of 0.05 and z-loss regularization further enhanced the model's stability. Images in prompts were resized with border padding, while those in answers underwent center-cropping for optimal image generation quality.

教師あり微調整 (SFT) は、Chameleon のトレーニング プロセスにおいて重要な役割を果たしました。研究者らは、モダリティ間でデータのバランスをとり、重み減衰 0.1 のコサイン学習率スケジュールを採用することで、回答プロンプトのみに基づいてモデルのパフォーマンスを最適化しました。 0.05 のドロップアウトと Z 損失正則化により、モデルの安定性がさらに向上しました。プロンプト内の画像は境界線のパディングを使用してサイズ変更され、回答内の画像は最適な画像生成品質を得るために中央トリミングを受けました。

Chameleon's versatility extends beyond its core multimodal capabilities, as evidenced by its strong performance on various text-only tasks. The model achieved competitive results on commonsense reasoning and math tasks, surpassing LLaMa-2 on many benchmarks. This improvement can be attributed to Chameleon's robust pre-training and the inclusion of code data in its training regimen.

Chameleon の多用途性は、さまざまなテキストのみのタスクで優れたパフォーマンスを発揮することからもわかるように、コアとなるマルチモーダル機能を超えています。このモデルは、常識的な推論と数学タスクで競争力のある結果を達成し、多くのベンチマークで LLaMa-2 を上回りました。この改善は、Chameleon の強力な事前トレーニングと、トレーニング計画にコード データが組み込まれたことに起因すると考えられます。

In image-to-text tasks, Chameleon excelled in image captioning, matching or surpassing larger models like Flamingo-80B and IDEFICS-80B with fewer shots. Its performance in visual question answering (VQA) approached that of top models, even though LLaMa-1.5 slightly outperformed VQA-v2.

画像からテキストへのタスクでは、Chameleon は画像キャプション作成に優れており、少ないショット数で Flamingo-80B や IDEFICS-80B などの大型モデルと同等かそれを上回りました。ビジュアル質問応答 (VQA) のパフォーマンスは、LLaMa-1.5 が VQA-v2 をわずかに上回ったにもかかわらず、上位モデルのパフォーマンスに近づきました。

Overall, Chameleon demonstrates remarkable versatility and efficiency across different tasks, requiring fewer training examples and smaller model sizes compared to its counterparts.

全体として、Chameleon はさまざまなタスクにわたって顕著な多用途性と効率性を示し、対応するものと比較して必要なトレーニング サンプルとモデル サイズが少なくなります。

In summary, Chameleon is a token-based model that seamlessly integrates image and text tokens, enabling superior performance in vision-language tasks. Its unified architecture facilitates joint reasoning over modalities, surpassing late-fusion models like Flamingo and IDEFICS in image captioning and visual question answering. Chameleon's early-fusion approach introduces novel techniques for stable training, addressing scalability challenges faced by previous multimodal models. It opens up new possibilities for multimodal interaction, as demonstrated by its strong performance on mixed-modal open-ended QA benchmarks.

要約すると、Chameleon は画像とテキストのトークンをシームレスに統合するトークンベースのモデルであり、視覚言語タスクで優れたパフォーマンスを実現します。その統一されたアーキテクチャにより、モダリティに関する共同推論が容易になり、画像キャプションや視覚的な質問応答において、Flamingo や IDEFICS などの後期融合モデルを上回ります。 Chameleon の早期融合アプローチは、安定したトレーニングのための新しい技術を導入し、以前のマルチモーダル モデルが直面したスケーラビリティの課題に対処します。混合モーダルのオープンエンド QA ベンチマークでの優れたパフォーマンスが示すように、マルチモーダル インタラクションの新たな可能性を切り開きます。

This groundbreaking research paves the way for the development of even more advanced multimodal models capable of handling complex tasks and producing highly coherent and informative content. Researchers, practitioners, and industry leaders alike eagerly anticipate the transformative potential of Chameleon and its potential impact on the future of AI-driven multimodal applications.

この画期的な研究は、複雑なタスクを処理し、一貫性の高い有益なコンテンツを生成できる、さらに高度なマルチモーダル モデルの開発への道を開きます。研究者、実務家、業界リーダーは同様に、Chameleon の変革の可能性と、AI 主導のマルチモーダル アプリケーションの将来に対する潜在的な影響を熱心に期待しています。