時価総額: $2.184T 0.31%
ボリューム(24時間): $69.2158B -38.77%
  • 時価総額: $2.184T 0.31%
  • ボリューム(24時間): $69.2158B -38.77%
  • 恐怖と貪欲の指数:
  • 時価総額: $2.184T 0.31%
暗号
トピック
暗号化
ニュース
暗号造園
動画
トップニュース
暗号
トピック
暗号化
ニュース
暗号造園
動画
bitcoin
bitcoin

$64702.757312 USD

0.58%

ethereum
ethereum

$1816.937096 USD

1.45%

tether
tether

$0.998961 USD

-0.05%

bnb
bnb

$592.468536 USD

0.45%

usd-coin
usd-coin

$0.999828 USD

0.00%

xrp
xrp

$0.956055 USD

0.12%

solana
solana

$71.175224 USD

1.19%

tron
tron

$0.302814 USD

-1.42%

hyperliquid
hyperliquid

$66.371333 USD

1.44%

zcash
zcash

$890.844250 USD

-0.89%

dogecoin
dogecoin

$0.058780 USD

1.49%

monero
monero

$485.091918 USD

-1.21%

unus-sed-leo
unus-sed-leo

$9.155317 USD

0.40%

chainlink
chainlink

$9.130357 USD

0.25%

cardano
cardano

$0.152877 USD

1.43%

暗号通貨のニュース記事

Unitok:視覚生成と理解のための統一された離散視覚トークネイザー

2025/03/02 05:03

視覚生成と理解を単一のフレームワークに統一することを目指している研究者であるため、マルチモーダル人工知能は急速に進化しています。

Unitok:視覚生成と理解のための統一された離散視覚トークネイザー

Researchers are working tirelessly to unify visual generation and understanding into a single, efficient framework. However, this goal remains elusive due to the distinct requirements of these two domains. Generative models prioritize the reconstruction of fine-grained image details, while understanding models focus on aligning visual features with textual representations at a high-level semantic granularity.

研究者は、視覚的な生成と理解を単一の効率的なフレームワークに統一するために、たゆまぬ努力をしています。ただし、これら2つのドメインの明確な要件により、この目標はとらえどころのないままです。生成モデルは、微調整された画像の詳細の再構築を優先し、理解モデルは視覚的特徴を高レベルのセマンティックな粒度でテキスト表現と整列させることに焦点を当てています。

The challenge lies in integrating both capabilities without compromising performance. As autoregressive modeling gains traction in visual tasks, the demand for a unified tokenizer that seamlessly bridges these objectives is growing. However, current approaches often specialize in either image generation or understanding. Generative models like VQVAE encode image details efficiently but struggle to align visual features with textual representations. Conversely, models like CLIP excel at semantic alignment but lack the fine-grained detail needed for high-quality image reconstruction.

課題は、パフォーマンスを損なうことなく両方の機能を統合することにあります。自己回帰モデリングが視覚的なタスクで牽引力を獲得するにつれて、これらの目的がシームレスに橋渡しする統一されたトークナイザーの需要が高まっています。ただし、現在のアプローチは、多くの場合、画像生成または理解に特化しています。 VQVAEのような生成モデルは、画像の詳細を効率的にエンコードしますが、視覚的な特徴をテキスト表現に合わせるのに苦労しています。逆に、セマンティックアライメントでのクリップエクセルなどのモデルは、高品質の画像再構成に必要な細粒の詳細がありません。

This misalignment creates inefficiencies and makes it difficult to develop multimodal models that can generate and interpret images equally proficiently. Researchers have been exploring ways to resolve these conflicts, but existing solutions often involve increasing model complexity without fundamentally addressing the tokenization gap.

この不整合により、非効率性が生じ、画像を等しく等しく生成および解釈できるマルチモーダルモデルを開発することが困難になります。研究者はこれらの紛争を解決する方法を模索してきましたが、既存の解決策は、しばしばトークン化ギャップに根本的に対処することなくモデルの複雑さを高めることを伴います。

Current methods attempt to bridge this gap by integrating separate tokenization strategies for different tasks. Some models incorporate contrastive learning into generative tokenizers to enhance semantic consistency. However, these techniques introduce training conflicts that degrade model performance. Many solutions rely on large codebooks to increase token representation capacity, but excessive codebook expansion leads to underutilization and inefficiencies.

現在の方法では、さまざまなタスクの個別のトークン化戦略を統合することにより、このギャップを埋めようとします。一部のモデルでは、対照的な学習を生成トークンザーに組み込み、セマンティックの一貫性を高めます。ただし、これらの手法は、モデルのパフォーマンスを低下させるトレーニングの対立をもたらします。多くのソリューションは、トークンの表現容量を増やすために大きなコードブックに依存していますが、過度のコードブックの拡張は十分な活用と非効率性につながります。

To address these issues, a research team from The University of Hong Kong, ByteDance Inc., and Huazhong University of Science and Technology introduced UniTok, a discrete visual tokenizer designed to unify visual generation and understanding. Their method expands token representation without causing optimization instability through multi-codebook quantization, which structures vector quantization into independent sub-codebooks, enabling better representation of visual features across tasks.

これらの問題に対処するために、香港大学、Bytedance Inc.、Huazhong科学技術大学の研究チームは、視覚的生成と理解を統一するために設計された離散視覚トークネイザーであるUnitokを導入しました。それらの方法は、マルチコードブックの量子化により最適化の不安定性を引き起こすことなくトークン表現を拡張し、ベクトル量子化を独立したサブコードブックに構成し、タスク全体の視覚的特徴のより良い表現を可能にします。

By addressing the fundamental bottleneck of limited discrete token capacity, UniTok achieves superior image reconstruction and semantic alignment performance. The UniTok model employs a unified training paradigm integrating reconstruction and contrastive learning objectives. The core innovation lies in multi-codebook quantization, where visual tokens are divided into multiple independent sub-codebooks instead of a single large one. This increases the representation space while maintaining computational efficiency.

限られた離散トークン容量の基本的なボトルネックに対処することにより、Unitokは優れた画像再構成とセマンティックアライメントパフォーマンスを実現します。 Unitokモデルは、再構築と対照的な学習目標を統合する統合トレーニングパラダイムを採用しています。コアイノベーションは、マルチコードブックの量子化にあり、視覚トークンは単一の大きなものではなく複数の独立したサブコードブックに分割されます。これにより、計算効率を維持しながら表現空間が増加します。

UniTok also incorporates attention-based factorization, which enhances token expressiveness by preserving semantic information during compression. Unlike conventional vector quantization, this approach prevents loss conflicts and improves token utilization, ensuring visual features are accurately encoded for generative and discriminative tasks.

Unitokはまた、注意ベースの因子化を組み込んでおり、圧縮中に意味情報を保存することによりトークンの表現力を高めます。従来のベクターの量子化とは異なり、このアプローチは損失の競合を防ぎ、トークンの利用を改善し、生成および識別タスクのために視覚的特徴を正確にエンコードするようにします。

The researchers trained UniTok on DataComp-1B, a dataset containing 1.28 billion image-text pairs, with images resized to a resolution of 256×256. The tokenizer was tested under two conditions: with pretrained CLIP weight initialization and without it. The model’s ability to achieve high zero-shot accuracy in both cases demonstrates the effectiveness of its unified design.

研究者は、256×256の解像度にサイズを変更し、12億8,000億の画像テキストペアを含むデータセットであるDataComp-1BでUnitokを訓練しました。トークン剤は、2つの条件下でテストされました。これは、前提条件のクリップ重量の初期化を使用して、それなしです。どちらの場合も、ゼロショット精度が高いモデルの能力は、統一された設計の有効性を示しています。

Experimental evaluations on standard benchmarks confirm UniTok’s superiority over existing tokenizers. On ImageNet, UniTok achieves an rFID of 0.38 compared to 0.87 for SD-VAE, indicating a significant improvement in reconstruction quality. Further, it records a zero-shot classification accuracy of 78.6%, outperforming CLIP’s 76.2%.

標準ベンチマークでの実験的評価は、既存のトークン剤に対するUnitokの優位性を確認します。 Imagenetでは、UnitokはSD-VAEの0.87と比較して0.38のRFIDを達成し、再構築の質が大幅に改善されています。さらに、78.6%のゼロショット分類精度を記録し、クリップの76.2%を上回ります。

The model also excels in visual question-answering benchmarks, surpassing VILA-U in accuracy by 3.3% on TextVQA and demonstrating a significant improvement of 112 points on the MME-Perception scores. These results highlight UniTok’s ability to handle image generation and understanding effectively.

このモデルはまた、視覚的な質問を消費するベンチマークに優れており、Vila-UをTextVQAで3.3%上回り、MME知覚スコアで112ポイントの大幅な改善を示しています。これらの結果は、Unitokの画像生成と理解を効果的に処理する能力を強調しています。

When tested on multimodal large language models, UniTok outperforms traditional VQVAE tokenizers and significantly reduces the gap between discrete and continuous tokenization approaches. The success of UniTok suggests that enhancing discrete token representation through multi-codebook quantization is a viable solution for unifying multimodal learning frameworks.

マルチモーダルの大手言語モデルでテストされた場合、Unitokは従来のVQVAEトークナイザーを上回り、離散化と連続トークン化アプローチの間のギャップを大幅に削減します。 Unitokの成功は、マルチコードブックの量子化による個別のトークン表現を強化することが、マルチモーダル学習フレームワークを統合するための実行可能なソリューションであることを示唆しています。

UniTok marks a major advancement in the integration of visual generation and understanding. By resolving tokenization bottlenecks through multi-codebook quantization, researchers can achieve more effective multimodal learning. The research demonstrates that when optimized correctly, discrete tokenization can rival or even surpass continuous tokenization methods. This innovation lays the foundation for future improvements in multimodal AI, offering a scalable solution for large vision-language models.

Unitokは、視覚生成と理解の統合における大きな進歩を示しています。マルチコードブックの量子化を通じてトークン化ボトルネックを解決することにより、研究者はより効果的なマルチモーダル学習を達成できます。この研究は、正しく最適化された場合、離散トークン化が連続トークン化方法に匹敵するか、それを上回ることさえできることを示しています。このイノベーションは、マルチモーダルAIの将来の改善の基礎となり、大きなビジョン言語モデル向けのスケーラブルなソリューションを提供します。

The strong experimental results validate UniTok as a promising approach for achieving seamless integration between visual generation and understanding, paving the way for more advanced multimodal models in the future.

強力な実験結果は、視覚生成と理解の間のシームレスな統合を達成するための有望なアプローチとしてUnitokを検証し、将来より高度なマルチモーダルモデルへの道を開いています。

オリジナルソース:marktechpost

免責事項:info@kdj.com

提供される情報は取引に関するアドバイスではありません。 kdj.com は、この記事で提供される情報に基づいて行われた投資に対して一切の責任を負いません。暗号通貨は変動性が高いため、十分な調査を行った上で慎重に投資することを強くお勧めします。

このウェブサイトで使用されているコンテンツが著作権を侵害していると思われる場合は、直ちに当社 (info@kdj.com) までご連絡ください。速やかに削除させていただきます。

2026年11月16日 に掲載されたその他の記事