時価総額: $2.1773T -4.14%
ボリューム(24時間): $113.037B 39.30%
  • 時価総額: $2.1773T -4.14%
  • ボリューム(24時間): $113.037B 39.30%
  • 恐怖と貪欲の指数:
  • 時価総額: $2.1773T -4.14%
暗号
トピック
暗号化
ニュース
暗号造園
動画
トップニュース
暗号
トピック
暗号化
ニュース
暗号造園
動画
bitcoin
bitcoin

$64289.441012 USD

-4.30%

ethereum
ethereum

$1790.079831 USD

-5.61%

tether
tether

$0.999340 USD

0.03%

bnb
bnb

$589.806756 USD

-4.33%

usd-coin
usd-coin

$0.999720 USD

-0.01%

xrp
xrp

$0.954925 USD

-3.07%

solana
solana

$70.338246 USD

-6.67%

tron
tron

$0.307198 USD

-1.65%

hyperliquid
hyperliquid

$65.416106 USD

-5.80%

zcash
zcash

$899.101757 USD

-1.32%

monero
monero

$491.132124 USD

-7.27%

dogecoin
dogecoin

$0.057920 USD

-7.54%

unus-sed-leo
unus-sed-leo

$9.119156 USD

-1.59%

chainlink
chainlink

$9.107922 USD

-4.95%

cardano
cardano

$0.150722 USD

-7.52%

暗号通貨のニュース記事

ストーム:マルチモーダルLLMSの空間的トークン削減

2025/03/11 15:24

AIでビデオを理解するには、画像のシーケンスを効率的に処理する必要があります。現在のビデオベースのAIモデルの主要な課題は、動画を連続的な流れとして処理できず、重要なモーションの詳細が欠落し、継続性を破壊できないことです。この時間モデリングの欠如は、変化のトレースを防ぎます。したがって、イベントと相互作用は部分的に不明です。

ストーム:マルチモーダルLLMSの空間的トークン削減

Current video-based AI models face challenges in processing videos as a continuous flow, leading to a lack of motion details and continuity. This limitation hinders the models in performing well in tasks that require temporal modeling, such as tracing changes or events, and interactions are often partially identified.

現在のビデオベースのAIモデルは、動画の処理において継続的な流れとしての課題に直面しており、モーションの詳細と連続性の欠如につながります。この制限は、トレースの変更やイベントなど、時間モデリングを必要とするタスクでモデルをうまく実行することを妨げ、しばしば相互作用が部分的に識別されます。

Moreover, processing long videos becomes computationally demanding, necessitating techniques like frame skipping to reduce the burden. However, these techniques discard valuable information and decrease accuracy. Furthermore, the dense structure of data within frames does not compress well, resulting in redundancy and inefficient use of computational resources.

さらに、長いビデオの処理は計算的に厳しいものになり、負担を軽減するためにフレームスキップのような技術を必要とします。ただし、これらの手法は貴重な情報を破棄し、精度を低下させます。さらに、フレーム内のデータの密な構造はうまく圧縮されず、その結果、計算リソースの冗長性と非効率的な使用が生じます。

Existing video-language models typically treat videos as static frame sequences with image encoders and vision-language projectors. This approach struggles to represent motion and continuity effectively. It also places the burden of inferring temporal relations on the language model, leading to partial comprehension of the video content.

既存のビデオ言語モデルは通常、ビデオを画像エンコーダとビジョン言語プロジェクターを使用した静的フレームシーケンスとして扱います。このアプローチは、運動と連続性を効果的に表現するのに苦労しています。また、言語モデルに時間関係を推測する負担をかけ、ビデオコンテンツの部分的な理解につながります。

To address the computational complexity of processing long videos, researchers have explored subsampling of frames, which reduces the workload at the expense of removing useful details that affect accuracy. Token reduction methods, such as recursive KV cache compression and frame selection, have also been investigated but add complexity without significant performance improvement.

長いビデオの処理の計算の複雑さに対処するために、研究者はフレームのサブサンプリングを調査しました。これにより、精度に影響を与える有用な詳細を削除することを犠牲にしてワークロードが減少します。再帰的なKVキャッシュ圧縮やフレーム選択などのトークン削減方法も調査されていますが、パフォーマンスを大幅に改善することなく複雑さを追加します。

Advanced video encoders and pooling methods have been developed to extract richer spatiotemporal features and facilitate efficient processing. However, these techniques are not yet sufficiently efficient and scalable, rendering the processing of long videos computationally intensive.

高度なビデオエンコーダーとプーリング方法は、より豊富な時空の特徴を抽出し、効率的な処理を促進するために開発されています。ただし、これらの手法はまだ十分に効率的でスケーラブルではなく、計算集中的な長いビデオの処理をレンダリングします。

In their quest to overcome these challenges, researchers from NVIDIA, Rutgers University, UC Berkeley, MIT, Nanjing University, and KAIST present STORM (Spatiotemporal Token Reduction for Multimodal LLMs), a Mamba-based temporal projector architecture. Unlike prior methods where temporal relations are inferred separately on each video frame and language models are utilized for this purpose, STORM integrates temporal information at the video tokens level to eliminate computational redundancy and maximize efficiency. The model enhances video representations with a bidirectional spatiotemporal scanning mechanism, effectively mitigating the burden of temporal reasoning from the LLM.

これらの課題を克服するための探求において、NVIDIA、ラトガース大学、カリフォルニア州バークレー、MIT、南京大学、およびKaistの現在の嵐(マルチモーダルLLMSの空間的トークン削減)の研究者、マンバベースの時間プロジェクターアーキテクチャ。各ビデオフレームで一時的な関係が個別に推測される以前の方法とは異なり、この目的のために言語モデルが利用されているため、Stormはビデオトークンレベルで時間情報を統合して、計算冗長性を排除し、効率を最大化します。このモデルは、双方向空間的走査メカニズムでビデオ表現を強化し、LLMからの時間的推論の負担を効果的に軽減します。

The framework utilizes Mamba layers for efficient temporal modeling, incorporating a bidirectional scanning module to capture dependencies across spatial and temporal dimensions. The temporal encoder processes the image and video inputs differently, acting as a spatial scanner for images to integrate global spatial context and as a spatiotemporal scanner for videos to capture temporal dynamics.

このフレームワークは、効率的な時間モデリングにMAMBAレイヤーを使用し、双方向スキャンモジュールを組み込んで空間的および時間的次元全体の依存関係をキャプチャします。時間エンコーダは、画像とビデオの入力を異なる方法で処理し、グローバルな空間コンテキストを統合するための画像の空間スキャナーとして機能し、一時的なダイナミクスをキャプチャするビデオの空間的スキャナーとして機能します。

During training, token compression techniques are applied to improve computational efficiency while maintaining essential information, enabling the inference of large models on a single GPU. At test time, a training-free token subsampling technique is introduced to further reduce computational burdens while preserving important temporal details. This technique facilitates efficient processing of long videos without requiring specialized equipment or deep adaptations of the model.

トレーニング中、トークン圧縮技術が適用され、計算効率を改善しながら重要な情報を維持し、単一のGPUでの大規模なモデルの推論を可能にします。テスト時に、重要な時間的詳細を維持しながら計算上の負担をさらに軽減するために、トレーニングなしのトークンサブサンプリング手法が導入されます。この手法は、特殊な機器やモデルの深い適応を必要とせずに、長いビデオの効率的な処理を促進します。

To evaluate the STORM model for video understanding, the researchers perform experiments with an efficient setup. Training is performed using pre-trained SigLIP models, and a temporal projector is introduced through random initialization. The process is divided into two stages: an alignment stage, where the image encoder and LLM are frozen while only the temporal projector is trained using image-text pairs, and a supervised fine-tuning (SFT) stage with a diverse dataset of 12.5 million samples, including text, image-text, and video-text data.

ビデオ理解のためのストームモデルを評価するために、研究者は効率的なセットアップで実験を行います。トレーニングは、事前に訓練されたSiglipモデルを使用して実行され、ランダムな初期化を通じて時間的プロジェクターが導入されます。このプロセスは、画像エンコーダとLLMが凍結され、イメージテキストペアを使用してトレーニングされる一方で、画像エンコーダとLLMのみが凍結されるアライメント段階と、テキスト、画像テキスト、ビデオテキストデータを含む1250万サンプルの多様なデータセットを備えた監視付きの微調整(SFT)ステージの2つの段階に分割されます。

Token compression methods, such as temporal and spatial pooling, are applied to decrease the computational burden. The final model is evaluated on several long-video benchmarks, including EgoSchema, MVBench, MLVU, LongVideoBench, and VideoMME, and its performance is compared with other prominent video LLMs, such as VILA, MERLOT, and CLIP.

時間的プーリングや空間プーリングなどのトークン圧縮方法が、計算負担を減らすために適用されます。最終モデルは、エゴスケマ、MVBench、MLVU、Longvideobench、VideomMeなどのいくつかの長いビデオベンチマークで評価され、そのパフォーマンスはVila、Merlot、Clipなどの他の著名なビデオLLMと比較されます。

The evaluation results demonstrate that STORM outperforms existing models, achieving state-of-the-art results on standard benchmarks. The Mamba module significantly improves efficiency by compressing visual tokens while preserving key information, reducing the inference time by up to 65.5%. Among the tested token reduction methods, temporal pooling shows the best performance on long videos, enabling the optimization of performance with a small number of tokens.

評価結果は、Stormが既存のモデルを上回り、標準ベンチマークで最先端の結果を達成することを示しています。 MAMBAモジュールは、主要な情報を保存しながら視覚トークンを圧縮し、推論時間を最大65.5%削減することにより、効率を大幅に改善します。テストされたトークン削減方法の中で、時間プーリングは長いビデオで最高のパフォーマンスを示し、少数のトークンでパフォーマンスを最適化できるようにします。

In particular, STORM shows a significant improvement over the VILA baseline model, especially in tasks that require understanding the global context of the video. The analysis of the results highlights the crucial role of Mamba for optimized token compression, with performance boosts increasing proportionally with the video length, from 8 to 128 frames.

特に、ストームは、特にビデオのグローバルなコンテキストを理解する必要があるタスクで、Vilaベースラインモデルよりも大幅に改善されています。結果の分析は、最適化されたトークン圧縮に対するMAMBAの重要な役割を強調しており、パフォーマンスが8〜128フレームのビデオ長に比例して増加します。

In conclusion, the researchers propose STORM, a Mamba-based temporal encoder architecture, for efficient processing of long videos. This model integrates temporal information at the video tokens level and introduces a bidirectional scanning module in the Mamba layer to capture spatiotemporal dependencies.

結論として、研究者は、長いビデオを効率的に処理するために、Mambaベースの時間エンコーダーアーキテクチャであるStormを提案します。このモデルは、ビデオトークンレベルで一時的な情報を統合し、MAMBA層に双方向スキャンモジュールを導入して、時空間依存性をキャプチャします。

The researchers apply token compression techniques during training and a training-free token subsampling method during test time to optimize computational efficiency. Their experiments demonstrate that STORM outperforms existing models and achieves state-of-the-art results on various long-video benchmarks.

研究者は、トレーニング中にトークン圧縮技術を適用し、テスト時間中にトレーニングフリートークンサブサンプリング方法を適用して、計算効率を最適化します。彼らの実験は、嵐が既存のモデルを上回り、さまざまな長距離ベンチマークで最新の結果を達成することを示しています。

オリジナルソース:marktechpost

免責事項:info@kdj.com

提供される情報は取引に関するアドバイスではありません。 kdj.com は、この記事で提供される情報に基づいて行われた投資に対して一切の責任を負いません。暗号通貨は変動性が高いため、十分な調査を行った上で慎重に投資することを強くお勧めします。

このウェブサイトで使用されているコンテンツが著作権を侵害していると思われる場合は、直ちに当社 (info@kdj.com) までご連絡ください。速やかに削除させていただきます。

2026年11月16日 に掲載されたその他の記事