Marktkapitalisierung: $2.1773T -4.14%
Volumen (24h): $113.037B 39.30%
  • Marktkapitalisierung: $2.1773T -4.14%
  • Volumen (24h): $113.037B 39.30%
  • Angst- und Gier-Index:
  • Marktkapitalisierung: $2.1773T -4.14%
Kryptos
Themen
Cryptospedia
Nachricht
Cryptostopics
Videos
Top -Nachrichten
Kryptos
Themen
Cryptospedia
Nachricht
Cryptostopics
Videos
bitcoin
bitcoin

$64039.103567 USD

-4.57%

ethereum
ethereum

$1784.081928 USD

-5.80%

tether
tether

$0.999488 USD

0.03%

bnb
bnb

$588.358391 USD

-4.49%

usd-coin
usd-coin

$0.999858 USD

-0.01%

xrp
xrp

$0.950763 USD

-3.51%

solana
solana

$70.044873 USD

-7.07%

tron
tron

$0.306827 USD

-1.80%

hyperliquid
hyperliquid

$65.149155 USD

-6.52%

zcash
zcash

$897.351620 USD

-1.28%

monero
monero

$487.288337 USD

-7.79%

dogecoin
dogecoin

$0.057803 USD

-7.85%

unus-sed-leo
unus-sed-leo

$9.122098 USD

-1.58%

chainlink
chainlink

$9.071028 USD

-5.43%

cardano
cardano

$0.150246 USD

-7.94%

Nachrichtenartikel zu Kryptowährungen

Sturm: räumlich -zeitliche Token -Reduktion für multimodale LLMs

Mar 11, 2025 at 03:24 pm

Das Verständnis von Videos mit KI erfordert die effiziente Handhabungssequenzen von Bildern. Eine große Herausforderung in aktuellen Video-basierten KI-Modellen ist ihre Unfähigkeit, Videos als kontinuierlicher Fluss zu verarbeiten, wichtige Bewegungsdetails zu fehlen und die Kontinuität zu stören. Dieser Mangel an zeitlicher Modellierung verhindert die Verfolgung von Änderungen. Daher sind Ereignisse und Interaktionen teilweise unbekannt.

Sturm: räumlich -zeitliche Token -Reduktion für multimodale LLMs

Current video-based AI models face challenges in processing videos as a continuous flow, leading to a lack of motion details and continuity. This limitation hinders the models in performing well in tasks that require temporal modeling, such as tracing changes or events, and interactions are often partially identified.

Aktuelle Video-basierte KI-Modelle stehen vor Herausforderungen bei der Verarbeitung von Videos als kontinuierlicher Fluss, was zu mangelnden Bewegungsdetails und Kontinuität führt. Diese Einschränkung behindert die Modelle bei der Leistung bei Aufgaben, die eine zeitliche Modellierung erfordern, wie z. B. Verfolgung von Änderungen oder Ereignissen, und Interaktionen werden häufig teilweise identifiziert.

Moreover, processing long videos becomes computationally demanding, necessitating techniques like frame skipping to reduce the burden. However, these techniques discard valuable information and decrease accuracy. Furthermore, the dense structure of data within frames does not compress well, resulting in redundancy and inefficient use of computational resources.

Darüber hinaus wird die Verarbeitung langer Videos rechnerisch anspruchsvoll und erfordert Techniken wie Frame -Überspringen, um die Belastung zu verringern. Diese Techniken verwerfen jedoch wertvolle Informationen und verringern die Genauigkeit. Darüber hinaus komprimiert die dichte Struktur von Daten in Frames nicht gut, was zu Redundanz und ineffizienter Verwendung von Rechenressourcen führt.

Existing video-language models typically treat videos as static frame sequences with image encoders and vision-language projectors. This approach struggles to represent motion and continuity effectively. It also places the burden of inferring temporal relations on the language model, leading to partial comprehension of the video content.

Vorhandene Videosprachmodelle behandeln Videos typischerweise als statische Rahmensequenzen mit Bildcodierern und Visionsprachprojektoren. Dieser Ansatz kämpft darum, Bewegung und Kontinuität effektiv darzustellen. Es legt auch die Belastung, zeitliche Beziehungen zum Sprachmodell zu schließen, was zum teilweisen Verständnis des Videoinhalts führt.

To address the computational complexity of processing long videos, researchers have explored subsampling of frames, which reduces the workload at the expense of removing useful details that affect accuracy. Token reduction methods, such as recursive KV cache compression and frame selection, have also been investigated but add complexity without significant performance improvement.

Um die rechnerische Komplexität der Verarbeitung langer Videos zu bearbeiten, haben die Forscher die Teilabtastung von Frames untersucht, wodurch die Arbeitsbelastung auf Kosten der Entfernung nützlicher Details reduziert wird, die sich auf die Genauigkeit auswirken. Token -Reduktionsmethoden wie rekursive KV -Cache -Komprimierung und Rahmenauswahl wurden ebenfalls untersucht, fügen jedoch die Komplexität ohne signifikante Leistungsverbesserung hinzu.

Advanced video encoders and pooling methods have been developed to extract richer spatiotemporal features and facilitate efficient processing. However, these techniques are not yet sufficiently efficient and scalable, rendering the processing of long videos computationally intensive.

Fortgeschrittene Video -Encoder und Pooling -Methoden wurden entwickelt, um reichhaltigere räumlich -zeitliche Merkmale zu extrahieren und eine effiziente Verarbeitung zu erleichtern. Diese Techniken sind jedoch noch nicht ausreichend effizient und skalierbar, wodurch die Verarbeitung langer Videos rechnerisch intensiv wird.

In their quest to overcome these challenges, researchers from NVIDIA, Rutgers University, UC Berkeley, MIT, Nanjing University, and KAIST present STORM (Spatiotemporal Token Reduction for Multimodal LLMs), a Mamba-based temporal projector architecture. Unlike prior methods where temporal relations are inferred separately on each video frame and language models are utilized for this purpose, STORM integrates temporal information at the video tokens level to eliminate computational redundancy and maximize efficiency. The model enhances video representations with a bidirectional spatiotemporal scanning mechanism, effectively mitigating the burden of temporal reasoning from the LLM.

In ihrer Suche nach diesen Herausforderungen, Forscher der Nvidia, der Rutgers University, der UC Berkeley, der MIT, der Nanjing University und der Kaist Justice Storm (Spatiotemporal Token Reduction bei Multimodal LLMs), einer in Mamba ansässigen zeitlichen Projektorarchitektur. Im Gegensatz zu früheren Methoden, bei denen zeitliche Beziehungen auf jedem Videobrahmen separat abgeleitet werden, werden zu diesem Zweck zeitliche Informationen auf Video -Token -Ebene integriert, um die Rechenaufnahme zu beseitigen und die Effizienz zu maximieren. Das Modell verbessert die Videodarstellungen mit einem bidirektionalen räumlich -zeitlichen Scanmechanismus und mildert effektiv die Belastung des zeitlichen Denkens aus der LLM.

The framework utilizes Mamba layers for efficient temporal modeling, incorporating a bidirectional scanning module to capture dependencies across spatial and temporal dimensions. The temporal encoder processes the image and video inputs differently, acting as a spatial scanner for images to integrate global spatial context and as a spatiotemporal scanner for videos to capture temporal dynamics.

Das Framework verwendet Mamba -Schichten für eine effiziente zeitliche Modellierung und enthält ein bidirektionales Scanmodul, um Abhängigkeiten über räumliche und zeitliche Dimensionen hinweg zu erfassen. Der temporale Encoder verarbeitet die Bild- und Videoeingaben unterschiedlich und wirkt als räumlicher Scanner für Bilder, um den globalen räumlichen Kontext und als räumlich -zeitlicher Scanner für Videos zur Erfassung der zeitlichen Dynamik zu integrieren.

During training, token compression techniques are applied to improve computational efficiency while maintaining essential information, enabling the inference of large models on a single GPU. At test time, a training-free token subsampling technique is introduced to further reduce computational burdens while preserving important temporal details. This technique facilitates efficient processing of long videos without requiring specialized equipment or deep adaptations of the model.

Während des Trainings werden Token -Komprimierungstechniken angewendet, um die Recheneffizienz zu verbessern und wesentliche Informationen aufrechtzuerhalten und die Schlussfolgerung großer Modelle in einer einzelnen GPU zu ermöglichen. Zur Testzeit wird eine trainingfreie Token-Subsamping-Technik eingeführt, um die Rechenbelastung weiter zu reduzieren und gleichzeitig wichtige zeitliche Details zu erhalten. Diese Technik erleichtert die effiziente Verarbeitung langer Videos, ohne dass spezielle Geräte oder tiefe Anpassungen des Modells erforderlich sind.

To evaluate the STORM model for video understanding, the researchers perform experiments with an efficient setup. Training is performed using pre-trained SigLIP models, and a temporal projector is introduced through random initialization. The process is divided into two stages: an alignment stage, where the image encoder and LLM are frozen while only the temporal projector is trained using image-text pairs, and a supervised fine-tuning (SFT) stage with a diverse dataset of 12.5 million samples, including text, image-text, and video-text data.

Um das Sturmmodell für das Videoverständnis zu bewerten, führen die Forscher Experimente mit einem effizienten Setup durch. Das Training wird unter Verwendung von vorgeborenen Siglip-Modellen durchgeführt, und ein zeitlicher Projektor wird durch zufällige Initialisierung eingeführt. Der Prozess ist in zwei Stufen unterteilt: eine Ausrichtungsstufe, in der der Bildcodierer und LLM gefroren sind, während nur der Temporal-Projektor mit Bildtextpaaren trainiert wird, und eine überwachte Phase der Fine-Tuning (SFT) mit einem vielfältigen Datensatz von 12,5 Millionen Stichproben, einschließlich Text-, Bild- und Video-Text-Daten.

Token compression methods, such as temporal and spatial pooling, are applied to decrease the computational burden. The final model is evaluated on several long-video benchmarks, including EgoSchema, MVBench, MLVU, LongVideoBench, and VideoMME, and its performance is compared with other prominent video LLMs, such as VILA, MERLOT, and CLIP.

Token -Komprimierungsmethoden wie zeitliches und räumliches Pooling werden angewendet, um die Rechenbelastung zu verringern. Das endgültige Modell wird an mehreren Langvideo-Benchmarks bewertet, darunter Egoschema, MVBench, MLVU, LongvideoBench und Videomme, und seine Leistung wird mit anderen prominenten Video-LLMs wie Vila, Merlot und Clip verglichen.

The evaluation results demonstrate that STORM outperforms existing models, achieving state-of-the-art results on standard benchmarks. The Mamba module significantly improves efficiency by compressing visual tokens while preserving key information, reducing the inference time by up to 65.5%. Among the tested token reduction methods, temporal pooling shows the best performance on long videos, enabling the optimization of performance with a small number of tokens.

Die Bewertungsergebnisse zeigen, dass Sturm bestehende Modelle übertrifft und hochmoderne Ergebnisse zu Standard-Benchmarks erzielt. Das MAMBA -Modul verbessert die Effizienz erheblich, indem sie visuelle Token komprimiert und gleichzeitig wichtige Informationen erhalten und die Inferenzzeit um bis zu 65,5%verkürzt. Unter den getesteten Token -Reduktionsmethoden zeigt das zeitliche Pooling die beste Leistung bei langen Videos und ermöglicht die Optimierung der Leistung mit einer geringen Anzahl von Token.

In particular, STORM shows a significant improvement over the VILA baseline model, especially in tasks that require understanding the global context of the video. The analysis of the results highlights the crucial role of Mamba for optimized token compression, with performance boosts increasing proportionally with the video length, from 8 to 128 frames.

Insbesondere zeigt Storm eine signifikante Verbesserung gegenüber dem VILA -Basismodell, insbesondere bei Aufgaben, die den globalen Kontext des Videos verstehen müssen. Die Analyse der Ergebnisse unterstreicht die entscheidende Rolle von Mamba für eine optimierte Token -Komprimierung, wobei die Leistungssteigerung proportional mit der Videolänge von 8 bis 128 Bildern steigt.

In conclusion, the researchers propose STORM, a Mamba-based temporal encoder architecture, for efficient processing of long videos. This model integrates temporal information at the video tokens level and introduces a bidirectional scanning module in the Mamba layer to capture spatiotemporal dependencies.

Zusammenfassend schlagen die Forscher Storm, eine mamba-basierte temporale Encoderarchitektur, für eine effiziente Verarbeitung langer Videos vor. Dieses Modell integriert zeitliche Informationen auf Video -Token -Ebene und führt ein bidirektionales Scanmodul in der Mamba -Schicht ein, um räumlich -zeitliche Abhängigkeiten zu erfassen.

The researchers apply token compression techniques during training and a training-free token subsampling method during test time to optimize computational efficiency. Their experiments demonstrate that STORM outperforms existing models and achieves state-of-the-art results on various long-video benchmarks.

Die Forscher wenden während des Trainings auf Token-Komprimierungstechniken und eine trainingfreie Token-Subs-Methode während der Testzeit an, um die Recheneffizienz zu optimieren. Ihre Experimente zeigen, dass der Sturm bestehende Modelle übertrifft und auf verschiedenen Langvideo-Benchmarks hochmoderne Ergebnisse erzielt.

Originalquelle:marktechpost

Haftungsausschluss:info@kdj.com

Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!

Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.

Weitere Artikel veröffentlicht am Nov 16, 2026