Capitalisation boursière: $2.1773T -4.14%
Volume(24h): $113.037B 39.30%
  • Capitalisation boursière: $2.1773T -4.14%
  • Volume(24h): $113.037B 39.30%
  • Indice de peur et de cupidité:
  • Capitalisation boursière: $2.1773T -4.14%
Cryptos
Les sujets
Cryptospedia
Nouvelles
Cryptosopique
Vidéos
Top nouvelles
Cryptos
Les sujets
Cryptospedia
Nouvelles
Cryptosopique
Vidéos
bitcoin
bitcoin

$64426.275079 USD

-3.96%

ethereum
ethereum

$1793.025282 USD

-5.24%

tether
tether

$0.999493 USD

0.05%

bnb
bnb

$590.176397 USD

-4.18%

usd-coin
usd-coin

$0.999903 USD

0.01%

xrp
xrp

$0.956416 USD

-2.81%

solana
solana

$70.390953 USD

-6.30%

tron
tron

$0.307252 USD

-1.68%

hyperliquid
hyperliquid

$65.400630 USD

-5.44%

zcash
zcash

$897.603019 USD

-0.85%

monero
monero

$489.783944 USD

-7.62%

dogecoin
dogecoin

$0.057896 USD

-7.24%

unus-sed-leo
unus-sed-leo

$9.119479 USD

-1.58%

chainlink
chainlink

$9.104602 USD

-4.60%

cardano
cardano

$0.150431 USD

-7.46%

Articles d’actualité sur les crypto-monnaies

Tempête: réduction des jetons spatio-temporels pour les LLM multimodales

Mar 11, 2025 at 03:24 pm

Comprendre efficacement les vidéos avec l'IA nécessite une gestion des séquences d'images. Un défi majeur dans les modèles d'IA vidéo actuels est leur incapacité à traiter les vidéos comme un flux continu, manquant des détails de mouvement importants et perturbant la continuité. Ce manque de modélisation temporelle empêche les changements de traçage; Par conséquent, les événements et les interactions sont partiellement inconnus.

Tempête: réduction des jetons spatio-temporels pour les LLM multimodales

Current video-based AI models face challenges in processing videos as a continuous flow, leading to a lack of motion details and continuity. This limitation hinders the models in performing well in tasks that require temporal modeling, such as tracing changes or events, and interactions are often partially identified.

Les modèles d'IA vidéo actuels sont confrontés à des défis dans le traitement des vidéos comme un flux continu, conduisant à un manque de détails de mouvement et à la continuité. Cette limitation entrave les modèles de bien perpétuer dans les tâches qui nécessitent une modélisation temporelle, comme le traçage des changements ou des événements, et les interactions sont souvent partiellement identifiées.

Moreover, processing long videos becomes computationally demanding, necessitating techniques like frame skipping to reduce the burden. However, these techniques discard valuable information and decrease accuracy. Furthermore, the dense structure of data within frames does not compress well, resulting in redundancy and inefficient use of computational resources.

De plus, le traitement de longues vidéos devient exigeant par calcul, nécessitant des techniques comme le saut de trame pour réduire le fardeau. Cependant, ces techniques éliminent les informations précieuses et diminuent la précision. De plus, la structure dense des données dans les cadres ne se compresse pas bien, entraînant une redondance et une utilisation inefficace des ressources de calcul.

Existing video-language models typically treat videos as static frame sequences with image encoders and vision-language projectors. This approach struggles to represent motion and continuity effectively. It also places the burden of inferring temporal relations on the language model, leading to partial comprehension of the video content.

Les modèles de langue vidéo existants traitent généralement les vidéos comme des séquences de trame statiques avec des encodeurs d'image et des projecteurs en langue de vision. Cette approche a du mal à représenter efficacement le mouvement et la continuité. Il place également le fardeau de la déduction des relations temporelles sur le modèle de langue, conduisant à une compréhension partielle du contenu vidéo.

To address the computational complexity of processing long videos, researchers have explored subsampling of frames, which reduces the workload at the expense of removing useful details that affect accuracy. Token reduction methods, such as recursive KV cache compression and frame selection, have also been investigated but add complexity without significant performance improvement.

Pour répondre à la complexité de calcul du traitement de longues vidéos, les chercheurs ont exploré le sous-échantillonnage des cadres, ce qui réduit la charge de travail au détriment de la suppression des détails utiles qui affectent la précision. Les méthodes de réduction des jetons, telles que la compression récursive du cache KV et la sélection des trames, ont également été étudiées mais ajoutent de la complexité sans amélioration significative des performances.

Advanced video encoders and pooling methods have been developed to extract richer spatiotemporal features and facilitate efficient processing. However, these techniques are not yet sufficiently efficient and scalable, rendering the processing of long videos computationally intensive.

Des encodeurs vidéo avancés et des méthodes de mise en commun ont été développés pour extraire des caractéristiques spatio-temporelles plus riches et faciliter un traitement efficace. Cependant, ces techniques ne sont pas encore suffisamment efficaces et évolutives, ce qui rend le traitement de longues vidéos à forte intensité de calcul.

In their quest to overcome these challenges, researchers from NVIDIA, Rutgers University, UC Berkeley, MIT, Nanjing University, and KAIST present STORM (Spatiotemporal Token Reduction for Multimodal LLMs), a Mamba-based temporal projector architecture. Unlike prior methods where temporal relations are inferred separately on each video frame and language models are utilized for this purpose, STORM integrates temporal information at the video tokens level to eliminate computational redundancy and maximize efficiency. The model enhances video representations with a bidirectional spatiotemporal scanning mechanism, effectively mitigating the burden of temporal reasoning from the LLM.

Dans leur quête pour surmonter ces défis, des chercheurs de Nvidia, de l'Université Rutgers, de l'UC Berkeley, du MIT, de l'Université Nanjing et de Kaist présentent une tempête (réduction des jetons spatio-temporels pour les LLM multimodales), une architecture temporale temporelle basée à Mamba. Contrairement aux méthodes antérieures où les relations temporelles sont déduites séparément sur chaque trame vidéo et les modèles de langue sont utilisés à cette fin, Storm intègre les informations temporelles au niveau des jetons vidéo pour éliminer la redondance de calcul et maximiser l'efficacité. Le modèle améliore les représentations vidéo avec un mécanisme de balayage spatio-temporel bidirectionnel, atténuant efficacement la charge du raisonnement temporel du LLM.

The framework utilizes Mamba layers for efficient temporal modeling, incorporating a bidirectional scanning module to capture dependencies across spatial and temporal dimensions. The temporal encoder processes the image and video inputs differently, acting as a spatial scanner for images to integrate global spatial context and as a spatiotemporal scanner for videos to capture temporal dynamics.

Le cadre utilise des couches de mamba pour une modélisation temporelle efficace, incorporant un module de balayage bidirectionnel pour capturer les dépendances à travers les dimensions spatiales et temporelles. Le codeur temporel traite les entrées d'image et de vidéo différemment, agissant comme un scanner spatial pour les images pour intégrer le contexte spatial global et comme un scanner spatio-temporel pour des vidéos pour capturer la dynamique temporelle.

During training, token compression techniques are applied to improve computational efficiency while maintaining essential information, enabling the inference of large models on a single GPU. At test time, a training-free token subsampling technique is introduced to further reduce computational burdens while preserving important temporal details. This technique facilitates efficient processing of long videos without requiring specialized equipment or deep adaptations of the model.

Pendant la formation, des techniques de compression de jetons sont appliquées pour améliorer l'efficacité de calcul tout en conservant des informations essentielles, permettant l'inférence de grands modèles sur un seul GPU. Au moment du test, une technique de sous-échantillonnage de jetons sans formation est introduite pour réduire davantage les charges informatiques tout en préservant des détails temporels importants. Cette technique facilite le traitement efficace des longues vidéos sans nécessiter d'équipement spécialisé ou d'adaptations profondes du modèle.

To evaluate the STORM model for video understanding, the researchers perform experiments with an efficient setup. Training is performed using pre-trained SigLIP models, and a temporal projector is introduced through random initialization. The process is divided into two stages: an alignment stage, where the image encoder and LLM are frozen while only the temporal projector is trained using image-text pairs, and a supervised fine-tuning (SFT) stage with a diverse dataset of 12.5 million samples, including text, image-text, and video-text data.

Pour évaluer le modèle Storm pour la compréhension de la vidéo, les chercheurs effectuent des expériences avec une configuration efficace. La formation est effectuée à l'aide de modèles Siglip pré-formés et un projecteur temporel est introduit par initialisation aléatoire. Le processus est divisé en deux étapes: une étape d'alignement, où le codeur d'image et le LLM sont gelés tandis que seul le projecteur temporel est formé à l'aide de paires de textes d'image, et une étape de réglage fin supervisé (SFT) avec un ensemble de données diversifié de 12,5 millions d'échantillons, y compris du texte, du texte d'image et des données de texte vidéo.

Token compression methods, such as temporal and spatial pooling, are applied to decrease the computational burden. The final model is evaluated on several long-video benchmarks, including EgoSchema, MVBench, MLVU, LongVideoBench, and VideoMME, and its performance is compared with other prominent video LLMs, such as VILA, MERLOT, and CLIP.

Des méthodes de compression de jetons, telles que le regroupement temporel et spatial, sont appliquées pour diminuer la charge de calcul. Le modèle final est évalué sur plusieurs repères à longue vidéo, notamment Egoschema, Mvbench, MLVU, LongVideobench et Videcomme, et ses performances sont comparées à d'autres LLM vidéo proéminents, tels que Vila, Merlot et Clip.

The evaluation results demonstrate that STORM outperforms existing models, achieving state-of-the-art results on standard benchmarks. The Mamba module significantly improves efficiency by compressing visual tokens while preserving key information, reducing the inference time by up to 65.5%. Among the tested token reduction methods, temporal pooling shows the best performance on long videos, enabling the optimization of performance with a small number of tokens.

Les résultats de l'évaluation démontrent que la tempête surpasse les modèles existants, atteignant les résultats de pointe sur des repères standard. Le module Mamba améliore considérablement l'efficacité en compressant les jetons visuels tout en préservant les informations clés, réduisant le temps d'inférence jusqu'à 65,5%. Parmi les méthodes de réduction des jetons testés, le regroupement temporel montre les meilleures performances sur les vidéos longues, permettant l'optimisation des performances avec un petit nombre de jetons.

In particular, STORM shows a significant improvement over the VILA baseline model, especially in tasks that require understanding the global context of the video. The analysis of the results highlights the crucial role of Mamba for optimized token compression, with performance boosts increasing proportionally with the video length, from 8 to 128 frames.

En particulier, Storm montre une amélioration significative par rapport au modèle de base de Vila, en particulier dans les tâches qui nécessitent une compréhension du contexte global de la vidéo. L'analyse des résultats met en évidence le rôle crucial du mamba pour une compression de jetons optimisée, les performances augmentent proportionnellement à la longueur vidéo, de 8 à 128 images.

In conclusion, the researchers propose STORM, a Mamba-based temporal encoder architecture, for efficient processing of long videos. This model integrates temporal information at the video tokens level and introduces a bidirectional scanning module in the Mamba layer to capture spatiotemporal dependencies.

En conclusion, les chercheurs proposent Storm, une architecture d'encodeur temporelle basée à Mamba, pour un traitement efficace des longues vidéos. Ce modèle intègre des informations temporelles au niveau des jetons vidéo et introduit un module de balayage bidirectionnel dans la couche Mamba pour capturer les dépendances spatio-temporelles.

The researchers apply token compression techniques during training and a training-free token subsampling method during test time to optimize computational efficiency. Their experiments demonstrate that STORM outperforms existing models and achieves state-of-the-art results on various long-video benchmarks.

Les chercheurs appliquent des techniques de compression en jetons pendant la formation et une méthode de sous-échantillonnage sans formation sans formation pendant le temps de test pour optimiser l'efficacité informatique. Leurs expériences démontrent que la tempête surpasse les modèles existants et obtient des résultats de pointe sur divers références longues.

Source primaire:marktechpost

Clause de non-responsabilité:info@kdj.com

Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!

Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.

Autres articles publiés sur Nov 16, 2026