|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
AI가있는 비디오를 이해하려면 이미지 시퀀스를 효율적으로 처리해야합니다. 현재 비디오 기반 AI 모델의 주요 과제는 비디오를 연속 흐름으로 처리하고 중요한 모션 세부 사항을 누락하고 연속성을 방해 할 수 없다는 것입니다. 이러한 시간 모델링의 부족은 추적 변화를 방지합니다. 따라서 사건과 상호 작용은 부분적으로 알려져 있지 않습니다.

Current video-based AI models face challenges in processing videos as a continuous flow, leading to a lack of motion details and continuity. This limitation hinders the models in performing well in tasks that require temporal modeling, such as tracing changes or events, and interactions are often partially identified.
현재 비디오 기반 AI 모델은 비디오를 연속 흐름으로 처리하는 데 어려움을 겪고 모션 세부 사항과 연속성이 부족합니다. 이 제한은 변화 또는 이벤트 추적과 같은 시간적 모델링이 필요한 작업에서 잘 수행 할 수있는 모델을 방해하며 상호 작용은 종종 부분적으로 식별됩니다.
Moreover, processing long videos becomes computationally demanding, necessitating techniques like frame skipping to reduce the burden. However, these techniques discard valuable information and decrease accuracy. Furthermore, the dense structure of data within frames does not compress well, resulting in redundancy and inefficient use of computational resources.
또한, 긴 비디오를 처리하는 것은 계산적으로 까다 롭게되므로 프레임 건너 뛰기와 같은 기술이 필요합니다. 그러나 이러한 기술은 귀중한 정보를 폐기하고 정확도를 줄입니다. 또한 프레임 내의 밀집된 데이터 구조는 제대로 압축되지 않으므로 중복성과 계산 리소스의 비효율적 인 사용이 발생합니다.
Existing video-language models typically treat videos as static frame sequences with image encoders and vision-language projectors. This approach struggles to represent motion and continuity effectively. It also places the burden of inferring temporal relations on the language model, leading to partial comprehension of the video content.
기존 비디오 언어 모델은 일반적으로 비디오를 이미지 인코더 및 비전 언어 프로젝터와 함께 정적 프레임 시퀀스로 취급합니다. 이 접근법은 운동과 연속성을 효과적으로 나타내는 데 어려움을 겪고 있습니다. 또한 언어 모델에 시간적 관계를 유추하는 부담을 낳아 비디오 내용의 부분적 이해를 초래합니다.
To address the computational complexity of processing long videos, researchers have explored subsampling of frames, which reduces the workload at the expense of removing useful details that affect accuracy. Token reduction methods, such as recursive KV cache compression and frame selection, have also been investigated but add complexity without significant performance improvement.
긴 비디오 처리의 계산 복잡성을 해결하기 위해 연구원들은 프레임의 서브 샘플링을 탐색하여 정확도에 영향을 미치는 유용한 세부 사항을 제거하는 비용으로 작업량을 줄입니다. 재귀 KV 캐시 압축 및 프레임 선택과 같은 토큰 감소 방법도 조사되었지만 성능 향상없이 복잡성을 추가했습니다.
Advanced video encoders and pooling methods have been developed to extract richer spatiotemporal features and facilitate efficient processing. However, these techniques are not yet sufficiently efficient and scalable, rendering the processing of long videos computationally intensive.
더 풍부한 시공간 특징을 추출하고 효율적인 처리를 용이하게하기 위해 고급 비디오 인코더 및 풀링 방법이 개발되었습니다. 그러나 이러한 기술은 아직 충분히 효율적이고 확장 가능하지 않으므로 긴 동영상의 처리가 집약적으로 처리됩니다.
In their quest to overcome these challenges, researchers from NVIDIA, Rutgers University, UC Berkeley, MIT, Nanjing University, and KAIST present STORM (Spatiotemporal Token Reduction for Multimodal LLMs), a Mamba-based temporal projector architecture. Unlike prior methods where temporal relations are inferred separately on each video frame and language models are utilized for this purpose, STORM integrates temporal information at the video tokens level to eliminate computational redundancy and maximize efficiency. The model enhances video representations with a bidirectional spatiotemporal scanning mechanism, effectively mitigating the burden of temporal reasoning from the LLM.
이러한 도전을 극복하기 위해 Nvidia, Rutgers University, UC Berkeley, MIT, Nanjing University 및 Kaist STORM (멀티 모달 LLMS를위한 시공간 토큰 감소), Mamba 기반 프로젝터 아키텍처의 연구원. 각 비디오 프레임에서 시간적 관계가 별도로 추론되고 언어 모델 이이 목적을 위해 사용되는 이전 방법과 달리, 폭풍은 비디오 토큰 수준에서 시간 정보를 계산 중복성을 제거하고 효율성을 극대화합니다. 이 모델은 양방향 시공간 스캔 메커니즘으로 비디오 표현을 향상시켜 LLM의 시간적 추론의 부담을 효과적으로 완화시킵니다.
The framework utilizes Mamba layers for efficient temporal modeling, incorporating a bidirectional scanning module to capture dependencies across spatial and temporal dimensions. The temporal encoder processes the image and video inputs differently, acting as a spatial scanner for images to integrate global spatial context and as a spatiotemporal scanner for videos to capture temporal dynamics.
이 프레임 워크는 효율적인 시간적 모델링을 위해 Mamba 레이어를 활용하여 양방향 스캐닝 모듈을 통합하여 공간 및 시간적 치수에 걸쳐 종속성을 캡처합니다. 시간 인코더는 이미지 및 비디오 입력을 다르게 처리하여 이미지의 공간 스캐너로 작용하여 글로벌 공간 컨텍스트를 통합하고 시간적 역학을 캡처하기위한 비디오의 시공간 스캐너로 작용합니다.
During training, token compression techniques are applied to improve computational efficiency while maintaining essential information, enabling the inference of large models on a single GPU. At test time, a training-free token subsampling technique is introduced to further reduce computational burdens while preserving important temporal details. This technique facilitates efficient processing of long videos without requiring specialized equipment or deep adaptations of the model.
훈련 중에, 토큰 압축 기술은 필수 정보를 유지하면서 계산 효율성을 향상시키기 위해 적용되어 단일 GPU에서 대형 모델의 추론을 가능하게합니다. 시험 시간에, 중요한 시간 세부 사항을 보존하면서 계산 부담을 더욱 줄이기 위해 훈련이없는 토큰 하위 샘플링 기술이 도입된다. 이 기술은 특수 장비 나 모델의 깊은 적응없이 긴 비디오의 효율적인 처리를 용이하게합니다.
To evaluate the STORM model for video understanding, the researchers perform experiments with an efficient setup. Training is performed using pre-trained SigLIP models, and a temporal projector is introduced through random initialization. The process is divided into two stages: an alignment stage, where the image encoder and LLM are frozen while only the temporal projector is trained using image-text pairs, and a supervised fine-tuning (SFT) stage with a diverse dataset of 12.5 million samples, including text, image-text, and video-text data.
비디오 이해를위한 폭풍 모델을 평가하기 위해 연구원들은 효율적인 설정으로 실험을 수행합니다. 훈련은 사전 훈련 된 Siglip 모델을 사용하여 수행되며 임의의 초기화를 통해 시간적 프로젝터가 도입됩니다. 이 프로세스는 이미지 인코더와 LLM이 얼어 붙은 정렬 단계로 나뉩니다. 이미지 텍스트 쌍을 사용하여 시간 프로젝터 만 교육을 받고 텍스트, 이미지 텍스트 및 비디오 텍스트 데이터를 포함하여 12.5 백만 샘플의 다양한 데이터 세트가있는 감독 된 미세 조정 (SFT) 단계입니다.
Token compression methods, such as temporal and spatial pooling, are applied to decrease the computational burden. The final model is evaluated on several long-video benchmarks, including EgoSchema, MVBench, MLVU, LongVideoBench, and VideoMME, and its performance is compared with other prominent video LLMs, such as VILA, MERLOT, and CLIP.
시간 및 공간 풀링과 같은 토큰 압축 방법은 계산 부담을 줄이기 위해 적용됩니다. 최종 모델은 Egoschema, MVBench, MLVU, LongvideoBench 및 Videomme을 포함한 여러 Long-Video 벤치 마크에서 평가되며 성능은 Vila, Merlot 및 Clip과 같은 다른 저명한 비디오 LLM과 비교됩니다.
The evaluation results demonstrate that STORM outperforms existing models, achieving state-of-the-art results on standard benchmarks. The Mamba module significantly improves efficiency by compressing visual tokens while preserving key information, reducing the inference time by up to 65.5%. Among the tested token reduction methods, temporal pooling shows the best performance on long videos, enabling the optimization of performance with a small number of tokens.
평가 결과는 폭풍이 기존 모델보다 우수하여 표준 벤치 마크에서 최첨단 결과를 달성한다는 것을 보여줍니다. Mamba 모듈은 주요 정보를 보존하면서 시각적 토큰을 압축하여 효율성을 크게 향상시켜 추론 시간을 최대 65.5%줄입니다. 테스트 된 토큰 감소 방법 중에서 Temporal Pooling은 긴 비디오에서 최상의 성능을 보여 주므로 소수의 토큰으로 성능을 최적화 할 수 있습니다.
In particular, STORM shows a significant improvement over the VILA baseline model, especially in tasks that require understanding the global context of the video. The analysis of the results highlights the crucial role of Mamba for optimized token compression, with performance boosts increasing proportionally with the video length, from 8 to 128 frames.
특히 폭풍은 VILA 기준선 모델, 특히 비디오의 글로벌 컨텍스트를 이해해야하는 작업에서 크게 개선되었습니다. 결과 분석은 최적화 된 토큰 압축에 대한 Mamba의 중요한 역할을 강조하며, 성능은 비디오 길이에 따라 8 ~ 128 프레임으로 비례 적으로 증가합니다.
In conclusion, the researchers propose STORM, a Mamba-based temporal encoder architecture, for efficient processing of long videos. This model integrates temporal information at the video tokens level and introduces a bidirectional scanning module in the Mamba layer to capture spatiotemporal dependencies.
결론적으로, 연구원들은 긴 비디오의 효율적인 처리를 위해 맘바 기반의 시간 인코더 아키텍처 인 폭풍을 제안합니다. 이 모델은 비디오 토큰 레벨에서 시간 정보를 통합하고 Mamba 레이어에 양방향 스캔 모듈을 도입하여 시공간 종속성을 캡처합니다.
The researchers apply token compression techniques during training and a training-free token subsampling method during test time to optimize computational efficiency. Their experiments demonstrate that STORM outperforms existing models and achieves state-of-the-art results on various long-video benchmarks.
연구자들은 훈련 중에 토큰 압축 기술과 테스트 시간 동안 훈련이없는 토큰 서브 샘플링 방법을 적용하여 계산 효율을 최적화합니다. 그들의 실험은 폭풍이 기존 모델보다 우수하고 다양한 긴 비디오 벤치 마크에서 최첨단 결과를 달성한다는 것을 보여줍니다.
부인 성명:info@kdj.com
제공된 정보는 거래 조언이 아닙니다. kdj.com은 이 기사에 제공된 정보를 기반으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 암호화폐는 변동성이 매우 높으므로 철저한 조사 후 신중하게 투자하는 것이 좋습니다!
본 웹사이트에 사용된 내용이 귀하의 저작권을 침해한다고 판단되는 경우, 즉시 당사(info@kdj.com)로 연락주시면 즉시 삭제하도록 하겠습니다.

































