시가총액: $2.184T 0.31%
거래량(24시간): $69.2158B -38.77%
  • 시가총액: $2.184T 0.31%
  • 거래량(24시간): $69.2158B -38.77%
  • 공포와 탐욕 지수:
  • 시가총액: $2.184T 0.31%
암호화
주제
암호화
소식
cryptostopics
비디오
최고의 뉴스
암호화
주제
암호화
소식
cryptostopics
비디오
bitcoin
bitcoin

$64566.812908 USD

0.23%

ethereum
ethereum

$1810.474514 USD

0.98%

tether
tether

$0.999022 USD

-0.03%

bnb
bnb

$590.524043 USD

0.06%

usd-coin
usd-coin

$0.999830 USD

0.01%

xrp
xrp

$0.951385 USD

-0.53%

solana
solana

$70.791567 USD

0.57%

tron
tron

$0.302344 USD

-1.59%

hyperliquid
hyperliquid

$66.043751 USD

0.99%

zcash
zcash

$884.280716 USD

-1.46%

dogecoin
dogecoin

$0.058467 USD

0.99%

monero
monero

$482.505734 USD

-1.49%

unus-sed-leo
unus-sed-leo

$9.190973 USD

0.78%

chainlink
chainlink

$9.081451 USD

-0.25%

cardano
cardano

$0.151877 USD

0.97%

암호화폐 뉴스 기사

Unitok : 시각적 생성 및 이해를위한 통합 이산 시각적 토큰 화제

2025/03/02 05:03

연구자들이 시각적 생성과 이해를 단일 프레임 워크로 통합하기 위해 멀티 모달 인공 지능은 빠르게 발전하고 있습니다.

Unitok : 시각적 생성 및 이해를위한 통합 이산 시각적 토큰 화제

Researchers are working tirelessly to unify visual generation and understanding into a single, efficient framework. However, this goal remains elusive due to the distinct requirements of these two domains. Generative models prioritize the reconstruction of fine-grained image details, while understanding models focus on aligning visual features with textual representations at a high-level semantic granularity.

연구원들은 시각적 생성과 이해를 단일의 효율적인 프레임 워크로 통합하기 위해 지칠 줄 모르고 노력하고 있습니다. 그러나이 목표는이 두 영역의 뚜렷한 요구 사항으로 인해 애매 모호합니다. 생성 모델은 세분화 된 이미지 세부 사항의 재구성을 우선 순위로 지정하는 한편, 모델을 이해하면 고급 시맨틱 세분성에서 시각적 기능을 텍스트 표현과 정렬하는 데 중점을 둡니다.

The challenge lies in integrating both capabilities without compromising performance. As autoregressive modeling gains traction in visual tasks, the demand for a unified tokenizer that seamlessly bridges these objectives is growing. However, current approaches often specialize in either image generation or understanding. Generative models like VQVAE encode image details efficiently but struggle to align visual features with textual representations. Conversely, models like CLIP excel at semantic alignment but lack the fine-grained detail needed for high-quality image reconstruction.

과제는 성능을 손상시키지 않고 두 기능을 모두 통합하는 데 있습니다. 자동 회귀 모델링이 시각적 작업에서 견인력을 얻음에 따라 이러한 목표를 원활하게 연결하는 통합 토큰 화제에 대한 요구가 증가하고 있습니다. 그러나 현재의 접근 방식은 종종 이미지 생성 또는 이해를 전문으로합니다. vqvae와 같은 생성 모델은 이미지 세부 사항을 효율적으로 인코딩하지만 시각적 기능을 텍스트 표현과 정렬하는 데 어려움을 겪습니다. 반대로, Clip과 같은 모델은 시맨틱 정렬에서 탁월하지만 고품질 이미지 재건에 필요한 세밀한 세부 사항이 부족합니다.

This misalignment creates inefficiencies and makes it difficult to develop multimodal models that can generate and interpret images equally proficiently. Researchers have been exploring ways to resolve these conflicts, but existing solutions often involve increasing model complexity without fundamentally addressing the tokenization gap.

이 오정렬은 비 효율성을 만들어 내고 이미지를 똑같이 능숙하게 생성하고 해석 할 수있는 멀티 모달 모델을 개발하기가 어렵습니다. 연구원들은 이러한 갈등을 해결하는 방법을 모색 해 왔지만 기존의 솔루션은 종종 토큰 화 격차를 해결하지 않고 모델 복잡성을 증가시키는 것을 포함합니다.

Current methods attempt to bridge this gap by integrating separate tokenization strategies for different tasks. Some models incorporate contrastive learning into generative tokenizers to enhance semantic consistency. However, these techniques introduce training conflicts that degrade model performance. Many solutions rely on large codebooks to increase token representation capacity, but excessive codebook expansion leads to underutilization and inefficiencies.

현재의 방법은 다양한 작업에 대한 별도의 토큰 화 전략을 통합 하여이 격차를 해소하려고 시도합니다. 일부 모델은 시맨틱 일관성을 향상시키기 위해 대조적 학습을 생성 토 케이저로 통합합니다. 그러나 이러한 기술은 모델 성능을 저하시키는 교육 충돌을 소개합니다. 많은 솔루션이 대형 코드북에 의존하여 토큰 표현 용량을 늘리지 만 과도한 코드북 확장으로 인해 활용률이 낮고 비 효율성이 발생합니다.

To address these issues, a research team from The University of Hong Kong, ByteDance Inc., and Huazhong University of Science and Technology introduced UniTok, a discrete visual tokenizer designed to unify visual generation and understanding. Their method expands token representation without causing optimization instability through multi-codebook quantization, which structures vector quantization into independent sub-codebooks, enabling better representation of visual features across tasks.

이러한 문제를 해결하기 위해 홍콩 대학교, Bytedance Inc. 및 Huazhong University of Science and Technology의 연구팀은 시각적 생성과 이해를 통합하도록 설계된 개별 비주얼 토큰 화제 인 Unitok을 소개했습니다. 그들의 방법은 다중 코드 북 양자화를 통해 최적화 불안정성을 유발하지 않고 토큰 표현을 확장하여 독립적 인 서브 코드 북으로 벡터 양자화를 구조화하여 작업에 대한 시각적 기능을 더 잘 표현할 수있게합니다.

By addressing the fundamental bottleneck of limited discrete token capacity, UniTok achieves superior image reconstruction and semantic alignment performance. The UniTok model employs a unified training paradigm integrating reconstruction and contrastive learning objectives. The core innovation lies in multi-codebook quantization, where visual tokens are divided into multiple independent sub-codebooks instead of a single large one. This increases the representation space while maintaining computational efficiency.

제한된 개별 토큰 용량의 기본 병목 현상을 해결함으로써 Unitok은 우수한 이미지 재구성 및 시맨틱 정렬 성능을 달성합니다. Unitok 모델은 재건 및 대조적 학습 목표를 통합하는 통합 교육 패러다임을 사용합니다. 핵심 혁신은 멀티 코드 북 양자화에 있으며, 여기서 시각적 토큰은 단일 대형 대신 독립적 인 하위 코드 북으로 나뉩니다. 이는 계산 효율을 유지하면서 표현 공간을 증가시킵니다.

UniTok also incorporates attention-based factorization, which enhances token expressiveness by preserving semantic information during compression. Unlike conventional vector quantization, this approach prevents loss conflicts and improves token utilization, ensuring visual features are accurately encoded for generative and discriminative tasks.

Unitok은 또한주의 기반 인수화를 통합하여 압축 중에 시맨틱 정보를 보존하여 토큰 표현성을 향상시킵니다. 기존의 벡터 양자화와 달리,이 접근법은 손실 충돌을 방지하고 토큰 이용률을 향상시켜 시각적 특징이 생성 및 차별적 작업을 위해 정확하게 인코딩되도록합니다.

The researchers trained UniTok on DataComp-1B, a dataset containing 1.28 billion image-text pairs, with images resized to a resolution of 256×256. The tokenizer was tested under two conditions: with pretrained CLIP weight initialization and without it. The model’s ability to achieve high zero-shot accuracy in both cases demonstrates the effectiveness of its unified design.

연구원들은 DataComp-1B에서 Unitok을 훈련 시켰습니다. DataComp-1B는 128 억 이미지 텍스트 쌍이 포함 된 데이터 세트이며 이미지는 256 × 256의 해상도로 조정되었습니다. 토큰 화기는 두 가지 조건에서 테스트되었습니다. 사전 처리 된 클립 중량 초기화와 함께. 두 경우 모두 높은 제로 샷 정확도를 달성하는 모델의 능력은 통합 설계의 효과를 보여줍니다.

Experimental evaluations on standard benchmarks confirm UniTok’s superiority over existing tokenizers. On ImageNet, UniTok achieves an rFID of 0.38 compared to 0.87 for SD-VAE, indicating a significant improvement in reconstruction quality. Further, it records a zero-shot classification accuracy of 78.6%, outperforming CLIP’s 76.2%.

표준 벤치 마크에 대한 실험적 평가는 기존 토큰 화제에 비해 Unitok의 우수성을 확인합니다. Imagenet에서 Unitok은 SD-VAE의 0.87에 비해 0.38의 RFID를 달성하여 재구성 품질이 크게 향상되었습니다. 또한, 클립의 76.2%를 능가하는 78.6%의 제로 샷 분류 정확도를 기록합니다.

The model also excels in visual question-answering benchmarks, surpassing VILA-U in accuracy by 3.3% on TextVQA and demonstrating a significant improvement of 112 points on the MME-Perception scores. These results highlight UniTok’s ability to handle image generation and understanding effectively.

이 모델은 또한 Vila-U의 정확도를 능가하여 TextVQA에서 3.3%를 능가하고 MME- 인식 점수에서 112 점을 크게 개선하는 시각적 질문 응답 벤치 마크에서 탁월합니다. 이 결과는 Unitok의 이미지 생성을 처리하고 효과적으로 이해하는 능력을 강조합니다.

When tested on multimodal large language models, UniTok outperforms traditional VQVAE tokenizers and significantly reduces the gap between discrete and continuous tokenization approaches. The success of UniTok suggests that enhancing discrete token representation through multi-codebook quantization is a viable solution for unifying multimodal learning frameworks.

멀티 모달 대형 언어 모델에서 테스트 할 때, Unitok은 기존의 VQVAE 토큰 화제를 능가하고 개별 토큰 화 접근법과 연속적인 토큰 화 접근법 사이의 격차를 크게 줄입니다. Unitok의 성공은 멀티 코드 북 양자화를 통한 개별 토큰 표현을 향상시키는 것이 다중 모드 학습 프레임 워크를 통합하기위한 실행 가능한 솔루션임을 시사합니다.

UniTok marks a major advancement in the integration of visual generation and understanding. By resolving tokenization bottlenecks through multi-codebook quantization, researchers can achieve more effective multimodal learning. The research demonstrates that when optimized correctly, discrete tokenization can rival or even surpass continuous tokenization methods. This innovation lays the foundation for future improvements in multimodal AI, offering a scalable solution for large vision-language models.

Unitok은 시각적 생성과 이해의 통합에서 큰 발전을 이룹니다. 멀티 코드 북 양자화를 통해 토큰 화 병목 현상을 해결함으로써 연구원들은보다 효과적인 멀티 모달 학습을 달성 할 수 있습니다. 이 연구는 올바르게 최적화되면 불연속 토큰 화이 지속적인 토큰 화 방법과 경쟁하거나 심지어 능가 할 수 있음을 보여줍니다. 이 혁신은 멀티 모달 AI의 향후 개선을위한 토대를 마련하여 대규모 비전 언어 모델을위한 확장 가능한 솔루션을 제공합니다.

The strong experimental results validate UniTok as a promising approach for achieving seamless integration between visual generation and understanding, paving the way for more advanced multimodal models in the future.

강력한 실험 결과는 시각적 생성과 이해 사이의 원활한 통합을 달성하기위한 유망한 접근법으로서 Unitok을 검증하여 향후 고급 멀티 모달 모델을위한 길을 열어줍니다.

원본 소스:marktechpost

부인 성명:info@kdj.com

제공된 정보는 거래 조언이 아닙니다. kdj.com은 이 기사에 제공된 정보를 기반으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 암호화폐는 변동성이 매우 높으므로 철저한 조사 후 신중하게 투자하는 것이 좋습니다!

본 웹사이트에 사용된 내용이 귀하의 저작권을 침해한다고 판단되는 경우, 즉시 당사(info@kdj.com)로 연락주시면 즉시 삭제하도록 하겠습니다.

2026年11月16日 에 게재된 다른 기사