|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Articles d’actualité sur les crypto-monnaies
UNITOK: Un jetons visuel discret unifié pour la génération et la compréhension visuels
Mar 02, 2025 at 05:03 am
Les chercheurs visant à unifier la génération et la compréhension visuels en un seul cadre, l'intelligence artificielle multimodale évolue rapidement.

Researchers are working tirelessly to unify visual generation and understanding into a single, efficient framework. However, this goal remains elusive due to the distinct requirements of these two domains. Generative models prioritize the reconstruction of fine-grained image details, while understanding models focus on aligning visual features with textual representations at a high-level semantic granularity.
Les chercheurs travaillent sans relâche pour unifier la génération visuelle et la compréhension dans un cadre unique et efficace. Cependant, cet objectif reste insaisissable en raison des exigences distinctes de ces deux domaines. Les modèles génératifs priorisent la reconstruction des détails d'image à grain fin, tandis que la compréhension des modèles se concentre sur l'alignement des caractéristiques visuelles avec des représentations textuelles à une granularité sémantique de haut niveau.
The challenge lies in integrating both capabilities without compromising performance. As autoregressive modeling gains traction in visual tasks, the demand for a unified tokenizer that seamlessly bridges these objectives is growing. However, current approaches often specialize in either image generation or understanding. Generative models like VQVAE encode image details efficiently but struggle to align visual features with textual representations. Conversely, models like CLIP excel at semantic alignment but lack the fine-grained detail needed for high-quality image reconstruction.
Le défi consiste à intégrer les deux capacités sans compromettre les performances. À mesure que la modélisation autorégressive gagne du terrain dans les tâches visuelles, la demande d'un tokenizer unifié qui plie de manière transparente ces objectifs se développent. Cependant, les approches actuelles se spécialisent souvent dans la génération d'images ou la compréhension. Des modèles génératifs comme VQVAE codent efficacement les détails de l'image mais luttent pour aligner les fonctionnalités visuelles avec les représentations textuelles. Inversement, des modèles comme Clip excellent à l'alignement sémantique mais n'ont pas les détails à grain fin nécessaire pour la reconstruction d'image de haute qualité.
This misalignment creates inefficiencies and makes it difficult to develop multimodal models that can generate and interpret images equally proficiently. Researchers have been exploring ways to resolve these conflicts, but existing solutions often involve increasing model complexity without fundamentally addressing the tokenization gap.
Ce désalignement crée des inefficacités et rend difficile le développement de modèles multimodaux qui peuvent générer et interpréter les images également compétentes. Les chercheurs ont exploré des moyens de résoudre ces conflits, mais les solutions existantes impliquent souvent une complexité des modèles croissante sans combler fondamentalement l'écart de tokenisation.
Current methods attempt to bridge this gap by integrating separate tokenization strategies for different tasks. Some models incorporate contrastive learning into generative tokenizers to enhance semantic consistency. However, these techniques introduce training conflicts that degrade model performance. Many solutions rely on large codebooks to increase token representation capacity, but excessive codebook expansion leads to underutilization and inefficiencies.
Les méthodes actuelles tentent de combler cet écart en intégrant des stratégies de tokenisation distinctes pour différentes tâches. Certains modèles intègrent l'apprentissage contrastif dans les tokeniseurs génératifs pour améliorer la cohérence sémantique. Cependant, ces techniques introduisent des conflits de formation qui dégradent les performances du modèle. De nombreuses solutions reposent sur de grands livres de codes pour augmenter la capacité de représentation des jetons, mais l'expansion excessive des livres de codes entraîne une sous-utilisation et des inefficacités.
To address these issues, a research team from The University of Hong Kong, ByteDance Inc., and Huazhong University of Science and Technology introduced UniTok, a discrete visual tokenizer designed to unify visual generation and understanding. Their method expands token representation without causing optimization instability through multi-codebook quantization, which structures vector quantization into independent sub-codebooks, enabling better representation of visual features across tasks.
Pour résoudre ces problèmes, une équipe de recherche de l'Université de Hong Kong, Bytedance Inc., et de l'Université des sciences et de la technologie de Huazhong ont introduit Unitok, un jetons visuel discret conçu pour unifier la génération et la compréhension visuelles. Leur méthode élargit la représentation de jetons sans provoquer une instabilité d'optimisation par la quantification multi-codes-codes, qui structure la quantification des vecteurs en sous-co-codes indépendants, permettant une meilleure représentation des caractéristiques visuelles entre les tâches.
By addressing the fundamental bottleneck of limited discrete token capacity, UniTok achieves superior image reconstruction and semantic alignment performance. The UniTok model employs a unified training paradigm integrating reconstruction and contrastive learning objectives. The core innovation lies in multi-codebook quantization, where visual tokens are divided into multiple independent sub-codebooks instead of a single large one. This increases the representation space while maintaining computational efficiency.
En abordant le goulot d'étranglement fondamental d'une capacité de jeton discrète limitée, Unitok atteint une reconstruction d'image supérieure et des performances d'alignement sémantique. Le modèle Unitok utilise un paradigme de formation unifié intégrant la reconstruction et les objectifs d'apprentissage contrastives. L'innovation principale réside dans la quantification multi-codebook, où les jetons visuels sont divisés en plusieurs sous-livres indépendants au lieu d'un seul grand. Cela augmente l'espace de représentation tout en maintenant l'efficacité de calcul.
UniTok also incorporates attention-based factorization, which enhances token expressiveness by preserving semantic information during compression. Unlike conventional vector quantization, this approach prevents loss conflicts and improves token utilization, ensuring visual features are accurately encoded for generative and discriminative tasks.
Unitok intègre également la factorisation basée sur l'attention, ce qui améliore l'expressivité des jetons en préservant les informations sémantiques pendant la compression. Contrairement à la quantification des vecteurs conventionnels, cette approche empêche les conflits de perte et améliore l'utilisation des jetons, garantissant que les caractéristiques visuelles sont codées avec précision pour les tâches génératives et discriminantes.
The researchers trained UniTok on DataComp-1B, a dataset containing 1.28 billion image-text pairs, with images resized to a resolution of 256×256. The tokenizer was tested under two conditions: with pretrained CLIP weight initialization and without it. The model’s ability to achieve high zero-shot accuracy in both cases demonstrates the effectiveness of its unified design.
Les chercheurs ont formé Unitok sur Datacomp-1b, un ensemble de données contenant 1,28 milliard de paires de texte d'image, avec des images redimensionnées à une résolution de 256 × 256. Le tokenzer a été testé dans deux conditions: avec une initialisation de poids de clip pré-entraîné et sans elle. La capacité du modèle à atteindre une précision élevée de zéro dans les deux cas montre l'efficacité de sa conception unifiée.
Experimental evaluations on standard benchmarks confirm UniTok’s superiority over existing tokenizers. On ImageNet, UniTok achieves an rFID of 0.38 compared to 0.87 for SD-VAE, indicating a significant improvement in reconstruction quality. Further, it records a zero-shot classification accuracy of 78.6%, outperforming CLIP’s 76.2%.
Les évaluations expérimentales sur les références standard confirment la supériorité de Unitok sur les tokeniseurs existants. Sur ImageNet, UnitOK atteint un RFID de 0,38 contre 0,87 pour SD-VAE, indiquant une amélioration significative de la qualité de reconstruction. En outre, il enregistre une précision de classification à tirs zéro de 78,6%, surperformant 76,2% de Clip.
The model also excels in visual question-answering benchmarks, surpassing VILA-U in accuracy by 3.3% on TextVQA and demonstrating a significant improvement of 112 points on the MME-Perception scores. These results highlight UniTok’s ability to handle image generation and understanding effectively.
Le modèle excelle également dans des références visuelles de questionnement de questions, dépassant la VILA-U de 3,3% sur TextVQA et démontrant une amélioration significative de 112 points sur les scores de perception MME. Ces résultats mettent en évidence la capacité de Unitok à gérer efficacement la génération d'images et la compréhension.
When tested on multimodal large language models, UniTok outperforms traditional VQVAE tokenizers and significantly reduces the gap between discrete and continuous tokenization approaches. The success of UniTok suggests that enhancing discrete token representation through multi-codebook quantization is a viable solution for unifying multimodal learning frameworks.
Lorsqu'elle est testée sur des modèles de langage multimodal, Unitok surpasse les tokenzers VQVAE traditionnels et réduit considérablement l'écart entre les approches de jetons discrètes et continues. Le succès de Unitok suggère que l'amélioration de la représentation des jetons discrètes par la quantification multi-code-codebook est une solution viable pour unifier les cadres d'apprentissage multimodal.
UniTok marks a major advancement in the integration of visual generation and understanding. By resolving tokenization bottlenecks through multi-codebook quantization, researchers can achieve more effective multimodal learning. The research demonstrates that when optimized correctly, discrete tokenization can rival or even surpass continuous tokenization methods. This innovation lays the foundation for future improvements in multimodal AI, offering a scalable solution for large vision-language models.
Unitok marque une progression majeure dans l'intégration de la génération et de la compréhension visuelles. En résolvant les goulots d'étranglement de la tokenisation grâce à la quantification multi-codebook, les chercheurs peuvent obtenir un apprentissage multimodal plus efficace. La recherche démontre que lorsqu'elle est optimisée correctement, la tokenisation discrète peut rivaliser ou même dépasser les méthodes de tokenisation continue. Cette innovation jette les bases d'améliorations futures de l'IA multimodale, offrant une solution évolutive pour les grands modèles de vision.
The strong experimental results validate UniTok as a promising approach for achieving seamless integration between visual generation and understanding, paving the way for more advanced multimodal models in the future.
Les forts résultats expérimentaux valident Unitok comme une approche prometteuse pour atteindre l'intégration transparente entre la génération visuelle et la compréhension, ouvrant la voie à des modèles multimodaux plus avancés à l'avenir.
Clause de non-responsabilité:info@kdj.com
Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!
Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.
-
- Solana alimente les plans de tokenisation de Wall Street : une vision 2027
- Nov 16, 2026 at 08:05 am
- DTCC intègre Solana dans son service de tokenisation d'ici 2027, permettant la tokenisation de 114 000 milliards de dollars de titres, soulignant le rôle de la blockchain dans le rapprochement de la finance traditionnelle et des actifs numériques.
-
- Kava Lend Hack : des millions de jetons KAVA perdus, la sécurité de l'écosystème sous surveillance
- Nov 16, 2026 at 08:00 am
- Kava Lend fait face à une perte importante de jetons KAVA en raison d'un piratage exploitant une faille du marché, soulevant des questions critiques sur la sécurité de l'écosystème Kava et la récupération des fonds des utilisateurs.
-
- DTCC adopte l'avenir multichaîne : ce que cela signifie pour Solana et le XRP Ledger
- Nov 16, 2026 at 04:05 am
- DTCC étend sa stratégie de tokenisation sur plusieurs réseaux blockchain, Solana assurant une intégration clé. Cette approche multichaîne remodèle le paysage des actifs numériques, soulevant des questions sur le rôle du XRP Ledger dans cette infrastructure financière en évolution.
-
- Sui Network, Toncoin, TRON : naviguer dans le paysage cryptographique en évolution
- Nov 14, 2026 at 11:55 pm
- Au milieu des évolutions du marché, Sui Network, Toncoin et TRON révèlent des voies de croissance et des défis distincts. Ce rapport décortique leurs derniers mouvements, de l'essor des comptes TRON aux ajustements de l'écosystème de Sui et à l'intégration de Telegram de Toncoin, offrant des informations à l'investisseur averti.
-
- OKX Europe augmente les limites de remboursement rapide pour le jalonnement de liquides VIP, donnant ainsi le ton à l'industrie
- Nov 14, 2026 at 03:45 pm
- OKX Europe élève les limites quotidiennes de rachat rapide pour les détenteurs de jetons VIP de jalonnement liquide (BETH et OKSOL), améliorant ainsi l'accès à la liquidité et l'expérience utilisateur, tandis que le paysage plus large du jalonnement liquide voit des innovations telles que stPROS de Faroo.
-
- La demande de détail de Bitcoin chute au milieu de la baisse des prix, les indicateurs techniques confirment la tendance baissière
- Nov 14, 2026 at 03:45 pm
- La demande de détail de Bitcoin a plongé de près de 10 % pour atteindre son plus bas niveau depuis mars, avec des prix tombant en dessous de 70 000 $ et des indicateurs techniques pointant vers une tendance baissière persistante.
-
- Pyth Network, Douro Labs et réglementation CFTC : façonner l'avenir de l'intégrité du marché de la cryptographie
- Nov 14, 2026 at 08:05 am
- Douro Labs, un contributeur clé de Pyth Network, s'engage activement avec la CFTC sur les règles du marché de la cryptographie, en plaidant pour une tarification multi-sources et une évaluation Oracle solide pour empêcher la manipulation du marché et protéger les investisseurs.
-
- Blockstream élève la garde de l'entreprise avec Secure-MPC et les HSM Thales pour une sécurité inégalée
- Nov 14, 2026 at 07:55 am
- Blockstream dévoile une solution de conservation d'entreprise révolutionnaire intégrant Secure-MPC et les HSM Thales, établissant ainsi une nouvelle norme en matière de sécurité des actifs numériques institutionnels.
-

































