Le nouveau modèle visuel d'Apple est rapide

Au cours des derniers mois, il y a eu beaucoup de rumeurs et de rapports sur les plans d'Apple de publier des appareils portables compatibles AI. Actuellement, il semble que les concurrents directs d'Apple vers les méta-rayons seront lancés vers 2027, aux côtés d'AirPods avec des caméras

Apple has been busy developing its own AI technologies, and recently offered a glimpse into how its models might work.

Apple a été occupé à développer ses propres technologies d'IA et a récemment offert un aperçu de la façon dont ses modèles pourraient fonctionner.

Currently, Apple’s direct competitors to the Meta Ray-Bans are planned for around 2027, together with AirPods equipped with cameras, which will provide their own set of AI-enabled capabilities.

Actuellement, les concurrents directs d'Apple vers les méta-rayons sont prévus vers 2027, ainsi que des AirPods équipés de caméras, qui fourniront leur propre ensemble de capacités compatibles AI.

While it’s still too early to anticipate what they will precisely look like, Apple unveiled MLX, its own open ML framework designed specifically for Apple Silicon.

Bien qu'il soit encore trop tôt pour anticiper à quoi ils ressembleront précisément, Apple a dévoilé MLX, son propre cadre ML ouvert conçu spécifiquement pour Apple Silicon.

Essentially, MLX provides a lightweight method to train and run models directly on Apple devices, remaining familiar to developers who prefer frameworks and languages more traditionally used for AI development.

Essentiellement, MLX fournit une méthode légère pour former et exécuter des modèles directement sur les appareils Apple, restant familier aux développeurs qui préfèrent les cadres et les langues plus traditionnellement utilisés pour le développement de l'IA.

Apple’s visual model is blazing fast

Le modèle visuel d'Apple flamboie rapidement

Now, Apple’s Machine Learning Research team has published FastVLM: a Visual Language Model (VLM) that leverages MLX to deliver nearly instantaneous high-resolution image processing, requiring significantly less computational power compared to similar models.

Maintenant, l'équipe de recherche sur l'apprentissage automatique d'Apple a publié FastVLM: un modèle de langage visuel (VLM) qui exploite MLX pour offrir un traitement d'image haute résolution presque instantané, nécessitant une puissance de calcul nettement moins inférieure à celle des modèles similaires.

As Apple explains in its report:

Comme l'explique Apple dans son rapport:

Based on a comprehensive efficiency analysis of the interplay between image resolution, vision latency, token count, and LLM size, we introduce FastVLM—a model that achieves an optimized trade-off between latency, model size, and accuracy.

Sur la base d'une analyse complète de l'efficacité de l'interaction entre la résolution d'image, la latence de vision, le nombre de jetons et la taille de LLM, nous introduisons FastVLM - un modèle qui réalise un compromis optimisé entre la latence, la taille du modèle et la précision.

At the heart of FastVLM is an encoder named FastViTHD, designed specifically for efficient VLM performance on high-resolution images.

Au cœur de FastVLM se trouve un encodeur nommé Fastvithd, conçu spécifiquement pour des performances VLM efficaces sur des images haute résolution.

It's up to 3.2 times faster and 3.6 times smaller than comparable models. This is a significant advantage when aiming to process information directly on the device without relying on the cloud to generate a response to what the user has just asked or is looking at.

Il est jusqu'à 3,2 fois plus rapide et 3,6 fois plus petit que les modèles comparables. Il s'agit d'un avantage significatif pour viser à traiter les informations directement sur l'appareil sans compter sur le cloud pour générer une réponse à ce que l'utilisateur vient de demander ou qui regarde.

Moreover, FastVLM was designed to output fewer tokens, which is crucial during inference—the step where the model interprets the data and generates a response.

De plus, FastVLM a été conçu pour produire moins de jetons, ce qui est crucial pendant l'inférence - l'étape où le modèle interprète les données et génère une réponse.

According to Apple, its model boasts an 85 times faster time-to-first-token compared to similar models, which is the time it takes for the user to input the first prompt and receive the first token of the answer. Fewer tokens on a faster and lighter model translate to swifter processing.

Selon Apple, son modèle possède un délai de temps de 85 fois plus rapide par rapport à des modèles similaires, ce qui prend le temps pour l'utilisateur pour saisir l'invite et recevoir le premier jeton de la réponse. Moins de jetons sur un modèle plus rapide et plus léger se traduisent par un traitement plus rapide.

The FastVLM model is available on GitHub, and the report detailing its architecture and performance can be found on arXiv.

Le modèle FastVLM est disponible sur GitHub, et le rapport détaillant son architecture et ses performances peut être trouvé sur ArXIV.