Das neue visuelle Modell von Apple ist schnell

In den letzten Monaten gab es viele Gerüchte und Berichte über die Pläne von Apple, AI-fähige Wearables zu veröffentlichen. Derzeit sieht es so aus

Apple has been busy developing its own AI technologies, and recently offered a glimpse into how its models might work.

Apple war damit beschäftigt, eigene KI -Technologien zu entwickeln, und gab kürzlich einen Einblick in die Funktionsweise seiner Modelle.

Currently, Apple’s direct competitors to the Meta Ray-Bans are planned for around 2027, together with AirPods equipped with cameras, which will provide their own set of AI-enabled capabilities.

Derzeit sind die direkten Konkurrenten von Apple an den Meta-Ray-Bans für etwa 2027 zusammen mit AirPods mit Kameras geplant, die ihre eigenen Funktionen von AI-fähigen Funktionen bieten.

While it’s still too early to anticipate what they will precisely look like, Apple unveiled MLX, its own open ML framework designed specifically for Apple Silicon.

Während es noch zu früh ist, um zu antizipieren, wie sie genau aussehen werden, enthüllte Apple MLX, sein eigenes offenes ML -Framework, das speziell für Apple Silicon entwickelt wurde.

Essentially, MLX provides a lightweight method to train and run models directly on Apple devices, remaining familiar to developers who prefer frameworks and languages more traditionally used for AI development.

Im Wesentlichen bietet MLX eine leichte Methode, um Modelle direkt auf Apple -Geräten zu trainieren und auszuführen, und bleibt Entwicklern, die Frameworks und Sprachen bevorzugen, traditionell für die KI -Entwicklung bevorzugt.

Apple’s visual model is blazing fast

Das visuelle Modell von Apple lodert schnell

Now, Apple’s Machine Learning Research team has published FastVLM: a Visual Language Model (VLM) that leverages MLX to deliver nearly instantaneous high-resolution image processing, requiring significantly less computational power compared to similar models.

Jetzt hat das Forschungsteam von Apple maschinelles Lernen FastVLM veröffentlicht: ein visuelles Sprachmodell (VLM), das MLX nutzt, um eine nahezu sofortige hochauflösende Bildverarbeitung zu liefern, die im Vergleich zu ähnlichen Modellen eine deutlich weniger Rechenleistung erfordert.

As Apple explains in its report:

Wie Apple in seinem Bericht erklärt:

Based on a comprehensive efficiency analysis of the interplay between image resolution, vision latency, token count, and LLM size, we introduce FastVLM—a model that achieves an optimized trade-off between latency, model size, and accuracy.

Basierend auf einer umfassenden Effizienzanalyse des Zusammenspiels zwischen Bildauflösung, Sehlatenz, Token-Anzahl und LLM-Größe führen wir FastVLM ein-ein Modell, das einen optimierten Kompromiss zwischen Latenz, Modellgröße und Genauigkeit erzielt.

At the heart of FastVLM is an encoder named FastViTHD, designed specifically for efficient VLM performance on high-resolution images.

Das Herzstück von FastVLM steht ein Encoder namens Fastvithd, das speziell für eine effiziente VLM-Leistung auf hochauflösenden Bildern entwickelt wurde.

It's up to 3.2 times faster and 3.6 times smaller than comparable models. This is a significant advantage when aiming to process information directly on the device without relying on the cloud to generate a response to what the user has just asked or is looking at.

Es ist bis zu 3,2 -mal schneller und 3,6 -mal kleiner als vergleichbare Modelle. Dies ist ein wesentlicher Vorteil, wenn Sie darauf abzielen, Informationen direkt auf dem Gerät zu verarbeiten, ohne sich auf die Cloud zu verlassen, um eine Antwort auf das zu generieren, was der Benutzer gerade gefragt hat oder sich ansieht.

Moreover, FastVLM was designed to output fewer tokens, which is crucial during inference—the step where the model interprets the data and generates a response.

Darüber hinaus wurde FastVLM entwickelt, um weniger Token auszugeben, was während der Inferenz von entscheidender Bedeutung ist - der Schritt, in dem das Modell die Daten interpretiert und eine Antwort generiert.

According to Apple, its model boasts an 85 times faster time-to-first-token compared to similar models, which is the time it takes for the user to input the first prompt and receive the first token of the answer. Fewer tokens on a faster and lighter model translate to swifter processing.

Laut Apple verfügt sein Modell im Vergleich zu ähnlichen Modellen um eine 85-mal schnellere Zeit bis zuerst. Weniger Token auf einem schnelleren und leichteren Modell übersetzt zur Swifter -Verarbeitung.

The FastVLM model is available on GitHub, and the report detailing its architecture and performance can be found on arXiv.

Das FastVLM -Modell ist auf GitHub verfügbar, und der Bericht über die Architektur und Leistung finden Sie in Arxiv.