Appleの新しい視覚モデルは高速です

過去数ヶ月間、AI-IS対応ウェアラブルをリリースするというAppleの計画に関する噂や報告がたくさんありました。現在、メタレイバンのAppleの直接の競合他社は2027年頃に発売され、カメラ付きのAirPodsとともに発売されるようです。

Apple has been busy developing its own AI technologies, and recently offered a glimpse into how its models might work.

Appleは独自のAIテクノロジーの開発に忙しく、最近、そのモデルがどのように機能するかを垣間見ることができました。

Currently, Apple’s direct competitors to the Meta Ray-Bans are planned for around 2027, together with AirPods equipped with cameras, which will provide their own set of AI-enabled capabilities.

現在、Meta Ray-BansのAppleの直接の競合他社は、2027年頃にカメラを装備したAirPodsとともに計画されています。これにより、独自のAI対応機能が提供されます。

While it’s still too early to anticipate what they will precisely look like, Apple unveiled MLX, its own open ML framework designed specifically for Apple Silicon.

彼らが正確にどのように見えるかを予測するのはまだ時期尚早ですが、AppleはApple Silicon専用に設計された独自のオープンMLフレームワークをMLXで発表しました。

Essentially, MLX provides a lightweight method to train and run models directly on Apple devices, remaining familiar to developers who prefer frameworks and languages more traditionally used for AI development.

基本的に、MLXはAppleデバイスでモデルを直接トレーニングおよび実行するための軽量な方法を提供し、AI開発により伝統的に使用されるフレームワークや言語を好む開発者に馴染みのあるものを維持します。

Apple’s visual model is blazing fast

Appleの視覚モデルは激しく燃えています

Now, Apple’s Machine Learning Research team has published FastVLM: a Visual Language Model (VLM) that leverages MLX to deliver nearly instantaneous high-resolution image processing, requiring significantly less computational power compared to similar models.

現在、AppleのMachine Learning Researchチームは、MLXを活用してほぼ瞬時の高解像度の画像処理を提供するFastVLM：A Visual Language Model（VLM）を公開しており、同様のモデルと比較して大幅に少ない計算能力を必要とします。

As Apple explains in its report:

Appleがそのレポートで説明しているように：

Based on a comprehensive efficiency analysis of the interplay between image resolution, vision latency, token count, and LLM size, we introduce FastVLM—a model that achieves an optimized trade-off between latency, model size, and accuracy.

画像解像度、視力遅延、トークンカウント、およびLLMサイズの相互作用の包括的な効率分析に基づいて、FastVLMを導入します。これは、レイテンシ、モデルサイズ、および精度の間の最適化されたトレードオフを実現するモデルです。

At the heart of FastVLM is an encoder named FastViTHD, designed specifically for efficient VLM performance on high-resolution images.

FastVLMの中心には、高解像度画像で効率的なVLMパフォーマンス専用に設計されたFastVithDという名前のエンコーダーがあります。

It's up to 3.2 times faster and 3.6 times smaller than comparable models. This is a significant advantage when aiming to process information directly on the device without relying on the cloud to generate a response to what the user has just asked or is looking at.

同等のモデルの3.2倍高速で3.6倍小さくなっています。これは、クラウドに頼らずにデバイス上の情報を直接処理することを目指して、ユーザーが尋ねた、または見ているものへの応答を生成する場合に大きな利点です。

Moreover, FastVLM was designed to output fewer tokens, which is crucial during inference—the step where the model interprets the data and generates a response.

さらに、FASTVLMは、より少ないトークンを出力するように設計されています。これは、推論中に重要です。モデルがデータを解釈して応答を生成するステップです。

According to Apple, its model boasts an 85 times faster time-to-first-token compared to similar models, which is the time it takes for the user to input the first prompt and receive the first token of the answer. Fewer tokens on a faster and lighter model translate to swifter processing.

Appleによると、そのモデルは、同様のモデルと比較して、85倍高速な時間からトークンまでの時間を誇っています。これは、ユーザーが最初のプロンプトを入力して回答の最初のトークンを受け取るのにかかる時間です。より速くて軽いモデルのトークンの数は、速い処理に変換されます。

The FastVLM model is available on GitHub, and the report detailing its architecture and performance can be found on arXiv.

FASTVLMモデルはGitHubで入手でき、そのアーキテクチャとパフォーマンスを詳述するレポートはArxivで見つけることができます。