Apple의 새로운 시각적 모델은 빠릅니다

지난 몇 달 동안 Apple의 웨어러블을 발표하려는 Apple의 계획에 대한 소문과 보고서가 많이있었습니다. 현재 Apple의 Meta Ray-Bans에 대한 직접 경쟁 업체가 2027 년경에 AirPods와 함께 카메라와 함께 출시 될 것 같습니다.

Apple has been busy developing its own AI technologies, and recently offered a glimpse into how its models might work.

Apple은 자체 AI 기술을 개발하는 데 바빴으며 최근에는 모델의 작동 방식을 엿볼 수있었습니다.

Currently, Apple’s direct competitors to the Meta Ray-Bans are planned for around 2027, together with AirPods equipped with cameras, which will provide their own set of AI-enabled capabilities.

현재 Apple의 Meta Ray-Bans에 대한 직접 경쟁 업체는 2027 년경에 카메라가 장착 된 AirPod와 함께 자체 AI 지원 기능 세트를 제공합니다.

While it’s still too early to anticipate what they will precisely look like, Apple unveiled MLX, its own open ML framework designed specifically for Apple Silicon.

Apple은 정확하게 어떻게 보일지 예상하기에는 아직 너무 이르지만 Apple은 Apple Silicon을 위해 특별히 설계된 오픈 ML 프레임 워크 인 MLX를 공개했습니다.

Essentially, MLX provides a lightweight method to train and run models directly on Apple devices, remaining familiar to developers who prefer frameworks and languages more traditionally used for AI development.

기본적으로 MLX는 Apple 기기에서 직접 모델을 교육하고 실행하는 가벼운 방법을 제공하며 AI 개발에 더 전통적으로 사용되는 프레임 워크 및 언어를 선호하는 개발자에게 친숙합니다.

Apple’s visual model is blazing fast

애플의 시각적 모델은 빠르게 타 오르고있다

Now, Apple’s Machine Learning Research team has published FastVLM: a Visual Language Model (VLM) that leverages MLX to deliver nearly instantaneous high-resolution image processing, requiring significantly less computational power compared to similar models.

이제 Apple의 머신 러닝 리서치 팀은 MLX를 활용하여 거의 즉각적인 고해상도 이미지 처리를 제공하는 FASTVLM : VLM (Visual Language Model)을 게시하여 유사한 모델에 비해 계산 전력이 크게 덜 필요합니다.

As Apple explains in its report:

Apple은 보고서에서 설명합니다.

Based on a comprehensive efficiency analysis of the interplay between image resolution, vision latency, token count, and LLM size, we introduce FastVLM—a model that achieves an optimized trade-off between latency, model size, and accuracy.

이미지 해상도, 비전 대기 시간, 토큰 카운트 및 LLM 크기 사이의 상호 작용에 대한 포괄적 인 효율성 분석을 기반으로, 우리는 대기 시간, 모델 크기 및 정확도간에 최적화 된 트레이드 오프를 달성하는 FASTVLM을 소개합니다.

At the heart of FastVLM is an encoder named FastViTHD, designed specifically for efficient VLM performance on high-resolution images.

FastVLM의 핵심에는 FastVithd라는 인코더가 있으며, 고해상도 이미지에서 효율적인 VLM 성능을 위해 특별히 설계되었습니다.

It's up to 3.2 times faster and 3.6 times smaller than comparable models. This is a significant advantage when aiming to process information directly on the device without relying on the cloud to generate a response to what the user has just asked or is looking at.

비슷한 모델보다 최대 3.2 배, 3.6 배 작습니다. 이는 사용자가 방금 요청했거나보고있는 내용에 대한 응답을 생성하기 위해 클라우드에 의존하지 않고 장치에서 직접 정보를 처리하려는 중요한 이점입니다.

Moreover, FastVLM was designed to output fewer tokens, which is crucial during inference—the step where the model interprets the data and generates a response.

또한 FASTVLM은 더 적은 수의 토큰을 출력하도록 설계되었으며, 이는 추론 중에 중요합니다. 모델이 데이터를 해석하고 응답을 생성하는 단계입니다.

According to Apple, its model boasts an 85 times faster time-to-first-token compared to similar models, which is the time it takes for the user to input the first prompt and receive the first token of the answer. Fewer tokens on a faster and lighter model translate to swifter processing.

Apple에 따르면,이 모델은 유사한 모델에 비해 85 배 더 빠른 시간을 자랑합니다. 이는 사용자가 첫 번째 프롬프트를 입력하고 답의 첫 번째 토큰을받는 데 걸리는 시간입니다. 더 빠르고 가벼운 모델에서 더 적은 토큰이 더 빠른 처리로 해석됩니다.

The FastVLM model is available on GitHub, and the report detailing its architecture and performance can be found on arXiv.

FASTVLM 모델은 GitHub에서 사용할 수 있으며 아르크 비브에서 아키텍처 및 성능을 자세히 설명하는 보고서를 찾을 수 있습니다.