Les transformateurs de pixels (PiT) remettent en question le besoin de biais de localité dans les modèles de vision

Une dernière recherche menée par Meta AI et l'Université d'Amsterdam a montré que les transformateurs, une architecture de réseau neuronal populaire, peuvent fonctionner directement sur des pixels individuels d'une image sans compter sur le biais inductif de localité présent dans la plupart des modèles de vision par ordinateur modernes.

Meta AI and researchers from the University of Amsterdam have demonstrated that transformers, a popular neural network architecture, can operate directly on individual pixels of an image, without relying on the locality inductive bias present in most modern computer vision models.

Meta AI et des chercheurs de l'Université d'Amsterdam ont démontré que les transformateurs, une architecture de réseau neuronal populaire, peuvent fonctionner directement sur les pixels individuels d'une image, sans compter sur le biais inductif de localité présent dans la plupart des modèles de vision par ordinateur modernes.

Their study, titled "Transformers on Individual Pixels," challenges the long-held belief that locality – the notion that neighboring pixels are more related than distant ones – is a fundamental requirement for vision tasks.

Leur étude, intitulée « Transformers on Individual Pixels », remet en question la croyance de longue date selon laquelle la localité – la notion selon laquelle les pixels voisins sont plus liés que les pixels distants – est une exigence fondamentale pour les tâches de vision.

Traditionally, computer vision architectures like Convolutional Neural Networks (ConvNets) and Vision Transformers (ViTs) have incorporated locality bias through techniques such as convolutional kernels, pooling operations, and patchification, assuming neighboring pixels are more related.

Traditionnellement, les architectures de vision par ordinateur telles que les réseaux neuronaux convolutifs (ConvNets) et les transformateurs de vision (ViT) ont incorporé un biais de localité via des techniques telles que les noyaux convolutifs, les opérations de regroupement et la patchification, en supposant que les pixels voisins sont davantage liés.

In contrast, the researchers introduced Pixel Transformers (PiTs), which treat each pixel as an individual token, removing any assumptions about the 2D grid structure of images. Surprisingly, PiTs achieved highly performant results across various tasks.

En revanche, les chercheurs ont introduit les Pixel Transformers (PiT), qui traitent chaque pixel comme un jeton individuel, supprimant ainsi toute hypothèse sur la structure de grille 2D des images. Étonnamment, les PiT ont obtenu des résultats très performants dans diverses tâches.

For instance, when PiTs were applied to image generation tasks using latent token spaces from VQGAN, they outperformed their locality-biased counterparts on quality metrics like Fréchet Inception Distance (FID) and Inception Score (IS).

Par exemple, lorsque les PiT ont été appliqués à des tâches de génération d’images utilisant des espaces de jetons latents de VQGAN, ils ont surpassé leurs homologues biaisés en fonction de la localité sur des mesures de qualité telles que la distance de création de Fréchet (FID) et le score de création (IS).

While PiTs, operating on the lines of Perceiver IO Transformers, can be computationally expensive due to longer sequences, they challenge the need for locality bias in vision models. As advances in handling large sequence lengths are made, PiTs may become more practical.

Bien que les PiT, fonctionnant sur le modèle des transformateurs Perceiver IO, puissent être coûteux en calcul en raison de séquences plus longues, ils remettent en question la nécessité d'un biais de localité dans les modèles de vision. À mesure que des progrès sont réalisés dans la gestion de grandes longueurs de séquence, les PiT pourraient devenir plus pratiques.

The study ultimately highlights the potential benefits of reducing inductive biases in neural architectures, which could lead to more versatile and capable systems for diverse vision tasks and data modalities.

L’étude met finalement en évidence les avantages potentiels de la réduction des biais inductifs dans les architectures neuronales, ce qui pourrait conduire à des systèmes plus polyvalents et plus performants pour diverses tâches de vision et modalités de données.