Pixeltransformatoren (PiTs) stellen die Notwendigkeit einer Lokalitätsverzerrung in Visionsmodellen in Frage

Eine aktuelle Studie von Meta AI und der Universität Amsterdam hat gezeigt, dass Transformatoren, eine beliebte neuronale Netzwerkarchitektur, direkt auf einzelne Pixel eines Bildes einwirken können, ohne auf die lokale induktive Vorspannung angewiesen zu sein, die in den meisten modernen Computer-Vision-Modellen vorhanden ist.

Meta AI and researchers from the University of Amsterdam have demonstrated that transformers, a popular neural network architecture, can operate directly on individual pixels of an image, without relying on the locality inductive bias present in most modern computer vision models.

Meta AI und Forscher der Universität Amsterdam haben gezeigt, dass Transformatoren, eine beliebte neuronale Netzwerkarchitektur, direkt auf einzelne Pixel eines Bildes einwirken können, ohne auf die in den meisten modernen Computer-Vision-Modellen vorhandene örtliche induktive Vorspannung angewiesen zu sein.

Their study, titled "Transformers on Individual Pixels," challenges the long-held belief that locality – the notion that neighboring pixels are more related than distant ones – is a fundamental requirement for vision tasks.

Ihre Studie mit dem Titel „Transformers on Individual Pixels“ stellt die lange verbreitete Annahme in Frage, dass Lokalität – die Vorstellung, dass benachbarte Pixel stärker miteinander verbunden sind als entfernte – eine grundlegende Voraussetzung für Sehaufgaben ist.

Traditionally, computer vision architectures like Convolutional Neural Networks (ConvNets) and Vision Transformers (ViTs) have incorporated locality bias through techniques such as convolutional kernels, pooling operations, and patchification, assuming neighboring pixels are more related.

Traditionell haben Computer-Vision-Architekturen wie Convolutional Neural Networks (ConvNets) und Vision Transformers (ViTs) Lokalitätsverzerrungen durch Techniken wie Faltungskerne, Pooling-Operationen und Patchifizierung berücksichtigt, vorausgesetzt, benachbarte Pixel sind stärker miteinander verbunden.

In contrast, the researchers introduced Pixel Transformers (PiTs), which treat each pixel as an individual token, removing any assumptions about the 2D grid structure of images. Surprisingly, PiTs achieved highly performant results across various tasks.

Im Gegensatz dazu führten die Forscher Pixel Transformers (PiTs) ein, die jedes Pixel als einzelnes Token behandeln und alle Annahmen über die 2D-Rasterstruktur von Bildern beseitigen. Überraschenderweise erzielten PiTs bei verschiedenen Aufgaben äußerst leistungsstarke Ergebnisse.

For instance, when PiTs were applied to image generation tasks using latent token spaces from VQGAN, they outperformed their locality-biased counterparts on quality metrics like Fréchet Inception Distance (FID) and Inception Score (IS).

Wenn PiTs beispielsweise auf Bilderzeugungsaufgaben unter Verwendung latenter Token-Räume von VQGAN angewendet wurden, übertrafen sie ihre ortsbezogenen Gegenstücke bei Qualitätsmetriken wie Fréchet Inception Distance (FID) und Inception Score (IS).

While PiTs, operating on the lines of Perceiver IO Transformers, can be computationally expensive due to longer sequences, they challenge the need for locality bias in vision models. As advances in handling large sequence lengths are made, PiTs may become more practical.

Während PiTs, die nach dem Vorbild von Perceiver IO Transformers arbeiten, aufgrund längerer Sequenzen rechenintensiv sein können, stellen sie die Notwendigkeit einer Lokalitätsverzerrung in Visionsmodellen in Frage. Da Fortschritte bei der Handhabung großer Sequenzlängen gemacht werden, könnten PiTs praktischer werden.

The study ultimately highlights the potential benefits of reducing inductive biases in neural architectures, which could lead to more versatile and capable systems for diverse vision tasks and data modalities.

Die Studie unterstreicht letztendlich die potenziellen Vorteile der Reduzierung induktiver Vorspannungen in neuronalen Architekturen, die zu vielseitigeren und leistungsfähigeren Systemen für verschiedene Sehaufgaben und Datenmodalitäten führen könnten.