Erfassen Sparse-Autoencoder Konzeptverteiler? (April 2026)

Titel: Erfassen Sparse-Autoencoder Konzeptverteiler? (April 2026) Link: http://arxiv.org/abs/2604.28119v1 Datum: April 2026 Zusammenfassung: In diesem Artikel wird untersucht, ob Sparse Autoencoder (SAEs) Konzeptmannigfaltigkeiten in neuronalen Netzwerkdarstellungen effektiv erfassen können und dabei über die traditionelle Hypothese der linearen Darstellung hinausgehen. Es wird ein theoretischer Rahmen entwickelt, der zeigt, dass SAEs Mannigfaltigkeiten entweder global durch Subraumwiederherstellung oder lokal durch Kacheln erfassen. Die Autoren stellen fest, dass aktuelle SAEs oft zu einem fragmentierten „Verdünnungs“-Regime führen und schlagen eine neue unbeaufsichtigte Entdeckungsmethode vor, die Ising-Modelle verwendet, um Gruppen von Atomen zu identifizieren, die diese Mannigfaltigkeiten repräsentieren. Hauptthemen: - Sparse Autoencoder - Konzeptmannigfaltigkeiten - Interpretierbarkeit - Lineare Darstellungshypothese - Ising-Modell - Mannigfaltiges Lernen - Darstellungslernen Kapitel: 00:00 - Einführung: Die Kartenanalogie 01:00 - Erklärung der linearen Darstellungshypothese 02:37 - Erforschung der Geometrie neuronaler Netzwerke 03:55 - Analyse von Lama 3-Aktivierungen 05:08 - Testen von Steuerung und Bias 06:55 – Lokaler und globaler Nutzen 08:08 – Vergleich von Capture und Tiling 10:13 – Testen von synthetischen Verteilern 11:27 – Identifizieren von Fehlern im Verdünnungsregime 13:13 – Entlarven von Rekonstruktionsfehlermetriken 14:15 – Ausleihen ising-physikalischer Modelle 15:52 – Kartierung epistemischer Unsicherheit 17:37 – Entwicklung besserer Interpretierbarkeitswerkzeuge 19:22 – Synthesizing Alien Machine Cognition Stockvideo-Credits: – Pressmaster – https://www.pexels.com/@pressmaster – Google DeepMind – https://www.pexels.com/@googledeepmind – olia danilevich – https://www.pexels.com/@olia-danilevich – José Alfredo Munguía Lira – https://www.pexels.com/@rectorretro – Soumya – https://www.pexels.com/@soumya-1446957 – Trippy Lagoon – https://www.pexels.com/@trippy-lagoon-511515544 – Farben Motion Graphics – https://www.pexels.com/@colors-motion-graphics-183847699 – Tunnelbewegungen – https://www.pexels.com/@tunnelmotions – StefWithAnF – https://www.pexels.com/@stefwithanf-1955763 – Ron Lach – https://www.pexels.com/@ron-lach – Engin Akyurt – https://www.pexels.com/@enginakyurt – Fauxels – https://www.pexels.com/@fauxels – Bedrijfsfilmspecialist.nl – https://www.pexels.com/@bedrijfsfilmspecialist-nl-1284006 – Yaroslav Shuraev – https://www.pexels.com/@yaroslav-shuraev – Nino Souza – https://www.pexels.com/@ninosouza – Tiger Lily – https://www.pexels.com/@tiger-lily – Max Fischer – https://www.pexels.com/@max-fischer – Pachon in Motion – https://www.pexels.com/@pachon-in-motion-426015731 – Silviu Din – https://www.pexels.com/@silviu-din-1620549 – Dan Cristian Pădureț – https://www.pexels.com/@paduret – Oleg Gamulinskii – https://www.pexels.com/@oleg-gamulinskii-755060 – Colin Jones – https://www.pexels.com/@larchmedia – Anthony 🙂 – https://www.pexels.com/@inspiredimages – Glenn Langhorst – https://www.pexels.com/@glenn-langhorst-120487 – Kelly – https://www.pexels.com/@kelly – Caleb Oquendo – https://www.pexels.com/@caleboquendo – verrückte Bewegungen – https://www.pexels.com/@crazy-motions-80195021 – @svetjekolem – https://www.pexels.com/@svetjekolem – Pixabay – https://www.pexels.com/@pixabay – Mikhail Nilov – https://www.pexels.com/@mikhail-nilov - Claudiu Ciobanu - https://www.pexels.com/@claudiuciobanu - Tom Fisk - https://www.pexels.com/@tomfisk - Anete Lusina - https://www.pexels.com/@anete-lusina - Pavel Danilyuk - https://www.pexels.com/@pavel-danilyuk - Tima Miroshnichenko - https://www.pexels.com/@tima-miroshnichenko – Danil Shostak – https://www.pexels.com/@danil-shostak-1324124 – Cottonbro Studio – https://www.pexels.com/@cottonbro – Thirdman – https://www.pexels.com/@thirdman – Adis Resic – https://www.pexels.com/@adis-resic-297996969 – Charlie Mounsey – https://www.pexels.com/@charlie-mounsey-1653902