제목: 희소 자동 인코더가 개념 다양체를 캡처합니까? (2026년 4월) 링크: http://arxiv.org/abs/2604.28119v1 날짜: 2026년 4월 요약: 이 문서에서는 SAE(Sparse Autoencoders)가 전통적인 선형 표현 가설을 넘어 신경망 표현의 개념 다양체를 효과적으로 캡처할 수 있는지 여부를 조사합니다. SAE가 부분 공간 복구를 통해 전체적으로 또는 타일링을 통해 로컬로 매니폴드를 캡처한다는 것을 보여주는 이론적 프레임워크를 개발합니다. 저자는 현재의 SAE가 단편화된 '희석' 방식을 초래하는 경우가 많다는 사실을 발견하고 이러한 다양체를 나타내는 원자 그룹을 식별하기 위해 Ising 모델을 사용하는 새로운 비지도 발견 방법을 제안합니다. 주요 주제: - 희소 오토인코더 - 개념 다양체 - 해석 가능성 - 선형 표현 가설 - Ising 모델 - 다양체 학습 - 표현 학습 장: 00:00 - 소개: 지도 비유 01:00 - 선형 표현 가설 설명 02:37 - 신경망 기하학 탐색 03:55 - Llama 3 활성화 분석 05:08 - 스티어링 및 바이어스 테스트 06:55 - 로컬 및 글로벌 유틸리티 08:08 - 캡처 및 타일링 비교 10:13 - 합성 다양체 테스트 11:27 - 희석 체제 실패 식별 13:13 - 재구성 오류 측정항목 폭로 14:15 - Ising 물리학 모델 차용 15:52 - 인식적 불확실성 매핑 17:37 - 구축 더 나은 해석 도구 19:22 - 외계인 기계 인식 합성 스톡 비디오 크레딧: - Pressmaster - https://www.pexels.com/@pressmaster - Google DeepMind - https://www.pexels.com/@googledeepmind - olia danilevich - https://www.pexels.com/@olia-danilevich - José Alfredo Munguía Lira - https://www.pexels.com/@rectorretro - Soumya - https://www.pexels.com/@soumya-1446957 - Trippy Lagoon - https://www.pexels.com/@trippy-lagoon-511515544 - 색상 모션 그래픽 - https://www.pexels.com/@colors-motion-graphics-183847699 - 터널 모션 - https://www.pexels.com/@tunnelmotions - StefWithAnF - https://www.pexels.com/@stefwithanf-1955763 - Ron Lach - https://www.pexels.com/@ron-lach - Engin Akyrt - https://www.pexels.com/@enginakyrt - fauxels - https://www.pexels.com/@fauxels - Bedrijfsfilmspecialist.nl - https://www.pexels.com/@bedrijfsfilmspecialist-nl-1284006 - Yaroslav Shuraev - https://www.pexels.com/@yaroslav-shuraev - Nino Souza - https://www.pexels.com/@ninosouza - Tiger Lily - https://www.pexels.com/@tiger-lily - Max Fischer - https://www.pexels.com/@max-fischer - Pachon in Motion - https://www.pexels.com/@pachon-in-motion-426015731 - Silviu Din - https://www.pexels.com/@silviu-din-1620549 - Dan Cristian Pădureč - https://www.pexels.com/@paduret - Oleg Gamulinskii - https://www.pexels.com/@oleg-gamulinskii-755060 - Colin Jones - https://www.pexels.com/@larchmedia - Anthony 🙂 - https://www.pexels.com/@inspiredimages - Glenn Langhorst - https://www.pexels.com/@glenn-langhorst-120487 - Kelly - https://www.pexels.com/@kelly - Caleb Oquendo - https://www.pexels.com/@caleboquendo - 미친 동작 - https://www.pexels.com/@crazy-motions-80195021 - @svetjekolem - https://www.pexels.com/@svetjekolem - Pixabay - https://www.pexels.com/@pixabay - Mikhail Nilov - https://www.pexels.com/@mikhail-nilov - Claudiu Ciobanu - https://www.pexels.com/@claudiuciobanu - Tom Fisk - https://www.pexels.com/@tomfisk - Anete Lusina - https://www.pexels.com/@anete-lusina - Pavel Danilyuk - https://www.pexels.com/@pavel-danilyuk - Tima Miroshnichenko - https://www.pexels.com/@tima-miroshnichenko - Danil Shostak - https://www.pexels.com/@danil-shostak-1324124 -cottonbro studio - https://www.pexels.com/@cottonbro - Thirdman - https://www.pexels.com/@thirdman - Adis Resic - https://www.pexels.com/@adis-resic-297996969 - Charlie Mounsey - https://www.pexels.com/@charlie-mounsey-1653902
