スパースオートエンコーダは概念多様体をキャプチャしますか? (2026年4月)

タイトル: スパース オートエンコーダは概念多様体をキャプチャしますか? (2026 年 4 月) リンク: http://arxiv.org/abs/2604.28119v1 日付: 2026 年 4 月 概要: この論文では、スパース オートエンコーダー (SAE) が従来の線形表現仮説を超えて、ニューラル ネットワーク表現の概念多様体を効果的にキャプチャできるかどうかを調査します。これは、SAE が部分空間回復を通じてグローバルに、またはタイリングを通じてローカルに多様体を捕捉することを示す理論的枠組みを開発します。著者らは、現在の SAE が断片化された「希釈」領域をもたらすことが多いことを発見し、イジングモデルを使用してこれらの多様体を表す原子グループを特定する新しい教師なし発見方法を提案しています。主要トピック: - スパースオートエンコーダ - 概念多様体 - 解釈可能性 - 線形表現仮説 - イジングモデル - 多様体学習 - 表現学習 章: 00:00 - イントロ: マップのアナロジー 01:00 - 線形表現仮説の説明 02:37 - ニューラルネットワークジオメトリの探索 03:55 - ラマ 3 アクティベーションの分析05:08 - ステアリングとバイアスのテスト 06:55 - ローカル ユーティリティとグローバル ユーティリティ 08:08 - キャプチャとタイリングの比較 10:13 - 合成多様体のテスト 11:27 - 希釈レジームの失敗の特定 13:13 - 再構成誤差メトリックの誤りを暴く 14:15 - イジング物理モデルの借用 15:52 -認識論的不確実性のマッピング 17:37 - より良い解釈ツールの構築 19:22 - エイリアンマシンの認知の合成 ストックビデオクレジット: - Pressmaster - https://www.pexels.com/@pressmaster - Google DeepMind - https://www.pexels.com/@googledeepmind - olia danilevich - https://www.pexels.com/@olia-danilevich -ホセ・アルフレド・ムンギア・リラ - https://www.pexels.com/@rectorretro - Soumya - https://www.pexels.com/@soumya-1446957 - Trippy Lagoon - https://www.pexels.com/@trippy-lagoon-511515544 - カラーモーショングラフィックス - https://www.pexels.com/@colors-motion-graphics-183847699 - トンネル モーション - https://www.pexels.com/@tunnelmotions - StefWithAnF - https://www.pexels.com/@stefwithanf-1955763 - ロン・ラック - https://www.pexels.com/@ron-lach - エンジン・アキュルト - https://www.pexels.com/@enginakyrt - fauxels - https://www.pexels.com/@fauxels - Bedrijfsfilmspecialist.nl - https://www.pexels.com/@bedrijfsfilmspecialist-nl-1284006 - ヤロスラフ・シュラエフ - https://www.pexels.com/@yaroslav-shuraev - ニノ・ソウザ - https://www.pexels.com/@ninosouza - Tiger Lily - https://www.pexels.com/@tiger-lily - Max Fischer - https://www.pexels.com/@max-fischer - Pachon in Motion - https://www.pexels.com/@pachon-in-motion-426015731 - Silviu Din - https://www.pexels.com/@silviu-din-1620549 - ダン クリスティアン パドゥレシュ - https://www.pexels.com/@paduret - オレグ ガムリンスキー - https://www.pexels.com/@oleg-gamulinskii-755060 - コリン ジョーンズ - https://www.pexels.com/@larchmedia - アンソニー 🙂 - https://www.pexels.com/@inspiredimages - グレン ラングホースト - https://www.pexels.com/@glenn-langhorst-120487 - ケリー - https://www.pexels.com/@kelly - カレブ オケンド - https://www.pexels.com/@caleboquendo - クレイジー モーション - https://www.pexels.com/@crazy-motions-80195021 - @svetjekolem - https://www.pexels.com/@svetjekolem - Pixabay - https://www.pexels.com/@pixabay - ミハイル ニロフ - https://www.pexels.com/@mikhail-nilov - クラウディウ チョバヌ - https://www.pexels.com/@claudiuciobanu - トム・フィスク - https://www.pexels.com/@tomfisk - アネテ・ルシナ - https://www.pexels.com/@anete-lusina - パベル・ダニリュク - https://www.pexels.com/@pavel-danilyuk - ティマ・ミロシュニチェンコ - https://www.pexels.com/@tima-miroshnichenko - Danil Shostak - https://www.pexels.com/@danil-shostak-1324124 - Cottonbro スタジオ - https://www.pexels.com/@cottonbro - Thirdman - https://www.pexels.com/@thirdman - Adis Resic - https://www.pexels.com/@adis-resic-297996969 - チャーリー・マウンジー - https://www.pexels.com/@charlie-mounsey-1653902