実験的なニューラル スケーリングの法則が大規模な機械学習の経験的な進歩を実質的に導いてきたという事実にもかかわらず、自然言語でトレーニングされた現代の LLM について、これらの重要な法則の指数を定量的に予測できる既存の理論はありません。他の目的を持ったトレーニングで彼らを倒すことができるかどうかも不明です。 Matthieu Wyart は、データに制限されたスケーリング則の場合の最初の理論を含め、この現象の研究における共同研究の取り組みをレビューします。次に、ワイアート氏は、隠れた階層 (言語学とコンピューター ビジョンの両方における中心的な概念) を表示する合成言語を紹介し、これらの言語が浅いネットではなく深いネットによってどのように学習されるかを説明します。これらの合成言語のスケーリング則は、トークン レベルでトレーニングされた場合の自然言語と同じ原理に従いますが、これらの言語は、抽象空間で予測するマシンによってはるかに効率的に学習できます。これは、共同埋め込み予測アーキテクチャ (JEPA) や、自身の潜在力から学習する他のマシンの成功を正当化します。詳細については、https://www.simonsfoundation.org/events/simons-collaboration-on-the-physics-of-learning-and-neural-computation-annual-meeting-2026/をご覧ください。
免責事項:info@kdj.com
提供される情報は取引に関するアドバイスではありません。 kdj.com は、この記事で提供される情報に基づいて行われた投資に対して一切の責任を負いません。暗号通貨は変動性が高いため、十分な調査を行った上で慎重に投資することを強くお勧めします。
このウェブサイトで使用されているコンテンツが著作権を侵害していると思われる場合は、直ちに当社 (info@kdj.com) までご連絡ください。速やかに削除させていただきます。
2026年11月16日 他の動画も公開されています