Malgré le fait que les lois expérimentales d’échelle neuronale ont considérablement guidé les progrès empiriques dans l’apprentissage automatique à grande échelle, aucune théorie existante ne peut prédire quantitativement les exposants de ces lois importantes pour tout LLM moderne formé aux langues naturelles. On ne sait pas non plus s’ils peuvent être battus par un entraînement visant d’autres objectifs. Matthieu Wyart passera en revue les efforts de la collaboration pour étudier ce phénomène, y compris la première théorie de ce type dans le cas de lois d'échelle limitées en données. Wyart présentera ensuite des langages synthétiques affichant une hiérarchie cachée (une notion centrale à la fois en linguistique et en vision par ordinateur), et discutera de la manière dont ces langages sont appris par des réseaux profonds, mais pas superficiels. Les lois de mise à l'échelle dans ces langages synthétiques découlent du même principe que dans les langages naturels lorsqu'ils sont formés au niveau des jetons, mais ces langages peuvent être appris beaucoup plus efficacement par des machines prédisant dans un espace abstrait, ce qui justifie le succès des architectures prédictives à intégration conjointe (JEPA) et d'autres machines apprenant à partir de leurs propres latents. Pour plus d'informations, veuillez visiter : https://www.simonsfoundation.org/events/simons-collaboration-on-the-physics-of-learning-and-neural-computation-annual-meeting-2026/
Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!
Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.