Implémentation de Kimi K3 à partir de zéro dans PyTorch

Kimi K3 est un modèle ouvert de 2,8 billions de paramètres avec une fenêtre contextuelle de 1 million de jetons et dans cette vidéo, nous implémentons chaque idée architecturale de base derrière lui à partir de zéro dans @PyTorch. Lien papier : https://arxiv.org/abs/2607.24653 Blog : https://www.kimi.ai/blog/kimi-k3 Code Repo : https://github.com/prasoonmhwr/fromScratch/blob/main/KimiK3/kimiK3.py Pour plus de contenu comme celui-ci, abonnez-vous à ma chaîne : (https://www.youtube.com/@prasoonmahawarYT) X (Twitter) : https://www.x.com/prasoonmahawar Instagram : (https://www.instagram.com/prasoonmahawar) 👇 Donnez votre avis en commentaire ╔═╦╗╔╦╗╔═╦═╦╦╦╦╗╔═╗ ║╚╣║║║╚╣╚╣╔╣╔╣║╚╣═╣ ╠╗║╚╝║║╠╗║╚╣║║║║║═╣ ╚═╩══╩═╩═╩═╩╝╚╩═╩═╝ #ai #airesearch #python #pytorch #moonshotai #kimik3 #llm #llms 00:00 — Intro & Hook 00:05 — Aperçu de l'architecture 05:12 — Le 11 Nouvelles contributions : notre feuille de route 07:03 — Kimi Delta Attention 13:03 — Gated MLA + NoPE 16:21 — Résidus d'attention (complet + bloc) 20:10 — Aperçu du LatentMoE stable 22:27 — SiTU-GLU 24:44 — Équilibrage quantile 26:58 — Muon par tête 29:14 — Configuration du modèle 36:31 — Blocs de construction : RMSNorm, ShortConv, SiTU-GLU 49:48 — Implémentation de l'équilibrage quantile 1:01:32 — Implémentation de LatentMoE stable 1:16:36 — KDA : transfert récurrent + transfert par morceaux 1:39:04 — Implémentation du MLA contrôlé 1:40:49 — Implémentation des résidus d'attention de blocage 1:42:20 — Optimiseur de muons par tête 1:43:59 — Terminé Modèle KimiK3Block + KimiK3 1:45:31 — Récapitulatif des 11 contributions 1:47:14 — Conclusion