Austin Deep Learning - Meetup de juin

Détails Un seul passage à la raison + La dynamique (hypersphérique) des hallucinations | Détails de deux conférences de 30 minutes Il s'agira d'un événement de club de lecture Deux conférences : Un passage à la raison : duplication de jetons et masque fragmenté en blocs pour un réglage fin efficace du raisonnement à plusieurs tours (atelier NeurIPS 2025) Lien vers l'article La géométrie (hypersphérique) et la dynamique des hallucinations. Basé sur des articles : « Une taxonomie géométrique de l'hallucination dans les LLM », Marin 2026 https://arxiv.org/pdf/2602.13224v3 « Comment les transformateurs rejettent les mauvaises réponses : dynamique de rotation du traitement des contraintes factuelles », Marin 2026 https://arxiv.org/abs/2603.13259 « Corporas de texte en tant que champs conceptuels : hallucination en boîte noire et mesure de la nouveauté », Kersting et al. 2026 https://arxiv.org/pdf/2605.05103" Intervenants Ritesh Goru, membre du personnel technique de DevRev ; Prateek Jain, ingénieur en apprentissage automatique chez DevRev Connor Favreau, PhD, scientifique principal des données à Central Health Résumé 1. Le réglage fin des grands modèles linguistiques (LLM) sur des ensembles de données de raisonnement multi-tours nécessite N (nombre de tours) passes avant séparées par conversation en raison des contraintes de visibilité des jetons de raisonnement, car les jetons de raisonnement pour un tour sont supprimés dans les tours suivants. Nous proposons la duplication des jetons de réponse ainsi qu'un masque d'attention personnalisé pour permettre le traitement en un seul passage de conversations entières. Nous prouvons que notre méthode produit des pertes identiques à l'approche N-pass tout en réduisant la complexité temporelle de à et en conservant la même complexité de mémoire pour un modèle basé sur un transformateur. infaillibles, nécessitant souvent des couches de validation supplémentaires tout en manquant de notions déterministes ou directement mesurables d'exactitude sémantique. Elles peuvent également introduire une surcharge informatique et architecturale importante. Une classe croissante de techniques de détection d'hallucinations fonde plutôt la mesure des hallucinations sur des propriétés géométriques ou dynamiques spécifiques de l'espace d'intégration, dérivées soit des représentations cachées du modèle lui-même, soit de modèles d'intégration distincts. Cette présentation examine ces approches basées sur l'intégration, y compris la géométrie hypersphérique, la régionalité sémantique et la trajectoire. méthodes et techniques dynamiques émergentes inspirées de la physique pour comprendre et détecter les hallucinations dans les grands modèles de langage. Info Austin Deep Learning Journal Club est un groupe composé de praticiens et de chercheurs engagés en apprentissage automatique. Le groupe se réunit généralement tous les premiers mardis de chaque mois pour discuter des publications de recherche. Les publications sont généralement celles qui ont jeté les bases du ML/DL ou explorent de nouvelles idées prometteuses et sont sélectionnées par un vote. d'autres experts. Merci à Station Austin d'avoir parrainé Austin Deep Learning. Station Austin est le centre de gravité des entrepreneurs du Texas et les met en contact avec leurs premiers investisseurs, employés, mentors et clients.