세부 사항 이성으로의 원패스 + 환각의 (초구형) 역학 | 두 번의 30분 강연 세부 사항 이것은 저널 클럽 이벤트입니다. 두 번의 강연: 추론에 대한 원패스: 다회전 추론의 효율적인 미세 조정을 위한 토큰 복제 및 블록 희소 마스크(NeurIPS 2025 워크숍) 종이 링크 (초구형) 기하학과 환각의 역학. 논문 기반: "LLM의 환각에 대한 기하학적 분류", Marin 2026 https://arxiv.org/pdf/2602.13224v3 "변환기가 잘못된 답변을 거부하는 방법: 사실 제약 처리의 회전 역학", Marin 2026 https://arxiv.org/abs/2603.13259 "개념 필드로서의 텍스트 말뭉치: 블랙박스 환각과 참신함 측정”, Kersting et al. 2026 https://arxiv.org/pdf/2605.05103" 연사 Ritesh Goru, DevRev의 기술 직원, Prateek Jain, DevRev의 기계 학습 엔지니어 Connor Favreau, PhD, Central Health의 수석 데이터 과학자 요약 1. 다중 회전 추론 데이터 세트에서 LLM(대형 언어 모델)을 미세 조정하려면 추론 토큰 가시성으로 인해 대화당 N(회전 수)의 별도 전달 패스가 필요합니다. 우리는 우리의 방법이 N-pass 접근 방식과 동일한 손실을 생성하는 동시에 변환기 기반 모델에 대해 동일한 메모리 복잡성을 유지하면서 정확도를 유지하면서 상당한 훈련 속도를 달성한다는 것을 증명했습니다. 2. RAG 및 LLM-as-Judge 시스템은 환각 완화에 사용되는 가장 일반적인 접근 방식 중 하나입니다. 그러나 이러한 방법은 완벽하지 않으며 의미론적 정확성에 대한 결정론적 또는 직접 측정 가능한 개념이 부족하면서 추가 검증 레이어가 필요할 수도 있습니다. 또한 점점 더 많은 종류의 환각 감지 기술이 모델 자체의 숨겨진 표현이나 별도의 임베딩 모델에서 파생된 임베딩 공간의 특정 기하학적 또는 동적 속성을 기반으로 합니다. 대규모 언어 모델에서 환각을 이해하고 감지하기 위한 지역성, 궤적 기반 방법 및 새로운 물리학에서 영감을 받은 역학 기술 정보 Austin Deep Learning Journal Club은 헌신적인 기계 학습 실무자와 연구자 모두를 위한 그룹입니다. 이 그룹은 일반적으로 ML/DL의 토대를 마련하거나 새로운 유망한 아이디어를 탐구하는 출판물을 논의하기 위해 정기적으로 모임을 갖고 있으며, 참가자는 토론에 기여하고 다른 사람으로부터 배울 수 있도록 출판물을 읽을 것으로 예상됩니다. 또한 다른 전문가로부터 피드백을 받을 수 있는 좋은 기회입니다. 후원자: Austin Deep Learning을 후원해 주신 Station Austin에 감사드립니다. Station Austin은 텍사스 주 최고의 기업가들을 모아 첫 번째 투자자, 직원, 멘토 및 고객과 연결하는 곳입니다.
