オースティンディープラーニング - 6 月のミートアップ

詳細 理性へのワンパス + 幻覚の (超球面) ダイナミクス | 2 つの 30 分間トークの詳細 これはジャーナル クラブ イベントになります 2 つのトーク: 理性へのワンパス: マルチターン推論の効率的な微調整のためのトークン複製とブロック スパース マスク (NeurIPS 2025 ワークショップ) 論文へのリンク 幻覚の (超球状) 幾何学とダイナミクス。論文に基づく：「LLM における幻覚の幾何学的分類法」、Marin 2026 https://arxiv.org/pdf/2602.13224v3 「トランスフォーマーが誤った答えを拒否する方法: 事実制約処理の回転ダイナミクス」、Marin 2026 https://arxiv.org/abs/2603.13259 「概念としてのテキスト コーパス」分野: ブラックボックス幻覚とノベルティ測定」、Kersting et al. 2026 https://arxiv.org/pdf/2605.05103" 講演者 Ritesh Goru、DevRev 技術スタッフのメンバー、Prateek Jain、DevRev の機械学習エンジニア Connor Favreau 博士、Central Health の主席データサイエンティスト 要約 1. マルチターン推論データセットの大規模言語モデル (LLM) の微調整には N (ターン数) の個別のフォワード パスが必要あるターンの推論トークンは後続のターンで破棄されるため、会話ごとに応答トークンを複製して、会話全体のシングルパス処理を可能にすることを提案します。私たちのアプローチは、変換ベースのモデルでの時間の複雑さを軽減し、同じメモリの複雑さを維持しながら、トレーニングの大幅な高速化を実現します。ただし、これらの方法は絶対確実ではなく、多くの場合、意味論的な正確さの決定論的または直接測定可能な概念が欠けているため、追加の検証層が必要になりますが、代わりに、モデル自体の隠れた表現または別の埋め込みモデルから得られる、埋め込み空間の特定の幾何学的または動的特性に基づいて幻覚を測定するクラスが増えています。超球面幾何学、セマンティック領域性、軌跡ベースの手法、および大規模な言語モデルにおける幻覚を理解して検出するための新しい物理学にインスピレーションを得た動的手法を含む、これらの埋め込みベースのアプローチを調査します。 情報 オースティン ディープ ラーニング ジャーナル クラブは、通常、毎月第 1 火曜日に集まり、研究出版物の基礎を築いたり、新しい有望なアイデアを検討したりするものです。参加者は、出版物を読んで議論に貢献し、他の専門家からフィードバックを得る絶好の機会でもあります。ステーション オースティンは、テキサス州の最高の起業家を集め、彼らを最初の投資家、メンター、顧客と結びつけます。メンバーシップについては、ここをクリックしてください。