bitcoin
bitcoin

$64636.305903 USD

0.04%

ethereum
ethereum

$1812.150377 USD

-0.96%

tether
tether

$0.998950 USD

-0.02%

bnb
bnb

$592.153140 USD

-0.09%

usd-coin
usd-coin

$0.999848 USD

0.00%

xrp
xrp

$0.992905 USD

3.38%

solana
solana

$75.039809 USD

2.91%

tron
tron

$0.309607 USD

1.11%

hyperliquid
hyperliquid

$68.991019 USD

-1.13%

zcash
zcash

$954.895792 USD

3.22%

monero
monero

$504.462687 USD

1.29%

dogecoin
dogecoin

$0.059508 USD

0.85%

unus-sed-leo
unus-sed-leo

$9.293331 USD

-0.18%

chainlink
chainlink

$9.264796 USD

0.88%

cardano
cardano

$0.154195 USD

0.46%

暗号通貨ニュースビデオ

ディープラーニングを学ぶ #25: 位置エンコーディング: なぜ注意がどこにあるのかを伝える必要があるのか

2026/11/19 01:00 QED Realized

エピソード 23 は注目を集め、それが順列等変であることを証明しました。入力の行と出力の行を同じ方法でシャッフルし、他には何も変わりません。これはセットにとっては特徴であり、文にとっては災難です。なぜなら、「猫が座った」と「猫が座った」は同じベクトルの袋になるからです。このエピソードは、4 つのトークン、4 次元のおもちゃの失敗を数字で示すことから始まります。並べ替えられた入力に対する注意出力は、最後の 10 進数まで正確に並べ替えられた出力となります。次に、位置コードが何をしなければならないかを示し、フィールドが答えた 3 つの方法、つまり入力に追加された学習済みテーブル (2018 年)、2017 年の正弦波コード、および ALiBi と学習済み相対バイアスを伴う回転埋め込み (2021 年) を通じて機能します。正弦波コードは完全に処理されます。位置 0 ~ 7 の d = 8 テーブルが計算されて表示され、2 パイから 2 パイの約 10,000 倍までの波長の幾何学的広がりが連続したバイナリ カウンタとして説明され、サインとコサインを正当化する定理が導出されます。周波数ペアごとに、k 個の位置を前方に移動すると、k のみに依存する固定の 2 x 2 の回転となるため、相対オフセットは線形に回復でき、次のドット積が得られます。 2 つのコードはそれらの分離のみに依存します。回転埋め込みは複素平面で導出され、同じアイデアが注目スコアに直接到達します。おもちゃは位置コードを使用して再実行され、並べ替えられた出力は並べ替えられたコピーではなくなります。最後のスライドでは、長さの一般化の正直な状態を含め、定理と経験的比較を区別します。 📚 続きは次のとおりです: → 「オートエンコーダと圧縮としてのボトルネック」 — 次のアーキテクチャはシーケンスに関するものではありません。狭い中央を強制的に通過するネットワークと、その狭さによってネットワークが何を学習するのかです。 🎓 最適な対象者: ディープ ラーニング フレームワークを使用したことがあり、それが実際に何を計算しているのかを知りたいプログラマー、科学者、数学者、およびツールの前に理論を知りたい学生。ベクトル、行列、および単一変数の微積分に慣れていると想定されます。確率、行列計算、最適化はここで最初から構築されます。 — QED Realized — 実際の講義を理解するためのアイデアをわかりやすく説明します。 🔔 次のコースを見逃さないように購読してください: https://www.youtube.com/@QEDRealized ❤️ Patreon でサポートしてください: https://www.patreon.com/QEDRealized これらのコースは無料であり、無料のままです。 Patreon は、私を直接サポートし、より多くの資金を提供する方法です。あらゆる誓約により、これがフルタイムの仕事に近づきます。 #DeepLearning #NeuralNetworks #MachineLearning #Transformers #MachineLearningMath — タグ (検索用) — 位置エンコーディングの説明、トランスフォーマーに位置エンコーディングが必要な理由、注意順列等分散証明、正弦波位置エンコーディング導出、sin cos 位置エンコーディング回転行列プロパティ、位置エンコーディング ドット積はオフセットに依存、幾何学的波長 2 pi ~ 10000 2 pi、バイナリ カウンタの類似位置エンコード、学習された絶対位置埋め込みは外挿できない、回転位置埋め込みロープ導出複素数、ロープ相対位置プロパティ、アリバイ線形バイアス アテンション、オフセットごとの相対位置バイアス、長さ一般化トランスフォーマーの経験的、位置エンコードありおよびなしの 4 つのトークン アテンション おもちゃ、トランスフォーマーの位置エンコードの歴史 2017 2018 2021、深層学習コース エピソード 25、位置エンコード数学の導出 ⏱ 章 0:00 今日構築するもの1:08 エピソード 23 の定理、言い換え 2:34 4 つのトークン、すべての数値 3:57 4 つの要件、およびそれらを満たさない 3 つの候補 5:11 最も単純な注入とその限界 6:24 定義とすべての数値 7:48 周波数が幾何学的なはしごである理由 8:59 導出されたサインとコサインの理由 10:39 導出およびプロットされたオフセットのみの内積 11:58同じ 4 つのトークン、今度は位置 13:26 スコア自体に回転を適用する 15:08 オフセットによってスコアにバイアスをかける 16:21 認識ステータスと 5 つの日付 18:00 要約 19:18 ご視聴いただきありがとうございます
ビデオソース:Youtube

免責事項:info@kdj.com

提供される情報は取引に関するアドバイスではありません。 kdj.com は、この記事で提供される情報に基づいて行われた投資に対して一切の責任を負いません。暗号通貨は変動性が高いため、十分な調査を行った上で慎重に投資することを強くお勧めします。

このウェブサイトで使用されているコンテンツが著作権を侵害していると思われる場合は、直ちに当社 (info@kdj.com) までご連絡ください。速やかに削除させていただきます。

2026年11月19日 他の動画も公開されています