AIのための数学 02 |情報がビット単位で測定される理由

AI のための数学 02 なぜ公正なコインからは 1 ビットの情報が得られるのに、同じ確率のカード 8 枚のうち 1 枚からは 3 ビットの情報が得られるのですか?選択肢、二分木、対数に従って、確率がどのように情報の尺度になるのかを確認してください。 AI のための数学のエピソード 2 では、エマ、アオイ、ノームが自己情報 (驚き)、単位が底 2 を使用する理由、および対数によって連続するステップからの情報が加算される理由について説明します。次に、小さな言語モデルの例を使用して、トレーニング中の観察されたトークンのスコアリングと、生成中の次のトークンの選択を区別します。 00:00 驚きの尺度 00:57 バランスのとれた 1 つの選択肢、1 つのビット 01:59 なぜ対数なのでしょうか? 05:28 モデルは重要です 06:21 AI 予測のスコアリング 09:21 1 つの結果、その後は平均 中心的な定義は I = −log₂(p) で、ビット単位で測定されます。ここで、驚きとは、特定の確率モデルに基づく数学的量であり、感情、重要性、真実の尺度ではありません。言語モデルの確率は説明のための例であり、特定の AI システムの測定値ではありません。シリーズ: AI のための数学 01 — ベイズの法則: 信念の更新 02 — 情報、驚き、ビット (今回のエピソード) 03 — エントロピー: 不確実性の測定 (次回) 04 — クロスエントロピーと予測損失 05 — 確率の校正 06 — 勾配降下と学習 今後のトピックと順序は暫定的なものです。参考文献と詳細な資料: Claude E. Shannon、コミュニケーションの数学理論 (1948): https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x スタンフォード EE276、情報理論講義ノート: https://web.stanford.edu/class/ee276/files/previous_notes/lecture_2.pdf ハグ顔トランスフォーマー、Perplexity: https://huggingface.co/docs/transformers/perplexity ハグ顔トランスフォーマー、生成戦略: https://huggingface.co/docs/transformers/generation_strategies 元の図とアニメーション: Curiosity、Clearly。架空のイラスト付きプレゼンターと合成キャラクターの音声。説明が役に立った場合は、ビデオに「いいね」を押してチャンネル登録してください。毎日のどのような予測をビット単位で測定しますか?コメントで教えてください。 #情報理論 #AI のための数学 #ビット シリーズ再生リスト: https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY 前のエピソード: https://youtu.be/kS9gsyHW0yk