AI를 위한 수학 02 공정한 동전은 왜 1비트의 정보를 제공하는 반면, 확률이 동일한 8개의 카드 중 하나는 3개의 정보를 제공하는 이유는 무엇입니까? 선택, 이진 트리 및 로그를 따라가면 확률이 정보의 척도가 되는 방식을 확인할 수 있습니다. AI를 위한 수학의 에피소드 2에서 Emma, Aoi, Norm은 자기 정보(놀라움), 단위가 2진수를 사용하는 이유, 로그를 통해 연속 단계의 정보를 합산하는 이유를 설명합니다. 그런 다음 작은 언어 모델 예제를 사용하여 훈련 중에 관찰된 토큰의 점수를 생성하는 동안 다음 토큰을 선택하는 것과 구별합니다. 00:00 놀라움을 위한 척도 00:57 균형잡힌 하나의 선택, 하나의 비트 01:59 왜 로그인가? 05:28 모델의 중요성 06:21 AI 예측 점수 매기기 09:21 하나의 결과, 그 다음에는 평균 중심 정의는 비트 단위로 측정되는 I = −log2(p)입니다. 여기서 놀라움은 특정 확률 모델에 따른 수학적 양이지 감정, 중요성 또는 진실을 측정하는 것이 아닙니다. 언어 모델 확률은 예시적인 예일 뿐 특정 AI 시스템을 측정한 것이 아닙니다. 시리즈: AI를 위한 수학 01 — 베이즈 규칙: 신념 업데이트 02 — 정보, 놀라움 및 비트(이번 에피소드) 03 — 엔트로피: 불확실성 측정(다음) 04 — 교차 엔트로피 및 예측 손실 05 — 확률 보정 06 — 경사 하강 및 학습 미래 주제와 순서는 잠정적입니다. 참고 자료 및 추가 자료: Claude E. Shannon, 의사소통의 수학적 이론(1948): https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x Stanford EE276, 정보 이론 강의 노트: https://web.stanford.edu/class/ee276/files/previous_notes/lecture_2.pdf 포옹 얼굴 트랜스포머, Perplexity: https://huggingface.co/docs/transformers/perplexity 포옹 페이스 트랜스포머, 세대 전략: https://huggingface.co/docs/transformers/ Generation_strategies 원본 다이어그램 및 애니메이션: Curiosity, Clearly. 허구의 일러스트 발표자와 합성 캐릭터 음성. 설명이 도움이 되셨다면 영상 좋아요와 구독 부탁드립니다. 어떤 일상적인 예측을 비트 단위로 측정하시겠습니까? 댓글로 알려주세요. #정보이론 #AI를 위한 수학 #비트 시리즈 재생목록: https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY 이전 에피소드: https://youtu.be/kS9gsyHW0yk
