bitcoin
bitcoin

$64702.434704 USD

0.16%

ethereum
ethereum

$1814.872353 USD

-0.75%

tether
tether

$0.998909 USD

-0.02%

bnb
bnb

$592.426041 USD

-0.03%

usd-coin
usd-coin

$0.999890 USD

0.01%

xrp
xrp

$0.991637 USD

3.32%

solana
solana

$75.072867 USD

3.15%

tron
tron

$0.309677 USD

1.12%

hyperliquid
hyperliquid

$68.997207 USD

-0.94%

zcash
zcash

$954.829619 USD

3.54%

monero
monero

$505.913251 USD

1.66%

dogecoin
dogecoin

$0.059515 USD

1.02%

unus-sed-leo
unus-sed-leo

$9.291045 USD

-0.21%

chainlink
chainlink

$9.270670 USD

1.14%

cardano
cardano

$0.154129 USD

0.59%

암호화폐 뉴스 비디오

딥 러닝 학습 #25: 위치 인코딩: 주의가 어디에 있는지 알려야 하는 이유

2026/11/19 01:00 QED Realized

에피소드 23에서는 관심을 끌고 순열 등변성임을 입증했습니다. 즉, 입력 행을 섞고 출력 행을 같은 방식으로 섞고 다른 것은 변경되지 않습니다. "the cat sat"과 "sat the cat"은 동일한 벡터 가방이 되기 때문에 이는 집합의 특징이고 문장의 재앙입니다. 이 에피소드는 4토큰, 4차원 장난감에서 숫자의 실패를 보여주는 것으로 시작됩니다. 순열 입력에 대한 주의 출력은 마지막 소수점까지 정확히 순열 출력입니다. 그런 다음 위치 코드가 수행해야 하는 작업을 설명하고 필드가 응답한 세 가지 방식을 통해 작동합니다. 입력에 추가된 학습된 테이블(2018), 2017년 정현파 코드, ALiBi 및 학습된 상대적 편향을 함께 사용하는 회전식 임베딩(2021)입니다. 정현파 코드가 완벽하게 처리됩니다. 위치 0에서 7에 대한 d = 8 테이블이 계산되어 표시되고, 2pi에서 약 10,000 x 2pi까지의 파장의 기하학적 확산이 연속된 이진 카운터로 설명되고 사인과 코사인을 정당화하는 정리가 도출됩니다. 각 주파수 쌍에 대해 앞으로 이동하는 k 위치는 k에만 의존하는 고정 2x2 회전이므로 상대 오프셋은 선형적으로 복구 가능하며 두 코드의 내적은 다음에만 의존합니다. 그들의 이별. 로터리 임베딩은 동일한 아이디어가 주의 점수에 직접적으로 적용되는 복잡한 평면에서 파생됩니다. 장난감은 위치 코드와 함께 다시 실행되며 순열된 출력은 더 이상 순열된 복사본이 아닙니다. 마지막 슬라이드에서는 길이 일반화의 정직한 상태를 포함하여 정리와 경험적 비교를 구분합니다. 📚 계속: → '압축으로서의 오토인코더와 병목 현상' — 다음 아키텍처는 전혀 시퀀스에 관한 것이 아닙니다. 좁은 중간을 통과하는 네트워크와 좁음이 학습하게 만드는 것입니다. 🎓 최적의 대상: 딥 러닝 프레임워크를 사용해 본 적이 있고 실제로 컴퓨팅이 무엇인지 알고 싶은 프로그래머, 과학자, 수학자, 그리고 도구를 사용하기 전에 이론을 원하는 학생. 벡터, 행렬, 단일변수 미적분학에 익숙하다고 가정합니다. 확률, 행렬 계산 및 최적화가 처음부터 여기에 구축되었습니다. — QED 실현 — 실제 강의를 통해 실현되는 아이디어에 대한 명확한 설명. 🔔 다음 강좌를 놓치지 않도록 구독하세요: https://www.youtube.com/@QEDRealized ❤️ Patreon에서 저를 지원해주세요: https://www.patreon.com/QEDRealized 이 강좌는 무료이며 계속 무료로 제공됩니다. Patreon은 여러분이 저를 직접 지원하고 더 많은 자금을 지원할 수 있는 방법입니다. 모든 서약이 정규직 근무에 더 가까워집니다. #DeepLearning #NeuralNetworks #MachineLearning #Transformers #MachineLearningMath — 태그(검색용) — 위치 인코딩 설명, 변환기에 위치 인코딩이 필요한 이유, 주의 순열 등분산 증명, 정현파 위치 인코딩 파생, 사인 cos 위치 인코딩 회전 행렬 속성, 위치 인코딩 내적은 오프셋에 따라 다름, 기하학적 파장 2pi ~ 10000 2pi, 이진 카운터 비유 위치 인코딩, 학습된 절대 위치 임베딩은 외삽할 수 없음, 회전 위치 임베딩 로프 파생 복소수, 로프 상대 위치 속성, 알리바이 선형 편향 주의, 오프셋당 상대 위치 편향, 길이 일반화 변환기 경험적, 위치 인코딩이 있거나 없는 4개의 토큰 주의 장난감, 변환기 위치 인코딩 기록 2017 2018 2021, 딥 러닝 과정 에피소드 25, 위치 인코딩 수학 파생 ⏱ 0:00 오늘 구축하는 것 1:08 정리 23회에서 다시 언급한 2:34 4개의 토큰, 모든 숫자 3:57 4개의 요구 사항과 이에 실패한 3개의 후보 5:11 가장 간단한 주입과 그 한계 6:24 정의와 모든 숫자 7:48 주파수가 기하학적 사다리인 이유 8:59 사인과 코사인이 파생되는 이유 10:39 오프셋 전용 내적, 파생되고 플로팅됨 11:58 동일한 4개의 토큰, 이제 위치 포함 13:26 점수 자체에 회전 넣기 15:08 오프셋으로 점수 바이어스 16:21 인식적 상태, 그리고 다섯 개의 날짜 18:00 요약 19:18 시청해주셔서 감사합니다
비디오 소스:Youtube

부인 성명:info@kdj.com

제공된 정보는 거래 조언이 아닙니다. kdj.com은 이 기사에 제공된 정보를 기반으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 암호화폐는 변동성이 매우 높으므로 철저한 조사 후 신중하게 투자하는 것이 좋습니다!

본 웹사이트에 사용된 내용이 귀하의 저작권을 침해한다고 판단되는 경우, 즉시 당사(info@kdj.com)로 연락주시면 즉시 삭제하도록 하겠습니다.

2026年11月19日 에 게시된 다른 동영상