bitcoin
bitcoin

$61605.656648 USD

-3.04%

ethereum
ethereum

$1741.712974 USD

-3.34%

tether
tether

$0.999452 USD

0.06%

bnb
bnb

$569.840001 USD

-3.10%

usd-coin
usd-coin

$1.000291 USD

0.05%

xrp
xrp

$0.962638 USD

-1.69%

solana
solana

$72.392737 USD

-3.10%

tron
tron

$0.309467 USD

-1.00%

hyperliquid
hyperliquid

$65.780663 USD

-3.44%

zcash
zcash

$850.819478 USD

-9.16%

monero
monero

$479.362672 USD

-4.57%

dogecoin
dogecoin

$0.057347 USD

-3.31%

unus-sed-leo
unus-sed-leo

$9.228306 USD

-1.21%

chainlink
chainlink

$8.839656 USD

-3.37%

cardano
cardano

$0.149404 USD

-2.68%

암호화폐 뉴스 비디오

엔그램: LLM 내부의 DeepSeek의 n-gram 조회 메모리

2026/11/02 00:22 DATUREX GmbH

DeepSeek의 엔그램은 계산을 통해 다시 파생되는 대신 조회를 통해 읽을 수 있는 짧은 토큰 시퀀스 테이블을 변환기에 제공합니다. 비디오는 토큰을 정규화하고, N-그램을 테이블로 해시하고, 결과를 숨겨진 상태로 게이트하는 등 전통적인 n-그램 수를 기반으로 이를 구축합니다. 그런 다음 전문가와 메모리 사이에 보고된 절충안, 테이블이 CPU 메모리에 있을 수 있는 이유, 아직 공개되지 않은 사항을 다룹니다. 결과는 지금까지 27B에서 외부 반복이 없는 기본 모델에서 모델당 한 번 실행한 DeepSeek의 자체 결과입니다. 00:00 레이어 대신 조회 00:26 다음에 올 내용 계산 01:02 변환기가 수행하는 작업 01:26 1단계: 정규화 01:52 2단계: 테이블에 해시 02:34 3단계: 게이트 및 추가 03:09 두 가지 희소성 03:54 DeepSeek에서 270억으로 보고하는 것 04:22 테이블이 GPU를 사용해도 살아갈 수 있는 이유 04:53 우리가 아는 것과 모르는 것 05:29 요약 비디오 N-gram의 숫자는 숫자로 계산됩니다(Berkeley Restaurant Project corpus; Jurafsky & Martin, Fig. 3.1-3.2, Eq. 3.11): "to" 다음에 "want"가 608번 나옵니다. 따라서 P(to | want) = 608 / 927 = 0.66입니다. 셰익스피어, V = 29,066: 약 8억 4,400만 개의 바이그램이 가능하며, 대부분은 결코 발생하지 않습니다(SLP3 섹션 3.5). 레이어 사다리(Ghandeharioun et al. 2024의 그림, Engram 논문에 재현됨, 표 3): "Diana, Princess of Wales"의 경우 초기 레이어는 영국의 국가, 레이어 4는 제목, 레이어 6은 사람을 읽습니다. 엔그램 측정이 아닙니다. 정규화: 대소문자 또는 유니코드 형식만 다른 토큰 ID를 하나의 ID로 매핑하면 DeepSeek의 128k 토크나이저의 유효 어휘가 23% 줄어듭니다(엔그램 문서 섹션 2.2, 부록 C). 표시된 ID는 장난감 ID입니다. 해시 및 게이트 예에서는 실제 토크나이저 값이 아닌 TOY 숫자를 사용합니다(해시: 배타적 논리합과 결합된 2개의 승수, 테이블 크기 11 및 13, 게이트: d = 4). 여러 해시 헤드가 모든 테이블에서 충돌을 일으킬 가능성은 거의 없습니다. 게이트 공식은 Engram 논문 섹션 2.3, Eq.에서 따왔습니다. (3)-(5). 할당 스윕(DeepSeek의 자체 사전 훈련은 약 5.7B 및 9.9B 총 매개변수, 고정 희소성의 두 가지 크기로 실행됨): 6e20 FLOP 예산에서 검증 손실은 전문가의 모든 예비 매개변수에서 1.7248이고 거의 80% 전문가의 경우 1.7109입니다. 가장 좋은 조합은 엔그램에게 예비 예산의 20~25%를 제공했습니다. 전문가가 약 40%로 줄인 경우 모델은 모든 전문가 기준과만 일치했습니다. 표시된 지점 사이의 곡선은 도식적인 모양이며 그림에서 읽은 값이 아닙니다(엔그램 종이 섹션 3.1, 그림 3). 27B 비교(DeepSeek의 자체 결과, 사전 훈련된 기본 모델, 모델당 하나의 보고된 실행, 저자가 평가, 단일 규모): MoE-27B 대 Engram-27B, 둘 다 총 26.7B 및 3.8B 활성 매개변수, 262B 토큰에 대해 훈련됨 72명의 전문가 대 55명의 전문가와 57억 개의 엔그램 메모리 매개변수. MMLU 57.4~60.4, BBH 50.9~55.9, HumanEval 37.8~40.8; Engram-27B는 표 1의 27개 벤치마크 모두에서 더 높습니다. 요약에는 MMLU +3.4라고 나와 있습니다. 비디오가 사용하는 테이블에는 +3.0이 표시되어 있습니다. 오프로드: 호스트 메모리에 완전히 보관된 100B 매개변수 엔그램 테이블의 처리량은 8B 밀도 모델에서 2.8%(초당 6,315.52~6,140.02 토큰, 4B 밀도 모델에서 1.9%)입니다. NVIDIA H800, 단일 워크로드, 밀도가 높은 백본만 가능하며 MoE 백본이나 Engram-27B 자체로 측정되지 않습니다(Engram 문서 섹션 6.4, 표 4). 외부 확인, 훨씬 작은 규모(Memory Grafting preprint, Tsinghua University 및 Microsoft Research Asia, 유사한 MoE에 대한 9개 벤치마크 평균): 훈련 가능한 매개변수 2.8B, MoE의 경우 51.95 vs Engram의 경우 52.43, +0.48; 0.92B, 45.62 대 45.03, -0.59이며 해당 하락은 한 번의 테스트(BoolQ)에서 발생합니다. DeepSeek과 다른 데이터, 벤치마크 및 규모 DeepSeek의 숫자를 테스트하지 않습니다. 2026년 10월 31일 현재 27B 결과의 외부 반복은 발견되지 않았습니다. DeepSeek의 향후 사용: DeepSeek-V4.1-Flash 모델 카드에는 196B 매개변수의 엔그램 조건부 메모리가 나열되어 있습니다. 그것은 외부 증거가 아닌 DeepSeek의 선택입니다. 각 결과는 해당 소스에 명명된 모델 및 설정에 적용됩니다. 출처 Cheng et al. (Peking University, DeepSeek-AI): 확장 가능한 조회를 통한 조건부 메모리: 대규모 언어 모델을 위한 새로운 희소성 축(2026): https://arxiv.org/abs/2601.07372 deepseek-ai/Engram, 공식 저장소: https://github.com/deepseek-ai/Engram Jurafsky & Martin: 음성 및 언어 처리, 3판. 초안, 3장 "N-gram 언어 모델": https://web.stanford.edu/~jurafsky/slp3/3.pdf Svenstrup, Hansen, Winther: 효율적인 단어 표현을 위한 해시 임베딩(2017): https://arxiv.org/abs/1709.03933 Shazeer 외: 엄청나게 큰 신경망: 희소하게 문이 지정된 전문가 혼합 계층(2017): https://arxiv.org/abs/1701.06538 Cheng et al. (Tsinghua University, Microsoft Research Asia): 메모리 접목(인쇄 전, 2026): https://arxiv.org/abs/2605.20948 DeepSeek-V4.1-Flash 모델 카드: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash LLM 내부 시리즈의 일부입니다. Deutsche Fassung: 〈업로드 후 링크〉 대본, 나레이션, 음악은 AI로 생성되었으며 인용된 소스와 비교하여 확인되었습니다. 음악: Stable Audio 3 – Stability AI 기반.
비디오 소스:Youtube

부인 성명:info@kdj.com

제공된 정보는 거래 조언이 아닙니다. kdj.com은 이 기사에 제공된 정보를 기반으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 암호화폐는 변동성이 매우 높으므로 철저한 조사 후 신중하게 투자하는 것이 좋습니다!

본 웹사이트에 사용된 내용이 귀하의 저작권을 침해한다고 판단되는 경우, 즉시 당사(info@kdj.com)로 연락주시면 즉시 삭제하도록 하겠습니다.

2026年11月20日 에 게시된 다른 동영상