bitcoin
bitcoin

$64602.483777 USD

0.17%

ethereum
ethereum

$1828.427857 USD

1.11%

tether
tether

$0.999045 USD

0.00%

bnb
bnb

$592.614065 USD

0.38%

usd-coin
usd-coin

$0.999741 USD

-0.01%

xrp
xrp

$0.959759 USD

0.91%

solana
solana

$72.779464 USD

2.85%

tron
tron

$0.306254 USD

1.29%

hyperliquid
hyperliquid

$69.655101 USD

5.51%

zcash
zcash

$922.130514 USD

4.31%

monero
monero

$497.839010 USD

3.19%

dogecoin
dogecoin

$0.058918 USD

0.80%

unus-sed-leo
unus-sed-leo

$9.310662 USD

1.30%

chainlink
chainlink

$9.166951 USD

0.95%

cardano
cardano

$0.153248 USD

0.94%

암호화폐 뉴스 비디오

질문 하나를 하면 AI 칩 내부에서 무슨 일이 일어나는가

2026/11/17 12:09 Ohmhytte

최신 AI 칩은 초당 약 1000조 번의 계산을 수행할 수 있습니다. 하나의 질문을 하면 한 번에 한 단어씩 답이 나오는 반면, 연산을 수행하는 칩 부분은 대부분의 시간을 기다리며 보냅니다. 무엇을 기다리고 있나요? 우리는 칩을 통해 "하늘은 왜 파란색인가?"라는 하나의 질문을 따라갑니다. 텍스트는 토큰이 되고 정수가 됩니다. 각 숫자는 수천 개의 숫자 목록이 됩니다. 모델의 모든 레이어는 대부분 행렬 곱셈이며 타일로 자르고 칩의 텐서 코어에서 공유됩니다. 문제가 한꺼번에 읽혀집니다. 답은 한 번에 하나의 토큰만 쓸 수 있으며 모든 새 토큰에는 거의 모든 모델 가중치를 메모리에서 다시 읽어야 합니다. 즉, 80억 개의 16비트 가중치가 있는 모델의 경우 토큰당 약 15GB입니다. NVIDIA H100의 초당 3.35테라바이트에서는 약 4.5,000분의 1초가 소요되는 반면, 연산 자체는 약 1,500만분의 1이 소요됩니다. KV 캐시, 모든 이전 토큰에 대해 유지된 키 및 값을 추가하면 AI 칩이 메모리를 중심으로 구축된 이유와 데이터 센터가 많은 대화를 하나의 읽기로 일괄 처리하고 더 적은 비트로 가중치를 저장하며 여러 칩에 걸쳐 큰 모델을 분할하는 이유를 알 수 있습니다. 표시된 토큰 ID와 다음 토큰 확률은 실제입니다. 이는 이 영화에 대해 동일한 질문을 한 소규모 개방형 모델에서 나온 것입니다. H100 수치는 NVIDIA가 게시한 최고 사양입니다. 화면의 칩은 실제 칩의 레이아웃이 아니라 이 영화를 위해 그려진 일반적이고 양식화된 가속기입니다. 타이밍은 이상적인 개수(최고 속도, 오버헤드 없음)이므로 실제 시스템은 더 느립니다. 80억 중량 모델은 Meta의 Llama 3 8B 형태로 공개되었습니다. 챕터 0:00 숫자로 된 하나의 질문 1:15 숫자 목록 2:15 타일의 산술 3:34 메모리 벽 5:06 하나의 토큰, 하나의 레이어, 하나의 선택 6:31 더 많은 사람, 더 적은 비트, 더 많은 칩 8:01 한 번에 하나씩 답변 출처 - NVIDIA 기술 블로그, "NVIDIA Hopper Architecture In-Depth"(2022): https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-length/ - NVIDIA, H100 Tensor Core GPU 사양: https://www.nvidia.com/en-us/data-center/h100/ - NVIDIA 기술 블로그, "NVIDIA Ampere Architecture In-Depth"(2020): https://developer.nvidia.com/blog/nvidia-ampere-architecture-in-length/ - NVIDIA 기술 블로그, "Nvidia Triton 추론 서버 및 FasterTransformer를 사용하여 대형 변압기 모델에 대한 가속 추론": https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - NVIDIA 기술 블로그, "LLM 기법 익히기: 추론 최적화": https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA 딥 러닝 성능 가이드, "행렬 곱셈 배경": https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html - A. Vaswani 외, "주의가 전부입니다" 필요합니다", NeurIPS 2017: https://arxiv.org/abs/1706.03762 - R. Sennrich, B. Haddow, A. Birch, "하위 단어 단위를 사용하는 희귀 단어의 신경 기계 번역", ACL 2016: https://arxiv.org/abs/1508.07909 - J. Kaplan 외, "신경 언어에 대한 확장 법칙 모델"(2020): https://arxiv.org/abs/2001.08361 - R. Pope 외, "Efficiently Scaling Transformer Inference", MLSys 2023: https://arxiv.org/abs/2211.05102 - W. Kwon 외, "PagedAttention을 사용한 대규모 언어 모델 제공을 위한 효율적인 메모리 관리", SOSP 2023: https://arxiv.org/abs/2309.06180 - J. Ainslie 외, "GQA: 다중 헤드 체크포인트에서 일반화된 다중 쿼리 변환기 모델 교육", EMNLP 2023: https://arxiv.org/abs/2305.13245 - Llama 팀, AI @ Meta, "Llama 3 모델 무리" (2024): https://arxiv.org/abs/2407.21783 - T. Dettmers et al., "LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale", NeurIPS 2022: https://arxiv.org/abs/2208.07339 - E. Frantar et al., "GPTQ: Accurate Post-Training Quantization" for Generative Pre-trained Transformers", ICLR 2023: https://arxiv.org/abs/2210.17323 - J. Lin et al., "AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration", MLSys 2024: https://arxiv.org/abs/2306.00978 - SK하이닉스 뉴스룸, "SK하이닉스 업계 최초의 12레이어 HBM3 개발: https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ 음악 및 음향 효과: 이 영화를 위해 제작된 원본. 글꼴: Source Sans 3(Adobe) 및 Figtree(Erik Kennedy), SIL Open Font License 1.1. #AI #기술 #과학 #엔지니어링 #컴퓨팅
비디오 소스:Youtube

부인 성명:info@kdj.com

제공된 정보는 거래 조언이 아닙니다. kdj.com은 이 기사에 제공된 정보를 기반으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 암호화폐는 변동성이 매우 높으므로 철저한 조사 후 신중하게 투자하는 것이 좋습니다!

본 웹사이트에 사용된 내용이 귀하의 저작권을 침해한다고 판단되는 경우, 즉시 당사(info@kdj.com)로 연락주시면 즉시 삭제하도록 하겠습니다.

2026年11月17日 에 게시된 다른 동영상