Andrej Karpathy는 LLM이 PyTorch와 같은 딥 러닝 프레임워크를 중복되게 만들 것이라고 믿습니다.

LLM은 기업과 연구자가 직면한 많은 문제에 대한 기본 솔루션이 되고 있습니다. 언어와 텍스트 이외의 도메인에 관해서도 사람들은 다음 토큰을 추측하고 예측하기 위해 LLM을 실험해 왔습니다. 이는 LLM이 미래에 전체 작업을 수행할 수 있기 때문에 PyTorch와 같은 다른 도구의 필요성에 대한 흥미로운 대화를 촉발시켰습니다. .

The rapid advancement of large language models (LLMs) has sparked a discussion about their potential to replace other tools, such as deep learning frameworks like PyTorch, for a wide range of problems.

LLM(대형 언어 모델)의 급속한 발전으로 인해 광범위한 문제에 대해 PyTorch와 같은 딥 러닝 프레임워크와 같은 다른 도구를 대체할 수 있는 잠재력에 대한 논의가 촉발되었습니다.

LLMs are typically designed to predict the next token in a sequence, whether that sequence consists of words, images, or other types of information. This next token prediction framework can be applied to a diverse set of problems, extending beyond text.

LLM은 일반적으로 시퀀스가 ​​단어, 이미지 또는 기타 유형의 정보로 구성되어 있는지 여부에 관계없이 시퀀스의 다음 토큰을 예측하도록 설계되었습니다. 이 차세대 토큰 예측 프레임워크는 텍스트를 넘어 다양한 문제 세트에 적용될 수 있습니다.

Andrej Karpathy suggests that deep learning frameworks, like PyTorch and its counterparts, might be overly general for the majority of problems in the future.

Andrej Karpathy는 PyTorch 및 그에 상응하는 프레임워크와 같은 딥 러닝 프레임워크가 미래의 대부분의 문제에 지나치게 일반적일 수 있다고 제안합니다.

LLMs have evolved beyond their initial specialization in language. The term “language” is used historically because these models were first trained to predict the next word in a sentence. However, LLMs can work on any kind of data that’s broken down into small pieces, called tokens.

LLM은 언어에 대한 초기 전문화 이상으로 발전했습니다. "언어"라는 용어는 역사적으로 이러한 모델이 문장의 다음 단어를 예측하도록 훈련되었기 때문에 사용되었습니다. 그러나 LLM은 토큰이라고 하는 작은 조각으로 분류된 모든 종류의 데이터에 대해 작업할 수 있습니다.

Imagine LLMs as a super-smart guessing game. If you’re building a car, a house, or an animal using Legos, you’re just putting blocks together. LLMs don’t care if the tokens (blocks) represent words, images, or even molecules—they just focus on predicting what the next block should be based on what’s already there.

LLM을 매우 똑똑한 추측 게임으로 상상해 보세요. 레고를 사용하여 자동차, 집, 동물을 만든다면, 블록을 조립하는 것뿐입니다. LLM은 토큰(블록)이 단어, 이미지 또는 심지어 분자를 나타내는지 여부에 신경 쓰지 않습니다. 단지 이미 존재하는 것을 기반으로 다음 블록이 무엇인지 예측하는 데 중점을 둡니다.

For example, protein prediction models like AlphaFold and ESMFold are built on top of generative language models. Calling such intricate models LLMs might be limiting.

예를 들어 AlphaFold 및 ESMFold와 같은 단백질 예측 모델은 생성 언어 모델을 기반으로 구축됩니다. 이러한 복잡한 모델을 LLM으로 호출하는 것은 제한적일 수 있습니다.

Karpathy further highlights that the term “language” might be leading people to believe that LLMs are limited to text applications, which is not the case.

Karpathy는 "언어"라는 용어가 사람들로 하여금 LLM이 텍스트 응용 프로그램으로 제한되어 있다고 믿게 만들 수 있다는 점을 더욱 강조합니다.

“I don’t think this is true but I think it’s half true,” Karpathy said in response to a thread about LLMs being able to handle almost all types of problems.

LLM이 거의 모든 유형의 문제를 처리할 수 있다는 스레드에 대해 Karpathy는 "이것이 사실이라고 생각하지 않지만 절반은 사실이라고 생각합니다"라고 말했습니다.

“Probably the name should change.”

“아마도 이름이 바뀌어야 할 것 같아요.”

“Definitely needs a new name. ‘Multimodal LLM’ is extra silly, as the first word contradicts the third word,” replied Elon Musk in the same thread.

“확실히 새로운 이름이 필요해요. '다중 모드 LLM'은 첫 번째 단어가 세 번째 단어와 모순되기 때문에 더욱 어리석은 일입니다.”라고 Elon Musk는 같은 스레드에서 답했습니다.

Meanwhile, Yann LeCun is more concerned about why this doesn’t make sense for all the types of problems.

한편 Yann LeCun은 이것이 왜 모든 유형의 문제에 적합하지 않은지에 대해 더 우려하고 있습니다.

“It only works with discretized outputs (discrete symbols) and only makes sense with symbol sequences with a natural order (not images). Text, DNA, proteins, musical scores, etc. are discrete or easily discretized,” said LeCun.

“이는 불연속화된 출력(불연속 기호)에서만 작동하며 자연 순서(이미지가 아님)가 있는 기호 시퀀스에서만 의미가 있습니다. 텍스트, DNA, 단백질, 악보 등은 분리되어 있거나 쉽게 분리됩니다.”라고 LeCun은 말했습니다.

For something like images, which are continuous and don’t naturally have a strict sequence of discrete symbols (each pixel doesn’t follow a clear ‘order’ like text), LLMs don’t work as naturally. To use an LLM for images, you would first need to somehow convert the image into discrete chunks (like dividing the image into small patches), but this doesn’t follow the same natural order that exists in text or DNA.

연속적이고 자연적으로 엄격한 개별 기호 순서가 없는(각 픽셀이 텍스트와 같은 명확한 '순서'를 따르지 않음) 이미지와 같은 경우 LLM은 자연스럽게 작동하지 않습니다. 이미지에 LLM을 사용하려면 먼저 이미지를 개별 덩어리로 변환해야 합니다(예: 이미지를 작은 패치로 나누는 것). 그러나 이는 텍스트나 DNA에 존재하는 것과 동일한 자연 순서를 따르지 않습니다.

Agreeing with Karpathy, and a little with LeCun, Gary Marcus said that statistical modelling of token streams works well if reasoning or planning isn’t required.

Karpathy에 동의하고 LeCun에 약간 동의하면서 Gary Marcus는 추론이나 계획이 필요하지 않은 경우 토큰 스트림의 통계적 모델링이 잘 작동한다고 말했습니다.

Last month, Eliezer Yudkowsky also said that predicting the next token can solve almost all the well-posed problems.

지난 달 Eliezer Yudkowsky는 다음 토큰을 예측하면 잘 제기된 거의 모든 문제를 해결할 수 있다고 말했습니다.

“literally any well-posed problem is isomorphic to ‘predict the next token of the answer’,” he said.

"문자 그대로 모든 잘 제기된 문제는 '답의 다음 토큰을 예측'하는 동형입니다."라고 그는 말했습니다.

“Throwing an LLM at it”

“LLM을 던져보세요”

The idea that many problems can be reduced to a token-stream prediction model is intriguing, especially since domains like images, audio, and even molecules can be broken down into sequences of tokens. This suggests that a unified approach like LLMs could handle diverse tasks, reducing the need for highly specialised architectures, such as PyTorch.

많은 문제를 토큰 스트림 예측 모델로 줄일 수 있다는 아이디어는 매우 흥미롭습니다. 특히 이미지, 오디오, 심지어 분자와 같은 영역을 토큰 시퀀스로 나눌 수 있기 때문입니다. 이는 LLM과 같은 통합 접근 방식이 다양한 작업을 처리하여 PyTorch와 같은 고도로 전문화된 아키텍처의 필요성을 줄일 수 있음을 시사합니다.

However, frameworks like PyTorch provide more than just flexibility in creating neural network models. They allow for a variety of deep learning operations that aren’t necessarily relevant for LLMs but are critical for other areas like reinforcement learning, generative models, and non-sequential tasks.

그러나 PyTorch와 같은 프레임워크는 신경망 모델을 생성하는 데 유연성 그 이상을 제공합니다. LLM과 반드시 ​​관련이 있는 것은 아니지만 강화 학습, 생성 모델, 비순차적 작업과 같은 다른 영역에 중요한 다양한 딥 러닝 작업을 허용합니다.

While it’s true that LLMs could dominate many applications, not every problem is best framed as “next token prediction.” We may see a simplification or specialization of deep learning frameworks to accommodate the increasing dominance of LLM-based models. Still, the complete redundancy of frameworks like PyTorch might be too extreme of a prediction.

LLM이 많은 애플리케이션을 지배할 수 있는 것은 사실이지만 모든 문제가 "다음 토큰 예측"으로 가장 잘 표현되는 것은 아닙니다. LLM 기반 모델의 증가하는 지배력을 수용하기 위해 딥 러닝 프레임워크가 단순화되거나 전문화되는 것을 볼 수 있습니다. 하지만 PyTorch와 같은 프레임워크의 완전한 중복성은 너무 극단적인 예측일 수 있습니다.

OpenAI’s newest model o1 gives a sense of why LLMs would be able to solve a lot of problems outside of the realm that is currently considered achievable. With the reasoning tokens in place, the model can go beyond just ‘predicting’ the next token and giving reasons for why it did so.

OpenAI의 최신 모델 o1은 LLM이 현재 달성 가능한 것으로 간주되는 영역 외부의 많은 문제를 해결할 수 있는 이유를 보여줍니다. 추론 토큰을 사용하면 모델은 다음 토큰을 '예측'하고 그렇게 한 이유를 제시하는 것 이상을 수행할 수 있습니다.

PyTorch and similar frameworks may not become redundant but could evolve to become more focused on token-based models, while still offering tools for more diverse problems outside that paradigm.

PyTorch 및 유사한 프레임워크는 중복되지 않을 수 있지만 토큰 기반 모델에 더욱 집중하도록 발전하는 동시에 해당 패러다임 외부의 보다 다양한 문제에 대한 도구를 제공할 수 있습니다.

Though, currently only in language or text format, the capabilities might extend beyond it soon. Calling LLMs as LLMs might be underrepresenting their capabilities. Moreover, “it just predicts the next token” is a thought-terminating cliche.

하지만 현재는 언어나 텍스트 형식으로만 제공되지만 곧 그 이상으로 기능이 확장될 수도 있습니다. LLM을 LLM으로 부르는 것은 그 능력을 과소평가할 수 있습니다. 더욱이 "다음 토큰을 예측할 뿐"이라는 말은 생각을 끝내는 진부한 표현입니다.