Andrej Karpathy 氏は、LLM によって PyTorch のような深層学習フレームワークが不要になると信じています

LLM は、企業や研究者が直面する多くの問題に対するデフォルトのソリューションになりつつあります。言語やテキスト以外の領域に関しても、人々は次のトークンを推測して予測するために LLM を実験しており、将来的には LLM がすべての仕事を行うことができるため、PyTorch などの他のツールの必要性について興味深い議論が巻き起こっています。 。

The rapid advancement of large language models (LLMs) has sparked a discussion about their potential to replace other tools, such as deep learning frameworks like PyTorch, for a wide range of problems.

大規模言語モデル (LLM) の急速な進歩により、さまざまな問題に対して PyTorch などの深層学習フレームワークなどの他のツールを置き換える可能性についての議論が巻き起こりました。

LLMs are typically designed to predict the next token in a sequence, whether that sequence consists of words, images, or other types of information. This next token prediction framework can be applied to a diverse set of problems, extending beyond text.

LLM は通常、シーケンスが単語、画像、その他の種類の情報で構成されているかどうかに関係なく、シーケンス内の次のトークンを予測するように設計されています。この次のトークン予測フレームワークは、テキストを超えてさまざまな問題セットに適用できます。

Andrej Karpathy suggests that deep learning frameworks, like PyTorch and its counterparts, might be overly general for the majority of problems in the future.

Andrej Karpathy 氏は、PyTorch やそれに相当するものなどの深層学習フレームワークは、将来的には大部分の問題に対して汎用的すぎる可能性があると示唆しています。

LLMs have evolved beyond their initial specialization in language. The term “language” is used historically because these models were first trained to predict the next word in a sentence. However, LLMs can work on any kind of data that’s broken down into small pieces, called tokens.

LLM は、言語における当初の専門分野を超えて進化しました。 「言語」という用語が歴史的に使用されているのは、これらのモデルが文内の次の単語を予測するために最初にトレーニングされたためです。ただし、LLM は、トークンと呼ばれる小さな部分に分割されたあらゆる種類のデータを処理できます。

Imagine LLMs as a super-smart guessing game. If you’re building a car, a house, or an animal using Legos, you’re just putting blocks together. LLMs don’t care if the tokens (blocks) represent words, images, or even molecules—they just focus on predicting what the next block should be based on what’s already there.

LLM を非常に賢い推測ゲームとして想像してください。レゴを使って車、家、動物を作る場合は、ブロックを組み立てるだけです。 LLM は、トークン (ブロック) が単語、画像、さらには分子を表しているかどうかを気にしません。既に存在するものに基づいて、次のブロックが何であるかを予測することにのみ焦点を当てます。

For example, protein prediction models like AlphaFold and ESMFold are built on top of generative language models. Calling such intricate models LLMs might be limiting.

たとえば、AlphaFold や ESMFold などのタンパク質予測モデルは、生成言語モデルの上に構築されます。このような複雑なモデルを LLM と呼ぶのは限界があるかもしれません。

Karpathy further highlights that the term “language” might be leading people to believe that LLMs are limited to text applications, which is not the case.

Karpathy 氏はさらに、「言語」という用語が人々に LLM がテキスト アプリケーションに限定されていると信じ込ませている可能性があることを強調していますが、実際はそうではありません。

“I don’t think this is true but I think it’s half true,” Karpathy said in response to a thread about LLMs being able to handle almost all types of problems.

「これが真実だとは思いませんが、半分は真実だと思います」と Karpathy 氏は、LLM がほぼすべての種類の問題に対処できるというスレッドに答えて述べました。

“Probably the name should change.”

「おそらく名前は変わるはずです。」

“Definitely needs a new name. ‘Multimodal LLM’ is extra silly, as the first word contradicts the third word,” replied Elon Musk in the same thread.

「間違いなく新しい名前が必要だ。最初の単語が 3 番目の単語と矛盾しているため、『マルチモーダル LLM』はさらに愚かです」とイーロン・マスク氏は同じスレッドで答えました。

Meanwhile, Yann LeCun is more concerned about why this doesn’t make sense for all the types of problems.

一方、Yann LeCun 氏は、これがすべての種類の問題に対してなぜ意味をなさないのかをより懸念しています。

“It only works with discretized outputs (discrete symbols) and only makes sense with symbol sequences with a natural order (not images). Text, DNA, proteins, musical scores, etc. are discrete or easily discretized,” said LeCun.

「これは離散化された出力 (離散シンボル) でのみ機能し、自然な順序を持つシンボル シーケンス (画像ではなく) でのみ意味を持ちます。テキスト、DNA、タンパク質、楽譜などは離散的であるか、簡単に離散化されます」と LeCun 氏は言います。

For something like images, which are continuous and don’t naturally have a strict sequence of discrete symbols (each pixel doesn’t follow a clear ‘order’ like text), LLMs don’t work as naturally. To use an LLM for images, you would first need to somehow convert the image into discrete chunks (like dividing the image into small patches), but this doesn’t follow the same natural order that exists in text or DNA.

画像のようなものは、連続的であり、厳密な離散シンボルのシーケンスを自然に持たないもの (各ピクセルがテキストのような明確な「順序」に従っていない) の場合、LLM は自然には機能しません。画像に LLM を使用するには、まず画像を何らかの方法で個別のチャンクに変換する必要があります (画像を小さなパッチに分割するなど) が、これはテキストや DNA に存在するのと同じ自然な順序に従いません。

Agreeing with Karpathy, and a little with LeCun, Gary Marcus said that statistical modelling of token streams works well if reasoning or planning isn’t required.

Karpathy 氏に同意し、LeCun 氏にも少し同意するが、Gary Marcus 氏は、推論や計画が必要ない場合には、トークン ストリームの統計モデリングがうまく機能すると述べた。

Last month, Eliezer Yudkowsky also said that predicting the next token can solve almost all the well-posed problems.

先月、エリーザー・ユドコウスキー氏は、次のトークンを予測することで、適切に提起された問題のほぼすべてを解決できるとも述べた。

“literally any well-posed problem is isomorphic to ‘predict the next token of the answer’,” he said.

「文字通り、適切に提示された問題はすべて、『答えの次のトークンを予測する』という点で同型である」と彼は言う。

“Throwing an LLM at it”

「LLMを投げる」

The idea that many problems can be reduced to a token-stream prediction model is intriguing, especially since domains like images, audio, and even molecules can be broken down into sequences of tokens. This suggests that a unified approach like LLMs could handle diverse tasks, reducing the need for highly specialised architectures, such as PyTorch.

多くの問題をトークン ストリーム予測モデルに還元できるというアイデアは、特に画像、音声、さらには分子などのドメインを一連のトークンに分解できるため、興味深いものです。これは、LLM のような統合アプローチで多様なタスクを処理できるため、PyTorch などの高度に特殊化されたアーキテクチャの必要性が軽減されることを示唆しています。

However, frameworks like PyTorch provide more than just flexibility in creating neural network models. They allow for a variety of deep learning operations that aren’t necessarily relevant for LLMs but are critical for other areas like reinforcement learning, generative models, and non-sequential tasks.

ただし、PyTorch のようなフレームワークは、ニューラル ネットワーク モデルの作成に柔軟性をもたらすだけではありません。これらは、必ずしも LLM に関連しているわけではありませんが、強化学習、生成モデル、非逐次タスクなどの他の領域にとっては重要な、さまざまな深層学習操作を可能にします。

While it’s true that LLMs could dominate many applications, not every problem is best framed as “next token prediction.” We may see a simplification or specialization of deep learning frameworks to accommodate the increasing dominance of LLM-based models. Still, the complete redundancy of frameworks like PyTorch might be too extreme of a prediction.

LLM が多くのアプリケーションを支配する可能性があるのは事実ですが、すべての問題が「次のトークンの予測」として最適に組み立てられるわけではありません。 LLM ベースのモデルの優位性の高まりに対応するために、深層学習フレームワークの簡素化または特殊化が行われる可能性があります。それでも、PyTorch のようなフレームワークの完全な冗長性は、あまりにも極端な予測かもしれません。

OpenAI’s newest model o1 gives a sense of why LLMs would be able to solve a lot of problems outside of the realm that is currently considered achievable. With the reasoning tokens in place, the model can go beyond just ‘predicting’ the next token and giving reasons for why it did so.

OpenAI の最新モデル o1 は、LLM が現在達成可能と考えられている領域を超えた多くの問題を解決できる理由を理解させてくれます。推論トークンを配置すると、モデルは次のトークンを単に「予測」し、その理由を示すだけでなく、そのトークンを予測することもできます。

PyTorch and similar frameworks may not become redundant but could evolve to become more focused on token-based models, while still offering tools for more diverse problems outside that paradigm.

PyTorch や同様のフレームワークは冗長になることはないかもしれませんが、そのパラダイムの外にあるより多様な問題に対するツールを提供しながら、トークンベースのモデルにより重点を置くように進化する可能性があります。

Though, currently only in language or text format, the capabilities might extend beyond it soon. Calling LLMs as LLMs might be underrepresenting their capabilities. Moreover, “it just predicts the next token” is a thought-terminating cliche.

ただし、現在は言語またはテキスト形式のみですが、機能はすぐにそれを超えて拡張される可能性があります。 LLM を LLM と呼ぶことは、その機能を過小評価している可能性があります。さらに、「次のトークンを予測するだけです」は、思考を終了させる決まり文句です。