Andrej Karpathy glaubt, dass LLMs Deep-Learning-Frameworks wie PyTorch überflüssig machen werden

LLMs werden zur Standardlösung für viele Probleme, mit denen Unternehmen und Forscher konfrontiert sind. Selbst wenn es um Domänen außerhalb von Sprache und Text geht, haben Menschen mit LLMs experimentiert, um den nächsten Token zu erraten und vorherzusagen, was eine interessante Diskussion über die Notwendigkeit anderer Tools wie PyTorch auslöst, da LLMs in Zukunft einfach die ganze Arbeit erledigen können .

The rapid advancement of large language models (LLMs) has sparked a discussion about their potential to replace other tools, such as deep learning frameworks like PyTorch, for a wide range of problems.

Die rasante Weiterentwicklung großer Sprachmodelle (LLMs) hat eine Diskussion über ihr Potenzial ausgelöst, andere Tools wie Deep-Learning-Frameworks wie PyTorch für eine Vielzahl von Problemen zu ersetzen.

LLMs are typically designed to predict the next token in a sequence, whether that sequence consists of words, images, or other types of information. This next token prediction framework can be applied to a diverse set of problems, extending beyond text.

LLMs sind in der Regel darauf ausgelegt, das nächste Token in einer Sequenz vorherzusagen, unabhängig davon, ob diese Sequenz aus Wörtern, Bildern oder anderen Arten von Informationen besteht. Dieses nächste Token-Vorhersage-Framework kann auf eine Vielzahl von Problemen angewendet werden, die über den Text hinausgehen.

Andrej Karpathy suggests that deep learning frameworks, like PyTorch and its counterparts, might be overly general for the majority of problems in the future.

Andrej Karpathy weist darauf hin, dass Deep-Learning-Frameworks wie PyTorch und seine Gegenstücke für die meisten Probleme der Zukunft möglicherweise zu allgemein sind.

LLMs have evolved beyond their initial specialization in language. The term “language” is used historically because these models were first trained to predict the next word in a sentence. However, LLMs can work on any kind of data that’s broken down into small pieces, called tokens.

LLMs haben sich über ihre ursprüngliche Spezialisierung auf Sprache hinaus weiterentwickelt. Der Begriff „Sprache“ wird historisch verwendet, weil diese Modelle zunächst darauf trainiert wurden, das nächste Wort in einem Satz vorherzusagen. LLMs können jedoch mit jeder Art von Daten arbeiten, die in kleine Teile, sogenannte Token, zerlegt sind.

Imagine LLMs as a super-smart guessing game. If you’re building a car, a house, or an animal using Legos, you’re just putting blocks together. LLMs don’t care if the tokens (blocks) represent words, images, or even molecules—they just focus on predicting what the next block should be based on what’s already there.

Stellen Sie sich LLMs als ein superschlaues Ratespiel vor. Wenn Sie mit Legosteinen ein Auto, ein Haus oder ein Tier bauen, setzen Sie einfach Blöcke zusammen. LLMs ist es egal, ob die Token (Blöcke) Wörter, Bilder oder sogar Moleküle darstellen – sie konzentrieren sich lediglich darauf, basierend auf dem, was bereits vorhanden ist, vorherzusagen, wie der nächste Block aussehen soll.

For example, protein prediction models like AlphaFold and ESMFold are built on top of generative language models. Calling such intricate models LLMs might be limiting.

Proteinvorhersagemodelle wie AlphaFold und ESMFold basieren beispielsweise auf generativen Sprachmodellen. Die Bezeichnung solch komplexer Modelle als LLMs könnte einschränkend sein.

Karpathy further highlights that the term “language” might be leading people to believe that LLMs are limited to text applications, which is not the case.

Karpathy betont weiter, dass der Begriff „Sprache“ Menschen zu der Annahme verleiten könnte, dass LLMs auf Textanwendungen beschränkt seien, was jedoch nicht der Fall ist.

“I don’t think this is true but I think it’s half true,” Karpathy said in response to a thread about LLMs being able to handle almost all types of problems.

„Ich glaube nicht, dass das wahr ist, aber ich denke, es ist halb wahr“, antwortete Karpathy auf einen Thread darüber, dass LLMs in der Lage seien, fast alle Arten von Problemen zu bewältigen.

“Probably the name should change.”

„Wahrscheinlich sollte sich der Name ändern.“

“Definitely needs a new name. ‘Multimodal LLM’ is extra silly, as the first word contradicts the third word,” replied Elon Musk in the same thread.

„Braucht auf jeden Fall einen neuen Namen. „Multimodales LLM“ ist besonders albern, da das erste Wort dem dritten Wort widerspricht“, antwortete Elon Musk im selben Thread.

Meanwhile, Yann LeCun is more concerned about why this doesn’t make sense for all the types of problems.

Yann LeCun macht sich unterdessen mehr Sorgen darüber, warum dies nicht für alle Arten von Problemen sinnvoll ist.

“It only works with discretized outputs (discrete symbols) and only makes sense with symbol sequences with a natural order (not images). Text, DNA, proteins, musical scores, etc. are discrete or easily discretized,” said LeCun.

„Es funktioniert nur mit diskretisierten Ausgaben (diskrete Symbole) und macht nur Sinn mit Symbolsequenzen mit natürlicher Reihenfolge (keine Bilder). Text, DNA, Proteine, Musikpartituren usw. sind diskret oder leicht zu diskretisieren“, sagte LeCun.

For something like images, which are continuous and don’t naturally have a strict sequence of discrete symbols (each pixel doesn’t follow a clear ‘order’ like text), LLMs don’t work as naturally. To use an LLM for images, you would first need to somehow convert the image into discrete chunks (like dividing the image into small patches), but this doesn’t follow the same natural order that exists in text or DNA.

Bei so etwas wie Bildern, die fortlaufend sind und nicht von Natur aus eine strikte Abfolge diskreter Symbole haben (jedes Pixel folgt nicht einer klaren „Reihenfolge“ wie Text), funktionieren LLMs nicht so natürlich. Um ein LLM für Bilder zu verwenden, müssten Sie das Bild zunächst irgendwie in diskrete Teile umwandeln (z. B. das Bild in kleine Flecken unterteilen), aber dies folgt nicht der gleichen natürlichen Reihenfolge, die in Text oder DNA existiert.

Agreeing with Karpathy, and a little with LeCun, Gary Marcus said that statistical modelling of token streams works well if reasoning or planning isn’t required.

Gary Marcus stimmte mit Karpathy und ein wenig mit LeCun überein und sagte, dass die statistische Modellierung von Token-Streams gut funktioniert, wenn keine Überlegungen oder Planung erforderlich sind.

Last month, Eliezer Yudkowsky also said that predicting the next token can solve almost all the well-posed problems.

Letzten Monat sagte Eliezer Yudkowsky auch, dass die Vorhersage des nächsten Tokens fast alle gestellten Probleme lösen kann.

“literally any well-posed problem is isomorphic to ‘predict the next token of the answer’,” he said.

„Im wahrsten Sinne des Wortes ist jedes gut gestellte Problem isomorph, um ‚das nächste Zeichen der Antwort vorherzusagen‘“, sagte er.

“Throwing an LLM at it”

„Ein LLM darauf werfen“

The idea that many problems can be reduced to a token-stream prediction model is intriguing, especially since domains like images, audio, and even molecules can be broken down into sequences of tokens. This suggests that a unified approach like LLMs could handle diverse tasks, reducing the need for highly specialised architectures, such as PyTorch.

Die Idee, dass viele Probleme auf ein Token-Stream-Vorhersagemodell reduziert werden können, ist faszinierend, insbesondere da Domänen wie Bilder, Audio und sogar Moleküle in Token-Sequenzen zerlegt werden können. Dies deutet darauf hin, dass ein einheitlicher Ansatz wie LLMs vielfältige Aufgaben bewältigen könnte und den Bedarf an hochspezialisierten Architekturen wie PyTorch verringert.

However, frameworks like PyTorch provide more than just flexibility in creating neural network models. They allow for a variety of deep learning operations that aren’t necessarily relevant for LLMs but are critical for other areas like reinforcement learning, generative models, and non-sequential tasks.

Frameworks wie PyTorch bieten jedoch mehr als nur Flexibilität bei der Erstellung neuronaler Netzwerkmodelle. Sie ermöglichen eine Vielzahl von Deep-Learning-Operationen, die nicht unbedingt für LLMs relevant sind, aber für andere Bereiche wie Reinforcement Learning, generative Modelle und nicht sequentielle Aufgaben von entscheidender Bedeutung sind.

While it’s true that LLMs could dominate many applications, not every problem is best framed as “next token prediction.” We may see a simplification or specialization of deep learning frameworks to accommodate the increasing dominance of LLM-based models. Still, the complete redundancy of frameworks like PyTorch might be too extreme of a prediction.

Es stimmt zwar, dass LLMs viele Anwendungen dominieren könnten, aber nicht jedes Problem lässt sich am besten als „Vorhersage des nächsten Tokens“ beschreiben. Wir sehen möglicherweise eine Vereinfachung oder Spezialisierung von Deep-Learning-Frameworks, um der zunehmenden Dominanz von LLM-basierten Modellen Rechnung zu tragen. Dennoch könnte die völlige Redundanz von Frameworks wie PyTorch eine zu extreme Vorhersage sein.

OpenAI’s newest model o1 gives a sense of why LLMs would be able to solve a lot of problems outside of the realm that is currently considered achievable. With the reasoning tokens in place, the model can go beyond just ‘predicting’ the next token and giving reasons for why it did so.

Das neueste Modell o1 von OpenAI vermittelt einen Eindruck davon, warum LLMs in der Lage wären, viele Probleme zu lösen, die über den Bereich hinausgehen, der derzeit als erreichbar gilt. Wenn die Argumentationstoken vorhanden sind, kann das Modell über die bloße „Vorhersage“ des nächsten Tokens und die Angabe von Gründen dafür hinausgehen.

PyTorch and similar frameworks may not become redundant but could evolve to become more focused on token-based models, while still offering tools for more diverse problems outside that paradigm.

PyTorch und ähnliche Frameworks werden möglicherweise nicht überflüssig, könnten sich jedoch dahingehend weiterentwickeln, dass sie sich stärker auf tokenbasierte Modelle konzentrieren und gleichzeitig Tools für vielfältigere Probleme außerhalb dieses Paradigmas bieten.

Though, currently only in language or text format, the capabilities might extend beyond it soon. Calling LLMs as LLMs might be underrepresenting their capabilities. Moreover, “it just predicts the next token” is a thought-terminating cliche.

Obwohl es derzeit nur im Sprach- oder Textformat verfügbar ist, könnten die Möglichkeiten bald darüber hinausgehen. Wenn LLMs als LLMs bezeichnet werden, werden ihre Fähigkeiten möglicherweise unterrepräsentiert. Darüber hinaus ist „es sagt nur den nächsten Token voraus“ ein gedankenvernichtendes Klischee.