Token sind die neue Währung der maschinellen Intelligenz

In der heutigen Landschaft der künstlichen Intelligenz hat sich das Token als grundlegende Einheit der maschinellen Intelligenz entwickelt.

Two quick announcements before I jump into today’s post!

Zwei kurze Ankündigungen, bevor ich in den heutigen Beitrag einstehe!

One, I will be chatting with Kevin Kelly in my live show tomorrow at 12pm ET / 9am PT on the Substack app. Two, I am speaking at SXSW next week. If you’re there, join me for an Exponential View meet-up.

Erstens werde ich morgen um 12 Uhr mit Kevin Kelly in meiner Live -Show um 12 Uhr ET / 9 Uhr PT in der Substack -App chatten. Zwei, ich spreche nächste Woche bei SXSW. Wenn Sie dort sind, besuchen Sie mich für ein exponentielles Ansichts-Treffen.

OK, now onto our regular programming.

OK, jetzt zu unserer regulären Programmierung.

In today’s landscape of artificial intelligence, the token has emerged as the fundamental unit of machine intelligence. Tokens are the building blocks of AI communication—the bite-sized pieces through which humans and machines exchange information. When you type “What is the weather today?”, an AI system breaks this into individual tokens like “What”, “is”, “the”, “weather”, etc., processes them, and then generates new tokens that form its response. Tokens transform your question into something the AI can understand, and the tokens it produces in return represent the machine’s carefully constructed answer.

In der heutigen Landschaft der künstlichen Intelligenz hat sich das Token als grundlegende Einheit der maschinellen Intelligenz entwickelt. Token sind die Bausteine ​​der KI-Kommunikation-die mundgerechten Stücke, durch die Menschen und Maschinen Informationen austauschen. Wenn Sie "Was ist das Wetter heute?" Eingeben, unterteilt ein KI -System dies in einzelne Token wie "Was", "ist", "das", "Wetter" usw., verarbeitet sie und generiert dann neue Token, die seine Reaktion bilden. Token verwandeln Ihre Frage in etwas, das die KI verstehen kann, und die Token, die sie im Gegenzug produziert, repräsentieren die sorgfältig konstruierte Antwort der Maschine.

Understanding the scale of the token market is incredibly valuable, as this insight provides a clear, intuitive grasp of the market size of the genAI economy.

Das Verständnis des Umfangs des Token -Marktes ist unglaublich wertvoll, da diese Einsicht ein klares, intuitives Verständnis für die Marktgröße der Genai -Wirtschaft bietet.

It helps estimate the infrastructure necessary to sustain growth, particularly in terms of computing resources like GPUs and other specialized chips. While the initial demand for AI training capabilities fuelled Nvidia’s historic market capitalization surge past $3 trillion in 2024, sustained token usage for inference — representing demand for genAI — will be crucial to maintaining this valuation.

Es hilft, die Infrastruktur abzuschätzen, die erforderlich ist, um das Wachstum aufrechtzuerhalten, insbesondere in Bezug auf Rechenressourcen wie GPUs und andere spezielle Chips. Während die anfängliche Nachfrage nach KI -Schulungsfähigkeiten die historische Marktkapitalisierung von NVIDIA im Jahr 2024 über 3 Billionen US -Dollar anstieg, wird eine anhaltende Nutzung des Tokens für Inferenz - die Nachfrage nach Genai - entscheidend für die Aufrechterhaltung dieser Bewertung sein.

But accurately assessing this market, especially in the US, can be challenging. Major technology firms typically remain guarded and reveal only limited information about their actual usage. So analysts often rely on reported revenue figures, which, while helpful, give only partial visibility into true market dynamics.

Die genaue Bewertung dieses Marktes, insbesondere in den USA, kann jedoch eine Herausforderung sein. Große Technologieunternehmen bleiben in der Regel bewacht und geben nur begrenzte Informationen über ihre tatsächliche Nutzung auf. Analysten verlassen sich daher häufig auf gemeldete Einnahmezahlen, die zwar hilfreich sind, aber nur teilweise Sichtbarkeit in die echte Marktdynamik verleihen.

Now valuable insights have begun to emerge from the Chinese market. Recently disclosed data points from China — like the DeepSeek numbers we referenced in the Monday email — offer a rare glimpse into actual usage patterns. This can help us construct a more comprehensive picture of the global token economy.

Jetzt haben wertvolle Erkenntnisse aus dem chinesischen Markt entstanden. Kürzlich offengelegte Datenpunkte aus China - wie die Deepseek -Nummern, auf die wir in der E -Mail am Montag verwiesen wurden - bieten einen seltenen Einblick in die tatsächlichen Nutzungsmuster. Dies kann uns helfen, ein umfassenderes Bild der globalen Token -Wirtschaft aufzubauen.

Software markets commonly exhibit a distinct pattern of concentration: a small number of companies or products tend to massively dominate a given segment or geographic market. Because this dominance is so pronounced, even limited data about the largest players can serve to illuminate the overall structure and size of the market.

Softwaremärkte weisen üblicherweise ein eindeutiges Konzentrationsmuster auf: Eine kleine Anzahl von Unternehmen oder Produkten neigt dazu, ein bestimmtes Segment oder geografische Markt massiv zu dominieren. Da diese Dominanz so ausgeprägt ist, können selbst begrenzte Daten über die größten Akteure dazu dienen, die Gesamtstruktur und die Größe des Marktes zu beleuchten.

Helpfully, this power law dynamic considerably simplifies market analysis. Even a few data points, like those emerging from China, can provide surprising insights into the global AI token economy.

Hilfreich ist, dass diese Machtgesetz die Marktanalyse erheblich vereinfacht. Selbst ein paar Datenpunkte, wie sie aus China hervorgehen, können überraschende Einblicke in die globale AI -Token -Wirtschaft liefern.

This approach, of course, has notable limitations: it isn’t bottom-up and it captures only a snapshot in time—specifically, the token market from late 2024 to early 2025. However, it helps us understand the scale of the numbers involved and the implications for infrastructure and investment.

Dieser Ansatz hat natürlich bemerkenswerte Einschränkungen: Er ist nicht im Boden und erfasst nur einen Schnappschuss in der Zeit-insbesondere den Token-Markt von Ende 2024 bis Anfang 2025. Er hilft uns jedoch, das Ausmaß der beteiligten Zahlen und die Auswirkungen auf Infrastruktur und Investition zu verstehen.

Over to China

Nach China

Looking at this particular report, Baidu’s Wenxiaoyan service was delivering 1 trillion tokens per day in August 2024, with API calls having increased 30-fold over one year. Bytedance’s Doubao went over 4 trillion tokens per day following several price cuts, with token usage growing 33 times in a single year.

In diesem speziellen Bericht lieferte der Wenxiaoyan-Service von Baidu im August 2024 1 Billionen Token pro Tag, wobei die API-Anrufe um das 30-fache über ein Jahr gestiegen waren. Das Doulbao von Bytedance ging nach mehreren Preissenkungen über 4 Billionen Token pro Tag, wobei die Nutzung der Token in einem einzigen Jahr 33 -mal stieg.

The report also hinted that there were 200 Chinese firms delivering at least 1 billion tokens per day. We know that Doubao sits at 4 trillion per day, while the 200th-ranked firm delivers around a billion tokens per day. DeepSeek recently announced they served 750 billion tokens daily to a diverse range of customers, both domestically and internationally.

Der Bericht deutete auch darauf hin, dass 200 chinesische Firmen mindestens 1 Milliarde Token pro Tag lieferten. Wir wissen, dass Doubao bei 4 Billionen pro Tag sitzt, während das 200. Unternehmen rund Milliarde Token pro Tag liefert. Deepseek kündigte kürzlich an, dass sie täglich 750 Milliarden Token für eine Vielzahl von Kunden serviert haben, sowohl im Inland als auch international.

Using these three data points, we can begin to estimate the market’s overall size. I used a modified Zipf distribution, a discrete probability distribution that follows a power law where the frequency of an element is inversely proportional to its rank. In market analysis, Zipf’s law often manifests when the market share of the nth largest company is approximately proportional to 1/n. I’ve adapted this distribution to account for the specific characteristics of the token market, allowing us to estimate the entire market from limited data points about the largest players.

Mit diesen drei Datenpunkten können wir beginnen, die Gesamtgröße des Marktes zu schätzen. Ich habe eine modifizierte ZiPF -Verteilung verwendet, eine diskrete Wahrscheinlichkeitsverteilung, die einem Leistungsgesetz folgt, bei dem die Häufigkeit eines Elements umgekehrt proportional zu seinem Rang ist. In der Marktanalyse manifestiert sich das ZIPF -Gesetz häufig, wenn sich der Marktanteil des n. Größten Unternehmens ungefähr proportional zu 1/n entspricht. Ich habe diese Verteilung angepasst, um die spezifischen Merkmale des Token -Marktes zu berücksichtigen, sodass wir den gesamten Markt von begrenzten Datenpunkten über die größten Akteure schätzen können.

The chart above provides five different distributions of token usage by the largest Chinese genAI firms, ranging from the most concentrated market (orange 🟠) to the least (green 🟢). Each resembles common distribution curves observed in other markets: orange like web search, blue like enterprise software, red like cloud computing and yellow and green like non-technology markets.

Das obige Diagramm bietet fünf verschiedene Verteilungen der Token -Nutzung durch die größten chinesischen Genai -Unternehmen, die vom konzentrierten Markt (orange 🟠) bis zum geringsten reichen (grün 🟢). Jedes ähnelt gemeinsame Vertriebskurven, die in anderen Märkten beobachtet wurden: orange wie Websuche, blau wie Unternehmenssoftware, rot wie Cloud-Computing und Gelb und grün wie Nicht-Technologie-Märkte.

Summing across all samples allows us to estimate the market’s total size and make educated guesses about market concentration.

Wenn wir alle Stichproben über die Gesamtgröße des Marktes hinweg zusammenfassen und fundierte Vermutungen zur Marktkonzentration vornehmen.

My best guess is that the Chinese genAI market today might resemble something between the orange and blue curves, with Doubao, Wenxiaoyan and DeepSeek being the largest players. The market might be less concentrated publicly, though probably not significantly below the blue curve.

Meine beste Vermutung ist, dass der chinesische Genai -Markt heute etwas zwischen den orangefarbenen und blauen Kurven ähneln könnte, wobei Doubao, Wenxiaoyan und Deepseek die größten Spieler sind. Der Markt könnte öffentlich weniger konzentriert sein, wenn auch wahrscheinlich nicht wesentlich unter der blauen Kurve.

I’ve also built a preview calculator that lets you play around with some of the parameters here. This simplified version isn’

Ich habe auch einen Vorschau -Taschenrechner erstellt, mit dem Sie hier mit einigen der Parameter herumspielen können. Diese vereinfachte Version ist'n '