Wie dezentrale KI und wissensfreie Beweise die Datenverarbeitung demokratisieren werden

Bei der KI besteht die Gefahr der gleichen Zentralisierung wie in früheren Ausgaben des Internets. Aber auch ein anderer Weg ist möglich, sagen Mahesh Ramakrishnan und Vinayak Kurup.

Decentralized AI promises to democratize compute, making it accessible to smaller developers and protecting against the consolidation of power by a few major actors.

Dezentrale KI verspricht, die Datenverarbeitung zu demokratisieren, sie kleineren Entwicklern zugänglich zu machen und vor der Machtkonsolidierung einiger weniger großer Akteure zu schützen.

In late July, Mark Zuckerberg penned a letter explaining why “open source is necessary for a positive AI future,” where he waxes poetic about the need for open-source AI development. The once-nerdy teen founder, now turned into the wakeboarding, gold chain-wearing, and jiu-jitsu fighting “Zuck,” has been branded as the messiah of open-source model development.

Ende Juli verfasste Mark Zuckerberg einen Brief, in dem er erklärte, warum „Open Source für eine positive KI-Zukunft notwendig ist“, in dem er sich poetisch über die Notwendigkeit einer Open-Source-KI-Entwicklung äußerte. Der einst nerdige Teenager-Gründer, der heute zum Wakeboard-, Goldketten-tragenden und Jiu-Jitsu-kämpfenden „Zuck“ geworden ist, wurde als Messias der Open-Source-Modellentwicklung gebrandmarkt.

But thus-far, he and the Meta team haven’t articulated much about how these models are being deployed. As model complexity drives compute requirements higher, if model deployment is controlled by a handful of actors, then have we not succumbed to a similar form of centralization?

Bisher haben er und das Meta-Team jedoch nicht viel darüber geäußert, wie diese Modelle eingesetzt werden. Wenn die Modellkomplexität den Rechenbedarf erhöht und die Modellbereitstellung von einer Handvoll Akteuren kontrolliert wird, sind wir dann nicht einer ähnlichen Form der Zentralisierung erlegen?

Decentralized AI promises to solve this challenge, but the technology requires advancements in industry-leading cryptographic techniques and unique hybrid solutions.

Dezentrale KI verspricht, diese Herausforderung zu lösen, aber die Technologie erfordert Fortschritte bei branchenführenden kryptografischen Techniken und einzigartigen Hybridlösungen.

This op-ed is part of CoinDesk's new DePIN Vertical, covering the emerging industry of decentralized physical infrastructure.

Dieser Kommentar ist Teil des neuen DePIN Vertical von CoinDesk und deckt die aufstrebende Branche der dezentralen physischen Infrastruktur ab.

Unlike centralized cloud providers, decentralized AI (DAI) distributes the computational processes for AI inference and training across multiple systems, networks, and locations. If implemented correctly, these networks, a type of decentralized physical infrastructure network (DePIN), bring benefits in censorship resistance, compute access, and cost.

Im Gegensatz zu zentralisierten Cloud-Anbietern verteilt dezentrale KI (DAI) die Rechenprozesse für KI-Inferenz und -Training auf mehrere Systeme, Netzwerke und Standorte. Bei korrekter Implementierung bringen diese Netzwerke, eine Art dezentrales physisches Infrastrukturnetzwerk (DePIN), Vorteile in Bezug auf Zensurresistenz, Rechenzugriff und Kosten.

DAI faces challenges in two main areas: the AI environment and the decentralized infrastructure itself. Compared to centralized systems, DAI requires additional safeguards to prevent unauthorized access to model details or the theft and replication of proprietary information. For this reason, there is an under-explored opportunity for teams who focus on open-source models, but recognize the potential performance disadvantage of open-sourced models compared to their closed-source counterparts.

DAI steht vor Herausforderungen in zwei Hauptbereichen: der KI-Umgebung und der dezentralen Infrastruktur selbst. Im Vergleich zu zentralisierten Systemen erfordert DAI zusätzliche Sicherheitsmaßnahmen, um unbefugten Zugriff auf Modelldetails oder den Diebstahl und die Replikation proprietärer Informationen zu verhindern. Aus diesem Grund gibt es eine noch wenig erforschte Chance für Teams, die sich auf Open-Source-Modelle konzentrieren, aber den potenziellen Leistungsnachteil von Open-Source-Modellen im Vergleich zu ihren Closed-Source-Pendants erkennen.

Decentralized systems specifically face obstacles in network integrity and resource overhead. The distribution of client data across separate nodes, for instance, exposes more attack vectors. Attackers could spin up a node and analyze its computations, try to intercept data transmissions between nodes, or even introduce biases that degrade the system’s performance. Even in a secure decentralized inference model, there must be mechanisms to audit compute processes. Nodes are incentivized to save cost on resources by presenting incomplete computations, and verification is complicated by the lack of a trusted, centralized actor.

Dezentrale Systeme sind insbesondere mit Hindernissen in Bezug auf die Netzwerkintegrität und den Ressourcenaufwand konfrontiert. Die Verteilung von Clientdaten auf separate Knoten beispielsweise legt mehr Angriffsvektoren offen. Angreifer könnten einen Knoten hochfahren und seine Berechnungen analysieren, versuchen, Datenübertragungen zwischen Knoten abzufangen oder sogar Vorurteile einführen, die die Leistung des Systems beeinträchtigen. Selbst in einem sicheren dezentralen Inferenzmodell müssen Mechanismen zur Prüfung von Rechenprozessen vorhanden sein. Knoten werden dazu angeregt, Ressourcenkosten zu sparen, indem sie unvollständige Berechnungen vorlegen, und die Verifizierung wird durch das Fehlen eines vertrauenswürdigen, zentralisierten Akteurs erschwert.

Zero-Knowledge Proofs

Zero-Knowledge-Beweise

Zero-knowledge proofs (ZKPs), while currently too computationally expensive, are one potential solution to some DAI challenges. ZKP is a cryptographic mechanism that enables one party (the prover) to convince another party (the verifier) of the truth of a statement without divulging any details about the statement itself, except its validity. Verification of this proof is quick for other nodes to run and offers a way for each node to prove it acted in accordance with the protocol. The technical differences between proof systems and their implementations (deep-dive on this coming later) are important for investors in the space.

Zero-Knowledge-Proofs (ZKPs) sind zwar derzeit zu rechenintensiv, stellen aber eine mögliche Lösung für einige DAI-Herausforderungen dar. ZKP ist ein kryptografischer Mechanismus, der es einer Partei (dem Prüfer) ermöglicht, eine andere Partei (den Verifizierer) von der Wahrheit einer Aussage zu überzeugen, ohne irgendwelche Details über die Aussage selbst preiszugeben, mit Ausnahme ihrer Gültigkeit. Die Überprüfung dieses Nachweises ist für andere Knoten schnell durchführbar und bietet jedem Knoten die Möglichkeit, nachzuweisen, dass er in Übereinstimmung mit dem Protokoll gehandelt hat. Die technischen Unterschiede zwischen Beweissystemen und ihren Implementierungen (mehr dazu später) sind für Investoren in diesem Bereich wichtig.

Centralized compute makes model training exclusive to a handful of well-positioned and resourced players. ZKPs could be one part of unlocking idle compute on consumer hardware; a MacBook, for example, could use its extra compute bandwidth to help train a large-language model while earning tokens for the user.

Durch die zentralisierte Datenverarbeitung ist das Modelltraining ausschließlich einer Handvoll gut positionierter und mit Ressourcen ausgestatteter Akteure vorbehalten. ZKPs könnten ein Teil der Freischaltung ungenutzter Rechenleistung auf Verbraucherhardware sein; Ein MacBook könnte beispielsweise seine zusätzliche Rechenbandbreite nutzen, um ein umfangreiches Sprachmodell zu trainieren und gleichzeitig Token für den Benutzer zu verdienen.

Deploying decentralized training or inference with consumer hardware is the focus of teams like Gensyn and Inference Labs; unlike a decentralized compute network like Akash or Render, sharding the computations adds complexity, namely the floating point problem. Making use of idle distributed compute resources opens the door for smaller developers to test and train their own networks — as long as they have access to tools that solve associated challenges.

Der Schwerpunkt von Teams wie Gensyn und Inference Labs liegt auf der Bereitstellung dezentraler Schulungen oder Inferenzen mit Verbraucherhardware. Im Gegensatz zu einem dezentralen Rechennetzwerk wie Akash oder Render erhöht die Aufteilung der Berechnungen die Komplexität, nämlich das Gleitkommaproblem. Die Nutzung ungenutzter verteilter Rechenressourcen eröffnet kleineren Entwicklern die Möglichkeit, ihre eigenen Netzwerke zu testen und zu trainieren – sofern sie Zugriff auf Tools haben, die die damit verbundenen Herausforderungen lösen.

At present, ZKP systems are seemingly four to six orders of magnitude more expensive than running the compute natively, and for tasks that require high-compute (like model training) or low latency (like model inference) using a ZKP is prohibitively slow. For comparison, a drop of six orders of magnitude means that a cutting edge system (like a16z’s Jolt) running on an M3 Max chip can prove a program 150 times slower than running it on a TI-84 graphing calculator.

Derzeit scheinen ZKP-Systeme vier bis sechs Größenordnungen teurer zu sein als die native Ausführung der Berechnungen, und für Aufgaben, die eine hohe Rechenleistung (wie Modelltraining) oder eine geringe Latenz (wie Modellinferenz) erfordern, ist die Verwendung eines ZKP unerschwinglich langsam. Zum Vergleich: Ein Rückgang um sechs Größenordnungen bedeutet, dass ein hochmodernes System (wie der Jolt von a16z), das auf einem M3 Max-Chip läuft, ein Programm 150-mal langsamer erweisen kann als die Ausführung auf einem TI-84-Grafikrechner.

AI's ability to process large amounts of data makes it compatible with zero-knowledge proofs (ZKPs), but more progress in cryptography is needed before ZKPs can be widely used. Work being done by teams such as Irreducible (who designed the Binius proof system and commitment scheme), Gensyn, TensorOpera, Hellas, and Inference Labs, among others, will be an important step in achieving this vision. Timelines, however, remain overly optimistic as true innovation takes time and mathematical advancement.

Die Fähigkeit der KI, große Datenmengen zu verarbeiten, macht sie mit Zero-Knowledge-Proofs (ZKPs) kompatibel, es sind jedoch weitere Fortschritte in der Kryptographie erforderlich, bevor ZKPs weit verbreitet eingesetzt werden können. Die Arbeit von Teams wie Irreducible (die das Binius-Beweissystem und Commitment-Schema entwickelt haben), Gensyn, TensorOpera, Hellas und Inference Labs und anderen wird ein wichtiger Schritt zur Verwirklichung dieser Vision sein. Die Zeitpläne bleiben jedoch zu optimistisch, da echte Innovation Zeit und mathematischen Fortschritt erfordert.

In the meantime, it’s worth noting other possibilities and hybrid solutions. HellasAI and others are developing new methods of representing models and computations that can enable an optimistic challenge game, allowing for only a subset of computation that needs to be handled in zero-knowledge. Optimistic proofs only work when there is staking, the ability to prove wrongdoing,

In der Zwischenzeit sind weitere Möglichkeiten und Hybridlösungen erwähnenswert. HellasAI und andere entwickeln neue Methoden zur Darstellung von Modellen und Berechnungen, die ein optimistisches Herausforderungsspiel ermöglichen können, bei dem nur ein Teilsatz der Berechnungen ohne Wissen bearbeitet werden muss. Optimistische Beweise funktionieren nur, wenn es einen Einsatz gibt, die Fähigkeit, Fehlverhalten zu beweisen,