Comment l’IA décentralisée et les preuves sans connaissance démocratiseront le calcul

L’IA risque de connaître la même centralisation que celle observée dans les éditions précédentes d’Internet. Mais une autre voie est possible, disent Mahesh Ramakrishnan et Vinayak Kurup.

Decentralized AI promises to democratize compute, making it accessible to smaller developers and protecting against the consolidation of power by a few major actors.

L’IA décentralisée promet de démocratiser le calcul, en le rendant accessible aux petits développeurs et en le protégeant contre la consolidation du pouvoir par quelques acteurs majeurs.

In late July, Mark Zuckerberg penned a letter explaining why “open source is necessary for a positive AI future,” where he waxes poetic about the need for open-source AI development. The once-nerdy teen founder, now turned into the wakeboarding, gold chain-wearing, and jiu-jitsu fighting “Zuck,” has been branded as the messiah of open-source model development.

Fin juillet, Mark Zuckerberg a écrit une lettre expliquant pourquoi « l’open source est nécessaire pour un avenir positif de l’IA », dans laquelle il se livre à des propos poétiques sur la nécessité du développement de l’IA open source. Le fondateur adolescent autrefois ringard, maintenant transformé en « Zuck » du wakeboard, du port de chaînes en or et du jiu-jitsu, a été présenté comme le messie du développement de modèles open source.

But thus-far, he and the Meta team haven’t articulated much about how these models are being deployed. As model complexity drives compute requirements higher, if model deployment is controlled by a handful of actors, then have we not succumbed to a similar form of centralization?

Mais jusqu’à présent, lui et l’équipe Meta n’ont pas beaucoup expliqué comment ces modèles sont déployés. Alors que la complexité des modèles entraîne des exigences de calcul plus élevées, si le déploiement des modèles est contrôlé par une poignée d’acteurs, n’avons-nous pas succombé à une forme similaire de centralisation ?

Decentralized AI promises to solve this challenge, but the technology requires advancements in industry-leading cryptographic techniques and unique hybrid solutions.

L’IA décentralisée promet de résoudre ce défi, mais la technologie nécessite des progrès dans les techniques cryptographiques de pointe et des solutions hybrides uniques.

This op-ed is part of CoinDesk's new DePIN Vertical, covering the emerging industry of decentralized physical infrastructure.

Cet article d'opinion fait partie du nouveau DePIN Vertical de CoinDesk, couvrant le secteur émergent de l'infrastructure physique décentralisée.

Unlike centralized cloud providers, decentralized AI (DAI) distributes the computational processes for AI inference and training across multiple systems, networks, and locations. If implemented correctly, these networks, a type of decentralized physical infrastructure network (DePIN), bring benefits in censorship resistance, compute access, and cost.

Contrairement aux fournisseurs de cloud centralisés, l'IA décentralisée (DAI) distribue les processus informatiques pour l'inférence et la formation de l'IA sur plusieurs systèmes, réseaux et emplacements. S'ils sont mis en œuvre correctement, ces réseaux, un type de réseau d'infrastructure physique décentralisé (DePIN), apportent des avantages en termes de résistance à la censure, d'accès au calcul et de coût.

DAI faces challenges in two main areas: the AI environment and the decentralized infrastructure itself. Compared to centralized systems, DAI requires additional safeguards to prevent unauthorized access to model details or the theft and replication of proprietary information. For this reason, there is an under-explored opportunity for teams who focus on open-source models, but recognize the potential performance disadvantage of open-sourced models compared to their closed-source counterparts.

DAI est confronté à des défis dans deux domaines principaux : l’environnement de l’IA et l’infrastructure décentralisée elle-même. Par rapport aux systèmes centralisés, DAI nécessite des protections supplémentaires pour empêcher l'accès non autorisé aux détails du modèle ou le vol et la réplication d'informations exclusives. Pour cette raison, il existe une opportunité sous-explorée pour les équipes qui se concentrent sur les modèles open source, mais reconnaissent le désavantage potentiel en termes de performances des modèles open source par rapport à leurs homologues fermés.

Decentralized systems specifically face obstacles in network integrity and resource overhead. The distribution of client data across separate nodes, for instance, exposes more attack vectors. Attackers could spin up a node and analyze its computations, try to intercept data transmissions between nodes, or even introduce biases that degrade the system’s performance. Even in a secure decentralized inference model, there must be mechanisms to audit compute processes. Nodes are incentivized to save cost on resources by presenting incomplete computations, and verification is complicated by the lack of a trusted, centralized actor.

Les systèmes décentralisés sont spécifiquement confrontés à des obstacles en matière d’intégrité du réseau et de surcharge des ressources. La répartition des données client sur des nœuds distincts, par exemple, expose davantage de vecteurs d'attaque. Les attaquants pourraient faire tourner un nœud et analyser ses calculs, tenter d'intercepter les transmissions de données entre nœuds ou même introduire des biais qui dégradent les performances du système. Même dans un modèle d'inférence décentralisé et sécurisé, il doit exister des mécanismes pour auditer les processus de calcul. Les nœuds sont incités à économiser des ressources en présentant des calculs incomplets, et la vérification est compliquée par l’absence d’un acteur centralisé et fiable.

Zero-Knowledge Proofs

Preuves sans connaissance

Zero-knowledge proofs (ZKPs), while currently too computationally expensive, are one potential solution to some DAI challenges. ZKP is a cryptographic mechanism that enables one party (the prover) to convince another party (the verifier) of the truth of a statement without divulging any details about the statement itself, except its validity. Verification of this proof is quick for other nodes to run and offers a way for each node to prove it acted in accordance with the protocol. The technical differences between proof systems and their implementations (deep-dive on this coming later) are important for investors in the space.

Les preuves sans connaissance (ZKP), bien qu'actuellement trop coûteuses en termes de calcul, constituent une solution potentielle à certains défis de la DAI. ZKP est un mécanisme cryptographique qui permet à une partie (le prouveur) de convaincre une autre partie (le vérificateur) de la véracité d'une déclaration sans divulguer aucun détail sur la déclaration elle-même, à l'exception de sa validité. La vérification de cette preuve est rapide à exécuter pour les autres nœuds et offre à chaque nœud un moyen de prouver qu'il a agi conformément au protocole. Les différences techniques entre les systèmes de preuve et leurs implémentations (nous y reviendrons en profondeur plus tard) sont importantes pour les investisseurs dans le domaine.

Centralized compute makes model training exclusive to a handful of well-positioned and resourced players. ZKPs could be one part of unlocking idle compute on consumer hardware; a MacBook, for example, could use its extra compute bandwidth to help train a large-language model while earning tokens for the user.

Le calcul centralisé rend la formation de modèles exclusive à une poignée d’acteurs bien placés et dotés de ressources. Les ZKP pourraient contribuer à débloquer le calcul inactif sur le matériel grand public ; un MacBook, par exemple, pourrait utiliser sa bande passante de calcul supplémentaire pour aider à former un modèle en grand langage tout en gagnant des jetons pour l'utilisateur.

Deploying decentralized training or inference with consumer hardware is the focus of teams like Gensyn and Inference Labs; unlike a decentralized compute network like Akash or Render, sharding the computations adds complexity, namely the floating point problem. Making use of idle distributed compute resources opens the door for smaller developers to test and train their own networks — as long as they have access to tools that solve associated challenges.

Le déploiement d'une formation ou d'une inférence décentralisée avec du matériel grand public est au centre des préoccupations d'équipes comme Gensyn et Inference Labs ; contrairement à un réseau de calcul décentralisé comme Akash ou Render, le partage des calculs ajoute de la complexité, à savoir le problème de la virgule flottante. L'utilisation de ressources de calcul distribuées inutilisées permet aux petits développeurs de tester et de former leurs propres réseaux, à condition qu'ils aient accès à des outils qui résolvent les défis associés.

At present, ZKP systems are seemingly four to six orders of magnitude more expensive than running the compute natively, and for tasks that require high-compute (like model training) or low latency (like model inference) using a ZKP is prohibitively slow. For comparison, a drop of six orders of magnitude means that a cutting edge system (like a16z’s Jolt) running on an M3 Max chip can prove a program 150 times slower than running it on a TI-84 graphing calculator.

À l'heure actuelle, les systèmes ZKP sont apparemment quatre à six ordres de grandeur plus chers que l'exécution native du calcul, et pour les tâches qui nécessitent un calcul élevé (comme la formation de modèles) ou une faible latence (comme l'inférence de modèle), l'utilisation d'un ZKP est d'une lenteur prohibitive. À titre de comparaison, une baisse de six ordres de grandeur signifie qu'un système de pointe (comme Jolt de a16z) exécuté sur une puce M3 Max peut prouver qu'un programme est 150 fois plus lent que son exécution sur une calculatrice graphique TI-84.

AI's ability to process large amounts of data makes it compatible with zero-knowledge proofs (ZKPs), but more progress in cryptography is needed before ZKPs can be widely used. Work being done by teams such as Irreducible (who designed the Binius proof system and commitment scheme), Gensyn, TensorOpera, Hellas, and Inference Labs, among others, will be an important step in achieving this vision. Timelines, however, remain overly optimistic as true innovation takes time and mathematical advancement.

La capacité de l'IA à traiter de grandes quantités de données la rend compatible avec les preuves à connaissance nulle (ZKP), mais des progrès supplémentaires en cryptographie sont nécessaires avant que les ZKP puissent être largement utilisées. Le travail effectué par des équipes telles que Irreductible (qui a conçu le système de preuve et le système d'engagement Binius), Gensyn, TensorOpera, Hellas et Inference Labs, entre autres, constituera une étape importante dans la réalisation de cette vision. Les délais restent cependant trop optimistes, car la véritable innovation prend du temps et des progrès mathématiques.

In the meantime, it’s worth noting other possibilities and hybrid solutions. HellasAI and others are developing new methods of representing models and computations that can enable an optimistic challenge game, allowing for only a subset of computation that needs to be handled in zero-knowledge. Optimistic proofs only work when there is staking, the ability to prove wrongdoing,

En attendant, il convient de noter d'autres possibilités et solutions hybrides. HellasAI et d'autres développent de nouvelles méthodes de représentation de modèles et de calculs qui peuvent permettre un jeu de défi optimiste, autorisant uniquement un sous-ensemble de calculs qui doivent être traités sans connaissance. Les preuves optimistes ne fonctionnent que lorsqu'il y a un enjeu, la capacité de prouver un acte répréhensible,