Deepseek publie son nouveau modèle de grande langue (LLM) en charge ouverte (LLM)

Deepseek a téléchargé son dernier modèle, Prover V2, sur le service d'hébergement Hugging Face le 30 avril. Le dernier modèle, publié sous la licence MIT open-source permissive, vise à lutter contre la vérification des preuves mathématiques.

Chinese artificial intelligence development company DeepSeek has released a new large language model (LLM) on the hosting service Hugging Face.

La société chinoise de développement de l'intelligence artificielle Deepseek a publié un nouveau modèle de grande langue (LLM) sur le service de service d'hébergement.

The latest model, Prover V2, is being released under the permissive open-source MIT license. It is a continuation of the Prover V1 line, first announced in August 2024. The first version of the model was presented in a paper titled “Prover: A Large Language Model for Compressing Mathematical Knowledge and Programming Lean 4.”

Le dernier modèle, Prover V2, est publié sous la licence MIT open-source permissive. Il s'agit d'une continuation de la ligne Prover V1, annoncée pour la première fois en août 2024. La première version du modèle a été présentée dans un article intitulé «Prover: un grand modèle de langue pour compresser les connaissances mathématiques et la programmation Lean 4.»

Prover V1 was trained to translate math competition problems into the Lean 4 programming language, which is used for proving theorems and was developed at Microsoft Research. The model was based on DeepSeek’s seven-billion-parameter DeepSeekMath model and was fine-tuned on synthetic data. Synthetic data refers to data used for training AI models that was, in turn, also generated by AI models, with human-generated data usually seen as an increasingly scarce source of higher-quality data.

Prover V1 a été formé pour traduire les problèmes de compétition en mathématiques dans le langage de programmation Lean 4, qui est utilisé pour prouver les théorèmes et a été développé chez Microsoft Research. Le modèle était basé sur le modèle Deepseekmath de Septseek de sept milliards de dollars et a été affiné sur les données synthétiques. Les données synthétiques se réfèrent aux données utilisées pour la formation des modèles d'IA qui ont été, à leur tour, également générées par les modèles d'IA, avec des données générées par l'homme généralement considérées comme une source de plus en plus rare de données de meilleure qualité.

Prover V1.5, in turn, improved on the previous version by optimizing both training and execution and achieving higher accuracy in several common benchmarks.

Prover v1.5, à son tour, s'est amélioré sur la version précédente en optimisant à la fois la formation et l'exécution et la réalisation d'une plus grande précision dans plusieurs repères communs.

The new Prover V2 model is expected to run from RAM or VRAM. It has 671 billion parameters and weighs approximately 650 GB. To get them down to this size, Prover V2 weights have been quantized down to eight-bit floating point precision, meaning that each parameter has been approximated to take half the space of the usual 16 bits, with a bit being a single digit in binary numbers. This effectively halves the model’s bulk.

Le nouveau modèle V2 Prover V2 devrait fonctionner à partir de RAM ou VRAM. Il a 671 milliards de paramètres et pèse environ 650 Go. Pour les faire tomber à cette taille, les poids des prover v2 ont été quantifiés à une précision de point flottante à huit bits, ce qui signifie que chaque paramètre a été approximé pour prendre la moitié de l'espace des 16 bits habituels, un peu étant un seul chiffre en nombre binaire. Cela réalise efficacement le volume du modèle.

So far, the improvements introduced by Prover V2 are unclear, as no research paper or other information has been published at the time of writing. The number of parameters in the Prover V2 weights suggests that it is likely to be based on the company’s previous R1 model. When it was first released, R1 made waves in the AI space with its performance comparable to the then state-of-the-art OpenAI’s o1 model.

Jusqu'à présent, les améliorations introduites par Prover V2 ne sont pas claires, car aucun document de recherche ou autre information n'a été publié au moment de la rédaction du moment de la rédaction. Le nombre de paramètres dans les poids de prover V2 suggère qu'il est probablement basé sur le modèle R1 précédent de l'entreprise. Lorsqu'il a été publié pour la première fois, R1 a fait des vagues dans l'espace AI avec ses performances comparables au modèle O1 d'Openai de pointe.

The importance of open weights

L'importance des poids ouverts

Publicly releasing the weights of LLMs is a controversial topic. On one side, it is a democratizing force that allows the public to access AI on their own terms without relying on private company infrastructure.

La publication publique des poids de LLMS est un sujet controversé. D'un côté, il s'agit d'une force démocratisant qui permet au public d'accéder à l'IA à ses propres conditions sans compter sur l'infrastructure des entreprises privées.

On the other side, it means that the company cannot step in and prevent abuse of the model by enforcing certain limitations on dangerous user queries. The release of R1 in this manner also raised security concerns, and some described it as China’s “Sputnik moment.”

De l'autre côté, cela signifie que l'entreprise ne peut pas intervenir et empêcher la maltraitance du modèle en appliquant certaines limitations aux requêtes d'utilisateurs dangereuses. La libération de R1 de cette manière a également soulevé des problèmes de sécurité, et certains l'ont décrit comme le «moment Spoutnik» de la Chine.

Open source proponents rejoiced that DeepSeek continued where Meta left off with the release of its LLaMA series of open-source AI models, proving that open AI is a serious contender for OpenAI’s closed AI. The accessibility of those models is also constantly improving.

Les partisans open source se sont réjouis que Deepseek se soit poursuivi là où Meta s'était arrêté avec la sortie de sa série LLAMA de modèles d'IA open source, prouvant qu'Open IA est un concurrent sérieux pour l'IA fermée d'Openai. L'accessibilité de ces modèles s'améliore également constamment.

Now, even users without access to a supercomputer that costs more than the average home in much of the world can run LLMs locally. This is primarily thanks to two AI development techniques: model distillation and quantization.

Désormais, même les utilisateurs sans accès à un supercalculateur qui coûtent plus cher que la maison moyenne dans une grande partie du monde peut exécuter LLMS localement. Ceci est principalement grâce à deux techniques de développement d'IA: la distillation et la quantification du modèle.

Distillation refers to training a compact “student” network to replicate the behavior of a larger “teacher” model, so you keep most of the performance while cutting parameters to make it accessible to less powerful hardware. Quantization consists of reducing the numeric precision of a model’s weights and activations to shrink size and boost inference speed with only minor accuracy loss.

La distillation fait référence à la formation d'un réseau «étudiant» compact pour reproduire le comportement d'un modèle plus grand «enseignant», vous conservez donc la plupart des performances tout en coupant les paramètres pour le rendre accessible à un matériel moins puissant. La quantification consiste à réduire la précision numérique des poids et des activations d'un modèle pour réduire la taille et augmenter la vitesse d'inférence avec une perte de précision mineure.

An example is Prover V2’s reduction from 16 to eight-bit floating point numbers, but further reductions are possible by halving bits further. Both of those techniques have consequences for model performance, but usually leave the model largely functional.

Un exemple est la réduction de Prover V2 de 16 à des nombres de points flottants à huit bits, mais d'autres réductions sont possibles en révoltant de moitié les bits. Ces deux techniques ont des conséquences pour les performances du modèle, mais quittent généralement le modèle largement fonctionnel.

DeepSeek’s R1 was distilled into versions with retrained LLaMA and Qwen models ranging from 70 billion parameters to as low as 1.5 billion parameters. The smallest of those models can even reliably be run on some mobile devices.output: Publicly releasing the weights of large language models (LLMs) is a hotly debated topic. On one side of the argument, it is a democratizing force that allows the public to access AI on their own terms without relying on private company infrastructure. On the other side, it means that the company cannot step in and prevent abuse of the model by enforcing certain limitations on dangerous user queries.

Le R1 de Deepseek a été distillé en versions avec des modèles Retrained Llama et Qwen allant de 70 milliards de paramètres à 1,5 milliard de paramètres. Le plus petit de ces modèles peut même être exécuté de manière fiable sur certains appareils mobiles. D'un côté de l'argument, c'est une force démocratisant qui permet au public d'accéder à l'IA à ses propres conditions sans compter sur l'infrastructure des entreprises privées. De l'autre côté, cela signifie que l'entreprise ne peut pas intervenir et empêcher la maltraitance du modèle en appliquant certaines limitations aux requêtes d'utilisateurs dangereuses.

Those who follow the artificial intelligence (AI) landscape closely will recall the fuss that ensued when DeepSeek, a leading Chinese AI development company, released its R1 LLM with 1.5 trillion parameters. The model, which achieved performance comparable to OpenAI’s o1, was made available on the Hugging Face hosting service with the permissive MIT license.

Ceux qui suivent le paysage de l'intelligence artificielle (IA) se souviendront de près de l'agitation qui a suivi lorsque Deepseek, une principale société de développement de l'IA chinoise, a publié son R1 LLM avec 1,5 billion de paramètres. Le modèle, qui a atteint des performances comparables à l'O1 d'OpenAI, a été mis à disposition sur le service d'hébergement Face Hugging avec la licence MIT permissive.

The release of R1 sparked a great deal of discussion in both the technical and economic spheres, with some comparing it to a “Sputnik moment” for China in the AI race. It also prompted a response from OpenAI, which announced that it would be releasing the weights of its own models in

La libération de R1 a déclenché beaucoup de discussions dans les sphères techniques et économiques, certains le comparant à un «moment Spoutnik» pour la Chine dans la race de l'IA. Il a également suscité une réponse d'Openai, qui a annoncé qu'elle publierait le poids de ses propres modèles