Deepseekは、新しいオープンウェイトラージランゲージモデル（LLM）をリリースします

Deepseekは、最新のモデルであるProver V2を4月30日にHugging Faceにアップロードしました。許容されるオープンソースMITライセンスの下でリリースされた最新のモデルは、数学の証明の検証に取り組むことを目指しています。

Chinese artificial intelligence development company DeepSeek has released a new large language model (LLM) on the hosting service Hugging Face.

中国の人工知能開発会社Deepseekは、ホスティングサービスを抱きしめている新しい大手言語モデル（LLM）をリリースしました。

The latest model, Prover V2, is being released under the permissive open-source MIT license. It is a continuation of the Prover V1 line, first announced in August 2024. The first version of the model was presented in a paper titled “Prover: A Large Language Model for Compressing Mathematical Knowledge and Programming Lean 4.”

最新のモデルであるProver V2は、許容されるオープンソースMITライセンスの下でリリースされています。これは、2024年8月に初めて発表されたProver V1ラインの継続です。モデルの最初のバージョンは、「Prover：A Grage Language Model for Marge Language Model for Marge Language Model for Grage Langual Model 4.」で提示されました。

Prover V1 was trained to translate math competition problems into the Lean 4 programming language, which is used for proving theorems and was developed at Microsoft Research. The model was based on DeepSeek’s seven-billion-parameter DeepSeekMath model and was fine-tuned on synthetic data. Synthetic data refers to data used for training AI models that was, in turn, also generated by AI models, with human-generated data usually seen as an increasingly scarce source of higher-quality data.

Prover V1は、数学の競争の問題をLean 4プログラミング言語に翻訳するように訓練されました。これは、定理を証明するために使用され、Microsoft Researchで開発されました。このモデルは、Deepseekの70億パラメーターDeepseekmathモデルに基づいており、合成データに微調整されていました。合成データとは、AIモデルのトレーニングに使用されるデータを指します。これは、AIモデルによっても生成され、通常は高品質のデータのソースがますます少ないソースと見なされるヒト生成データを指します。

Prover V1.5, in turn, improved on the previous version by optimizing both training and execution and achieving higher accuracy in several common benchmarks.

Prover V1.5は、トレーニングと実行の両方を最適化し、いくつかの一般的なベンチマークでより高い精度を達成することにより、以前のバージョンで改善されました。

The new Prover V2 model is expected to run from RAM or VRAM. It has 671 billion parameters and weighs approximately 650 GB. To get them down to this size, Prover V2 weights have been quantized down to eight-bit floating point precision, meaning that each parameter has been approximated to take half the space of the usual 16 bits, with a bit being a single digit in binary numbers. This effectively halves the model’s bulk.

新しいProver V2モデルは、RAMまたはVRAMから実行される予定です。 6710億パラメーターがあり、重量は約650 GBです。それらをこのサイズに抑えるために、Prover V2ウェイトは8ビットの浮動小数点精度まで量子化されています。つまり、各パラメーターは通常の16ビットのスペースの半分のスペースをとるために近似されており、バイナリ数の1桁です。これにより、モデルのバルクが効果的に半分になります。

So far, the improvements introduced by Prover V2 are unclear, as no research paper or other information has been published at the time of writing. The number of parameters in the Prover V2 weights suggests that it is likely to be based on the company’s previous R1 model. When it was first released, R1 made waves in the AI space with its performance comparable to the then state-of-the-art OpenAI’s o1 model.

これまでのところ、Prover V2によって導入された改善は不明です。執筆時点では、研究論文やその他の情報が公開されていないためです。 Prover V2ウェイトのパラメーターの数は、会社の以前のR1モデルに基づいている可能性が高いことを示唆しています。最初にリリースされたとき、R1はAIスペースで波を作り、そのパフォーマンスは当時のOpenaiのO1モデルに匹敵します。

The importance of open weights

オープンウェイトの重要性

Publicly releasing the weights of LLMs is a controversial topic. On one side, it is a democratizing force that allows the public to access AI on their own terms without relying on private company infrastructure.

LLMSの重みを公開することは、物議を醸すトピックです。一方では、民間企業のインフラストラクチャに依存せずに、一般の人々が独自の条件でAIにアクセスできるようにする民主化の勢力です。

On the other side, it means that the company cannot step in and prevent abuse of the model by enforcing certain limitations on dangerous user queries. The release of R1 in this manner also raised security concerns, and some described it as China’s “Sputnik moment.”

反対側では、危険なユーザークエリに特定の制限を実施することで、会社がモデルの乱用を介して介入して防止できないことを意味します。この方法でのR1のリリースもセキュリティ上の懸念を引き起こし、一部の人はそれを中国の「Sputnikの瞬間」と表現しました。

Open source proponents rejoiced that DeepSeek continued where Meta left off with the release of its LLaMA series of open-source AI models, proving that open AI is a serious contender for OpenAI’s closed AI. The accessibility of those models is also constantly improving.

オープンソースの支持者は、メタがオープンソースAIモデルのラマシリーズのリリースでメタが中断したところからDeepseekが続いていることを喜んで、Open AIがOpenaiの閉じたAIの真剣な候補であることを証明しました。これらのモデルのアクセシビリティも常に改善されています。

Now, even users without access to a supercomputer that costs more than the average home in much of the world can run LLMs locally. This is primarily thanks to two AI development techniques: model distillation and quantization.

現在、世界中の平均的な家を超えるコストがかかるスーパーコンピューターにアクセスできないユーザーでさえ、LLMをローカルで実行できます。これは主に、モデルの蒸留と量子化という2つのAI開発手法のおかげです。

Distillation refers to training a compact “student” network to replicate the behavior of a larger “teacher” model, so you keep most of the performance while cutting parameters to make it accessible to less powerful hardware. Quantization consists of reducing the numeric precision of a model’s weights and activations to shrink size and boost inference speed with only minor accuracy loss.

蒸留とは、コンパクトな「生徒」ネットワークをトレーニングして、より大きな「教師」モデルの動作を再現することを指します。そのため、パラメーターを切断しながらパフォーマンスのほとんどを維持して、より強力なハードウェアにアクセスしやすくなります。量子化は、モデルの重みと活性化の数値精度を減らしてサイズを縮小し、マイナーな精度損失のみで推論速度を高めることで構成されます。

An example is Prover V2’s reduction from 16 to eight-bit floating point numbers, but further reductions are possible by halving bits further. Both of those techniques have consequences for model performance, but usually leave the model largely functional.

例は、Prover V2の16ビットから8ビットの浮動小数点数の減少ですが、ビットをさらに半分にすることでさらに減少が可能です。これらの手法はどちらもモデルのパフォーマンスに影響を及ぼしますが、通常、モデルは主に機能します。

DeepSeek’s R1 was distilled into versions with retrained LLaMA and Qwen models ranging from 70 billion parameters to as low as 1.5 billion parameters. The smallest of those models can even reliably be run on some mobile devices.output: Publicly releasing the weights of large language models (LLMs) is a hotly debated topic. On one side of the argument, it is a democratizing force that allows the public to access AI on their own terms without relying on private company infrastructure. On the other side, it means that the company cannot step in and prevent abuse of the model by enforcing certain limitations on dangerous user queries.

DeepseekのR1は、700億パラメーターから15億パラメーターまでの範囲の再訓練されたラマモデルとQwenモデルを備えたバージョンに蒸留されました。これらのモデルの最小は、一部のモバイルデバイスで確実に実行できます。アウトプット：大規模な言語モデル（LLMS）の重みを公開することは、熱く議論されているトピックです。議論の片側では、民間企業のインフラストラクチャに頼らずに、一般の人々が独自の条件でAIにアクセスできるようにする民主化の力です。反対側では、危険なユーザークエリに特定の制限を実施することで、会社がモデルの乱用を介して介入して防止できないことを意味します。

Those who follow the artificial intelligence (AI) landscape closely will recall the fuss that ensued when DeepSeek, a leading Chinese AI development company, released its R1 LLM with 1.5 trillion parameters. The model, which achieved performance comparable to OpenAI’s o1, was made available on the Hugging Face hosting service with the permissive MIT license.

人工知能（AI）の風景に密接に従う人は、中国の大手AI開発会社であるDeepseekが1.5兆パラメーターでR1 LLMをリリースしたときに続いた騒ぎを思い出します。 OpenaiのO1に匹敵するパフォーマンスを達成したモデルは、寛容なMITライセンスを使用してハグするフェイスホスティングサービスで利用可能になりました。

The release of R1 sparked a great deal of discussion in both the technical and economic spheres, with some comparing it to a “Sputnik moment” for China in the AI race. It also prompted a response from OpenAI, which announced that it would be releasing the weights of its own models in

R1のリリースは、技術的および経済的な分野の両方で多くの議論を引き起こし、AIレースでの中国の「Sputnikの瞬間」と比較する人もいました。また、Openaiからの回答が促され、それが独自のモデルの重みをリリースすることを発表しました。