Salesforce AIのCODA-1.7B：コード生成に革命をもたらす離散拡散モデル

Salesforce AI Researchは、コードの拡散ベースの言語モデルであるCODA-1.7Bを発表し、効率的で高品質のコード生成のための新しい標準を設定します。

Salesforce AI is shaking things up with CoDA-1.7B, a nifty diffusion-based language model for code! It generates code by cleverly denoising whole sequences with bidirectional context, updating multiple tokens in parallel. Let's dive in!

Salesforce AIは、コード用の気の利いた拡散ベースの言語モデルであるCODA-1.7Bで物事を揺さぶっています！双方向のコンテキストでシーケンス全体を巧みに除去し、複数のトークンを並行して更新することにより、コードを生成します。飛び込みましょう！

Understanding CoDA-1.7B's Architecture and Training

CODA-1.7Bのアーキテクチャとトレーニングの理解

CoDA adapts a 1.7B-parameter backbone to discrete diffusion for text. Imagine masked sequences being iteratively denoised using full-sequence attention, enabling native infilling and non-autoregressive decoding. The model card documents a three-stage pipeline: pre-training with bidirectional masking, supervised post-training, and progressive denoising at inference. Plus, they've included reproducible scripts for TPU pre-training, GPU fine-tuning, and evaluation. Talk about thorough!

CODAは、1.7Bパラメーターバックボーンをテキストの個別の拡散に適応させます。フルシーケンスの注意を使用して繰り返し除去されたマスクされたシーケンスが、ネイティブの浸漬と非自動採合デコードを可能にすることを想像してください。モデルカードには、3段階のパイプラインが記録されています。双方向マスキングによるトレーニング前、トレーニング後の監視、および推論での進歩的な除去。さらに、TPUの事前トレーニング、GPU微調整、および評価のための再現可能なスクリプトが含まれています。徹底的に話してください！

How Does CoDA-1.7B Perform on Benchmarks?

CODA-1.7Bはベンチマークでどのように機能しますか？

On standard code-gen suites, CoDA-1.7B-Instruct reports some impressive numbers:

標準のコードGenスイートでは、CODA-1.7B-Instructがいくつかの印象的な数字を報告しています。

• HumanEval: 54.3%
• HumanEval+: 47.6%
• MBPP: 47.2%
• MBPP+: 63.2%
• EvalPlus aggregate: 55.4% (pass@1)

For context, the model card compares against diffusion baselines, including Dream-7B-Instruct (57.9% HumanEval), indicating CoDA’s 1.7B footprint is competitive with some 7B diffusion models while using fewer parameters. Efficiency is key, folks!

コンテキストでは、モデルカードは、Dream-7B-Instruct（57.9％Humanval）を含む拡散ベースラインと比較されます。効率が重要です、人々！

Inference Behavior: Tuning Latency and Quality

推論の動作：レイテンシと品質の調整

Generation cost is governed by the number of diffusion steps. CoDA exposes knobs such as STEPS, ALG="entropy", ALG_TEMP, and block length to tune latency/quality trade-offs. Because tokens are updated in parallel under full attention, CoDA targets lower wall-clock latency at small scale compared with larger diffusion models, at comparable step budgets. It's all about finding that sweet spot!

生成コストは、拡散手順の数に準拠しています。 CODAは、ステップ、alg = "エントロピー"、alg_temp、ブロック長などのノブを公開し、レイテンシ/品質のトレードオフを調整します。トークンは完全に注意の下で並行して更新されるため、CODAは、比較可能なステップ予算で、より大きな拡散モデルと比較して小規模で低壁1杯のレイテンシをターゲットにします。そのスイートスポットを見つけることがすべてです！

Deployment and Licensing: Easy Access and Usage

展開とライセンス：簡単なアクセスと使用

The repository provides a FastAPI server with OpenAI-compatible APIs and an interactive CLI for local inference. Instructions include environment setup and a start_server.sh launcher. Model cards and a Hugging Face collection centralize artifacts. The checkpoints are published under CC BY-NC 4.0 on Hugging Face. Open and accessible – just how we like it!

リポジトリは、OpenAI互換APIを備えたFastAPIサーバーと、ローカル推論用のインタラクティブCLIを提供します。手順には、環境セットアップとstart_server.shランチャーが含まれます。モデルカードとハグするフェイスコレクションは、アーティファクトを集中化します。チェックポイントは、CC by-nc 4.0の下でhugging faceで公開されています。オープンでアクセスしやすい - 私たちがそれを好きになった方法！

Our Take: CoDA-1.7B is a Game Changer

私たちのテイク：CODA-1.7Bはゲームチェンジャーです

CoDA-1.7B stands as a clean reference for discrete-diffusion code generation at small scale: 1.7B parameters, bidirectional denoising with parallel token updates, and a reproducible pipeline from pre-training to SFT and serving. The reported pass@1 results—HumanEval 54.3, HumanEval+ 47.6, MBPP 47.2, MBPP+ 63.2, EvalPlus aggregate 55.4—place it competitive with some 7B diffusion baselines (e.g., Dream-7B HumanEval 57.9) while using fewer parameters. Inference latency is explicitly governed by step count and decoding knobs (STEPS, entropy-style guidance), which is operationally useful for tuning throughput/quality. Plus, the release includes weights on Hugging Face and a FastAPI server/CLI for local deployment. What's not to love?

CODA-1.7Bは、小規模な離散拡散コード生成のクリーンリファレンスとして存在します：1.7Bパラメーター、並列トークンの更新による双方向の除去、およびSFT前およびSFTおよびサービングまでの再現可能なパイプライン。報告されたパス@1の結果 - Humaneval 54.3、Humanval+ 47.6、MBPP 47.2、MBPP+ 63.2、Evalplus集合体55.4 - パラメーターを使用しながら、約7B拡散ベースライン（例えば、Dream-7B Humaneval 57.9）と競合します。推論のレイテンシは、スループット/品質の調整に運用的に役立つステップカウントとデコードノブ（ステップ、エントロピースタイルのガイダンス）によって明示的に管理されます。さらに、このリリースには、ハグする顔のウェイトと、ローカル展開用のFastapiサーバー/CLIが含まれます。何が好きではないのですか？

So, there you have it! Salesforce AI's CoDA-1.7B is making waves in the world of code generation. Who knew denoising could be so cool? Keep coding and stay curious!

それで、あなたはそれを持っています！ Salesforce AIのCODA-1.7Bは、コード生成の世界で波を築いています。脱同種がとてもクールであると知っていたのは誰ですか？コーディングを続けて、好奇心をそそります！