Salesforce AIのCODA-1.7B：離散拡散コード生成の飛躍

コード生成の個別拡散モデルであるSalesforce AIのCODA-1.7Bを探索し、パラメーターが少なく再現可能なパイプラインで競争力のあるパフォーマンスを提供します。

Salesforce AI is making waves with CoDA-1.7B, a compact yet powerful discrete-diffusion model designed for code generation. This model leverages bidirectional context and parallel token updates, marking a significant advancement in the field.

Salesforce AIは、コード生成向けに設計されたコンパクトでありながら強力な離散拡散モデルであるCODA-1.7Bを使用して波を作っています。このモデルは、双方向のコンテキストと並列トークンの更新を活用し、フィールドでの大幅な進歩をマークします。

Understanding CoDA-1.7B's Architecture and Training

CODA-1.7Bのアーキテクチャとトレーニングの理解

CoDA-1.7B adapts a 1.7B-parameter backbone to discrete diffusion for text. It iteratively denoises masked sequences using full-sequence attention, enabling native infilling and non-autoregressive decoding. The model card documents a three-stage pipeline: pre-training with bidirectional masking, supervised post-training, and progressive denoising at inference. Reproducible scripts for TPU pre-training, GPU fine-tuning, and evaluation are also provided.

CODA-1.7Bは、テキストの個別の拡散に1.7Bパラメーターバックボーンを適応させます。フルシーケンスの注意を使用して、マスクされたシーケンスを繰り返し除去し、ネイティブの浸漬と非自動網性のデコードを可能にします。モデルカードには、3段階のパイプラインが記録されています。双方向マスキングによるトレーニング前、トレーニング後の監視、および推論での進歩的な除去。 TPUの事前トレーニング、GPU微調整、および評価のための再現可能なスクリプトも提供されます。

Benchmark Performance

ベンチマークパフォーマンス

CoDA-1.7B-Instruct demonstrates impressive results on standard code-gen suites, including HumanEval (54.3%), HumanEval+ (47.6%), MBPP (47.2%), MBPP+ (63.2%), and EvalPlus aggregate (55.4%) pass@1. These results are competitive with some 7B diffusion models, such as Dream-7B-Instruct (57.9% HumanEval), while utilizing significantly fewer parameters.

CODA-1.7B-Instructは、Humanval（54.3％）、Humaneval+（47.6％）、MBPP（47.2％）、MBPP+（63.2％）、およびEvalplus Aggregate（55.4％）を含む標準コード - 世代スイートで印象的な結果を示しています。これらの結果は、Dream-7B-Instruct（57.9％Humaneval）などの約7Bの拡散モデルと競合し、パラメーターが大幅に少なくなります。

Inference Behavior and Deployment

推論の動作と展開

Generation cost in CoDA is governed by the number of diffusion steps. Users can tune latency/quality trade-offs using parameters like STEPS and ALG="entropy". The model updates tokens in parallel under full attention, which targets lower wall-clock latency at small scale compared with larger diffusion models. The release includes a FastAPI server with OpenAI-compatible APIs and an interactive CLI for local inference. Model cards and a Hugging Face collection centralize artifacts, with checkpoints published under CC BY-NC 4.0 on Hugging Face.

CODAの生成コストは、拡散ステップの数に準拠しています。ユーザーは、ステップやalg = "エントロピー"などのパラメーターを使用して、遅延/品質のトレードオフをチューニングできます。このモデルは、より大きな拡散モデルと比較して、小規模での壁1杯の遅延の低下を対象とする完全な注意の下でトークンを並行して更新します。このリリースには、OpenAI互換APIを備えたFastAPIサーバーと、ローカル推論用のインタラクティブCLIが含まれます。モデルカードと抱きしめるフェイスコレクションは、ハギングフェイスにCC BY-NC 4.0で公開されているチェックポイントを備えて、アーティファクトを集中化します。

Our Take

私たちのテイク

CoDA-1.7B is a valuable reference for discrete-diffusion code generation at a smaller scale. Its bidirectional denoising with parallel token updates and reproducible pipeline from pre-training to SFT and serving make it an accessible and practical tool. The ability to tune throughput/quality using step count and decoding knobs is also operationally advantageous. I believe CoDA-1.7B is a step toward making AI code generation more efficient and accessible to developers.

CODA-1.7Bは、小規模で離散拡散コード生成の貴重な参照です。並列トークンの更新とSFTの事前訓練から再現可能なパイプラインを使用した双方向の除去およびサービングまで、アクセスしやすく実用的なツールになります。ステップカウントとデコードノブを使用してスループット/品質をチューニングする機能も運用上有利です。 CODA-1.7Bは、開発者がAIコード生成をより効率的かつアクセスしやすくするためのステップだと思います。

So, what are you waiting for? Dive into the world of CoDA-1.7B and see how it can revolutionize your code generation workflow!

それで、あなたは何を待っていますか？ CODA-1.7Bの世界に飛び込み、コード生成ワークフローにどのように革命をもたらすことができるかを確認してください！