Salesforce AI의 CODA-1.7B : 코드 생성을 혁신하는 불연속 분해 모델

Salesforce AI Research는 코드를위한 확산 기반 언어 모델 인 CODA-1.7B를 발표하여 효율적이고 고품질 코드 생성을위한 새로운 표준을 설정합니다.

Salesforce AI is shaking things up with CoDA-1.7B, a nifty diffusion-based language model for code! It generates code by cleverly denoising whole sequences with bidirectional context, updating multiple tokens in parallel. Let's dive in!

Salesforce AI는 코드의 멋진 확산 기반 언어 모델 인 Coda-1.7b로 일을 흔들고 있습니다! 양방향 컨텍스트로 전체 시퀀스를 영리하게 비난하여 여러 토큰을 동시에 업데이트하여 코드를 생성합니다. 다이빙하자!

Understanding CoDA-1.7B's Architecture and Training

CODA-1.7B의 건축 및 훈련 이해

CoDA adapts a 1.7B-parameter backbone to discrete diffusion for text. Imagine masked sequences being iteratively denoised using full-sequence attention, enabling native infilling and non-autoregressive decoding. The model card documents a three-stage pipeline: pre-training with bidirectional masking, supervised post-training, and progressive denoising at inference. Plus, they've included reproducible scripts for TPU pre-training, GPU fine-tuning, and evaluation. Talk about thorough!

Coda는 1.7b 파라미터 백본을 텍스트의 개별 확산에 적응시킵니다. 마스크 시퀀스가 ​​완전 시퀀스주의를 사용하여 반복적으로 비난하는 것을 상상해보십시오. 이 모델 카드는 3 단계 파이프 라인을 문서화합니다. 양방향 마스킹을 통한 사전 훈련, 감독 후 훈련 및 추론에서 진보적 인 비난. 또한 TPU 사전 훈련, GPU 미세 조정 및 평가를위한 재현 가능한 스크립트가 포함되었습니다. 철저한 것에 대해 이야기하십시오!

How Does CoDA-1.7B Perform on Benchmarks?

CODA-1.7B는 벤치 마크에서 어떻게 수행합니까?

On standard code-gen suites, CoDA-1.7B-Instruct reports some impressive numbers:

표준 Code-Gen Suites에서 CODA-1.7B 비는 몇 가지 인상적인 숫자를보고합니다.

• HumanEval: 54.3%
• HumanEval+: 47.6%
• MBPP: 47.2%
• MBPP+: 63.2%
• EvalPlus aggregate: 55.4% (pass@1)

For context, the model card compares against diffusion baselines, including Dream-7B-Instruct (57.9% HumanEval), indicating CoDA’s 1.7B footprint is competitive with some 7B diffusion models while using fewer parameters. Efficiency is key, folks!

컨텍스트의 경우, 모델 카드는 Dream-7B-Instruct (57.9% Humaneval)를 포함한 확산 기준과 비교하여 Coda의 1.7b 풋 프린트가 더 적은 매개 변수를 사용하면서 일부 7B 확산 모델과 경쟁력이 있음을 나타냅니다. 효율성은 핵심입니다.

Inference Behavior: Tuning Latency and Quality

추론 행동 : 대기 시간 및 품질 조정

Generation cost is governed by the number of diffusion steps. CoDA exposes knobs such as STEPS, ALG="entropy", ALG_TEMP, and block length to tune latency/quality trade-offs. Because tokens are updated in parallel under full attention, CoDA targets lower wall-clock latency at small scale compared with larger diffusion models, at comparable step budgets. It's all about finding that sweet spot!

생성 비용은 확산 단계의 수에 의해 적용됩니다. Coda는 단계, alg = "Entropy", Alg_temp 및 블록 길이와 같은 손잡이를 노출시켜 대기 시간/품질 트레이드 오프를 조정합니다. 토큰은 완전히주의를 기울여 병렬로 업데이트되기 때문에 CODA는 비슷한 단계 예산에서 더 큰 확산 모델과 비교하여 소규모로 벽 클록 대기 시간을 목표로 삼습니다. 그 달콤한 장소를 찾는 것이 전부입니다!

Deployment and Licensing: Easy Access and Usage

배포 및 라이센스 : 쉽게 액세스 및 사용

The repository provides a FastAPI server with OpenAI-compatible APIs and an interactive CLI for local inference. Instructions include environment setup and a start_server.sh launcher. Model cards and a Hugging Face collection centralize artifacts. The checkpoints are published under CC BY-NC 4.0 on Hugging Face. Open and accessible – just how we like it!

이 저장소는 OpenAI 호환 API와 로컬 추론을위한 대화식 CLI를 가진 FastAPI 서버를 제공합니다. 지침에는 환경 설정 및 start_server.sh 런처가 포함됩니다. 모델 카드와 포옹 페이스 컬렉션은 아티팩트를 중앙 집중화합니다. 체크 포인트는 CC By-NC 4.0에 의해 포옹 얼굴에 게시됩니다. 개방적이고 접근 가능 - 우리가 얼마나 좋아하는지!

Our Take: CoDA-1.7B is a Game Changer

우리의 테이크 : CODA-1.7B는 게임 체인저입니다

CoDA-1.7B stands as a clean reference for discrete-diffusion code generation at small scale: 1.7B parameters, bidirectional denoising with parallel token updates, and a reproducible pipeline from pre-training to SFT and serving. The reported pass@1 results—HumanEval 54.3, HumanEval+ 47.6, MBPP 47.2, MBPP+ 63.2, EvalPlus aggregate 55.4—place it competitive with some 7B diffusion baselines (e.g., Dream-7B HumanEval 57.9) while using fewer parameters. Inference latency is explicitly governed by step count and decoding knobs (STEPS, entropy-style guidance), which is operationally useful for tuning throughput/quality. Plus, the release includes weights on Hugging Face and a FastAPI server/CLI for local deployment. What's not to love?

CODA-1.7B는 소규모로 개별 분해 코드 생성에 대한 깨끗한 참조로, 1.7b 매개 변수, 병렬 토큰 업데이트를 통한 양방향 비난 및 사전 훈련에서 SFT 및 서빙에 이르기까지 재현 가능한 파이프 라인입니다. 보고 된 Pass@1 결과-Humaneval 54.3, Humaneval+ 47.6, MBPP 47.2, MBPP+ 63.2, EvalPlus Aggregate 55.4-일부 7B 확산 기준 (EG, Dream-7B Humananeval 57.9)과 경쟁이 치열한 파라미터를 사용하는 동안. 추론 대기 시간은 스텝 카운트 및 디코딩 노브 (단계, 엔트로피 스타일 안내서)에 의해 명시 적으로 통제되며, 이는 처리량/품질을 조정하는 데 작동합니다. 또한 릴리스에는 포옹 페이스의 가중치와 로컬 배치를위한 Fastapi 서버/CLI가 포함됩니다. 사랑하지 않는 것은 무엇입니까?

So, there you have it! Salesforce AI's CoDA-1.7B is making waves in the world of code generation. Who knew denoising could be so cool? Keep coding and stay curious!

그래서, 당신은 그것을 가지고 있습니다! Salesforce AI의 CODA-1.7B는 코드 생성 세계에서 파도를 만들고 있습니다. 거부가 너무 시원하다는 것을 누가 알았습니까? 계속 코딩하고 호기심을 유지하십시오!