Salesforce AI의 CODA-1.7B : 개별 분해 코드 생성의 도약

Code Generation을위한 개별 확산 모델 인 Salesforce AI의 CODA-1.7B를 탐색하여 매개 변수 수가 적고 재현 가능한 파이프 라인으로 경쟁력있는 성능을 제공합니다.

Salesforce AI is making waves with CoDA-1.7B, a compact yet powerful discrete-diffusion model designed for code generation. This model leverages bidirectional context and parallel token updates, marking a significant advancement in the field.

Salesforce AI는 코드 생성을 위해 설계된 작지만 강력한 개별 확산 모델 인 CODA-1.7B로 파도를 만들고 있습니다. 이 모델은 양방향 컨텍스트와 병렬 토큰 업데이트를 활용하여 현장에서 중요한 발전을 표시합니다.

Understanding CoDA-1.7B's Architecture and Training

CODA-1.7B의 건축 및 훈련 이해

CoDA-1.7B adapts a 1.7B-parameter backbone to discrete diffusion for text. It iteratively denoises masked sequences using full-sequence attention, enabling native infilling and non-autoregressive decoding. The model card documents a three-stage pipeline: pre-training with bidirectional masking, supervised post-training, and progressive denoising at inference. Reproducible scripts for TPU pre-training, GPU fine-tuning, and evaluation are also provided.

CODA-1.7B는 1.7B 파라미터 백본을 텍스트의 개별 확산에 적용합니다. 그것은 완전 시퀀스주의를 사용하여 마스크 시퀀스를 반복적으로 비난하여 기본 충전 및 비유로 인한 디코딩을 가능하게합니다. 이 모델 카드는 3 단계 파이프 라인을 문서화합니다. 양방향 마스킹을 통한 사전 훈련, 감독 후 훈련 및 추론에서 진보적 인 비난. TPU 사전 훈련, GPU 미세 조정 및 평가를위한 재현 가능한 스크립트도 제공됩니다.

Benchmark Performance

벤치 마크 성능

CoDA-1.7B-Instruct demonstrates impressive results on standard code-gen suites, including HumanEval (54.3%), HumanEval+ (47.6%), MBPP (47.2%), MBPP+ (63.2%), and EvalPlus aggregate (55.4%) pass@1. These results are competitive with some 7B diffusion models, such as Dream-7B-Instruct (57.9% HumanEval), while utilizing significantly fewer parameters.

CODA-1.7B- 구조는 Humaneval (54.3%), Humaneval+ (47.6%), MBPP (47.2%), MBPP+ (63.2%) 및 평가 플러스 집계 (55.4%)를 포함한 표준 코드 세대 스위트에서 인상적인 결과를 보여줍니다. 이러한 결과는 Dream-7B Instruct (57.9% Humaneval)와 같은 일부 7B 확산 모델과 경쟁력이 있으며, 매개 변수는 훨씬 적습니다.

Inference Behavior and Deployment

추론 행동 및 배치

Generation cost in CoDA is governed by the number of diffusion steps. Users can tune latency/quality trade-offs using parameters like STEPS and ALG="entropy". The model updates tokens in parallel under full attention, which targets lower wall-clock latency at small scale compared with larger diffusion models. The release includes a FastAPI server with OpenAI-compatible APIs and an interactive CLI for local inference. Model cards and a Hugging Face collection centralize artifacts, with checkpoints published under CC BY-NC 4.0 on Hugging Face.

CODA의 생성 비용은 확산 단계의 수에 의해 관리됩니다. 사용자는 단계 및 alg = "엔트로피"와 같은 매개 변수를 사용하여 대기 시간/품질 트레이드 오프를 조정할 수 있습니다. 이 모델은 전체적인주의를 기울여 토큰을 병렬로 업데이트하며, 이는 더 큰 확산 모델과 비교하여 소규모로 벽 클록 대기 시간을 대상으로합니다. 릴리스에는 OpenAI 호환 API가있는 FastAPI 서버와 국부 추론을위한 대화식 CLI가 포함됩니다. 모델 카드와 포옹 페이스 컬렉션은 아티팩트를 중앙 집중화하며 CC By-NC 4.0에 의해 포옹 페이스에 게시 된 체크 포인트를 중앙 집중화합니다.

Our Take

우리의 테이크

CoDA-1.7B is a valuable reference for discrete-diffusion code generation at a smaller scale. Its bidirectional denoising with parallel token updates and reproducible pipeline from pre-training to SFT and serving make it an accessible and practical tool. The ability to tune throughput/quality using step count and decoding knobs is also operationally advantageous. I believe CoDA-1.7B is a step toward making AI code generation more efficient and accessible to developers.

CODA-1.7B는 더 작은 규모의 개별 분해 코드 생성에 대한 귀중한 참조입니다. 병렬 토큰 업데이트와 사전 훈련에서 SFT에 이르기까지 재현 가능한 파이프 라인을 사용하여 양방향 비난을 받으면 액세스 가능하고 실용적인 도구가됩니다. 스텝 카운트 및 디코딩 노브를 사용하여 처리량/품질을 조정하는 기능도 작동 적으로 유리합니다. CODA-1.7B는 AI 코드 생성을보다 효율적이고 개발자에게 액세스 할 수 있도록하기위한 단계라고 생각합니다.

So, what are you waiting for? Dive into the world of CoDA-1.7B and see how it can revolutionize your code generation workflow!

그래서, 당신은 무엇을 기다리고 있습니까? Coda-1.7b의 세계로 뛰어 들어 코드 생성 워크 플로우에 어떻게 혁명을 일으킬 수 있는지 확인하십시오!