Apple âm thầm ra mắt DiffuCode-7B, LLM lập trình mã nguồn mở, huấn luyện từ Alibaba Qwen

Apple vừa lặng lẽ phát hành một mô hình AI mới lên Hugging Face, đi kèm với một điểm đặc biệt thú vị. Thay vì viết mã theo trình tự như các LLM truyền thống, nó có thể viết code lập trình theo thứ tự khác nhau và cải thiện nhiều đoạn mã cùng lúc.

Mô hình nguồn mở có tên là DiffuCode-7B-cpGRPO, được đề cập trong báo cáo nghiên cứu khoa học có tiêu đề “DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation”.

Thay vì ứng dụng kỹ thuật tự động hồi quy, thì các nhà nghiên cứu Apple đã thử ứng dụng kỹ thuật khuếch tán, thứ đã giúp tạo ra những mô hình tạo hình ảnh bằng AI.

Mô hình của Apple được xây dựng dựa trên Qwen2.5‑7B, một mô hình nền tảng nguồn mở từ Alibaba. Đầu tiên, Alibaba đã tinh chỉnh mô hình đó để tạo mã tốt hơn (thành Qwen2.5‑Coder‑7B), sau đó Apple đã sử dụng nó và thực hiện các điều chỉnh riêng.

Họ đã biến nó thành một mô hình mới với bộ decoder dựa trên kỹ thuật diffusion, như được mô tả trong bài nghiên cứu DiffuCoder, rồi lại điều chỉnh thêm để tuân thủ prompt tốt hơn. Sau khi hoàn tất, họ đã đào tạo một phiên bản khác của nó bằng cách sử dụng hơn 20.000 ví dụ lập trình được chọn lọc cẩn thận.

Tất nhiên, vẫn còn rất nhiều chỗ để cải thiện. Mặc dù DiffuCoder hoạt động tốt hơn nhiều mô hình khác, nhưng nó vẫn chưa đạt đến trình độ của GPT-4 hoặc Gemini Diffusion.