阿里發(fā)布Qwen3-Coder，為4800億參數(shù)開(kāi)源代碼模型

近日，阿里巴巴集團(tuán)正式發(fā)布了全新開(kāi)源代碼模型 Qwen3-Coder，引起了廣泛關(guān)注。此次發(fā)布的 Qwen3-Coder-480B-A35B-Instruct（以下簡(jiǎn)稱(chēng) Qwen3-Coder）是該系列中最強(qiáng)大的版本，擁有高達(dá)4,800億的總參數(shù)量和350億的激活參數(shù)，原生支持256K token的上下文，并可擴(kuò)展到1百萬(wàn)token，支持358種編程語(yǔ)言。

Qwen3-Coder采用了混合專(zhuān)家（MoE）模型架構(gòu)，配備了96個(gè)查詢(xún)（Q）注意力頭和8個(gè)鍵/值（KV）注意力頭，擁有160個(gè)專(zhuān)家，其中8個(gè)專(zhuān)家被激活。在預(yù)訓(xùn)練階段，該模型從數(shù)據(jù)、上下文和合成數(shù)據(jù)三個(gè)角度進(jìn)行擴(kuò)展，以提升代碼能力；在后訓(xùn)練階段，研究團(tuán)隊(duì)通過(guò)在真實(shí)代碼任務(wù)上擴(kuò)展代碼強(qiáng)化學(xué)習(xí)（Code RL）訓(xùn)練，顯著提升了代碼執(zhí)行成功率。

值得一提的是，Qwen3-Coder在代理式編碼、代理式瀏覽器使用和代理式工具使用上達(dá)到了開(kāi)源模型的領(lǐng)先水平，媲美Claude Sonnet 4。其代碼庫(kù)上線(xiàn)一小時(shí)便收獲了5.1k Star，足見(jiàn)其受歡迎程度。此外，阿里還推出了基于Qwen3-Coder的命令行工具Qwen Code，進(jìn)一步提升了其在代理式編程任務(wù)上的表現(xiàn)。

Qwen3-Coder的發(fā)布是阿里Qwen3系列模型的最新進(jìn)展。三個(gè)月前，阿里發(fā)布了Qwen3系列，包括兩款MoE模型和六款密集模型。其中的旗艦?zāi)Ｐ蚎wen3-235B-A22B，總參數(shù)量高達(dá)2,350億，激活參數(shù)為220億。此次發(fā)布的Qwen3-Coder取消了混合思維模式，專(zhuān)注于非思考模式，以獲得最佳質(zhì)量。