中國(guó)新聞網(wǎng)-上海新聞
上海分社正文
超越GPT-4o!阿里云開(kāi)源最強(qiáng)代碼模型Qwen2.5-Coder
2024年11月12日 16:05   來(lái)源:中新網(wǎng)上海  

  11月12日,阿里云通義大模型團(tuán)隊(duì)開(kāi)源通義千問(wèn)代碼模型全系列,共6款Qwen2.5-Coder模型。相關(guān)評(píng)測(cè)顯示,6款代碼模型在同等尺寸下均取得了業(yè)界最佳效果,其中32B尺寸的旗艦代碼模型在十余項(xiàng)基準(zhǔn)評(píng)測(cè)中均取得開(kāi)源最佳成績(jī),成為全球最強(qiáng)開(kāi)源代碼模型,同時(shí),該代碼模型還在代碼生成等多項(xiàng)關(guān)鍵能力上超越閉源模型GPT-4o。基于Qwen2.5-Coder,AI編程性能和效率均實(shí)現(xiàn)大幅提升,編程“小白”也可輕松生成網(wǎng)站、數(shù)據(jù)圖表、簡(jiǎn)歷、游戲等各類應(yīng)用。

  編程語(yǔ)言是高度邏輯化和結(jié)構(gòu)化的,代碼模型要求理解、生成和處理這些復(fù)雜的邏輯關(guān)系和結(jié)構(gòu),通常也被認(rèn)為是大模型邏輯能力的基礎(chǔ)來(lái)源之一,對(duì)于整體提升大模型推理能力至關(guān)重要。Qwen2.5-Coder基于Qwen2.5基礎(chǔ)大模型進(jìn)行初始化,使用源代碼、文本代碼混合數(shù)據(jù)、合成數(shù)據(jù)等5.5T tokens的數(shù)據(jù)持續(xù)訓(xùn)練,實(shí)現(xiàn)了代碼生成、代碼推理、代碼修復(fù)等核心任務(wù)性能的顯著提升。

  其中,本次新發(fā)布的旗艦?zāi)P蚎wen2.5-Coder-32B-Instruct,在EvalPlus、LiveCodeBench、BigCodeBench等十余個(gè)主流的代碼生成基準(zhǔn)上,均刷新了開(kāi)源模型的得分紀(jì)錄,并在考察代碼修復(fù)能力的Aider、多編程語(yǔ)言能力的McEval等9個(gè)基準(zhǔn)上優(yōu)于GPT-4o,實(shí)現(xiàn)了開(kāi)源模型對(duì)閉源模型的反超。

  在代碼推理方面,Qwen2.5-Coder-32B-Instruct刷新了CRUXEval-O基準(zhǔn)開(kāi)源模型的最佳紀(jì)錄。Qwen2.5-Coder-32B-Instruct在40 余種編程語(yǔ)言中表現(xiàn)優(yōu)異,在McEval基準(zhǔn)上取得了所有開(kāi)閉源模型的最高分,并斬獲考察多編程語(yǔ)言代碼修復(fù)能力的MdEval基準(zhǔn)的開(kāi)源冠軍。

  此次開(kāi)源,Qwen2.5-Coder推出0.5B/1.5B/3B/7B/14B/32B 等6個(gè)尺寸的全系列模型,每個(gè)尺寸都開(kāi)源了Base 和 Instruct 模型,其中,Base模型可供開(kāi)發(fā)者微調(diào),Instruct模型則是開(kāi)箱即用的官方對(duì)齊模型,所有Qwen2.5-Coder模型在同等尺寸下均取得了模型效果最佳(SOTA)表現(xiàn)。

  Qwen2.5-Coder全系列開(kāi)源,可適配更多應(yīng)用場(chǎng)景,無(wú)論在端側(cè)還是云上,都可以讓AI大模型更好地協(xié)助開(kāi)發(fā)者完成編程開(kāi)發(fā),即便是編程“小白”,也可基于內(nèi)置Qwen2.5-Coder的代碼助手和可視化工具,用自然語(yǔ)言對(duì)話生成網(wǎng)站、數(shù)據(jù)圖表、簡(jiǎn)歷和游戲等各類應(yīng)用。

  截至目前,Qwen2.5已開(kāi)源100多個(gè)大語(yǔ)言模型、多模態(tài)模型、數(shù)學(xué)模型和代碼模型,幾乎所有模型都實(shí)現(xiàn)了同等尺寸下的最佳性能。據(jù)了解,全球基于Qwen系列二次開(kāi)發(fā)的衍生模型數(shù)量9月底突破7.43萬(wàn),超越Llama系列衍生模型的7.28萬(wàn),通義千問(wèn)已成為全球最大的生成式語(yǔ)言模型族群。(完/供圖)


注:請(qǐng)?jiān)谵D(zhuǎn)載文章內(nèi)容時(shí)務(wù)必注明出處!   

編輯:達(dá)利敏  

本網(wǎng)站所刊載信息,不代表中新社和中新網(wǎng)觀點(diǎn)。 刊用本網(wǎng)站稿件,務(wù)經(jīng)書(shū)面授權(quán)。
未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制及建立鏡像,違者將依法追究法律責(zé)任。
常年法律顧問(wèn):上海金茂律師事務(wù)所