從HumanEval到CoderEval: 你的代碼生成模型真的work嗎？

2. 數(shù)據(jù)收集：針對(duì)每個(gè)候選測(cè)試任務(wù)，分析和收集目標(biāo)函數(shù)/方法的元信息、自身信息、測(cè)試信息等

3. 環(huán)境構(gòu)建：準(zhǔn)備目標(biāo)項(xiàng)目和依賴，為測(cè)試代碼提供執(zhí)行環(huán)境，并通過執(zhí)行測(cè)試驗(yàn)證測(cè)試代碼和目標(biāo)代碼的正確性

作為第一個(gè)版本，CoderEval首先支持了兩大語(yǔ)言：

? CoderEval4Python：包含來(lái)自43個(gè)項(xiàng)目的230個(gè)生成任務(wù)

? CoderEval4Java：包含來(lái)自10個(gè)項(xiàng)目的230個(gè)生成任務(wù)

為了真實(shí)反映代碼生成模型在實(shí)際項(xiàng)目開發(fā)中的效果和價(jià)值，我們需要從真實(shí)、多元的開源項(xiàng)目中選取高質(zhì)量的生成任務(wù)，并配備盡可能完善的測(cè)試。為此，我們首先爬取了GitHub上Python和Java項(xiàng)目的所有標(biāo)簽，根據(jù)最頻繁的14個(gè)標(biāo)簽和標(biāo)星數(shù)篩選出若干項(xiàng)目，然后抽取出項(xiàng)目中所有的測(cè)試代碼以及被測(cè)函數(shù)/方法，僅保留符合以下全部條件的部分：

?并非以測(cè)試為目的的、deprecated的、接口形式的函數(shù)/方法

?包含一段英文自然語(yǔ)言描述作為函數(shù)/方法級(jí)注釋

?可以在測(cè)試環(huán)境中正確執(zhí)行并通過原始測(cè)試

經(jīng)過這些篩選保留下來(lái)的函數(shù)/方法，再經(jīng)過人工篩選和程序分析，構(gòu)成了CoderEval中的代碼生成任務(wù)，每個(gè)生成任務(wù)提供的信息有：

?元信息（Meta）：所在項(xiàng)目地址、文件路徑、行號(hào)范圍等

?自身信息（Native）：該函數(shù)/方法的原始注釋、簽名、代碼等

?上下文信息（Context，可選）：所在文件內(nèi)容、可訪問上下文信息、所使用上下文信息、運(yùn)行級(jí)別分類等

?測(cè)試信息（Test）：人工標(biāo)注的自然語(yǔ)言描述、在原始代碼上的若干測(cè)試樣例等

CoderEval使用方法

CoderEval支持函數(shù)/方法塊級(jí)生成（Block Generation）：根據(jù)注釋形式的任務(wù)描述和/或函數(shù)簽名，生成實(shí)現(xiàn)對(duì)應(yīng)功能的完整函數(shù)體。

CoderEval支持的指標(biāo)：基于運(yùn)行的指標(biāo)（Comparison-based Metrics）。與HumanEval一致，我們同樣采取了Pass@k作為測(cè)試指標(biāo)，從而評(píng)估所生成代碼實(shí)際的運(yùn)行效果，允許模型生成不同版本的實(shí)現(xiàn)。

CoderEval支持更細(xì)粒度的評(píng)估：

1. 上下文感知能力評(píng)估：我們?cè)谘芯恐邪l(fā)現(xiàn)，對(duì)于非自包含函數(shù)/方法，其代碼實(shí)現(xiàn)中的外部依賴信息對(duì)于其功能和行為非常關(guān)鍵。因此，模型的上下文感知能力（Context-awareness，即正確生成外部依賴信息的能力）是另一個(gè)重要指標(biāo)。CoderEval提供了生成任務(wù)所在項(xiàng)目以及文件內(nèi)容可作為輸入，原始代碼中實(shí)際用到的上下文信息作為期望輸出，因此，可以分析并計(jì)算生成代碼中上下文信息的準(zhǔn)確率以及召回率，作為上下文感知能力的評(píng)估指標(biāo)。

2. 分級(jí)評(píng)估：如圖2所示，依據(jù)所依賴的上下文信息，CoderEval進(jìn)一步將生成任務(wù)分成了6個(gè)級(jí)別（self_contained、slib_runnable、plib_runnable、class_runnable、project_runnable），代表所對(duì)應(yīng)代碼可執(zhí)行的環(huán)境（標(biāo)準(zhǔn)庫(kù)、第三方庫(kù)、當(dāng)前文件、當(dāng)前項(xiàng)目等）。CoderEval支持更細(xì)粒度地測(cè)試和分析模型在每個(gè)級(jí)別上的生成能力，從而可以全面地分析當(dāng)前模型的不足和待優(yōu)化的方向（如引入課程學(xué)習(xí)、針對(duì)性微調(diào)、上下文可感知度的針對(duì)性提升等）。

圖2 CoderEval中按依賴級(jí)別的數(shù)據(jù)分布

3. Prompt評(píng)估：CoderEval同時(shí)提供了原始注釋和開發(fā)者另外標(biāo)注的代碼功能描述，從而研究模型記憶效應(yīng)、Prompt形式、Prompt質(zhì)量對(duì)不同模型的影響。

由于CoderEval源于實(shí)際的開源項(xiàng)目，并且我們無(wú)法精確獲得或控制各個(gè)模型訓(xùn)練數(shù)據(jù)，因此可能無(wú)法避免存在因模型的記憶效應(yīng)和復(fù)制機(jī)制產(chǎn)生的誤差。CoderEval緩解此類誤差的主要措施包括：

1.為所有任務(wù)補(bǔ)充了人工改寫的注釋替代原注釋，該部分可確保不存在于訓(xùn)練集中。為此，我們同時(shí)會(huì)測(cè)試。

2. 可增大采樣次數(shù)并綜合基于運(yùn)行的指標(biāo)和基于比較的指標(biāo)進(jìn)行分析，從而分析模型是否能實(shí)現(xiàn)與原代碼不同、但又可通過測(cè)試的方案。

CoderEval實(shí)測(cè)結(jié)果

我們測(cè)試了工業(yè)界為主提出的、具有代表性的三個(gè)模型在CoderEval上的表現(xiàn)，被測(cè)模型包括：

1.CodeGen（Salesforce）：采用GPT-2架構(gòu)，在自然語(yǔ)言上先進(jìn)行預(yù)訓(xùn)練，再在多種編程語(yǔ)言混合語(yǔ)料上繼續(xù)訓(xùn)練，最后在單一編程語(yǔ)言上進(jìn)行微調(diào)。

2. PanGuCoder（Huawei）：基于PanGu-alpha架構(gòu)，采用<自然語(yǔ)言描述, 程序語(yǔ)言代碼>對(duì)的形式和多階段預(yù)訓(xùn)練方法，專注于Text2Code任務(wù)，對(duì)中文支持較好。

3. ChatGPT（OpenAI）：基于GPT-3.5系列模型使用人類反饋進(jìn)行微調(diào)，可以根據(jù)用戶的指令或問題來(lái)生成代碼。

部分實(shí)驗(yàn)結(jié)果如下：

1. 如表1所示，在CoderEval和HumanEval上，ChatGPT的效果都大幅超出其他兩個(gè)模型，原因可能來(lái)自于更大的模型規(guī)模、更充分的訓(xùn)練度、更優(yōu)的超參數(shù)等方面。

表1 三個(gè)模型在CoderEval上和HumanEval上的

總體效果對(duì)比

2. 如表1所示，在HumanEval上，ChatGPT的效果更是大幅超過其他模型，幅度要遠(yuǎn)大于在CoderEval上三個(gè)模型的差距。考慮到HumanEval的局限性，這一結(jié)果從側(cè)面表明HumanEval可能已經(jīng)不適合作為單一的代碼生成Benchmark。

3. 如圖3所示，在CoderEval上，三個(gè)模型正確生成的任務(wù)存在較大的交集（Python：32，Java：56），說(shuō)明三個(gè)模型在解決部分任務(wù)上有共性能力；同時(shí)，對(duì)于僅有一個(gè)模型能正確生成、而其他兩個(gè)模型未正確生成的任務(wù)而言，ChatGPT在Python和Java上都是最多的（Python：18，Java：27），說(shuō)明ChatGPT在解決這部分任務(wù)上的能力具有顯著優(yōu)勢(shì)；最后，三個(gè)模型一共解決的任務(wù)數(shù)仍僅占CoderEval所有任務(wù)數(shù)的約40%（Python：91/230）和59%（Java：136/230），說(shuō)明三個(gè)模型的能力具有一定的互補(bǔ)性，且各自仍有較大提升空間。

圖3 三個(gè)模型在CoderEval上和HumanEval上

正確生成的題目數(shù)對(duì)比

4. 如表2所示，在CoderEval的standalone子集上，三個(gè)模型的表現(xiàn)與HumanEval上基本接近，ChatGPT的表現(xiàn)大幅超過另外兩個(gè)模型；但是，在其他依賴于上下文信息的生成任務(wù)上（占實(shí)際情況的60%以上），三個(gè)模型的表現(xiàn)都有較大下降，即使是最強(qiáng)大的ChatGPT的表現(xiàn)也有很大波動(dòng)，甚至在部分級(jí)別上三個(gè)模型生成10次的結(jié)果均錯(cuò)誤，這一定程度上說(shuō)明了依賴上下文的代碼生成任務(wù)是大模型代碼生成下一步優(yōu)化的重點(diǎn)方向。

表2 三個(gè)模型在CoderEval的兩類子集上的表現(xiàn)對(duì)比

更多的實(shí)驗(yàn)數(shù)據(jù)以及分析過程，請(qǐng)見CoderEval論文。

三.總結(jié)

CoderEval論文目前已發(fā)表在ICSE2024（https://arxiv.org/abs/2302.00288 ），其開源項(xiàng)目版可在GitHub獲得（https://github.com/CoderEval/CoderEval ），歡迎大家關(guān)注并一鍵Follow+Star。我們致力于將CoderEval打造為一個(gè)客觀、公正、全面的Benchmark，不過，盡量我們已努力完善，但它仍然不可避免地存在一些限制和錯(cuò)誤。因此，我們希望借助代碼生成研究者社區(qū)的力量，持續(xù)迭代和更新CoderEval的版本，以擴(kuò)展和完善其語(yǔ)言支持、數(shù)據(jù)集、測(cè)試方式等方面，從而持續(xù)推動(dòng)代碼智能社區(qū)的研究與落地。

PaaS技術(shù)創(chuàng)新Lab隸屬于華為云，致力于綜合利用軟件分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等技術(shù)，為軟件研發(fā)人員提供下一代智能研發(fā)工具服務(wù)的核心引擎和智慧大腦。我們將聚焦軟件工程領(lǐng)域硬核能力，不斷構(gòu)筑研發(fā)利器，持續(xù)交付高價(jià)值商業(yè)特性！加入我們，一起開創(chuàng)研發(fā)新“境界”?。?span style="text-align:left;">詳情歡迎聯(lián)系:

bianpan@huawei.com;mayuchi1@huawei.com）