IT之家 11 月 17 日消息，編程 IDE 開發商 JetBrains 今日發文，隨著 AI 的興起，現在的一項關鍵挑戰是如何衡量 AI 輔助工具在現實世界中帶來的效率提升。為了應對這一挑戰，JetBrains 決定打造 Developer Productivity AI Arena（DPAI Arena），并最終將(jiang)其獻給 Linux Foundation。

DPAI Arena 宣稱是業內首款開放式、多語言、多框架和多工作流基準測試平臺，旨在(zai)衡量 AI 編碼智能(neng)體在(zai)現(xian)實世(shi)界軟件工(gong)程任務中的成效(xiao)。它圍繞靈活(huo)且基于(yu)路(lu)徑(jing)的架構構建(jian)而成，能(neng)夠對各種工(gong)作流(liu)（例如(ru)，修補(bu)、bug 修正、PR 審查、測試生成、靜態分析等）進行公(gong)平(ping)、可重現(xian)的比(bi)較。

JetBrains 表示，當前(qian)的基準測試所依賴的數(shu)據集已過時，涵蓋的技術范(fan)圍狹窄，并(bing)且(qie)過于(yu)局(ju)限地關注(zhu)問題到補丁工作流。隨(sui)著 AI 編(bian)碼工具的快速發(fa)展，業界仍然缺乏一個中(zhong)立且(qie)基于(yu)標準的框架，用于(yu)衡量(liang)它們對開發(fa)者工作效率的真(zhen)正(zheng)影響(xiang)。

DPAI Arena 將可衡量的工作效率帶入 AI 輔助軟件開發領域。Spring Benchmark 是(shi)該平(ping)臺的(de)第一(yi)項(xiang)基(ji)(ji)準，它(ta)帶來了針對未來貢獻的(de)技術標準。首先，它(ta)實現了數據集創建準則，并詳細(xi)說明(ming)了支持的(de)評估格(ge)式和一(yi)般規則。其(qi)次，它(ta)為解耦基(ji)(ji)礎(chu)架構(gou)提(ti)供了基(ji)(ji)礎(chu)，使任何人都能采用(yong)自己的(de)數據集（BYOD 方式）并重用(yong)基(ji)(ji)礎(chu)架構(gou)進(jin)行(xing)自己的(de)評估。

JetBrains 官(guan)方也在關(guan)注 Spring AI Bench，以擴展(zhan) DPAI Arena 中的 Java 基(ji)(ji)準測(ce)(ce)試(shi)流，并(bing)與該項(xiang)目的核(he)心團隊緊密合作以推動(dong) Java 生態系統中的更(geng)多可(ke)變(bian)性和(he)多路徑(jing)基(ji)(ji)準測(ce)(ce)試(shi)。

JetBrains 計劃將此項目獻給 Linux Foundation，供其建立多元且包容的技術指導委員會，以確定平(ping)臺的未(wei)來發展(zhan)方向(xiang)。

IT之家(jia)附 DPAI Arena 官方地址：

廣告聲(sheng)明(ming)：文內含(han)有(you)的對外跳轉鏈接(jie)（包括不(bu)限于超鏈接(jie)、二(er)維碼、口令等形式(shi)），用(yong)于傳遞更多信(xin)息(xi)，節省甄選時間(jian)，結(jie)果僅供參考，IT之家所(suo)有(you)文章均包含(han)本聲(sheng)明(ming)。