IT之家 11 月(yue) 5 日(ri)消息，微(wei)軟當地時(shi)間 11 月(yue) 4 日(ri)宣(xuan)布，其 Azure ND GB300 v6 虛擬機(ji)在運行 Meta 的(de) Llama2 70B 模型時(shi)，推理(li)速度達(da)到了每秒 110 萬(wan)個 token。

IT之家注意到，微(wei)軟(ruan)首席執行(xing)官(guan)薩提亞?納德拉(la)（Satya Nadella）在 X 平(ping)臺（原 Twitter）上表示(shi)：“這一(yi)行(xing)業紀錄(lu)的實現(xian)，得(de)益于我(wo)(wo)們(men)與英(ying)偉達長期的聯合創新，以及我(wo)(wo)們(men)在生(sheng)產級規模運行(xing)人(ren)工智能方面的專業能力。”

Azure ND GB300 虛擬機由英偉(wei)達 Blackwell Ultra GPU 提(ti)供(gong)動力，具體基于 NVIDIA GB300 NVL72 系統。該系統在單個機架級配置(zhi)中(zhong)集成了 72 顆(ke) NVIDIA Blackwell Ultra GPU 和 36 顆(ke) NVIDIA Grace CPU。

該(gai)虛擬機(ji)專(zhuan)門針對推理工作負載(zai)進行(xing)了(le)優化(hua)，GPU 內存容(rong)量提(ti)(ti)升了(le) 50%，熱設計(ji)功耗（TDP）提(ti)(ti)高了(le) 16%。

為(wei)驗證性能提升，微軟在單個 NVIDIA GB300 NVL72 域內的 18 個 ND GB300 v6 虛擬機上，分(fen)別(bie)運行了 MLPerf Inference v5.1 基準測試(shi)中(zhong)的 Llama2 70B 模型（采用 FP4 精度），并使(shi)用 NVIDIA TensorRT-LLM 作(zuo)為(wei)推理引(yin)擎。

微軟表示：“單個 NVL72 機架的 Azure ND GB300 v6 虛擬機實現了總計每秒 1,100,000 個 token 的推理吞吐量。這刷新了 AI 推理領域的新紀錄，超越了此前在(zai)同(tong)一 NVIDIA GB200 NVL72 機架上使(shi)用(yong) ND GB200 v6 虛擬機所創下的(de)每秒(miao) 865,000 個(ge) token 的(de)紀錄。”

由于(yu)該系統(tong)包含 72 顆 Blackwell Ultra GPU，其性能大致相當于(yu)每(mei)顆 GPU 約(yue) 15,200 個 token / 秒。

微(wei)軟已詳細公開了(le)本次測(ce)試(shi)的完整數(shu)據，包括全(quan)部(bu)日志文件和(he)詳盡的測(ce)試(shi)結果。該性能結果已由獨立的性能驗證(zheng)與基準測(ce)試(shi)機構 Signal65 進行認(ren)證(zheng)。

Signal65 實(shi)(shi)驗(yan)室(shi)副總裁(cai)拉斯(si)?費洛斯(si)（Russ Fellows）在(zai)(zai)其博客中指出：“這一里(li)程碑(bei)不僅在(zai)(zai)于率先突破了每秒百萬 token 的(de)大關，成為行業首次，更在(zai)(zai)于它是在(zai)(zai)一個專為滿足(zu)現代企業動態使(shi)用(yong)需求和數據治理要求而設(she)計(ji)的(de)平(ping)臺上實(shi)(shi)現的(de)。”

Signal65 還補充道，與上一代 NVIDIA GB200 相比，Azure ND GB300 在推理性能上提升了 27%，而功耗僅增加了 17%。

“與(yu) NVIDIA H100 世代相(xiang)比，GB300 在機架級測試(shi)中實現(xian)了(le)近 10 倍(bei)的推理(li)性能(neng)提升(sheng)，同時能(neng)效比提高了(le)近 2.5 倍(bei)。”該公司進一步(bu)表示(shi)。

廣告聲明：文內含(han)有的對外跳轉鏈(lian)接(jie)（包括不限于超鏈(lian)接(jie)、二維碼、口令(ling)等形式(shi)），用于傳遞更多信息，節省(sheng)甄選時間，結(jie)果僅供參考，IT之家所有文章均包含(han)本聲明。