IT之家 7 月 31 日消息，階躍星辰宣布新一代基礎大模型 Step 3 正式開源，Step 3 API 已上線階躍星辰開放平臺（platform.stepfun.com），用戶也可以在“階躍 AI”官網（stepfun.com）和“階躍 AI”App 進(jin)行體驗。

據(ju)介紹，Step 3 的(de)多模(mo)態能(neng)力圍繞(rao)“輕(qing)量視覺路(lu)徑(jing)”與“穩定協同訓練”展開，重(zhong)點解(jie)決視覺引(yin)入帶來的(de) token 負擔與訓練干擾問題。為此，其采(cai)用(yong) 5B Vision Encoder，并通(tong)過雙層(ceng) 2D 卷積對視覺特(te)征進行降采(cai)樣，將視覺 token 數(shu)量減少到(dao)原來的(de) 1/16，減輕(qing)上下文(wen)長度壓(ya)力，提升推理效率。

IT之家附官方對(dui) Step 3 模型的介紹如(ru)下：

核心要點

• Step 3 兼(jian)顧(gu)智能與(yu)效率，專為(wei)追(zhui)求性能與(yu)成本極致均衡(heng)的企業(ye)和開發者設計，旨在面向推理(li)時代打造最適合應用的模型。

• Step 3 采用(yong) MoE 架構(gou)，總參數量(liang) 321B，激(ji)活參數量(liang) 38B。

• Step 3 擁有強大的視(shi)(shi)覺(jue)感知和(he)復(fu)雜推(tui)理能(neng)力(li)，可準(zhun)確完成跨領域的復(fu)雜知識理解、數(shu)學與(yu)視(shi)(shi)覺(jue)信息的交叉(cha)分析，以及日常生活(huo)中的各類視(shi)(shi)覺(jue)分析問題。

• 通過 MFA（Multi-matrix Factorization Attention） & AFD（Attention-FFN Disaggregation）的(de)優化，在各(ge)類(lei)芯片上推理效率(lv)均大幅提(ti)升。

• 面向 AFD 場景的 StepMesh 通(tong)信庫已隨(sui)模型一同開源，提供可跨硬件的標準部(bu)署接口(kou)，支(zhi)持關鍵性能在實際服務(wu)中(zhong)的穩定復現。

• 模型限時折扣(kou)中，所(suo)有請求(qiu)均按最(zui)低價(jia)格計(ji)算，每百萬 token 價(jia)格低至輸入 1.5 元(yuan)，輸出 4 元(yuan)。

Step 3 API 已上線階躍星辰開放平臺（platform.stepfun.com），大家也可以在“階躍 AI”官網（stepfun.com）和“階躍 AI”App（應(ying)用(yong)商店搜索下(xia)載）進行體驗。

行業領先的模型性能

我們在 MMMU、MathVision、SimpleVQA、AIME 2025、GPQA-Diamond、LiveCodeBench （2024.08-2025.05）等評測(ce)集上對(dui) Step 3 進(jin)行了測(ce)試，在同(tong)類型(xing)開源模型(xing)中(zhong)，Step 3 成績行業領(ling)先。

技術亮點

Step 3 重點解決(jue)多模態協同、系統解碼(ma)成本與推理效率問(wen)題(ti)，在訓練路徑、架構設計和推理部署上做了系統級優(you)化(hua)。

1、預訓練架構

Step 3 的(de)核心結(jie)構采(cai)用自研 MFA 注(zhu)意(yi)力(li)(li)機制，有效降低注(zhu)意(yi)力(li)(li)計算(suan)中的(de) KV 緩存開銷(xiao)與(yu)算(suan)力(li)(li)消耗。在(zai)不犧牲模(mo)型能(neng)力(li)(li)的(de)前提下，這(zhe)一方案實現(xian)了資源利用與(yu)推理效率的(de)平衡，使得模(mo)型可在(zai) 8×48GB 顯卡上(shang)完成(cheng)大吞吐量推理，具備真實部(bu)署(shu)的(de)可行性。

2、多模態預訓練

Step 3 的多模態能力(li)圍繞“輕量(liang)視(shi)覺(jue)路(lu)徑”與“穩定協同訓練”展開，重(zhong)點(dian)解決視(shi)覺(jue)引(yin)入帶(dai)來的 token 負擔(dan)與訓練干擾問題(ti)。為此(ci)，我們采用(yong) 5B Vision Encoder，并通(tong)過雙層 2D 卷積對視(shi)覺(jue)特征進行降采樣，將視(shi)覺(jue) token 數量(liang)減少到原來的 1/16，減輕上下文長(chang)度壓力(li)，提升(sheng)推理效率。

為保(bao)證多(duo)(duo)模(mo)態訓練的穩(wen)定(ding)性，訓練過程分(fen)為兩個(ge)階段：第(di)一階段強化 Encoder 感知，第(di)二(er)階段凍結視覺編碼器，僅優化主干與(yu)(yu)連(lian)接層，以減少(shao)梯度干擾。訓練語料也需與(yu)(yu)策(ce)略匹配，保(bao)障(zhang)穩(wen)定(ding)協同(tong)。多(duo)(duo)模(mo)語料涵(han)蓋 Pair、Interleave 與(yu)(yu)多(duo)(duo)任(ren)務數據，在清洗環(huan)節中引入相似(si)度過濾、重采樣與(yu)(yu)任(ren)務比例(li)控制，進一步提升圖(tu)文協同(tong)質量(liang)與(yu)(yu)訓練魯棒性。

3、AFD 解耦系統

Step 3 在系(xi)統架構(gou)層重構(gou)了解(jie)(jie)碼(ma)流(liu)程，重點解(jie)(jie)決 Attention 與 FFN 混合(he)執(zhi)行帶來的(de)推理瓶頸以及資源不匹配問(wen)題(ti)。為(wei)此，我們實現了高性能(neng)的(de) AFD（Attention-FFN Disaggregation）方案，將兩類計算任務解(jie)(jie)耦成(cheng)為(wei)兩個(ge)子系(xi)統，并通過(guo)多級流(liu)水(shui)線(xian)并行調度(du)，有效提(ti)升整(zheng)體吞(tun)吐效率。

由于(yu)解耦(ou)后的(de)(de)子系統之間對數據傳輸(shu)有極高(gao)要求(qiu)，我們同時研(yan)發了面向 AFD 場(chang)景的(de)(de) StepMesh 通信庫，基于(yu) GPU Direct RDMA 實現(xian)跨卡的(de)(de)低延遲和高(gao)帶寬傳輸(shu)，同時兼備不占用 GPU 計算資源、適配多類(lei)異構硬(ying)(ying)件等(deng)優(you)勢。在(zai) 50ms 解碼的(de)(de) SLA 前提下(xia)，Step 3 在(zai) Hopper GPU 上(shang)的(de)(de)吞吐達到(dao) 4039 token / gpu / s，顯著高(gao)于(yu)類(lei)似設置(zhi)下(xia)的(de)(de) DeepSeek V3（2324 token / gpu / s），且該性能增(zeng)益在(zai)特定硬(ying)(ying)件與長文場(chang)景會進一步放大至 300%。

StepMesh 庫已(yi)隨模(mo)型一同開源，提供(gong)可跨(kua)硬件的標準部署接口，支持(chi)關鍵性能在實際服務(wu)中的穩定復現。之(zhi)后我們也會(hui)積極與各開源社(she)區合作推廣，讓以上技術更容易被采納和使用。

廣(guang)告(gao)聲明(ming)：文(wen)內含(han)有(you)的對外(wai)跳(tiao)轉鏈接(jie)（包(bao)括不限(xian)于(yu)超鏈接(jie)、二維碼、口令等形式），用(yong)于(yu)傳遞更多信息，節省甄選時間，結果僅供參考，IT之(zhi)家所(suo)有(you)文(wen)章均(jun)包(bao)含(han)本(ben)聲明(ming)。