IT之家 11 月 17 日消息，近日，字節 Seed 團隊推出 Lumine —— 一個在《原神》世界中訓練的通用 AI 智能體。官方介紹稱，它能夠實時感知、思考并行動，自主完成復雜 3D 開放世界中長達數小時的任務。
蒙德地區：Lumine 成功完成了時長五小時、共(gong)三幕(mu)的主(zhu)線(xian)劇情(qing)。盡(jin)管(guan)推(tui)理訓(xun)練只基于第(di)一幕(mu)內(nei)容，它仍能自主(zhu)推(tui)進并(bing)完整(zheng)通關整(zheng)個章節。
璃月地區：在完全(quan)未經訓練的(de)璃月區域，Lumine 展現了出色的(de)泛化能力，成(cheng)功抵達并完成(cheng)璃月港主線任務(wu)，甚至拜(bai)訪了深山中(zhong)的(de)仙人(ren)居(ju)所。
其他游戲：Lumine 展現出卓(zhuo)越的跨游(you)戲泛化能力。無(wu)需任何額外(wai)微調或修(xiu)改，它成(cheng)(cheng)功在(zai)《崩壞：星穹(qiong)鐵(tie)道》中(zhong)通關黑塔空(kong)間站第一章全(quan)部主線任務(wu)（約 7 小(xiao)時），并在(zai)《鳴(ming)潮》中(zhong)完(wan)成(cheng)(cheng)約 100 分鐘的主線劇情。
IT之家從官方介紹獲悉，Lumine 采用類人交互范式，將感知、思考與行動端到端統一整合，基于視覺-語言模型驅動。它以 5Hz 處理原始圖像，并以 30Hz 生成精確的鍵鼠操作，僅(jin)在必(bi)要時進行思考(kao)。Lumine 充分(fen)利用收集到的真(zhen)實游戲數據(ju)，按(an)步(bu)驟(zou)循(xun)序漸進地學習技能：
先用 1731 小(xiao)時的人類游戲(xi)數(shu)據(ju)預(yu)訓練，學會根據(ju)游戲(xi)畫面輸(shu)出鍵鼠操作；
再用 200 小時的指(zhi)令(ling)跟隨(sui)數據，將(jiang)語言(yan)和操(cao)作對應；
最后用 15 小(xiao)時的推理(li)數(shu)據，讓模型(xing)具(ju)備靈活思(si)考能(neng)力。
最終得到的模型不僅能夠完成持續數小時的任務，還能遵循多樣化的指令，在 3D 開放世界探索和 2D 圖形界面操作中執行涵蓋收集、戰斗、解謎以及與 NPC 交互等廣(guang)泛類(lei)型的(de)任務。而《原神》豐富多(duo)樣的(de)游戲玩(wan)法正(zheng)好為(wei)這(zhe)些能力(li)在不(bu)同類(lei)型的(de)活動中(zhong)展現提供了理想的(de)舞臺。
得益于大規模的預訓練，Lumine 掌握了關鍵的戰斗技能，能夠動態追蹤敵人、精準地用弓箭擊中遠處目標，流(liu)暢地切換(huan)角(jiao)色進(jin)行(xing)連招攻擊，并(bing)高效(xiao)地尋找并(bing)開(kai)啟戰斗后解鎖的寶箱(xiang)。
除了(le)日常戰斗，Lumine 還展現出對 Boss 機(ji)制較強的理解(jie)和應對能(neng)力，能(neng)夠躲避 Boss 的攻擊并且使用對應的策略擊敗 Boss。
Lumine 能夠應對游戲中的各種挑戰與解謎，這通常需要(yao)對游(you)戲機制(zhi)有深入的(de)(de)理(li)解、出(chu)色的(de)(de)空(kong)間感知能力，以及精(jing)確的(de)(de)底層操作控制(zhi)。
Lumine 展現出可靠的指令執行能力，能夠在多人環境中穩定地與指定的 NPC 進行互動，為完成長(chang)期任務奠(dian)定了堅(jian)實(shi)的(de)基礎。
大世界(jie)探索(suo)之外，Lumine 同時還(huan)可以像人一樣通過鼠標相(xiang)對移動(dong)的方式進行可靠的 GUI 操(cao)作，實現了(le) 2D 界(jie)面和 3D 世界(jie)的統一，這對于(yu)通用智能(neng)體來說至關重要。
同時 Lumine 展現出來了強大的上下文學習能力，在指令中提供(gong)任務的先驗信息或者更細(xi)的分解步驟的話(hua)，Lumine 可以完(wan)(wan)成一系列(lie)之前不能完(wan)(wan)成的復雜任務。
廣告聲明(ming)：文內(nei)含(han)有(you)的對外跳轉鏈接(jie)（包括不限(xian)于超(chao)鏈接(jie)、二維碼、口令等形式），用于傳遞更多信息，節(jie)省(sheng)甄選時(shi)間(jian)，結果僅(jin)供參考，IT之家所有(you)文章(zhang)均包含(han)本(ben)聲明(ming)。