全球首款類腦脈沖大模型“瞬悉 1.0”問世，實現(xiàn)全流程國產(chǎn)化

據(jù)中國科學院自動化研究所官方微信公眾號消息，近日，中國科學院自動化研究所李國齊、徐波團隊在發(fā)表原創(chuàng)內(nèi)生復雜性理論系列論文的工作基礎(chǔ)上，與沐曦 MetaX 合作，打造了類腦脈沖大模型“瞬悉 1.0”（SpikingBrain-1.0），在國產(chǎn)千卡 GPU 算力平臺上完成全流程訓練和推理，實現(xiàn)了大模型在超長序列推理上數(shù)量級的效率和速度提升，展示了構(gòu)建國產(chǎn)自主可控的新型非 Transformer 大模型架構(gòu)生態(tài)的可行性。研究團隊開源了 SpikingBrain-1.0-7B 模型并開放 SpikingBrain-1.0-76B 測試網(wǎng)址，同步公開了經(jīng)工業(yè)界大規(guī)模驗證的類腦脈沖大模型 SpikingBrain-1.0 中英文技術(shù)報告。這是全球首款類腦脈沖大模型，實現(xiàn)了全流程國產(chǎn)化，標志著我國在類腦計算與大模型融合創(chuàng)新方面取得重要突破。

從官方介紹獲悉，研發(fā)團隊借鑒大腦神經(jīng)元內(nèi)部復雜工作機制提出“基于內(nèi)生復雜性”的大模型構(gòu)架方式，打造類腦脈沖大模型“瞬悉 1.0”（ SpikingBrain-1.0），在理論上建立了脈沖神經(jīng)元內(nèi)生動力學與線性注意力模型之間的聯(lián)系，揭示了現(xiàn)有線性注意力機制是樹突計算的特殊簡化形式，從而清晰地展示了一條不斷提升模型復雜度和性能的新型可行路徑。研發(fā)團隊進而構(gòu)建并開源了基于脈沖神經(jīng)元、具有線性（SpikingBrain-1.0-7B）及混合線性復雜度（SpikingBrain-1.0-76B，激活參數(shù)量 12B）的新型類腦基礎(chǔ)模型，開發(fā)了面向國產(chǎn) GPU（沐曦 MetaX 曦云 C550）集群高效訓練和推理框架、Triton 算子庫、模型并行策略以及集群通信原語。

李國齊表示，這項成果不僅是我國在類腦脈沖大模型架構(gòu)和國產(chǎn)算力全流程建設(shè)上的重大突破，更為法律、醫(yī)療、科學模擬等超長序列應(yīng)用場景提供了更高效的建模工具，也將啟迪下一代神經(jīng)形態(tài)計算理論和芯片設(shè)計。