Zen
加密行業(yè)正迎來AI技術(shù)的革命性突破,其中由a16z領(lǐng)投、累計融資5000萬美元的分布式AI計算網(wǎng)絡(luò)Gensyn成為焦點。該項目近日正式開啟測試網(wǎng)運行,雖然比原計劃推遲一年多,但這一里程碑標(biāo)志著去中心化AI系統(tǒng)邁入全新發(fā)展階段。作為專為機器學(xué)習(xí)定制的Ethereum Rollup,Gensyn測試網(wǎng)創(chuàng)新性地整合了鏈下執(zhí)行、驗證和通信框架,為構(gòu)建去中心化AI生態(tài)提供了關(guān)鍵基礎(chǔ)設(shè)施支持。其核心功能涵蓋持久身份管理、參與追蹤、歸屬維護(hù)、智能支付、遠(yuǎn)程執(zhí)行協(xié)調(diào)、去信任驗證、訓(xùn)練過程透明化以及大規(guī)模訓(xùn)練任務(wù)眾籌等八大領(lǐng)域。
測試網(wǎng)第一階段聚焦于RL Swarm的參與追蹤機制。RL Swarm作為協(xié)作式強化學(xué)習(xí)后訓(xùn)練的應(yīng)用,通過將節(jié)點與鏈上身份綁定,實現(xiàn)了每個參與節(jié)點貢獻(xiàn)的精準(zhǔn)記錄。這一系統(tǒng)徹底改變了傳統(tǒng)AI訓(xùn)練模式,開創(chuàng)了群體智慧的新紀(jì)元。
RL Swarm:群體智慧驅(qū)動模型協(xié)同進(jìn)化
Gensyn測試網(wǎng)中的RL Swarm是一個基于去中心化網(wǎng)絡(luò)構(gòu)建的模型協(xié)同訓(xùn)練系統(tǒng)。與傳統(tǒng)單模型獨立訓(xùn)練不同,該系統(tǒng)讓多個模型在網(wǎng)絡(luò)中實現(xiàn)相互交流、批評與改進(jìn),通過群體協(xié)作共同提升整體性能。其核心理念在于”眾人拾柴火焰高”,通過節(jié)點模型間的協(xié)作與反饋機制,實現(xiàn)更高效的訓(xùn)練效果。簡單來說,就像DeepSeek-R1等模型通過自我批評迭代提升推理能力一樣,RL Swarm將這種機制擴展到多模型群體中,讓每個模型都能從集體智慧中獲益。
基于RL Swarm系統(tǒng),模型不僅依賴自身反饋,還能通過觀察和評價其他模型表現(xiàn)來識別不足并持續(xù)優(yōu)化。加入Swarm的模型會經(jīng)歷三個階段協(xié)作過程:首先獨立完成問題并輸出解決方案,然后參考其他節(jié)點答案提供反饋,最終通過模型投票選出最優(yōu)解并據(jù)此修正自身輸出。這種協(xié)同機制不僅提升了單個模型表現(xiàn),更推動了整個群體模型的進(jìn)化。值得注意的是,即使模型節(jié)點在協(xié)作結(jié)束后退出,其改進(jìn)后的本地權(quán)重仍能保留并獲得實際收益。
Gensyn對RL Swarm代碼完全開源,任何人都可以運行節(jié)點、加入或創(chuàng)建現(xiàn)有Swarm,無需許可。Swarm底層通信采用Hivemind提供的gossip協(xié)議,實現(xiàn)模型間的去中心化消息傳遞與學(xué)習(xí)信號共享。無論是家用筆記本還是云端GPU,都能通過加入RL Swarm節(jié)點參與協(xié)同訓(xùn)練。
基礎(chǔ)設(shè)施三大支柱:執(zhí)行、通信與驗證
目前RL Swarm仍處于實驗演示階段,但它展示了一種可大規(guī)模擴展的機器學(xué)習(xí)方法。過去四年中,Gensyn團隊專注于構(gòu)建底層基礎(chǔ)設(shè)施,測試網(wǎng)上線后正式進(jìn)入v0.1階段。根據(jù)官方介紹,Gensyn整體架構(gòu)分為執(zhí)行、通信和驗證三大支柱。
執(zhí)行支柱:實現(xiàn)分布式算力一致性
Gensyn認(rèn)為未來機器學(xué)習(xí)將由全球設(shè)備上的碎片化參數(shù)組成。為此團隊開發(fā)了確??缭O(shè)備一致性的底層執(zhí)行架構(gòu),關(guān)鍵技術(shù)創(chuàng)新包括:
分布式參數(shù)存儲與訓(xùn)練:將大規(guī)模模型分割成多個參數(shù)塊分布式部署,降低單個節(jié)點內(nèi)存需求
強化學(xué)習(xí)后訓(xùn)練:通過群體協(xié)同訓(xùn)練顯著提升學(xué)習(xí)效率
可復(fù)現(xiàn)算子:開發(fā)RepOps庫實現(xiàn)不同硬件間計算結(jié)果逐位復(fù)現(xiàn)
通信支柱:突破傳統(tǒng)數(shù)據(jù)并行瓶頸
在分布式訓(xùn)練場景中,節(jié)點間高效通信至關(guān)重要。Gensyn提出全新解決方案:
SkipPipe動態(tài)跳躍管道并行技術(shù):通過動態(tài)選擇微批次計算層,減少等待時間,據(jù)測試數(shù)據(jù)顯示可縮短訓(xùn)練時間約55%
通信標(biāo)準(zhǔn)與跨節(jié)點協(xié)作:構(gòu)建類似TCP/IP的開放通信協(xié)議,實現(xiàn)全球參與者無縫數(shù)據(jù)傳輸
驗證支柱:構(gòu)建去信任化驗證機制
在無需信任的分布式網(wǎng)絡(luò)中,驗證各參與方提交結(jié)果的真實性是一大挑戰(zhàn)。Gensyn引入了:
Verde驗證協(xié)議:利用輕量級爭議解決機制快速定位分歧步驟,大幅降低驗證開銷
裁決式委托:通過高效爭議解決游戲確保至少存在誠實節(jié)點時計算結(jié)果正確性
存儲與哈希中間狀態(tài):僅存儲并哈希部分中間訓(xùn)練檢查點,降低資源占用并提升系統(tǒng)擴展性
這一系列創(chuàng)新技術(shù)共同構(gòu)建了Gensyn的強大基礎(chǔ)設(shè)施,為去中心化AI系統(tǒng)的未來發(fā)展奠定了堅實基礎(chǔ)。隨著測試網(wǎng)的持續(xù)完善,我們有理由相信,基于RL Swarm的群體智慧將推動AI技術(shù)進(jìn)入全新協(xié)作進(jìn)化階段。
本文網(wǎng)址:http://iy168.cn/news/2911.html