在9月28日舉行的2024中國算力大會(huì)主論壇上,中國工程院院士劉韻潔發(fā)表了題為《確定性網(wǎng)絡(luò)助力中國算力網(wǎng)高質(zhì)量發(fā)展》的主旨演講,深入探討了確定性網(wǎng)絡(luò)對于推動(dòng)中國算力網(wǎng)高質(zhì)量發(fā)展的重要性,并針對大模型訓(xùn)練提出了協(xié)同訓(xùn)練的建議。
劉韻潔表示,數(shù)據(jù)要素是人工智能和大模型發(fā)展的基礎(chǔ),而網(wǎng)絡(luò)、算力、數(shù)據(jù)交換平臺(tái)和安全構(gòu)成了數(shù)據(jù)基礎(chǔ)設(shè)施的四大支柱。面對AI未來的發(fā)展,他認(rèn)為有三大挑戰(zhàn):大模型對網(wǎng)絡(luò)的新需求、空間計(jì)算的推廣和智能體(如人形機(jī)器人)的發(fā)展。同時(shí),他指出當(dāng)前網(wǎng)絡(luò)帶寬的增長速度遠(yuǎn)低于GPU的增長速度,帶寬瓶頸逐漸顯現(xiàn),這對算力傳輸提出了更高的要求。
針對這些挑戰(zhàn),劉韻潔強(qiáng)調(diào)了確定性網(wǎng)絡(luò)的重要性。他提到,國家數(shù)據(jù)局發(fā)布的“數(shù)聯(lián)網(wǎng)”指南對網(wǎng)絡(luò)的確定性提出了高要求,包括千公里傳輸抖動(dòng)不高于50微秒、傳輸效率大于90%、丟包率低于1/10萬等。這些指標(biāo)的實(shí)現(xiàn)離不開確定性網(wǎng)絡(luò)技術(shù)。確定性網(wǎng)絡(luò)不僅能夠滿足低時(shí)延、高可靠性的需求,還能提升數(shù)據(jù)傳輸?shù)男?,是算力網(wǎng)發(fā)展的重要基礎(chǔ)。
在大模型訓(xùn)練方面,劉韻潔認(rèn)為,目前大模型只能在單一地點(diǎn)進(jìn)行訓(xùn)練,存在電力和算力資源難以承受的問題。而協(xié)同訓(xùn)練可以在多個(gè)地點(diǎn)進(jìn)行分布式訓(xùn)練,不僅能夠減輕單一地點(diǎn)的壓力,還能提高訓(xùn)練效率。他透露,通過技術(shù)手段,已經(jīng)實(shí)現(xiàn)了分鐘級(jí)解決排隊(duì)問題,并且多個(gè)異地訓(xùn)練能夠達(dá)到單點(diǎn)訓(xùn)練80%的效率。他表示,協(xié)同訓(xùn)練是大模型訓(xùn)練必須要走的路。
劉韻潔還介紹了在確定性網(wǎng)絡(luò)技術(shù)方面的實(shí)驗(yàn)成果。聯(lián)通、紫金山實(shí)驗(yàn)室、江蘇未來網(wǎng)絡(luò)集團(tuán)等機(jī)構(gòu)合作,成功實(shí)現(xiàn)了光電融合的技術(shù)突破。這一技術(shù)能夠大大降低網(wǎng)絡(luò)的延遲和成本,同時(shí)提高傳輸效率。目前,已經(jīng)在多個(gè)城市進(jìn)行了試驗(yàn)網(wǎng)的部署和測試,效果非常顯著。此外,還在南京、鄭州、濟(jì)南等地建設(shè)了確定性網(wǎng)絡(luò)基礎(chǔ)設(shè)施,為政務(wù)網(wǎng)和企業(yè)網(wǎng)的數(shù)據(jù)共享和流通提供了有力支持。
展望未來,劉韻潔表示,中國要充分利用自身的行業(yè)數(shù)據(jù)優(yōu)勢,發(fā)展行業(yè)大模型。通過政府、企業(yè)和資本的共同努力,將行業(yè)數(shù)據(jù)訓(xùn)練成高效的大模型,從而走出一條具有中國特色的AI發(fā)展道路。同時(shí),他也呼吁全國各地加快算力網(wǎng)絡(luò)的建設(shè)和調(diào)度工作,共同推動(dòng)中國算力網(wǎng)絡(luò)的高質(zhì)量發(fā)展。
來源:新華網(wǎng)