国产精品视频网址|久久机热国产自偷自|欧美一级中文一级|久久久无码日韩视频|欧美午夜激情影院|成人av不卡网站|色吧加勒比一本道东京热成人无码在线|欧美 亚洲 偷情|欧美老妇乱一区二区|亚洲一区二区网站

中國工程院院士劉韻潔:協(xié)同訓(xùn)練是大模型訓(xùn)練必由之路

中國工程院院士劉韻潔發(fā)表了題為《確定性網(wǎng)絡(luò)助力中國算力網(wǎng)高質(zhì)量發(fā)展》的主旨演講,深入探討了確定性網(wǎng)絡(luò)對于推動中國算力網(wǎng)高質(zhì)量發(fā)展的重要性,并針對大模型訓(xùn)練提出了協(xié)同訓(xùn)練的建議。

在9月28日舉行的2024中國算力大會主論壇上,中國工程院院士劉韻潔發(fā)表了題為《確定性網(wǎng)絡(luò)助力中國算力網(wǎng)高質(zhì)量發(fā)展》的主旨演講,深入探討了確定性網(wǎng)絡(luò)對于推動中國算力網(wǎng)高質(zhì)量發(fā)展的重要性,并針對大模型訓(xùn)練提出了協(xié)同訓(xùn)練的建議。

中國工程院院士劉韻潔

劉韻潔表示,數(shù)據(jù)要素是人工智能和大模型發(fā)展的基礎(chǔ),而網(wǎng)絡(luò)、算力、數(shù)據(jù)交換平臺和安全構(gòu)成了數(shù)據(jù)基礎(chǔ)設(shè)施的四大支柱。面對AI未來的發(fā)展,他認(rèn)為有三大挑戰(zhàn):大模型對網(wǎng)絡(luò)的新需求、空間計算的推廣和智能體(如人形機(jī)器人)的發(fā)展。同時,他指出當(dāng)前網(wǎng)絡(luò)帶寬的增長速度遠(yuǎn)低于GPU的增長速度,帶寬瓶頸逐漸顯現(xiàn),這對算力傳輸提出了更高的要求。

針對這些挑戰(zhàn),劉韻潔強(qiáng)調(diào)了確定性網(wǎng)絡(luò)的重要性。他提到,國家數(shù)據(jù)局發(fā)布的“數(shù)聯(lián)網(wǎng)”指南對網(wǎng)絡(luò)的確定性提出了高要求,包括千公里傳輸抖動不高于50微秒、傳輸效率大于90%、丟包率低于1/10萬等。這些指標(biāo)的實現(xiàn)離不開確定性網(wǎng)絡(luò)技術(shù)。確定性網(wǎng)絡(luò)不僅能夠滿足低時延、高可靠性的需求,還能提升數(shù)據(jù)傳輸?shù)男剩撬懔W(wǎng)發(fā)展的重要基礎(chǔ)。

在大模型訓(xùn)練方面,劉韻潔認(rèn)為,目前大模型只能在單一地點(diǎn)進(jìn)行訓(xùn)練,存在電力和算力資源難以承受的問題。而協(xié)同訓(xùn)練可以在多個地點(diǎn)進(jìn)行分布式訓(xùn)練,不僅能夠減輕單一地點(diǎn)的壓力,還能提高訓(xùn)練效率。他透露,通過技術(shù)手段,已經(jīng)實現(xiàn)了分鐘級解決排隊問題,并且多個異地訓(xùn)練能夠達(dá)到單點(diǎn)訓(xùn)練80%的效率。他表示,協(xié)同訓(xùn)練是大模型訓(xùn)練必須要走的路。

劉韻潔還介紹了在確定性網(wǎng)絡(luò)技術(shù)方面的實驗成果。聯(lián)通、紫金山實驗室、江蘇未來網(wǎng)絡(luò)集團(tuán)等機(jī)構(gòu)合作,成功實現(xiàn)了光電融合的技術(shù)突破。這一技術(shù)能夠大大降低網(wǎng)絡(luò)的延遲和成本,同時提高傳輸效率。目前,已經(jīng)在多個城市進(jìn)行了試驗網(wǎng)的部署和測試,效果非常顯著。此外,還在南京、鄭州、濟(jì)南等地建設(shè)了確定性網(wǎng)絡(luò)基礎(chǔ)設(shè)施,為政務(wù)網(wǎng)和企業(yè)網(wǎng)的數(shù)據(jù)共享和流通提供了有力支持。

展望未來,劉韻潔表示,中國要充分利用自身的行業(yè)數(shù)據(jù)優(yōu)勢,發(fā)展行業(yè)大模型。通過政府、企業(yè)和資本的共同努力,將行業(yè)數(shù)據(jù)訓(xùn)練成高效的大模型,從而走出一條具有中國特色的AI發(fā)展道路。同時,他也呼吁全國各地加快算力網(wǎng)絡(luò)的建設(shè)和調(diào)度工作,共同推動中國算力網(wǎng)絡(luò)的高質(zhì)量發(fā)展。

來源:新華網(wǎng)

相關(guān)推薦

  • 中國工程院院士鄔賀銓:AI大模型仍需“大力出奇跡”

    鄔賀銓稱,大模型領(lǐng)域存在規(guī)模化定律,模型參數(shù)量、數(shù)據(jù)集大小,以及用于訓(xùn)練的算力規(guī)模三因素同時放大才有最佳效果,當(dāng)不受其他兩個因素的制約時,大模型性能與單個因素都...

    Border circle YE 2024-08-20 10:09:29 0 0 2322

發(fā)表評論