英偉達(dá)(NVDA.US)推出了一款用于生成音樂(lè)和音頻的新型人工智能(AI)模型，旨在為制作音樂(lè)、電影和視頻游戲的人們提供服務(wù)。

根據(jù)英偉達(dá)的說(shuō)法，這款模型名為Fugatto(Foundational Generative Audio Transformer Opus)，可以使用任何文本和音頻文件來(lái)生成或修改音樂(lè)和聲音。

例如，該模型可以根據(jù)文本提示創(chuàng)建音樂(lè)片段，從現(xiàn)有歌曲中刪除或添加樂(lè)器，改變聲音中的口音或情緒，甚至發(fā)出從未聽過(guò)的聲音。

英偉達(dá)應(yīng)用音頻研究經(jīng)理、管弦樂(lè)隊(duì)指揮兼作曲家Rafael Valle表示：“我們希望創(chuàng)建一個(gè)能像人類一樣理解和產(chǎn)生聲音的模型。”

英偉達(dá)指出，廣告代理商可以使用Fugatto快速定位多個(gè)地區(qū)的現(xiàn)有廣告，并在配音中加入不同的口音和情感。此外，視頻游戲開發(fā)者可以使用人工智能模型修改游戲中預(yù)先錄制的資產(chǎn)，以適應(yīng)用戶在玩游戲時(shí)不斷變化的動(dòng)作。

Fugatto可以使小號(hào)發(fā)出狗吠聲或薩克斯管發(fā)出喵喵聲。該公司補(bǔ)充說(shuō)，通過(guò)微調(diào)和少量的歌唱數(shù)據(jù)，研究人員發(fā)現(xiàn)它可以處理未經(jīng)預(yù)先訓(xùn)練的任務(wù)，比如從文本中生成高質(zhì)量的歌聲。

英偉達(dá)表示，F(xiàn)ugatto的完整版本使用了25億個(gè)參數(shù)，并在包含32個(gè)NvidiaH100 Tensor Core GPU的Nvidia DGX系統(tǒng)上進(jìn)行了訓(xùn)練。該模型的整體工作耗時(shí)一年多。

Fugatto可能會(huì)與Runway等初創(chuàng)公司以及 Meta Platforms(META.US)等大公司的類似技術(shù)展開競(jìng)爭(zhēng)。10月，Meta 發(fā)布了名為Movie Gen的人工智能模型，該模型可以根據(jù)用戶提示創(chuàng)建逼真的視頻和音頻剪輯。

今年 2 月，ChatGPT制造商OpenAI推出了Sora，它可以根據(jù)文本指令創(chuàng)建逼真且富有想象力的場(chǎng)景。這家由微軟支持的公司尚未向公眾發(fā)布文本轉(zhuǎn)視頻模型。

來(lái)源：金融界