4月23日，微軟推出了其輕量級人工智能模型Phi-3 Mini ，這是該公司計劃發(fā)布的三個小型模型中的第一個。 

Phi-3 Mini測量了38億個參數(shù)，并在相對于GPT-4等大型語言模型更小的數(shù)據(jù)集上進行訓練。它現(xiàn)已在Azure、Hugging Face和Ollama上提供。微軟計劃發(fā)布Phi-3 Small（7B參數(shù)）和Phi-3 Medium（14B參數(shù)）。參數(shù)是指模型可以理解多少復雜指令。 

該公司于12月發(fā)布了Phi-2，其性能與Llama 2等更大的模型在同一水準。微軟表示，Phi-3的性能比之前的版本更好，并且可以與比它大10倍的模型的響應速度媲美。 

微軟Azure AI 平臺公司副總裁Eric Boyd告訴The Verge，Phi-3 Mini 與 GPT-3.5 等LLM一樣強大，“除了外形更小”。 

與大型人工智能模型相比，小型人工智能模型通常運行成本更低，并且在手機和筆記本電腦等個人設備上表現(xiàn)更好。The Information今年早些時候報道稱，微軟正在組建一個專門專注于輕量級人工智能模型的團隊。與Phi一起，該公司還構建了Orca-Math，一個專注于解決數(shù)學問題的模型。

微軟的競爭對手也有自己的小型人工智能模型，其中大多數(shù)針對更簡單的任務，例如文檔摘要或編碼輔助。Google的 Gemma 2B 和 7B非常適合簡單的聊天機器人和語言相關的工作。Anthropic 的 Claude 3 Haiku可以閱讀帶有圖表的密集研究論文并快速總結它們，而Meta 最近發(fā)布的Llama 38B可以用于一些聊天機器人和編碼輔助。

Boyd表示，開發(fā)人員通過“課程”對Phi-3進行了培訓。他們的靈感來自于孩子們?nèi)绾螐乃肮适?、單詞更簡單的書籍以及談論更大主題的句子結構中學習。

“市面上沒有足夠的兒童讀物，因此我們列出了3,000多個單詞的清單，并要求法學碩士制作‘兒童讀物’來教授 Phi，”Boyd說。 

他補充說，Phi-3只是建立在之前迭代所學到的知識之上。Phi-1專注于編碼，Phi-2開始學習推理，而 Phi-3更擅長編碼和推理。雖然Phi-3系列模型了解一些常識，但它無法在廣度上擊敗GPT-4或其他LLM。

Boyd表示，公司經(jīng)常發(fā)現(xiàn)像Phi-3這樣的較小模型更適合他們的定制應用程序，因為對于許多公司來說，他們的內(nèi)部數(shù)據(jù)集無論如何都會較小。由于這些模型使用較少的計算能力，因此它們通常更便宜。

來源：元透社