編者按：本文來自微信公眾號 騰訊科技（ID:qqtech），作者：金鹿，編輯：郝博陽，微新創想經授權轉載。

去年年底，當聊天機器人ChatGPT開始在全球引發轟動的時候，人工智能研究公司OpenAI的工程師們就已經開始著手研究新的人工智能模型，并為其取代號Arrakis。

OpenAI CEO Sam Altman

盡管OpenAI利用大語言模型（LLM）GPT-4提升了ChatGPT的性能，但Arrakis模型將使該公司能夠以更低的成本運行聊天機器人。Arrakis的成功也將幫助OpenAI向微軟展示其連續創建大語言模型的超能力，這對兩家公司完成100億美元投資和產品合作談判都具有重要意義。

但據知情人士透露，到2023年中期，OpenAI取消了Arrakis的發布，因為該模型的運行效率并沒有公司預期的那么高。這一失誤意味著，OpenAI失去了許多寶貴的發展時間，并需要將資源轉移到開發不同的模型上。此外，此次失敗也讓微軟的多位高管感到失望，因為后者曾花費巨資購買了在其產品中使用OpenAI新技術的權限。

Arrakis項目受挫可能打破OpenAI不可戰勝的光環。此前，OpenAI擊敗了人工智能先驅谷歌，并打造了歷史上增長最快的軟件業務之一。這表明，人工智能的前沿領域充滿了難以預測的陷阱。

雖然Arrakis的問題并沒有拖累OpenAI今年的業務，但隨著推出新大語言模型的競爭加劇，這家初創公司可能會在明年感受到影響。例如，谷歌即將推出人工智能模型Gemini，并希望其能在編碼和其他能力以及響應的準確性方面擊敗GPT-4。

就OpenAI而言，該公司繼續對其業界領先的模型進行改進，包括解碼圖像的能力，并計劃在11月份宣布一系列新功能。大語言模型是ChatGPT等產品的基礎，OpenAI內部甚至認為其有可能成為一種操作系統，包括用于個人設備，因為這些模型能夠編寫代碼、理解圖像和檢索文件等。

得益于GPT-4帶來的巨大優勢，OpenAI的業務迅速膨脹。OpenAI之所以能達到年化13億美元的收入（遠高于去年全年的2800萬美元），主要歸功于GPT-4，它為ChatGPT的付費版本提供動力。在今年第二季度出售員工股份后，OpenAI的賬面價值約為300億美元，但該公司正試圖大幅提高這一估值。

01 表現不及預期被叫停

據知情人士透露，OpenAI從去年秋天開始開發Arrakis，希望開發出一種與GPT-4能力相當但運行效率更高的模型，部分原因是利用了機器學習領域所謂的稀疏性(Sparsity)。稀疏性指的是模型具有非常大的容量，但只有模型用于給定任務、樣本或標記的某些部分被激活。這樣，能夠顯著增加模型容量和能力，而不必成比例增加計算量。

谷歌等其他人工智能開發商也公開討論了他們對稀疏性的使用，OpenAI成功地將這個概念納入了早期的軟件中。他們說，Arrakis將允許OpenAI更廣泛地推廣其技術，因為該公司可以使用數量有限的專用服務器芯片來為其軟件提供支持。

到了今年春天，OpenAI的研究人員開始訓練其新模型，其中包括使用先進的計算硬件來幫助模型處理大量數據，以便它能夠學習其中的模式。知情人士說，OpenAI預計這將比訓練GPT-4的成本低得多。然而員工們很早就意識到該模式的表現不夠好，無法獲得預期的效果。在員工們花了大約一個月的時間試圖解決這些問題后，OpenAI管理層決定叫停這個項目。

不過，盡管遭遇挫折，OpenAI仍然可以將其在Arrakis上的工作整合到其他模型中。其中包括即將推出的模型Gobi，它可以生成或分析文本和視覺效果，也被稱為多模態模型。

兩位知情人士表示，OpenAI曾試圖提高模型的稀疏性從而降低運行成本，但Arrakis的表現依然低于該公司的預期。這個模型在早期測試中表現不錯，但其在之后的測試中表現不佳的原因尚不清楚。

一位知情人士說，Arrakis是以《沙丘》系列中一顆沙漠星球命名的，這是對模型設計中使用稀疏性的一種象征。OpenAI其他模型的代號（包括Gobi和Sahara），其公開為GPT-3.5 Turbo，也使用了類似的沙漠象征，以反映OpenAI正努力使模型變得稀疏。

類似這種感覺

兩位知情人士表示，自從Arrakis項目失敗后，OpenAI研究人員開始轉向開發新版本的GPT-4，以期更快地對用戶需求進行響應。其中一位知情人士說，OpenAI曾討論將更新后的模型稱為GPT-4 Turbo，這也是OpenAI在Arrakis失敗之前考慮過的對外名稱。

對于OpenAI來說，隨著人們對該技術成本的擔憂日益加劇，以及開源替代方案的激增，讓其模型變得更便宜、更高效是他們的當務之急。OpenAI發言人未予置評。

知情人士表示，微軟使用OpenAI的GPT模型來支持Office 365應用和其他服務中的人工智能功能，并預計Arrakis將提高性能并降低這些功能的成本。微軟搜索引擎必應依靠GPT-4和其他模型為類似ChatGPT的聊天機器人提供支持，該公司原本希望在2023年初就能用上Arrakis模型，但這個目標最終未能實現。

這次升級失敗在商業上可能給微軟帶來了很大損失。因為很可能在早期發布產品時，微軟是按照該計劃可成功的預期進行定價的。根據華爾街日報的報道，微軟的拳頭AI產品GitHub Copilot定價10美元，而平均每個月在每個用戶身上都要倒貼20美元，最高能達80美元。這表明，微軟一個月在這一款軟件中的虧損就高達3000萬美元，一年虧損預計過億。

據悉，自那以后，微軟始終致力于開發其他大語言模型。與OpenAI相比，這些大模型的運行成本可能更低。

02 降低成本成未來趨勢

許多行業從業者預計，稀疏性模型能夠降低人工智能開發成本。在今年8月的一次會議上，谷歌首席科學家、Gemini人工智能模型的主要開發者杰夫·迪恩(Jeff Dean)表示，未來幾年，該行業將朝著稀疏性模型的方向發展。

與Llama 2等“更密集”的模型不同，稀疏性模型只調用模型內的某些計算，即完成任務所需的參數，使該過程更具成本效益。迪恩說：“稀疏計算將是未來的一個重要趨勢！”

許多人工智能從業者說，增加稀疏性的一種方法是通過一種被稱為“混合專家模型”的技術。在這種技術中，大型模型的特定部分被訓練來處理某些任務。換句話說，這些子模型成為執行這些任務的專家，這樣就不需要觸發整個模型。知情人士稱，OpenAI將這項技術納入了GPT-4, Arrakis也會這樣做。

GPT4是由多專家模型組成的稀疏模型

加州大學伯克利分校的計算機科學教授伊安·斯托伊卡(Ion Stoica)在一封電子郵件中寫道：“一般來說，專家模型的數量越多，模型就越稀疏，效率也越高。然而，這也可能會導致結果不那么準確。”

參考資料

OpenAI Dropped Work on New ‘Arrakis’ AI Model in Rare Setback — The Information

本文為專欄作者授權微新創想發表，版權歸原作者所有。文章系作者個人觀點，不代表微新創想立場，轉載請聯系原作者。如有任何疑問，請聯系http://www.i0562.net/。