微新創(chuàng)想(idea2003.com) 8月21日消息:如今，生成式人工智能的格局正處于快速發(fā)展的狀態(tài)，不僅與 OpenAI、Meta 和 Google 在基礎(chǔ)模型上直接競爭，而且在他們一些最優(yōu)秀的內(nèi)部人才離開去推出產(chǎn)品的同時他們自己的一代人工智能初創(chuàng)公司。

David Ha 和 Llion Jones 是兩位著名的前谷歌研究人員（其中 Llion Jones 是「Transformer」人工智能架構(gòu)的共同發(fā)明者，David Ha 曾擔(dān)任 Stability AI 的研究主管）上周四宣布，他們已經(jīng)啟動了一個研究總部位于東京的新人工智能公司——Sakana AI。

Jones 是谷歌 2017 年研究論文《Attention Is All You Need》的第五作者。該研究論文介紹了基于「Transformer」的深度學(xué)習(xí)架構(gòu)，成為病毒式聊天機(jī)器人 ChatGPT 和當(dāng)前競相開發(fā)生成式人工智能產(chǎn)品的基礎(chǔ)。

在這篇著名論文發(fā)表之后，生成式人工智能基礎(chǔ)模型的發(fā)展集中在制造越來越大的「Transformer」——基于模型，而 Sakana AI 將專注于為基礎(chǔ)模型創(chuàng)建新的架構(gòu)。

「我們的方法可能不是構(gòu)建一個吸取所有數(shù)據(jù)的巨大模型，而是使用大量更小的模型，每個模型都有自己獨特的優(yōu)勢和較小的數(shù)據(jù)集，讓這些模型相互通信并共同解決問題，」David Ha 說，盡管他表示這只是一個想法。

David Ha 在接受彭博社采訪時表示：「螞蟻四處走動，動態(tài)地自行形成一座橋梁，這可能不是最堅固的橋梁，但它們可以立即做到這一點并適應(yīng)環(huán)境。」「我認(rèn)為這種適應(yīng)是我們在自然算法中看到的非常強(qiáng)大的概念之一。」

兩位創(chuàng)始人告訴 FT，Sakana 這個名字源自日語中的「魚」一詞（さかな），意思是「一群魚聚集在一起，通過簡單的規(guī)則形成一個連貫的實體」。

《Attention Is All You Need》論文的所有作者現(xiàn)已離開谷歌。作者的新創(chuàng)企業(yè)已經(jīng)吸引了來自風(fēng)投機(jī)構(gòu)的數(shù)百萬美元的投資，其中包括運行 AI 聊天機(jī)器人初創(chuàng)企業(yè)Character.AI 的 Noam Shazeer 和創(chuàng)立大型語言模型初創(chuàng)企業(yè) Cohere 的 Aidan Gomez。