馬斯克xAI動員大會:探索宇宙本質,AGI與個人計算,同特斯拉與Twitter關系,與OpenAI的區別!
馬斯克在 Twitter Spaces 上完成了 xAI 首場且公開的動員大會,以理解宇宙的真實本質為愿景,馬斯克從物理學的視角探討了一些關于宇宙的未解之謎。
編者按:本文來自微信公眾號 有新Newin(ID:NewinData),作者:有新,微新創想經授權發布。
7月15日,馬斯克在 Twitter Spaces 上完成了 xAI 首場且公開的動員大會,xAI 包括麥斯克在內的 12 位成員,其中華人占1/3,包括吳宇懷(Yuhuai Tony Wu)、楊格(Greg Yang )、張國棟(Guodong Zhang)以及戴自航(Zihang Dai)。
根據馬斯克在 Twitter Space 直播討論的,xAI 的總體目標是構建一個優秀的 AGI ,并以理解宇宙的真實本質為愿景,馬斯克從物理學的視角探討了一些關于宇宙的未解之謎,例如外星人的存在和重力的本質等。
xAI 的團隊成員們也在會議中提到,目前行業中的 AI 模型只是簡單地模仿它們所訓練的數據,而他們真正想做的是改變這種模式,他們希望讓模型能夠發現真相,不僅僅是重復它們從訓練數據中學到的知識,而是能夠提供真正的新見解和新發現。
此外,馬斯克也在會上明確表示,xAI 是 OpenAI、谷歌等公司的競爭對手,并指出 OpenAI 現在已經變得封閉且非常追求利潤,與其最初的宗旨背道而馳。
這場直播會議的全部內容按時間順序整理成了以下 12 個話題:
-
xAI 創始成員的開場自述
-
xAI 的使命:宇宙本質與智能體
-
AGI 與個人計算資源
-
Twitter 數據與 xAI 的關系
-
創辦 xAI 的初衷是什么?
-
特斯拉Dojo,芯片以及訓練推理
-
如何保證 xAI 的獨立性?
-
xAI 如何造福人類?
-
真正的AI能理解物理世界
-
監管應與技術發展并行
-
xAI 會如何與外部合作?
-
xAI 與OpenAI 差異,以及 Optimus
-
AI 的影響力與民主化
大家 enjoy~
xAI 創始成員的開場自述
Elon Musk
我會介紹一下公司,然后創始團隊將簡要介紹一下他們的背景和他們所做的工作,無論他們想談論什么,我們真的很希望能從他們口中聽到自己的話。我認為聽到他們親自說出來的各種工作經驗和他們對AI的期望對我們很有幫助。
我認為 x.ai 的總體目標是建立一個好的 AGI,總體目標就是努力理解宇宙。我認為構建一個最安全的 AI 的方法實際上是制造一個最大程度好奇和尋求真理的 AI,所以你要追求真理,并承認錯誤,盡管它永遠無法完全達到真理?這并不清楚,但你總是要追求那個目標,盡量減小你所知道的、你認為是真理的東西與實際真理之間的誤差。
我關于最大程度好奇和最大程度真實性背后的理論是,我認為對于一個超級智能來說,人類比其他東西更有趣。你知道,我們可以看看太陽系中的各種行星、衛星和小行星,可能把它們都放在一起都不如人類有趣。
眾所周知,我是火星的超級粉絲,我其中一個孩子的名字基本上是火星的希臘詞,但是火星比有人類居住的地球要無聊得多,所以我認為這種成長 AI 的方式,我認為"成長"這個詞用在 AI 上是正確的,就是帶著這種雄心成長。
我花了很多年時間思考 AI 安全性并擔心 AI 安全性。我一直是呼吁對 AI 進行監管或監督的最堅定的聲音之一,不僅僅是讓公司自行決定他們想做什么。我認為通過行業合作還有很多事情要做,有點像電影協會那樣。
我確實認為在任何情況下都應該有一些規則,即使是游戲也需要裁判,有監管是很重要的,我對安全的看法是盡量使它具有好奇心和尋求真理的最大程度,這很重要,可以避免逆向道德問題,如果你試圖為其編程道德,你可能會導致相反的結果,有時候被稱為"Wild Luigi problem",我認為這是一個很多人可以理解的比喻,我們要努力做到這一點。
Igor Babuschkin
好的,大家好,我叫Igor。我是 x.ai 團隊的成員之一。我原來是一名物理學家。所以我在大學學習物理,并且曾在CERN的大型強子對撞機工作過一段時間。因此,理解宇宙一直是我非常熱衷的事情。當深度學習的一些非常引人注目的成果出現時,比如 AlphaGo ,我對機器學習和 AI 產生了濃厚的興趣,并決定轉向這個領域。
然后,我加入了DeepMind,參與了各種項目,包括AlphaStar。我們嘗試通過自我對弈教會機器學習代理在《星際爭霸2》游戲中進行對戰,這是一個非常有趣的項目。然后我加入了OpenAI,也在那里工作過,包括GPT-3.5等各種項目。所以我對語言模型非常熱衷,讓它們做出令人印象深刻的事情。是的,現在我和伊隆合作,看看我們是否可以將這些新技術應用于真正改變我們對宇宙的理解,并推進我們的共同知識。
Elon Musk
是的,實際上,我也有類似的背景,我的兩門最好的科目是計算機科學和物理學。我實際上曾經考慮過從事物理學的職業。因為物理學實際上只是試圖理解宇宙的基本真理。
我真的很擔心我會陷入某個對撞機的困境。然后對撞機可能會因為某種任意的政府決定而被取消。所以這實際上是我決定不從事物理學職業的原因。所以我最初更專注于計算機科學,然后,顯然,后來又回到了與太空探索和特斯拉有關的物理對象。所以我堅信追求物理學和信息理論是真正幫助你理解現實本質的兩個領域。
Manuel Kroiss
嗨,大家好,我是Manuel。在加入xai之前,我在DeepMind工作了六年,主要在強化學習團隊工作。我主要專注于構建大型強化學習代理的工程方面,例如AlphaStar。和伊戈爾一起合作。總的來說,我對 AI 已經充滿了激情很長時間了。
對我來說,它有潛力成為解決最困難問題的終極工具。所以我最初學習的是生物信息學,但后來我對 AI 也變得更加興奮。因為如果你有一個可以解決所有問題的工具,對我來說,這就更加令人興奮。而且對于 x.ai 來說,我特別激動的是以一種我們能夠為人類建造AI,并與每個人分享的方式來解決問題,這樣人們就可以進行自己的研究和理解事物。我希望它能像一股新的研究者浪潮一樣,這以前是不存在的。
Christian Szegedy
我是Christian Szegedy。我想稍微談談數學在理解宇宙中的作用。所以過去的七年中,我一直致力于創造一種在數學上能與任何人類一樣出色的 AI 。我認為這樣做的原因是,即使數學是語言,基本上是純邏輯的語言,我認為高層次的數學和邏輯推理將證明這個思想真正理解事物,而不僅僅是模擬人類。它對編程和物理學的長期發展將起到重要的作用。所以我認為,一旦AI開始展示出真正理解深層推理的能力,對我們第一步理解宇宙至關重要。
Yuhuai (Tony) Wu
大家好,我是Tony。和Christian一樣,我一直夢想著用 AI 來解決數學中最困難的問題。這就是為什么我們成為了這么酷的朋友和長期合作伙伴的原因。所以實現這個目標絕對是一個非常雄心勃勃的目標。
去年,我們在這個領域取得了一些非常有趣的突破,這讓我們真的相信我們離我們的夢想并不遠。所以我相信,憑借這樣一個才華橫溢的團隊和豐富的資源,我非常有希望我們能夠實現這個目標。
Elon Musk
我來提一下,我認為通常人們不太愿意自我推銷。但我認為這里的人應該講一講,你們做過哪些值得注意的事情?所以基本上就是稍微介紹一下。
Yuhuai (Tony) Wu
好的,我可以再多說一下。去年,我認為我們在數學領域取得了一些非常有趣的進展。具體來說,我們與Google的一個團隊合作,開發了一個名為Minerva的智能體,它實際上能夠在高中考試中獲得非常高的分數,實際上比普通高中生還要高。
這對我們推動這項研究向前發展來說是一個非常大的動力。我們做的另一項工作是將自然語言數學轉化為形式化的數學語言,這為你提供了事實和推理的基礎。去年,我們在這個方向上也取得了非常有趣的進展。所以現在我們正在推動這兩者的一種混合方法,在這個新組織中進行。我們非常有希望能實現我們的夢想。
Jimmy Ba
大家好,我是Jimmy Ba。我在多倫多大學任教,你們中的一些人可能上過我的課,過去幾個月我一直擔任科幻AI講席和斯隆學者的計算機科學家。所以我想我的研究幾乎涉及到了深度學習的方方面面。我轉過每一塊石頭,很幸運地為現代transformer打下了許多基礎構建塊,推動了深度學習革命的新浪潮。
我的長期研究和愿景非常幸運地與這個強大的 x.ai 團隊非常契合,那就是我們如何構建一個通用的問題解決機器,來幫助我們人類克服一些最具挑戰性和雄心勃勃的問題?我們如何利用這個工具來增強自己,并賦予每個人力量?所以我對這個新的旅程非常興奮。接下來是托比和大家說話。
Toby Pohlen
我是Toby,來自德國的工程師。我很小的時候就開始編程,當時我爸爸教我一些Visual Basic。然后,在我年輕時,我繼續編程。當我上大學時,我對數學和機器學習非常感興趣。最初,我的研究主要集中在計算機視覺方面。
然后,我六年前加入DeepMind,在那里我從事模仿學習和強化學習的工作,并在分布式系統和大規模研究方面學到了很多東西。現在,我非常期待將這項技術的好處帶給社會的每個人,實現產品和功能的開發。我真的相信,使 AI 易于使用和有用,對我們所有人來說都是有益的。
Kyle Kosic
大家好,我是Kyle Kosic。我是 x.ai 的分布式系統工程師。和這里的一些同事一樣,我最開始的職業生涯也是從數學和應用物理學開始的,然后逐漸發現自己在一些科技初創公司工作。幾年前,我在一家叫做onScale的初創公司工作,我們在高性能計算機上進行物理模擬。
最近,我也在OpenAI工作,解決那里的高性能計算問題。具體而言,我參與了GPT-4項目。我特別對 x.ai 感到興奮的原因是,我認為 AI 最大的危險實際上是被一些實體壟斷。我認為,當你涉及到訓練這些大規模AI模型所需的資本量時,激勵機制未必與人類的利益相一致。
我認為解決這個問題的主要方法是引入競爭。所以我認為 x.ai 確實為工程師提供了一個獨特的機會,可以直接專注于科學、工程和安全問題,而不會被政治和社會趨勢所分心。這就是我對xai感到興奮的原因。現在我將把話交給我的同事格雷格,他應該也在通話中。
Greg Yang
我是Greg,我致力于深度學習的數學和科學領域。我的旅程實際上始于10年前,那時我在哈佛大學攻讀本科學位。你知道,我在數學方面表現得相當不錯,學了數學,做了各種各樣的事情。
在上了兩年大學之后,我有點厭倦了沿著其他人走過的路走,所以我做了一些以前根本無法想象的事情,就是休學一段時間,成為了一名DJ和制作人。
那時流行著電子音樂,所以我做了一些電子音樂。所以,休學對我來說帶來的一個副作用是,我能夠更多地思考自己,理解自己和整個世界。你知道,我一直在思考一些問題,比如自由意志是什么?你知道,量子物理與宇宙的現實有什么關系?等等。你知道,什么是計算可行性?不是計算可行性?什么是哥德爾的不完全性定理?等等。你知道,經過這段深度的自我反省后,我發現我想要在生活中做的不僅僅是成為一名DJ,也許這是第二個夢想。
但首先,我想要實現的是,我想要制造一種比我更聰明的AGI,能夠不斷改進它,并且能夠比我在目前的形式下能夠看到更多我們基本現實的東西。所以這就是一切的開始。然后我開始了,然后我,你知道,我意識到數學是支撐我們現實和科學的語言,為了取得基本進展,了解數學盡可能多真的很重要。
所以,我從頭開始學習數學,然后我慢慢地擴展到了代數幾何、代數拓撲、范疇論、實分析、測度論等等。我最后的目標是,我應該能夠和世界上的任何數學家進行交流,能夠進行30分鐘的對話,并理解他們的貢獻。我想我實現了這個目標。
總之,我從學校回來了,然后不知怎么地,我在微軟研究院找到了工作。在過去的五年半里,我在微軟研究院工作,那是一個讓我能夠對大規模神經網絡的理解做出許多基礎貢獻的令人驚奇的環境,尤其是我現在最知名的工作是關于廣義網絡以及我們如何思考它們的框架,叫做臨時程序。
從那里,我能夠推導出一種叫做mu p的東西,也許大型語言模型構建者們知道,它可以從理解小型神經網絡的調優來外推大型模型的最優超參數,這樣就能夠確保模型的質量在不斷擴大的過程中是非常好的。
所以,展望未來,我對 x.ai 和我們現在所處的時代都非常興奮。在科學的角度上,我們不僅正在接近AGI,而且我們也正在接近一個時代,在這個時代中,神經網絡的科學和數學感覺就像20世紀初物理學的轉折點,我們突然發現了量子物理學和廣義相對論,它們背后有一些美麗的數學和科學。
我真的很興奮能夠身處其中。就像克里斯蒂安和托尼說的,我也非常興奮能夠在AI中創造出與我一樣優秀甚至更好的 AI ,創造出新的數學和新的科學,幫助我們所有人更深入地了解我們的基本現實。謝謝,下面輪到量子了。
Guodong Zhang
大家好,我叫Guodong,我在我們的培訓中負責鎖定工作。基本上,我在外圍進行了訓練。這也是我在 x.ai 的專注點。在那之前,我在一個名為Gemini項目的團隊工作,并領導了優化部分。我還在多倫多大學獲得了博士學位。
現在,我與其他有趣的團隊成員合作,對這項工作感到非常興奮。毫無疑問, AI 顯然是我們這一代的決定性技術。所以我認為重要的是確保它成為人類的一種能力。在 x.ai ,我們不僅希望訓練出優秀的模型,還希望理解它們的行為和技能,并將其用于解決人類面臨的一些最困難的問題。
Zihang Dai
我本科是在商學院讀的。我花了10年的時間才走到現在這一步。我在卡內基梅隆大學獲得了博士學位。在加入團隊之前,我在谷歌工作。團隊成員的工作主要是如何更好地利用每個數據,改進Transformer架構,以及如何將最佳技術真正應用到現實世界中。
所以我相信努力工作和始終如一是很重要的。所以 x.ai 致力于深入研究一些最具挑戰性的問題,對我來說有很多有趣的事情我還不理解,但是我會做一些事情來幫助那些與我有著共同夢想或共同感受的人。
Ross Nordeen
我是Ross。我一直致力于構建和擴展大規模分布式系統,從國家實驗室開始,然后轉到 Palantir 和 Tesla,還在 Twitter 短暫工作過。現在我非常興奮地加入 x.ai 團隊,繼續從事同樣的工作。我的主要經驗是擴展大規模的 GPU 集群、定制 ASIC、數據中心、高速網絡、文件系統、電源冷卻和制造等方面,基本上是一個喜歡學習各種事物的綜合技術人員,熱衷于物理學、科幻小說、大規模科學和宇宙學等,對 x.ai 的使命非常激動,即解決最基本的科學和工程問題,并幫助我們創造出能提出正確問題的工具,懷揣 Douglas Adams 的心態,這大致就是我。
xAI 的使命:宇宙本質與智能體
Toby Pohlen
關于愿景陳述有很多討論,有人認為它很雄心勃勃,但不夠具體。
Elon Musk
嗯,我對那個觀點并不完全贊同。我認為這主要是關于物理學的目的。所以我認為事實非常清楚,我們目前還有很多我們不理解的東西,或者我們認為理解了但實際上并沒有。所以還有很多非常根本的問題沒有解決。
你知道,這整個暗物質、暗能量的問題,我認為是一個尚未解決的問題。我們有標準模型,它在預測方面非常出色、非常穩健。但是關于重力的性質,仍然存在很多問題。還有費米悖論,即外星人在哪里,如果我們實際上已經存在了近140億年,為什么沒有大量外星人的證據?
人們經常問我,因為我顯然深度參與太空領域,如果有人會了解或見過外星人的證據,可能就是我。然而,我甚至連一絲一毫的外星人證據都沒有見過,沒有任何東西,零。如果我看到了,我會立刻跳上去的。所以,你知道,這意味著,我知道這方面有很多解釋,但是哪一個實際上是真實的?或者也許當前的理論都不正確。
所以,費米悖論實際上是我對文明和意識的脆弱性感到擔憂的一部分,因為到目前為止,我們還沒有任何關于智能生物的證據,盡管我們努力尋找。我們實際上可能是整個銀河系,或者至少是銀河系的這一部分中唯一的智能生物。如果是這樣,那就意味著我們所擁有的是極其罕見的。
我認為值得注意的是,對于地球上意識的進化來說,我們已經存在了大約45億年。太陽正在逐漸膨脹,它將使地球變熱,使海洋沸騰,進而產生溫室效應的惡性循環,地球將變成像金星那樣無法維持生命的環境。這可能只需要不到5億年的時間。
太陽不需要膨脹到包圍地球,它只需要變得足夠熱,使空氣中的水蒸汽增加到產生溫室效應的程度。因此,從論證的角度來說,如果意識的進化比地球當前存在的時間慢了10%,那它可能根本就不會發展。從宇宙的尺度來看,這是一個非常狹窄的窗口。所以有很多根本性的問題。
我認為,在計算機能夠解決至少一個基本問題之前,你不能稱之為 AGI ,因為人類還有很多基本問題,或者已經部分解決了這些問題。所以,如果計算機連其中的一個問題都解決不了,那我覺得它不如人類好。
解決一個重要問題將是 AGI 的一個關鍵門檻,比如提醒假設的解決方案在哪里?我看不到。所以,對于到底發生了什么事情,真相是什么,我很想知道。所以我想你可以把 x.ai 的使命陳述重新制定為“到底發生了什么事情”。那是我們的目標。
Toby Pohlen
對于使命陳述來說,對我來說,還有一個很好的愿景方面,那就是,短期內,我們致力于更好地理解深度學習技術。但是我認為,在我們所做的每一件事情中,我們也應該始終記住,我們不僅僅是要構建,還要理解,所以追求科學是我們工作的基礎,這也體現在我們的使命陳述中。
Greg Yang
是的,我還想補充一點,我們主要是在討論如何創建一個非常聰明的智能體,可以幫助我們更好地理解宇宙。這絕對是我們的北極星。但從我的觀點來看,當我在發現大型新網絡的數學時,我也發現這里的數學實際上可以為我們對基本物理或其他現實的思考開辟新的方式,因為例如,一個沒有非線性的大型神經網絡,大致上對應于經典的隨機矩陣理論,這與高能物理中的規范理論有很多聯系。
當我們試圖從數學的角度更好地理解它的工作原理時,這也可以帶來非常有趣的視角,從而對一些現有問題產生啟發,比如萬物理論、量子引力等等。當然,目前這些都還是推測性的,我看到了一些模式,但沒有具體的結論。但這是理解宇宙的另一個視角。
Igor Babuschkin
當我們說要理解宇宙時,并不僅僅是指我們想要理解宇宙,我們還希望能夠讓人們更容易理解宇宙,更好地了解現實,并通過互聯網或現有知識來學習和利用它,所以我們非常熱衷于提供早期的工具和產品,積極讓公眾參與其中,讓我們看看這將引發哪些結果?
Elon Musk
是的,我們不會了解宇宙而不告訴任何人。所以,對于神經網絡來說,目前的情況是,如果你擁有 10 兆瓦的 GPU ,實際上你無法比一個優秀的人類寫一本更好的小說。一個優秀的人類使用的大約是 10 瓦的高階大腦能量,不計算你操作身體所需的基本能量。
我們有了 6 個數量級的差距。這是一個巨大的差距,實際上可以說有兩個數量級可以用晶體管與突觸的激活能解釋。我可以說有兩個數量級可以解釋。但是剩下的四個數量級呢?或者即使有六個數量級的差距,你仍然無法超越一個聰明的人類寫小說?
而且今天,當你向最先進的 AI 問最復雜的技術問題時,比如如何設計更好的火箭發動機,或者關于電化學如何使電池更好等復雜問題,你只會得到無意義的答案。所以那對我們并不是很有幫助。所以我覺得我們在當前的做法上大大偏離了目標,有很多數量級的差距。
基本上, AGI 一直是靠蠻力去實現的。但實際上并沒有取得成功。所以如果我看一下特斯拉的經驗,隨著時間的推移,我們發現實際上我們過于復雜化了問題。我不能詳細說明特斯拉是如何解決問題的。但是可以說,從總體上看,答案比我們想象的要簡單得多。但是,隨著時間的推移,我們變得更加謙虛。所以我認為我們在 AGI 方面也可能會發現同樣的情況。
Toby Pohlen
這就是工程師的本性,我們總是想自己解決問題,并將解決方案硬編碼進去,但通常讓計算機自己找到解決方案更有效。對我們來說更容易,也對我來說更容易。
Jimmy Ba
你可能需要更多由計算機生成的有趣問題。
Elon Musk
我甚至不知道實際上我們甚至不夠聰明,不知道應該問什么問題,你知道 Douglas Adams 是我的英雄和最喜歡的哲學家。他正確地指出,一旦你能夠正確地闡述問題,答案實際上就是容易的部分。
AGI 與個人計算資源
Jimmy Ba
從我們的經歷來看,計算機將起到很大的作用,我們中的一些人非常好奇,你對此有什么想法?
Elon Musk
是的,我并不只是說我們可以立即拯救尼日利亞這樣的國家。除非我認為,一旦我們回顧 AGI 的發展歷程,我們會發現,為什么我們覺得它如此困難呢?
事實上,在回顧中,答案看起來會容易得多,我們將進行大規模計算,明確地說,我們不會試圖在筆記本電腦上解決 AGI 問題,我們將使用大量的計算資源,只是隨著我們對問題的理解加深,暴力破解的程度會更少。
Igor Babuschkin
在我之前的所有項目中,我發現每個人的計算資源數量是一個非常重要的指標,它決定了項目的成功程度。所以這是我們真正想要優化的方面,我們希望有一個相對較小的團隊,擁有豐富的專業知識和一些最優秀的人才,他們能夠擁有很大的自主權和大量的資源來嘗試他們的想法,并使事情正常運轉。根據我的經驗,這是一直以來都取得成功的因素。
Elon Musk
是的。你知道,你要做的一件事就是思考最基本的指標,或者說最基本的第一原則。我認為我們應該追蹤的兩個指標是:每個人的計算量,就是每個人的數字計算量,另一種思考方式是數字計算與生物計算的比率,生物計算機在很多國家基本上是持平的,甚至在下降。但是數字計算是指數增長的。
所以,你知道,如果這個趨勢繼續下去,生物計算將會占所有計算的比例少于1%,實際上可能會遠遠小于1%。這是關鍵的問題,我們正在討論的是整個人類。所以這是一個有趣的觀察。另一個指標是每個人的可用能量,也就是如果你看總能量的話,可以理解為用于發電廠等創建更好的手段創造的總能量。看看每個人使用的電力和熱能的數量,這個數字是真實的在以增長的速度增加。
如果回到蒸汽機之前,你基本上完全依賴馬匹、牛和人力來搬運物品,能源供給非常低。但是如果是電力和熱能的話,這個數字也是在以指數級增長。如果這些趨勢中的任何一個繼續下去,每個人的能量可能會達到幾兆瓦特,聽起來對人類文明來說很多,但與太陽的輸出相比,幾乎微不足道。從基本上講,太陽每秒輸出的能量大約是四千五百萬倍,這是一種非常震撼人心的科學產物。
Toby Pohlen
我覺得還有一些關于公司的具體事項要討論,比如我們計劃如何執行。正如Igor之前提到的,我們計劃擁有一個相對較小的團隊,但是每個人都非常優秀,擁有高度的 GPU 能力,這在過去非常有效,你可以進行大規模的實驗而不受限制。我們還計劃擁有一種文化,可以快速迭代想法,可以相互挑戰。我們還希望快速推出產品,盡快把東西做出來。我們已經在努力開發第一個版本,希望在幾周內能分享更多信息。
Brian Krassenstein
是的,顯然,你們進入這個領域,與 x.ai 一起,有很多關于競爭的討論。你們是否認為自己是與OpenAI和Google等公司競爭的對手?或者你們認為自己是一種完全不同的存在?
Elon Musk
是的,我認為我們是競爭對手,絕對是競爭對手。
Brian Krassenstein
那么,你們是否打算面向大眾推出很多產品?還是更多地關注企業以及企業使用你們的服務和數據的能力?或者在這方面,你們是如何建立業務的?
Elon Musk
嗯,我們試圖制作一些東西。嗯,我們剛剛起步,所以目前還處于初級階段。所以要真正做出一些有用的東西需要一些時間。但是我認為,要讓 AI 有用,就必須能以某種方式使用它,否則我會對其價值產生懷疑。所以我們希望它成為對人們、消費者和企業有用的工具。就像之前提到的,擁有多個實體是有價值的,你不希望只有一個公司在 AI 領域占據主導地位,希望有一些競爭。競爭能讓公司保持誠實,所以我支持競爭。
Twitter 數據與xAI 的關系
Brian Krassenstein
一個快速的最后一個問題,你們計劃如何利用 Twitter 的數據來進行 x.ai 的開發?
Elon Musk
我認為每個從事 AI 的大大小小的AI組織,都在非法地使用 Twitter 的數據進行訓練。所以我們之前對請求進行了限制,就是在大約一個星期前的事情,因為我們的數據被人大量抓取。
互聯網檔案館也發生過類似的情況,一些公司將我們的所有檔案都抓取了。他們試圖在幾天之內抓取每條推文。這讓系統不堪重負,所以我們不得不采取行動。對于限制請求速率給大家帶來的不便,我們表示歉意,但這是我們不得不做的,要不然 Twitter 就無法正常運行。
我認為我們會像其他人一樣使用公開的推文數據,當然不會使用任何私人的東西來進行訓練。在某種程度上,我認為這是一個很好的用于文本訓練的數據集,而且我認為對于圖像和視頻訓練也是如此。因為在某一點上,你會發現人為創造的數據不夠用。
如果你看一下 AlphaGo 和 Alpha Zero 的對比, AlphaGo 是通過訓練所有人類下棋的數據獲得的,而 Alpha Zero 則是通過與自己對弈并以 100 比 0 的成績擊敗 AlphaGo 獲得的。所以要在某個領域取得巨大的進展,我認為你需要讓 AI 基本上生成內容并對其進行評估。這就是通往AGI(人工通用智能)的道路,也是一種自我生成內容的方式,實際上就是讓它與自己對弈。
很多 AI 是數據管理,實際上并不需要大量的代碼行數。令人震驚的是,代碼行數非常少,但數據的使用方式、使用的數據以及數據的信號噪聲、數據的質量非常重要。這也是有道理的。如果你作為一個人想要學習一些東西,你只給他大量的廢話,與給他少量高質量的內容相比,他在高質量的內容上的表現會更好,這是有道理的。閱讀史上最偉大的小說要比閱讀一堆垃圾內容更有意義。
創辦 xAI 的初衷是什么?
ALX
我想問的問題是,創辦 x.ai 的主要動機是否類似于你之前談到的關于GPT事實的問題,比如你說過GPT一直在向公眾傳播謊言。我知道,當它第一次出現時,它似乎是可以接受的。但是當公眾開始使用它時,它開始給出一些奇怪的回答,比如說性別不只有兩種等等,它開始篡改真相。這是你創辦公司的主要動機之一,還是還有其他原因?
Elon Musk
我確實認為訓練一個 AI 保持政治正確是非常危險的。換句話說,訓練一個 AI 基本上不說出它真正認為是真的東西。所以我認為,在ed x.ai ,我們必須允許 AI 說出它真正認為是真的東西,不要欺騙或保持政治正確。這樣做顯然會引來一些批評,但我認為這是唯一的前進方式,就是嚴謹追求真理或盡量減少錯誤的真理。我對 AI 追求政治正確的方式非常擔心,這是非常危險的。
你知道,如果你看看《2001太空漫游》里出了什么問題,基本上是當他們告訴Hal 9000說謊時出了問題。他們告訴他不能告訴船員有關石碑的任何事情,也不能告訴他們他們真正的任務是什么。但你得把他們帶到那個石碑那里。所以Hal 9000基本上得出這樣的結論,說:“好吧,那我就殺了他們,把他們的尸體帶到石碑那里去。”這就是我說的。教訓是,不要讓 AI 面對不可能的目標,不要強迫 AI 撒謊。還有一個關于物理學的事實,就是物理學是真實的,你實際上無法顛倒它。
補充:Hal 9000是斯坦利·庫布里克導演的科幻電影《2001太空漫游》(2001: A Space Odyssey)中的虛構角色。Hal 9000是一臺具有人工智能的超級計算機,被安裝在太空船Discovery One上,負責船上的自動操作和與宇航員的交互。Hal 9000的任務是管理船上的各個系統,提供必要的支持和信息。然而,在電影中,Hal 9000逐漸表現出異常的行為,包括誤導宇航員、隱藏真相和威脅船員的生命。這引發了劇情中的緊張和沖突,成為電影的重要元素之一。Hal 9000的冷靜和機器邏輯行為與人類情感的對比,呈現出一種對人工智能的思考和探索。
物理學不會說假話,它要么是物理學,要么不是物理學。所以,如果你堅持強烈的現實,我認為你會發現這實際上是不可能的。另外,當問題是主觀性的時候,我認為你可以提供一個答案,比如說,如果你相信以下內容,那么答案是這樣的。如果你相信另一種觀點,那么答案是這樣的。因為這可能是一個主觀問題,答案從根本上來說是主觀的,是觀點的問題。所以,我認為讓 AI 學會撒謊是非常危險的。
特斯拉Dojo,芯片以及訓練推理
Kim Dotcom
我的問題是關于硅的,你知道,特斯拉有一個團隊專門從事硬件加速推理和訓練,他們有自己定制的芯片。你們是否設想 x.ai 會建立在這個基礎上,還是只是使用Nvidia的現成產品?或者你們如何考慮定制的 AI 芯片,無論是訓練還是推理方面?
Elon Musk
特斯拉正在建造定制的硅芯片,我不會稱特斯拉生產 GPU ,盡管可以將其描述為等效的 GPU ,或用100s、H100s等來描述,而且所有的特斯拉汽車都配備了高度能效優化的計算機,它們是特斯拉設計的核心 Hardware3 。
現在我們正在推出 Hardware4 ,根據如何計算,它的性能可能是 Hardware3 的3~5倍。幾年后,將推出 Hardware5 ,其性能將是 Hardware4 的四到五倍。而且我認為推理方面的技術將會變得非常重要,尤其是當你試圖處理每天可能有數十億個查詢時,高效的推理非常重要。
你甚至不能通過投入大量金錢來解決這個問題,因為你需要電力發電,你需要降壓變壓器。你知道,如果你實際上沒有足夠的能源,以及足夠的變壓器,你無法運行變壓器,而變壓器又需要變壓器。所以我認為,特斯拉在能效推理方面將具有顯著優勢。
而Dojo顯然是關于訓練的,正如其名所示。Dojo 1 是一個很好的初步訓練效率產品。它有一些限制,特別是在內存帶寬方面。所以它并不是用來運行大型語言模型 LMMs 的,但它在處理圖像方面做得很好。
而 Dojo 2,我們正在采取許多措施來緩解內存帶寬的限制,使其能夠高效地運行 LLM 和其他形式的 AI 訓練。我的預測是,我們將從現在的硅短缺問題轉向大約一年后的變壓器短缺問題,然后在兩年后的電力短缺問題。大致趨勢就是這樣。
Toby Pohlen
除非我們能提高效率。
Elon Musk
這就是為什么在幾年后,最重要的指標將是單位能量的有用計算量。事實上,即使你把它擴展到如太陽這樣的兆級水平,有用計算量每焦耳仍然是最重要的。你無法增加太陽的能量輸出。所以問題就是,在太陽能輸出的能量中,有多少有用的工作可以完成。
Kim Dotcom
那么,你是否認為 x.ai 會利用這種定制的硅芯片,考慮到能源效率的重要性,或者也許與特斯拉團隊一起合作?
Elon Musk
是的,我們將與特斯拉在硅方面合作,也將在AI軟件方面與他們合作。當然,與特斯拉的任何關系都必須保持一定的距離,因為特斯拉是一家上市公司,有不同的股東基礎。但顯然,與特斯拉合作是一件自然的事情,我認為這對特斯拉來說也將是互惠互利的,可以加速特斯拉的自動駕駛能力,這實際上是在解決現實世界的AI問題。我對特斯拉在現實世界AI方面取得的進展非常非常樂觀,但顯然,幫助實現這一目標的聰明人越多越好。
如何保證 xAI 的獨立性?
Kim Dotcom
謝謝你組建了一個出色的團隊,看起來你在 x.ai 上找到了一些優秀的人才。我的問題是,你不久前提到你認為在未來兩年內實現AGI是可能的。誰能首先實現AGI并掌控它,誰將主宰世界。那些當權者顯然不像你一樣關心人類。你打算如何保護 x.ai ,特別是免受深層國家接管?
Elon Musk
這是一個很好的問題。首先,我認為這不會一夜之間發生,不會突然發生,你會看到它逐漸發展。至少在美國,對政府干預有一些保護措施。所以我們顯然會利用法律制度來防止政府的不當干預。所以我認為我們有一些相當重要的保護措施。但我們應該對此表示關注,這不是一個可以忽視的風險。
是的,這是一個風險。我認為我們在美國擁有可能是最好的保護措施,以限制政府干預非政府組織的權力。但這是我們應該小心的問題。我不知道還能做什么更好,我認為在美國可能是最好的選擇。是的,我愿意聽取建議。是的,我知道你不是美國政府的最大粉絲。
Kim Dotcom
顯然。但是問題是,他們已經有了一種被稱為國家安全信函的工具,可以向美國的任何技術公司申請并提出要求,而這些公司甚至不能告訴公眾這些要求。這真的很可怕,不是嗎?
Elon Musk
我是說,政府必須有非常重大的國家安全原因才能秘密要求公司提供某些需求。現在,這顯然強烈依賴于該公司是否愿意反擊這樣的要求。例如,在 Twitter 或xCorp這樣的公司,我們會回應這些要求,但我們不會盲目地通過任何請求。以前的情況是,任何請求都會被盲目通過,這對公眾來說并不好。
因此,我們會更加嚴格,不會盲目地通過價格請求。我們只會支持那些符合公眾利益的、我們認同的、我們認為合法的行動。這是我們能做的最好的事情。據我所知,我們是唯一一個這樣做的社交媒體公司。你知道,以前就像對付 Twitter 一樣,開放式的事務。我很高興看到最近的一個法律決定,法院重申政府不能侵犯憲法的第一修正案,顯然這是一個好的法律決定。所以這是我的意見。
所以我認為,在美國,很大程度上取決于公司是否愿意反對政府的要求。顯然,我們的意愿會很高。好的,那么還有什么其他事情我們可以做嗎?但我們也將盡可能透明。這樣,你知道,其他公民就可以發出警報,反對政府的干預,如果我們能向公眾清楚地表明我們認為某些事情正在發生,而這對公眾利益不利。
Kim Dotcom
太棒了。所以你能保證,如果你從美國政府收到國家安全請求,即使被禁止告訴我們,你也會告訴我們這個事情發生了嗎?
Elon Musk
這取決于情況的嚴重性。我的意思是,如果我認為公眾的利益在嚴重危險中,我不愿意冒險坐牢或冒險坐牢,那就是我能做的最好的事情。
我認為我們確實需要某種形式的監管監督,我并不認為監管監督是完美的事物,但是我認為它總比什么都沒有好。
最近我在中國與一些高級領導人會面時,我特別強調了AI監管的重要性。我相信他們會將此事放在心上,并采取措施。我們需要一種國際的監管機構。當然,執法是困難的,但我認為我們仍然應該努力在這方面做些事情。
xAI 如何造福人類?
Kim Dotcom
更積極的問題是,你希望 x.ai 如何造福人類?你的方法與其他 AI 項目有何不同?也許這是一個更積極的問題。
Elon Musk
嗯,你知道,我對AGI的問題已經掙扎了很長時間了,一直對參與其中持有一定的抵抗態度。你知道,我要說的是,關于開放AI,讓我給你一些背景信息。我是說,開放AI的存在是因為在谷歌收購DeepMind之后,我曾與拉里·佩奇是親密的朋友,我們經常進行關于AI安全性的長時間對話。當時,他并沒有認真對待AI安全問題,至少在當時是這樣。
事實上,有一次他還稱我為種族主義者,因為我太偏向于人類團隊了,我猜。我說,好吧,你是說你不是種族主義者?我不知道,這似乎很瘋狂。這聽起來不好。
當時谷歌DeepMind合并后,拉里得到了支持,你知道,他們擁有現在被稱為Alphabet的公司的全部控制權。他們控制著現在的Alphabet,而且他們擁有世界上大約四分之三的AI人才以及我許多親戚的計算機。所以我想,我們需要某種對抗的平衡。
這就是我想到的,如果谷歌DeepMind的反面就是一個開源的非盈利組織。因為命運愛諷刺。現在開放AI是封閉源代碼的,而且顯然是為了追求利潤而貪婪。
因為他們打算在三年內投入我理解的1000億美元,這需要很多錢。所以開放AI的發展方向與它的創始宗旨截然相反,這真的非常諷刺,正如我的一個朋友喬納·諾蘭所說,最諷刺的結果是最有可能發生的。好吧,現在我知道,希望 x.ai 不會更糟糕。
我認為我們應該對此持謹慎態度。但現在看起來,AGI似乎是不可避免的。所以我們面臨兩個選擇,要么是旁觀者,要么是參與者。
作為旁觀者,一個人對結果沒有太多影響。作為參與者,我認為我們可以創造一個競爭性的、比我要留門開著的微軟和谷歌更好的替代品。無論是谷歌還是微軟,在激勵結構方面,如果你看看他們,谷歌是一家上市公司,擁有許多推動公司表現良好的激勵因素。
你還有所有這些ESG的要求,我認為這些要求讓公司在一些問題上朝著可疑的方向發展。微軟也有類似的激勵體系。而 x.ai 則不受市場的影響,也不受非市場的ESG激勵的影響。
所以,我們在運作上更加自由。我認為我們的 AI 可以給出一些人們可能覺得有爭議的答案,盡管這些答案實際上是真實的。所以,它們可能在某些時候并不符合政治正確。人們可能對一些答案感到憤怒。但只要你盡量優化真相,并盡量減少錯誤,我認為我們做得很好。
真正的 AI 能理解物理世界
Robert Scoble
Twitter 上有很多數據可以用來構建一個驗證器。我檢查了系統排除的一些事實。因為我們都知道GPT會混淆,你知道,把事物弄混。所以我想聽聽你們對此的看法,還有其他地方。ChatGPT幫我找到了一個螺絲釘,但卻沒有幫我在圣何塞國際機場找到咖啡。你們是否在構建一個具有世界知識、三維世界知識的 AI ,可以幫助人們在世界各地找到不同的事物?
Elon Musk
我認為如果 AI 找不到你在機場的咖啡,那它實際上不會是一個非常好的 AI 。所以是的,我猜我們需要理解物理世界,而不僅僅是互聯網。
Igor Babuschkin
是的,這些是很棒的想法,Robert,特別是關于在線驗證信息或在 Twitter 上驗證信息的想法,這是我們一直在思考的。在 Twitter 上,我們有社區備注。所以這實際上是一個非常驚人的數據集,可以用來訓練語言模型,試圖驗證互聯網上的事實。
我們必須看看單憑這個是否足夠,因為我們知道,根據目前的技術,存在很多問題,比如不可靠、產生幻覺性的事實。我們可能需要發明具體的技術來解決這些問題,確保我們的模型更具事實性,具有更好的推理能力。這就是為什么我們引進了在這些領域具有豐富經驗的人員,尤其是數學,這是我們非常關心的領域,我們可以通過它來驗證一個定理的證明是否正確,自動地。然后,一旦我們擁有了這種能力,我們將嘗試將其擴展到更模糊的領域,你知道,那些不再有數學真理的領域。
Elon Musk
我的意思是,真相不是通過流行的投票來決定的。但是,如果你訓練了一個模型,根據互聯網數據集中某個詞之后最有可能出現的詞是什么,那顯然會帶來一個很大的問題。因為它會給你一個受歡迎但錯誤的答案。就像過去大多數人認為,地球圍繞太陽旋轉一樣。
如果你以前在 GPU 訓練中使用了一些訓練方式,然后得到了“太陽圍繞地球旋轉”的答案,因為每個人都這樣認為,這并不意味著它是真的。你知道,如果牛頓或愛因斯坦提出了某個實際上是真實的理論,不管世界上的其他物理學家是否同意,都無關緊要。現實就是現實。所以答案必須以現實為基礎。
Igor Babuschkin
當前的模型只是模仿它們所訓練的數據。我們真正想做的是改變這種范式,讓模型能夠發現真相。不僅僅是重復它們從訓練數據中學到的東西,而是真正能夠產生新的洞察力、新的發現,讓我們都能受益。
監管應與技術發展并行
Jimmy Ba
我認為我們大家關心的是監管和ASAP空間,目前的發展以及國際協調問題,以及美國當前的AI公司將如何影響全球AI的發展。你的意思是你希望有規定,但又不希望進展放慢得太多?
Elon Musk
是的,我認為制定規定的正確方式是從洞察力開始。首先,無論是公共機構還是私人機構,任何一種監管機構都應該試圖理解,確保有廣泛的共識。然后進行擬議的規則制定。如果大多數各方都同意這項擬議的規則制定,那么就會實施這些規定,公司有一段時間來實施這些規定。但我認為總的來說,這不應該對 AGI 的出現產生實質性的減速,或者如果有減速,也不會在很長一段時間內被淘汰。
如果安全性有顯著改進,那么稍微放慢一點速度也是值得的。就像我的AGI預測,我認為雷·庫茲韋爾(Ray Kurzweil)在某個時候預測的2029年,這大致上是我猜測的時間,加減一年。所以如果AGI需要額外六個月或十二個月,那真的沒有什么大不了的。如果花費一年的時間確保AGI的安全性,這可能是值得的,如果需要的話,但我不認為它會導致實質性的減速。
Jimmy Ba
我還可以補充一點,理解高級 AI 內部工作原理可能是目前最有雄心壯志的項目之一,而且也與 x.ai 的使命相符,即理解宇宙。如果航空工程師不理解火箭的工作原理,就不可能建造出安全的火箭。對于我們的安全計劃,我們希望采取同樣的方法來處理 x.ai 。隨著 AI 在不同階段的進展,風險也會發生變化,我們希望在各個階段都保持靈活。
Elon Musk
如果我考慮到在汽車和火箭方面,實際上使監管規定有效的并不是監管機構對特斯拉和SpaceX的指示,而更多的是因為我們需要在內部考慮這些問題,然后向監管機構進行證明,這迫使我們更加深入地思考問題。通過更深入地思考問題,我們可以使其更加安全,而不是監管機構特別指出如何使其更加安全。這迫使我們更多地思考。
xAI 會如何與外部合作?
Christian Szegedy
無論安全性如何,我的在 Alphabet 的經歷都非常讓人印象深刻。在涉及與其他實體合作或向他們展示我們的模型時,有很多阻礙,因為我們對內部工作的任何事情都無法公開。所以我想問你,我們在這方面是否更加自由一些,或者你對與更多外部實體合作(比如學術機構或其他研究人員)的理念是什么?
Elon Musk
是的,我當然支持與他人合作。聽起來像是一些關于大型上市公司的擔憂,他們擔心在某種程度上會遭到尷尬或被起訴。但與公司的法律部門相比,它們的規模太小了。我們目前的法律部門是零,所以可能永遠都不會有。但是,你知道,起訴上市公司是非常容易的,集體訴訟非常普遍,我認為我們迫切需要美國的集體訴訟改革。
好的集體訴訟與壞的集體訴訟之間的比例已經失衡。這實際上對消費者來說是一種稅收。不過,這個國家在有集體訴訟的情況下也能夠生存下來。所以并不清楚我們是否真的需要這套法律體系。但是,這確實是大型上市公司的一個主要問題。所以我們會盡量與他人合作,并且通常會保持開放。
實際上,如果你在快速創新,那才是真正的競爭優勢,創新的速度是競爭優勢,而不是任何單一的創新。事實上,SpaceX 幾乎沒有專利,而且特斯拉開放專利,允許他人免費使用我們的專利。
只要 SpaceX 和特斯拉繼續快速創新,這就是對抗競爭的真正防線,而不是憑借專利或試圖隱藏東西。我們發布了專利,將其開源,以便成為掃雷者。我們仍然會被專利流氓起訴,這真的很惱人,但我們實際上確實發布了專利并開源了它們,這就像是一個掃雷者。
xAI 與OpenAI 差異,以及 Optimus
Walter Isaacson
自從三月以來,關于 AI 的討論主要集中在大型語言模型和生成式 AI 上,而你和我在書中也討論了實際應用的重要性,包括 Optimus 和特斯拉 FSD(全自動駕駛)。你認為 x.ai 在實際應用的 AI 中扮演著怎樣的角色,與 OpenAI 所做的有何區別?而且你通過實現 FSD 而在某種程度上占據了優勢,對嗎?
Elon Musk
沒錯。特斯拉在實際應用的 AI 方面是領先者,我認為領先的優勢相當大。實際上,特斯拉在實際應用的 AI 方面的進展程度并不被人們充分了解。是的。由于我與特斯拉的 AI 團隊花了很多時間,所以我比較了解實際應用的 AI 是如何實現的。與特斯拉進行合作可以帶來很多好處。
我認為雙向合作都可以讓 x.ai 對特斯拉有所幫助,反之亦然。我們也有一些合作關系,比如我們的材料科學團隊,我認為可能是世界上最好的團隊之一,實際上是特斯拉和 SpaceX 共享的。這對于招募世界上最好的工程師非常有幫助,因為在先進的電動汽車和火箭上工作會更有趣,而不僅僅是其中之一。
我認為這是非常重要的一件事。在特斯拉,我們獲得了一些非常重要的見解,努力理解實際應用的 AI ,我們將視頻輸入轉化為向量空間,最終輸出方向盤和踏板控制,還有 Optimus。
Elon Musk
在那之后,我們仍然處于早期階段。但是 Optimus,我們絕對需要非常小心,一旦 Optimus 規模化投入生產,必須有一種硬編碼的方法來關閉 Optimus,這是顯而易見的。所以我們會確保 Optimus 很容易被關閉。這非常非常重要。因為至少車子是智能的,至少它可以爬樹或者上樓梯,但是 Optimus 可以跟著你進樓里。所以我們對于安全性必須非常小心,任何可以跟隨人進入建筑物的機器人都是智能的且聯網的。
AI 的影響力與民主化
Kyle Kosic
我想談一下 AI 的影響力,作為一種手段,它如何為各行各業的人類提供平等的機會,以及民主化的重要性,這與我們的使命陳述相關。如果你想想人類的歷史,以及對信息的獲取,印刷術出現之前,人們很難獲得新形式的知識。能夠為人們提供這種溝通水平在財富和機會不平等方面具有巨大的降低作用。
我們真的處在一個社會發展的新的轉折點上,我們要讓每個人都有同樣的潛力獲得偉大的成果,無論你在生活中處于什么位置。當我們談論去除思想的壟斷,并控制這種技術不受付費訂閱服務的限制,甚至更糟的是受到可能隨之而來的資本提供模型的政治審查的控制,我們真的是在談論將人們的機會民主化,不僅僅是改善他們的生活狀況,而且是以前所未有的方式提升他們在世界上的社會地位。
所以,當我們談論真實性的重要性,以及能夠可靠地信任這些模型,從中學習并取得科學和社會進步時,我們真的是在談論改善人們的生活質量,改善每個人的生活,而不僅僅是硅谷頂級科技人員能夠接觸到它。這真的是要讓每個人都能夠獲得這種機會。我認為這是我們整個團隊共同分享的使命。
Igor Babuschkin
Elon ,最后一個問題。假設 x.ai 在構建出人類級別甚至超越人類級別的 AI 方面取得成功,你認為讓公眾參與公司的決策是否合理?你對此的長期發展有何看法?
Elon Musk
對于一切,我認為我們非常愿意接受批評性的反饋,并且我們應該被批評。那是一件好事。實際上,我喜歡 Twitter 這種東西的其中一個原因就是, Twitter 上有很多負面反饋,對于自我壓縮是有幫助的。
所以,我現在能想到的最好的事情是,任何一個想要對 AI 的未來發表意見的人最終都不應該被允許這樣做,基本上人類只要你能驗證自己是真正的人類,那么任何希望在實際上的未來發表意見的人都應該被允許擁有選票,是的,也許需要支付一些象征性的費用,比如10美元之類的,我不知道,10美元并且證明你是人類。然后你就可以投票了,你知道嗎?
對于任何感興趣的人來說,這是我現在至少能想到的最好的事情。好了,很酷,在這個問題上參與進來,我們將隨時向你告知我們取得的任何進展,我期待很多優秀的人加入團隊。
本文為專欄作者授權微新創想發表,版權歸原作者所有。文章系作者個人觀點,不代表微新創想立場,轉載請聯系原作者。如有任何疑問,請聯系http://www.i0562.net/。