對談Kevin Scott:從小鎮(zhèn)做題家到微軟CTO,人生無法復(fù)制
投資OpenAI兩個原因;關(guān)于企業(yè)AI堆棧;AI的變與不變!
編者按:本文來自微信公眾號 有新Newin(ID:NewinData),微新創(chuàng)想經(jīng)授權(quán)轉(zhuǎn)載
本期,為大家?guī)?Kevin Scott的專訪,對話 Elad Gil 和 Sarah Guo。
本期內(nèi)容分為以下話題:
-
追逐理想,人生無法復(fù)制
-
投資OpenAI,1+1>
-
Satya無悔投資理論,勝負與收獲
-
開源 or 閉源,企業(yè) AI 堆棧
-
AI的變與不變,愚蠢的增量
-
AI 時代,給人們的最好建議
-
AI 領(lǐng)域感興趣的方向
-
AI的安全性;擁抱監(jiān)管,建立信賴
追逐理想,人生無法復(fù)制
Sarah Guo
可以從你的故事開始嗎?從弗吉尼亞農(nóng)村社區(qū),你的父母沒有上過大學(xué),到成為微軟首席技術(shù)官,這是一個怎樣的過程?
Kevin Scott
我認為這是一段非常不可能的旅程,絕對不是我能夠想象的事情,部分原因是我非常幸運地天生具備了某種能力。當(dāng)我成長的時候,也就是上世紀八十年代的十幾歲時,個人計算機正在發(fā)展,而我碰巧對此著迷。盡管我們相對貧窮,但我設(shè)法籌集到足夠的錢購買了一臺個人電腦,可以一直進行調(diào)試和 Tinkering(通常是一種具有試錯性質(zhì)的活動,通過不斷地調(diào)整和實驗,以解決問題或?qū)崿F(xiàn)目標),那是一臺 Radio Shack(美國早期的一家電子零售商)售賣的彩色電腦,它有一些像雞蛋一樣的按鍵,可以連接到電視機上。
我將它連接到了一臺13英寸的電視上,它還有一個磁帶錄音機,可以存儲和加載程序;那是我癡迷的事物。從那時起,我一直對計算機癡迷不已,我只是試圖找到每一步上的路徑,能讓我從事某些有趣的事情,讓別人愿意讓我去做。
再次強調(diào),這其中有很多運氣,從處于弗吉尼亞州中部農(nóng)村到成為微軟首席技術(shù)官,你無法計劃出這樣的道路,但是我認為擁有一個心中的高層次理想總是有所幫助的,你知道自己的目標是什么,這總是有益的。
Sarah Guo
除了對計算機著迷和想要從事計算機工作之外,你的理想是什么?
Kevin Scott
我十幾歲的時候就有了第一個理想,我想成為一名計算機科學(xué)教授,我看了看計算機科學(xué)家在做什么,覺得這是我見過的最令人驚嘆的東西。
我上了一所科技高中,在我所生活的地方,位置非常中心,每所高中都可以選派兩名學(xué)生前去學(xué)習(xí),所以我是我所在高中選派出去的兩名學(xué)生之一。在那里,我的計算機科學(xué)教授是一個叫Tom Morgan的人,我覺得他為我打開了一個全新的世界,學(xué)習(xí)所有這些東西真的讓我興奮不已,我想成為像Morgan博士那樣的人。
對我來說,很多事情都與生活中有影響力的榜樣有關(guān)。所以,一旦我遇到Morgan博士,我就想,哦,我應(yīng)該去做計算機科學(xué)教授,這就是我一直走的道路,直到我30歲的時候,我從事編譯器優(yōu)化和計算機體系結(jié)構(gòu)、編程語言等方面的工作,對于實際的計算機科學(xué)教授而言,與我想要的東西相比,我變得非常失望,我只是想要有很大的影響力。
當(dāng)時我做這些決定時的感覺是,作為計算機科學(xué)教授,你可以有很大的影響力。的確,你可以產(chǎn)生很大的影響力,但這并不是系統(tǒng)所認可的影響力。你實際上可以產(chǎn)生的影響力是激發(fā)學(xué)生去從事這些職業(yè),并且他們會取得比你自己更大的成就。
對我來說,這是最大的影響力,但作為一名計算機科學(xué)教授,這是最不被重視的部分。那時我做出這些重大決定的時候,我就決定離開。當(dāng)時,我并不知道接下來該做什么,這一直是我差不多15年的使命,我有點迷茫,我看到我的一些學(xué)術(shù)朋友都在一個叫做谷歌的初創(chuàng)公司工作,我不明白他們?yōu)槭裁匆诠雀韫ぷ鳎雀柚皇且粋€小盒子,你在里面鍵入關(guān)鍵詞,它會給你提供10個鏈接。
Oris Holtslow是一個編譯器專家,Jeff Dean也是一個編譯器專家,Alan Yates也是一個編譯器專家,所有這些人我都在會議上見過,讀過他們的論文,于是我說,好吧,也許我應(yīng)該遞交我的簡歷,于是我遞交了我的簡歷,并接到了一些面試邀請。
這是我經(jīng)歷過的最好的面試體驗,因為他們邀請了那時公司里可能是所有編譯器專家的人參加我的面試,我當(dāng)時感到非常驚喜,我在那里度過了最美好的一天面試,我得到了這份工作的報價,我可以選擇。他們剛剛在紐約開設(shè)了谷歌紐約辦公室,這是山景城外的第一個辦公室,他們說你可以來山景城,也可以去紐約辦公室,成為其中的第十個人。
我和妻子比起在山景城生活更愿意在紐約生活。所以我們選擇了紐約。在我到達那里之后,新的使命就出現(xiàn)了。我們當(dāng)時正在招聘這些聰明的人,我們的招聘方式有點瘋狂。
我們說,好吧,如果你聰明,就來這里工作吧,我們根本不知道你到底要做什么,你來了之后會自己找到位置。我們有這些非常優(yōu)秀而聰明的人,他們會來,但他們選擇從事一些毫無影響力的事情,盡管在智力上很有趣,但它們只是有些愚蠢,因為它們永遠無法與推動公司發(fā)展的任何事物相連接,這正是我試圖擺脫的問題,我想成為一名研究計算機科學(xué)家。
于是我找到了一個務(wù)實的事情去做,我們團隊的整個項目贏得了谷歌創(chuàng)始人獎,這是解決一個非常不起眼但涉及到一堆非常高級計算機科學(xué)的問題,我認為這是谷歌做得非常好的事情之一,然后我說,好吧,我應(yīng)該幫助更多的人找到自己的方向,然后我成為了一名經(jīng)理,從那時起,一切都是關(guān)于,嘿,我想盡可能幫助更多的工程師,確保他們的工作與有趣和有意義的事物相吻合。
投資OpenAI,1+1>2
Elad Gil
很少有人討論過早期谷歌,實際上有很多學(xué)術(shù)界人士在管理重要部門,我覺得直到最近 OpenAI才有更多的學(xué)術(shù)界人士,所以你覺得學(xué)術(shù)界重新興起了,這種情況已經(jīng)過去了十年或二十年了。
Kevin Scott
這個觀察真的很好,當(dāng)我坐在OpenAI時,它真的讓我想起了谷歌早期的日子,規(guī)模也差不多。所以我有一段時間無法理解,然后我說,哇,這真的讓我有種回到谷歌早期的懷舊感,從中可以得出的結(jié)論并不是說它們是相同的公司或者它們試圖解決相同的問題,而是這個地方的能量以及他們選擇雇傭誰,很像。
Elad Gil
這是我第一次看到弦理論學(xué)家再次被聘用到計算機科學(xué)職位上(弦理論,即String Theory,現(xiàn)代理論物理學(xué)中的一種物理理論,旨在描述宇宙中基本粒子的行為和相互作用,它提出了一個全新的觀點,即將基本粒子不再看作是點狀的,而是將它們看作是細小的、振動的弦,這些弦可以以不同的方式振動,從而產(chǎn)生不同的粒子性質(zhì)和相互作用模式)。
Kevin Scott
你和我可能都和Jonathan Zunger一起工作過,他現(xiàn)在在微軟工作,我記得Jonathan當(dāng)時正在做這個大規(guī)模分布式文件系統(tǒng)的工作,他是研究弦理論的。
Sarah Guo
所以在過去的幾十年里,你的使命的重要組成部分之一是幫助弦理論學(xué)家和其他工程師弄清楚如何在自己的組織中發(fā)揮作用,另一部分似乎是實際的技術(shù)方向,對于決定什么值得投資,你長期以來一直從事機器學(xué)習(xí)產(chǎn)品的開發(fā),例如谷歌的廣告拍賣、LinkedIn的推薦等,有沒有一個時刻,你個人意識到或決定 AI 對微軟來說應(yīng)該是一個關(guān)鍵的技術(shù)賭注?
Kevin Scott
我在微軟工作已經(jīng)有六年多了,差不多六年半。很快就明顯, AI 對公司的未來非常重要。我認為在我到達之前,微軟已經(jīng)意識到了這一點。然后問題就是如何將公司所有的精力聚焦在正確的事情上?
因為我們在 AI 方面投入了很多,也有很多 AI 的精力,當(dāng)我到達時,這種投入非常分散,并不是缺乏智商,也不是缺乏資本支出和其他方面,只是將花生醬涂抹在一大堆東西上;然后真正推動我們的東西是,也許這有點技術(shù)性,但是在我到達之前,有一個很有趣的技術(shù)現(xiàn)象是遷移學(xué)習(xí)開始起作用了。
從我在谷歌的第一個項目中研究的統(tǒng)計機器學(xué)習(xí)的角度來看,你有特定領(lǐng)域的數(shù)據(jù),你有特定的機器學(xué)習(xí)模型架構(gòu),以及一種特定的部署和測量方式,這一切都是你為一個用例、領(lǐng)域或應(yīng)用程序準備的。但是現(xiàn)在,我們開始看到,你可以訓(xùn)練一個數(shù)據(jù)集,然后用于多個目的。
我們可以在Deepmind的一些令人興奮的工作中看到這種現(xiàn)象,他們使用強化學(xué)習(xí)在一些游戲應(yīng)用中實現(xiàn)了遷移,但真正令人興奮的是,當(dāng)它在語言領(lǐng)域開始起作用時,如Elmo、Bert、Roberta和Touring等,我們可以想象在這些基礎(chǔ)上構(gòu)建許多基于語言的應(yīng)用,只要它繼續(xù)變得越來越好,我們就能夠看到更多的應(yīng)用。
所以我們只是在尋找它會繼續(xù)變得越來越好的證據(jù)。一旦我們找到了這個證據(jù),我們就全力以赴,從與OpenAI的合作開始,有一段時間我甚至占用了整個公司的GPU預(yù)算,我說我們不再在這些資源上涂抹花生醬了,我們會專注于那些有強有力證據(jù)支持的路徑,增加更多的資本規(guī)模將產(chǎn)生更好的效益。
Sarah Guo
我記得大概是五年前,我們在晚餐時討論,現(xiàn)在GPU容量成為技術(shù)界的熱門話題,今年會如何在GPU上投資,以及如何分配這些GPU呢?
Kevin Scott
這一直以來都很困難,而且現(xiàn)在也沒有變得更容易。你問的問題是關(guān)于我們?nèi)绾螞Q定與OpenAI合作的,我們之所以選擇合作有兩個原因。
首先,隨著遷移學(xué)習(xí)的實際應(yīng)用,你可以想象構(gòu)建一個平臺來支持所有這些東西,這樣你就可以構(gòu)建單個組件,并將成本分攤到各種不同的應(yīng)用上,由于我們擁有超大規(guī)模的云服務(wù),我非常感興趣的一件事情,而且不僅僅是感興趣,對我而言幾乎就像是一種存在感,那就是如何確保從計算基礎(chǔ)設(shè)施、網(wǎng)絡(luò)、軟件框架等各個方面構(gòu)建云服務(wù)時,能夠真正為其他各方提供服務(wù)?
因此,我們覺得除了我們公司內(nèi)部正在進行的高度雄心勃勃的事情之外,我們還需要一些高度雄心勃勃的合作伙伴,當(dāng)我們四處尋找時,OpenAI顯然是該領(lǐng)域雄心最大的合作伙伴。我認為他們的雄心依然令人嘆為觀止,以及他們試圖實現(xiàn)的目標,這就是一個原因。
第二個原因是他們的愿景與我的愿景非常相似,即這些技術(shù)正在發(fā)展成為平臺,并且我們能夠因為對未來愿景的一致而合作,盡管有許多困難的事情,但是因為我們在未來愿景上非常一致,我們可以找到合作的方式,即使有壓力也是為了實現(xiàn)共同的目標。
Satya無悔投資理論,勝負與收獲
Elad Gil
我認為合作伙伴關(guān)系在某種程度上的驚人之處在于時機。因為如果我記得沒錯,微軟在GPT-2發(fā)布之后或者就在GPT-2發(fā)布之際進行了第一次重大投資。而這還是在GPT-3出現(xiàn)之前。兩者之間存在著巨大的差異。但是我認為在GPT-2時代,這種重要性還不是那么明顯。
所以我有點好奇,是什么跡象使你們決定與OpenAI建立這種良好的合作關(guān)系,而不是自己內(nèi)部孵化,我很好奇你們是如何決定在這個時刻與他們建立合作關(guān)系的,因為當(dāng)時情況并不明顯,并且你們還投入了大量的資金。
Kevin Scott
我不想修正歷史,事實比實際情況更好。在微軟內(nèi)部,關(guān)于是否進行這項合作的智慧性,存在著不同的意見。
薩提亞(Satya)有一個理論,他談到“無悔投資”,也就是說,有一些投資有多種贏的方式,即使你輸了,你也能贏一點,所以這是一種無悔的投資,最壞的情況是,我們會在計算基礎(chǔ)設(shè)施上花費大量資金,并且我們將了解如何以非常高的規(guī)模構(gòu)建這些AI訓(xùn)練環(huán)境,而且你必須對AI世界有一種非常奇怪的看法,才會認為你需要先進的計算基礎(chǔ)設(shè)施。
此外,還有多種方式,我們有一些自己收集的證據(jù),OpenAI也提供了一些證據(jù),不幸的是我不能談?wù)摚@些證據(jù)使我們有了相當(dāng)合理的信心,即規(guī)模擴大確實有效。你可能已經(jīng)看到了著名的OpenAI計算規(guī)模論文,在這篇論文中,他們以對數(shù)比例的方式繪制了他們使用的計算總量,該圖表顯示了從2012年開始使用GPU訓(xùn)練模型的方式,到2018年左右結(jié)束,每年的計算量都增加了10倍,用于訓(xùn)練最先進的模型。我對我們永遠不會達到的程度充滿了極高的信心,例如“好了,我們有足夠的計算資源了”。
這是一個大膽的舉動。我認為微軟在過去幾年中所做的一切都非常驚人,從戰(zhàn)略上看,這些舉措在當(dāng)時可能看起來并不明顯,但現(xiàn)在回過頭來看,真的非常聰明。就像你剛剛宣布與英偉達合作,共同構(gòu)建一個由Azure基礎(chǔ)設(shè)施和英偉達GPU驅(qū)動的超級計算機。你可以告訴我們更多關(guān)于你們的超級計算工作以及與英偉達和OpenAI的合作的情況嗎?
我們建造了我們稱之為AI超級計算機的第一個系統(tǒng),我認為我們是在2019年開始研發(fā)的,并在那一年年底部署了它,這是GPT-3訓(xùn)練所使用的計算環(huán)境,之后我們一直在構(gòu)建越來越強大的一系列超級計算環(huán)境。由于資本密集型的性質(zhì),最大的環(huán)境通常只用于特定目的。
但是,我們的系統(tǒng)設(shè)計使我們能夠構(gòu)建更小型的環(huán)境,并且這些環(huán)境可以供許多人使用。因此,我們有大量的人在Azure計算基礎(chǔ)設(shè)施上進行大規(guī)模的模型訓(xùn)練,包括公司內(nèi)部的人員和合作伙伴。這在過去是不可能的,你可以說:“嘿,我想要一個這樣大小、具有這種強大網(wǎng)絡(luò)的計算網(wǎng)格,以完成我的任務(wù)。”
英偉達一直是我們的計算和網(wǎng)絡(luò)合作伙伴,因為他們幾年前收購了Mellanox,合作的關(guān)鍵在于,隨著時間的推移,你會從這些系統(tǒng)中獲得更好的性價比,我們與他們密切合作,確定未來幾代GPU的硬件要求,因為我們對模型的發(fā)展方向和架構(gòu)有一個相當(dāng)清晰的認識;這種合作關(guān)系非常好,我們現(xiàn)在正在大規(guī)模部署一臺名為Hopper的超級計算機,其中包括8位浮點算術(shù)等許多特性,這些特性我們早就計劃好了。
開源 or 閉源,企業(yè) AI 堆棧
Elad Gil
關(guān)于閉源和開源模型以及兩者之間的混合模式,你是如何看待世界的轉(zhuǎn)變的?畢竟,從Azure的角度來看,現(xiàn)在很多人正在其上運行開源模型。
Kevin Scott
我認為人們把這個問題框定為一種二元的東西,這是一個有趣的現(xiàn)象。我認為兩者都會有很多。我們?nèi)匀粵]有理由相信你不會想要構(gòu)建更大的模型。但是,根據(jù)我們自己的部署情況,如果你看一下像 BingChat、Microsoft 365 Copilot 或 Github Copilot 這樣的東西,你會發(fā)現(xiàn)你最終會使用一系列模型來完成工作,這是為了性能和成本優(yōu)化的原因,有時也是為了準確性和質(zhì)量的原因。因此,總是有一些你正在做的混合事情,而不是非此即彼。
實際上,我對開源社區(qū)目前的發(fā)展非常興奮。我最大的疑問是關(guān)于如何解決所有的安全和隱私問題。但是,如果你看一下開源社區(qū)的技術(shù)創(chuàng)新,真的令人激動。我們現(xiàn)在正在做一些很酷的事情。就像昨天我剛剛在玩 DataBricks的 12 億參數(shù)的Dolly 2.0模型,它可以在一臺單機上很好地運行,作為一個喜歡玩弄運行在單機上的東西的人,我覺得這真的很令人印象深刻。
Elad Gil
關(guān)于企業(yè)客戶,如何看待提供核心產(chǎn)品以外的 AI 能力?是否會出現(xiàn)特定的企業(yè) AI 堆棧?是否會有特定的工具出現(xiàn)?你提到了安全性、分析性、微調(diào)等等,可能提供的潛在功能非常多,我只是好奇你是如何思考的。
Kevin Scott
我不想把這變成奇怪的營銷演講,但我們有這樣的觀點,我們始于這樣一個假設(shè),即AI將成為一個平臺,人們將通過構(gòu)建輔助人們工作的工具來最有用地使用該平臺;因此,它不完全是完全自主的場景,更多的是輔助技術(shù)。
我們建造的第一件事是Github Copilot ,它是一種編碼工具。你可以用自然語言描述你希望代碼執(zhí)行的功能,它會生成代碼,然后你作為開發(fā)者可以像接受來自一位編程伙伴的建議一樣仔細審查和代碼審查,并決定是否符合你的應(yīng)用程序的要求。這就是 Github Copilot 的第一個版本,現(xiàn)在它有很多其他功能。
我們觀察到這種合作伙伴關(guān)系實際上是相當(dāng)通用的。我們之后構(gòu)建了一系列合作伙伴關(guān)系,構(gòu)建它們的方式幾乎就像是OSI網(wǎng)絡(luò)圖中的一個堆棧;首先是一系列用戶界面模式,現(xiàn)在有新興的插件生態(tài)系統(tǒng),用于擴展合作伙伴關(guān)系的能力,用于無法從模型本身獲得的功能;然后是一整套協(xié)作機制,像Lang hain是一個流行的開源協(xié)調(diào)器之一,但也有其他一些開源協(xié)調(diào)器,我們開發(fā)了一個名為語義內(nèi)核(semantic kernel)的開源協(xié)調(diào)器。
現(xiàn)在存在著一個令人著迷的世界,這在九個月前還不存在,它與提示構(gòu)建和提示工程有關(guān)。因此,你有一整套工具和藝術(shù)形式,可以為模型設(shè)計一個元提示(meta prompt),它是一種針對特定應(yīng)用上下文的固定指令,讓模型能夠適應(yīng)該上下文。
你有像“檢索增強生成”(retrieval-augmented generation)這樣的新型軟件開發(fā)模式。在這之前,我們已經(jīng)在這方面進行了一些嘗試,盡管沒有一個明確的名稱,它實際上是一種將來自應(yīng)用程序的提示注入到模型中,以幫助模型更好地響應(yīng)的方法;然后,你還有一整套安全裝置,就像對下行的過濾一樣,從提示經(jīng)過整個堆棧一直到模型,以及對上行的過濾,因為它會使錯誤的響應(yīng)通過。有時,在將響應(yīng)傳遞回用戶之前,你需要進行多次循環(huán)。
我們對整個堆棧的形式有一個觀點,微軟的工具將幫助人們構(gòu)建這些東西,以及在企業(yè)環(huán)境中需要在安全性、數(shù)據(jù)隱私、數(shù)據(jù)流向和啟用哪些插件方面進行特殊處理;我認為所有這些東西現(xiàn)在都在構(gòu)建中,另外我要說的是,我們會構(gòu)建其中一些東西,但社區(qū)也將構(gòu)建大量的東西,因為從來沒有一個平臺或生態(tài)系統(tǒng)是由一個人構(gòu)建所有有用的東西的,這純粹是胡說,從來沒有發(fā)生過;對我來說,看到現(xiàn)在正在發(fā)生的所有能量是一件非常令人興奮的事情。
我剛剛在與微軟研究部門的一次評審結(jié)束不久,看到微軟研究部門,許多研究人員已經(jīng)將他們的研究轉(zhuǎn)向了與AI相關(guān)的領(lǐng)域,或與AI相關(guān)的事物;對我來說,這有點像2001年我在那里實習(xí)時的微軟研究部門,那時有很多非常聰明的人們對未來的樣子有了一瞥,其他人都沒有,因為那是計算機通往普及的時刻。他們的研究都圍繞著那個小小的一瞥展開,那個早期的預(yù)見。這感覺真的很神奇。
AI的變與不變,愚蠢的增量
Elad Gil
現(xiàn)在學(xué)術(shù)界正在進行實時的巨大重新調(diào)整,這是非常令人興奮的。
Kevin Scott
就像我們從這個角度來看,對我來說最大的驚喜是,我根本沒有意識到 GPT-4 和 ChatGPT 會引發(fā)這么大的影響,我們有點期待會發(fā)生很多這種事情。
ChatGPT 是一個10個月大的模型,然后加了一點RLHF。坦白說,它并不是一個漂亮的用戶界面,它只是一種讓一些東西出現(xiàn)在那里的方式,因為在GPT-4的大規(guī)模發(fā)布之前,你需要在一些事情上進行一些練習(xí)。而且沒有人真正知道它會以這種方式迅速發(fā)展起來。
Elad Gil
它只有5個月的歷史,這只是五個月前的事,這令人震驚,每個人都忘記了時間過得有多快。
Kevin Scott
這是開源社區(qū)和大型科技社區(qū),我認為它們最好的一面是,每個人都在重新調(diào)整,適應(yīng)這種我認為與過去幾年發(fā)生的一些充滿熱情的事情不同的東西,我不認為這是一種時尚,這是真實的。
Sarah Guo
大約6個月前,我啟動了我的新基金,重點是 AI ,幾周后, ChatGPT 出現(xiàn)了。我想說,即使是那些非常有準備、希望跟上或成為這場巨大變革一部分的人,也感覺一直處于不穩(wěn)定之中。但這是目前幾十年來科技領(lǐng)域最有趣的時候。
Kevin Scott
這也是令人不安的時刻,很多事情都在變化。它們以一種你可能無法掌控的速度變化。所以對那些試圖跟上正在發(fā)生的一切的人來說,這一定會讓他們感到非常不安。在某些情況下,它們甚至迫使人們改變他們長期以來對事物的世界觀。
我認為對于一些機器學(xué)習(xí)的人來說,這實際上比對一個正在尋找有趣事物去做的全新企業(yè)家來說更加困難,因為對于一個機器學(xué)習(xí)團隊來說,他們的工作方式是非常不同的,甚至對于微軟的一些人來說,他們已經(jīng)有足夠的時間來思考過渡問題,但仍然很難適應(yīng)這種新的工作方式。
Sarah Guo
微軟擁有令人難以置信的廣泛產(chǎn)品組合,現(xiàn)在你負責(zé)解決所有基礎(chǔ)架構(gòu)問題,確定如何將所有這些能力整合到產(chǎn)品組合中;我經(jīng)常與經(jīng)營大公司或創(chuàng)辦大公司的朋友交談,他們也在努力解決這個問題。你是如何組織這方面的工作的?你有什么建議?
Kevin Scott
我認為你必須要記住,有些事情發(fā)生了變化,有些事情一點也沒變。有一件讓很多人搞混的事情是,模型不等于產(chǎn)品,基礎(chǔ)架構(gòu)也不等于產(chǎn)品。你需要非常快速地理解這種新型基礎(chǔ)架構(gòu)和新平臺的能力,但這并不意味著你不需要努力去理解什么是一個使用它的好產(chǎn)品;我告訴很多人的一件事情是,最有趣的產(chǎn)品很可能是從不可能到困難的轉(zhuǎn)變階段。所以,那些以前根本無法做到的東西,現(xiàn)在變得困難了。因為從不可能到容易的事情可能并不那么有趣。
我的一個無關(guān)緊要的例子是,當(dāng)15、16、17年前智能手機進入市場時,也就是2007年,我想,是iPhone發(fā)布的時候,差不多是15年前吧,然后一年后有了應(yīng)用商店,所以最初的應(yīng)用程序就是那些從不可能到容易的事情,我們幾乎都忘記了它們。
我曾經(jīng)在手機上安裝過的一個應(yīng)用程序,叫做woo按鈕,按下它就會發(fā)出一聲woo,就像Rick Flair那樣,這些都不是商業(yè)模式,它們只是一些人在探索的東西,真正有趣的事情是那些已經(jīng)變得困難的事情,人們在可能的情況下去構(gòu)建,這些甚至不是平臺的建造者們所想象的東西,我們甚至不再考慮最初在這些平臺上推出的應(yīng)用程序,就像平臺剛開始推出時那些東西,那些東西現(xiàn)在已經(jīng)不再有趣了。
你的智能手機遠不止于一個短信應(yīng)用、一個瀏覽器和一個郵件客戶端,讓它變得有趣的是TikTok、Instagram、WhatsApp和Doordash,這些都是人們在這些東西成為可能之后不得不構(gòu)建的困難的事情。我認為這是你作為企業(yè)家或試圖采納這些技術(shù)的企業(yè)所需要記住的第一件事情。
不是說我該如何在我現(xiàn)有產(chǎn)品上添加一些LLM神奇,做一些愚蠢的增量事情,我甚至不應(yīng)該稱之為愚蠢,也許增量的事情還可以,但真正有趣的事情并不明顯,而且非常非增量的,這對我們來說是個難題,因為我們有一群聰明的人,他們能看到所有可能的事情。
因此,挑戰(zhàn)是引導(dǎo)他們朝著那些困難的、有意義的、有趣的、非明顯的事情前進,而不是那些只會消耗大量GPU運算時間、阻止你做真正重要的事情的增量事情。
AI 時代給人們的最好建議
Elad Gil
我一直在思考一個問題,即在AI繼續(xù)積累能力的情況下,你如何思考未來20年人類最佳的角色。尤其是我在考慮到我的孩子時,我在想,好吧,兩年前,我本來會告訴我的孩子們?nèi)W(xué)習(xí)計算機科學(xué),因為它是未來的語言。你認為在這個即將到來的變革中,對人們來說最好的建議是什么?哪些將是相對持久的事物?
Kevin Scott
我認為20年是一個很長的時間范圍。如果我們對自己誠實一點,回顧20年前,想象一下你當(dāng)時可能會做出的預(yù)測,你會到達今天嗎?沒有人會想到。但我認為有一些顯而易見的事情。比如,我的女兒決定要成為一名外科醫(yī)生。我認為外科醫(yī)生是一個相當(dāng)不錯的職業(yè)。目前我們還沒有機器人的指數(shù)級增長。我們擁有認知潛力。
因此,我認為整個世界充滿了這樣的工作崗位,你知道,在物理系統(tǒng)上產(chǎn)生影響,就像在現(xiàn)實世界中做某些事情一樣。我們可能會需要比現(xiàn)在更多的這樣的崗位,特別是在醫(yī)學(xué)領(lǐng)域,比如護士、外科醫(yī)生、物理治療師、在養(yǎng)老院工作的人員,因為我們的人口正在迅速老齡化。因此,醫(yī)療系統(tǒng)的負擔(dān)將會更重。我確實認為AI將會對生產(chǎn)力產(chǎn)生一些相當(dāng)大的影響,但也許這種影響只是足夠大,以為我們提供其他全新事物的空間。
因此,我認為在美國,我們對像我父親從事的工作這樣的工作分配的尊嚴和尊重遠遠不夠。我在德國住了一段時間,德國在這方面有些不同。你可以成為一名機械師,這是一份非常好的職業(yè),你的父母會為此感到自豪。
我認為所有這些職業(yè),比如電工、機械師和太陽能安裝技術(shù)員等等,我們都將需要,特別是因為我們的子女一生中我們將不得不重建整個電力發(fā)電和分配系統(tǒng)。我認為所有這些工作都非常重要。此外,我認為在創(chuàng)造性的工作方面,未來可能需要的更多,而不是更少,盡管我們用于進行創(chuàng)造性工作的工具,無論是編碼還是制作播客等,將幫助我們做得更好。我之所以這樣說,是因為人類非常擅長將人類置于他們的故事的中心。
現(xiàn)在,我們可以制作像《后翼棄兵》(The Queen's Gambit)這樣Netflix的節(jié)目,但不是女王的智力,而是機器的智力,講述一群計算機之間進行國際象棋比賽,因為它們都比最優(yōu)秀的人類棋手更強,但沒有人愿意看那個。
技術(shù)現(xiàn)在可能足夠好了,你可以擁有超人類的F1賽車和可以做出人類無法做到的事情的F1賽車手。但沒有人想看那個。甚至在計算機出現(xiàn)之前,如果叉車比人類更強壯,你可以舉辦一個強壯的人比賽,看看哪臺叉車能舉起最重的重量,但沒人在意。人們關(guān)心的是人類。我們在說什么?我們關(guān)心什么?我們試圖向其他人灌輸什么?而這些都不會改變,沒有任何改變。
有些人可能會說這還沒有發(fā)生,是因為系統(tǒng)不希望發(fā)生。但我認為很大程度上是因為我們喜歡做事情。
AI 領(lǐng)域感興趣的方向
Elad Gil
關(guān)于這一點,你對未來AI的哪些領(lǐng)域最感興趣?或者其它你覺得樂觀的事情?
Kevin Scott
我認為首先,我認為這可能是基于基礎(chǔ)模型的部署的第一個偉大的一年,你將會看到許多公司的推出,許多人嘗試各種想法。所有的大型科技公司都將有重要的產(chǎn)品正在開發(fā)。關(guān)于其他公司會做些什么,我有一些預(yù)測,但這將涉及到Microsoft整個產(chǎn)品組合。到今年年底,你與我們的軟件互動的方式將與之前大不相同。
我認為這對每個人都是如此。它改變了大型科技公司之間的競爭性質(zhì)。而且,它為小型科技公司提供了新的機會,可以來推動局勢,并做一些有趣的事情。我和Sam Altman經(jīng)常討論的一件事是,我猜想今年將會有一家價值一萬億美元的公司成立。我們不知道是哪一家,但我們早就應(yīng)該有了。
技術(shù)上,我認為你將會看到一些像 Red Pajama 這樣的項目,還會有其他許多類似的項目,它們將在構(gòu)建更具能力的開源模型方面取得很大進展,希望社區(qū)能夠幫助構(gòu)建一些安全解決方案,以便在部署這些模型時配套使用。
但從技術(shù)上來說,你會看到驚人的進步。然后,邊界會不斷擴大。OpenAI還沒有廣泛分發(fā),但它最終會被廣泛分發(fā),我對遙遠的未來有一些看法。
因此,你將會看到這些非常強大的多模型,就像GPT-4帶來了許多新的令人興奮的事情一樣,具有視覺輸入和對其進行推理的模型也將帶來許多令人興奮的新事物,但這還不夠。
我認為今年的主題將是進步和活動,幾乎無法追蹤。我可能需要一個副駕駛員來關(guān)注所有這些事情,并確保我不會錯過重要的事情。因為我覺得我現(xiàn)在就像投資者和密切關(guān)注這些事情的人們一樣。
AI的安全性:擁抱監(jiān)管,建立信賴
Sarah Guo
節(jié)目即將結(jié)束,還有其他什么想和大家分享么,Kevin?
Kevin Scott
我認為,隨著事情的迅速發(fā)展,你真的需要科技界共同努力,在監(jiān)管尚未出臺之前,就某些明智的事情達成一致;這一切都很重要,不是什么都不做,而是我們都不應(yīng)該在這一點上看待監(jiān)管前景,說:“哦,天哪,這太痛苦了,我不想處理這個。”
事實上,有這樣的渴望是一個非常好的信號,表明我們正在努力的事情實際上是重要的,因為沒有人試圖監(jiān)管無謂的事情。
監(jiān)管的目的是確保你可以為可能在社會中廣泛普及的事物建立堅實可信賴的基礎(chǔ)。例如,如果你把它看作是電力,你希望在允許技術(shù)發(fā)展和取得進展的同時,確保你的電力發(fā)電機是安全的,不允許人們隨意走進來,把手放在電極上,讓自己消失。你希望確保電力的分配是協(xié)調(diào)的,當(dāng)它進入你的房子時,它不會燒毀你的房子,當(dāng)你把電器插入墻上時,它們能夠按預(yù)期工作。因此,我認為在某種程度上類似,不會有一種適合所有情況的方法。
我認為大多數(shù)人應(yīng)該考慮的是部署問題,確保在部署技術(shù)時,滿足要求并對期望有正確的認識是最重要的事情。然后,對于我們正在構(gòu)建的這些龐大的基礎(chǔ)模型,確保它們周圍有一套安全措施。但我們構(gòu)建這些東西的方式,它們并不會自己分發(fā)到世界上。在它們上面還有一整套東西,使它們安全。然后,根據(jù)每個應(yīng)用、每個部署的情況,我們還會采取一整套措施來確保部署的安全。
因此,我認為每個人,包括所有的初創(chuàng)公司、開源社區(qū)的所有人,都應(yīng)該思考這些問題,我在為確保我們?yōu)檫@些樂觀的用途創(chuàng)造盡可能多的空間方面做了什么,我們在盡可能多地阻止那些有害的用途方面又做了什么。
Elad Gil
我對社區(qū)在早期階段對AI安全性以及對待這個領(lǐng)域的方法的自我行動感到印象深刻。我知道OpenAI、Anthropic、Google、Microsoft等主要參與者在這個領(lǐng)域都非常周到,他們都希望確保事情做得正確。
Kevin Scott
我的意思是,我們與這些公司激烈競爭,但我不擔(dān)心你剛提到的這些公司會做一些不安全的事情。我將自己從微軟的首席技術(shù)官的角色中抽離出來,只是作為這個世界的一位普通公民來思考,作為一位普通公民,我不擔(dān)心我的競爭對手會做一些不安全的事情。
Reference:
https://www.youtube.com/watch?v=BbAnzpeGFrA
本文為專欄作者授權(quán)微新創(chuàng)想發(fā)表,版權(quán)歸原作者所有。文章系作者個人觀點,不代表微新創(chuàng)想立場,轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問,請聯(lián)系http://www.i0562.net/。