編者按：本文來自微信公眾號 遠(yuǎn)川研究所（ID：YuanChuanInstitution），作者：李墨天，編輯：戴老板，微新創(chuàng)想經(jīng)授權(quán)轉(zhuǎn)載。

2012年12月初的一天，一場秘密競拍正在美國滑雪勝地太浩湖（Lake Tahoe）的一家賭場酒店里進(jìn)行。

太浩湖位于加州和內(nèi)華達(dá)州交界處，是北美最大的高山湖泊，擁有藍(lán)寶石般的湖面和頂級雪道，《教父2》曾在這里取景，馬克吐溫曾在此地流連忘返，而由于離舊金山灣區(qū)只有200多英里，這里常被稱為“硅谷后花園”，扎克伯格和拉里·埃里森等大佬也在此圈地占山，興建豪宅。

秘密競拍的對象，是一家剛剛成立1個(gè)月、僅有3名員工的公司——DNNresearch，創(chuàng)立者是多倫多大學(xué)教授杰夫·辛頓（Geoffrey Hinton）和他兩名學(xué)生。

這家公司沒有任何有形的產(chǎn)品或資產(chǎn)，但追求者的身份暗示出了它的分量——四位買家分別是Google、微軟、DeepMind和百度。

65歲的辛頓蒼老，瘦削，飽受腰椎間盤的疼痛，他坐在酒店703房間的地板上為競拍設(shè)置規(guī)則——起價(jià)1200萬美元，抬價(jià)單位至少100萬美元。

幾個(gè)小時(shí)后，競拍者就把價(jià)格推到了4400萬美元，辛頓有些頭暈，“感覺我們像是在拍電影”，于是果斷喊停，并決定把公司賣給最后的喊價(jià)者——Google。

有意思的是，這場4400萬美元競拍的源頭之一，就是來自于6個(gè)月前的Google。

2012年6月，Google研究部門Google Brain公開了The Cat Neurons項(xiàng)目（即“谷歌貓”）的研究成果。這個(gè)項(xiàng)目簡單說就是用算法在YouTube的視頻里識別貓，它由從斯坦福跳槽來Google的吳恩達(dá)發(fā)起，拉上了Google傳奇人物Jeff Dean入伙，還從Google創(chuàng)始人Larry Page那里要到了大筆的預(yù)算。

谷歌貓項(xiàng)目搭建了一個(gè)神經(jīng)網(wǎng)絡(luò)，從YouTube上下載了大量的視頻，不做標(biāo)記，讓模型自己觀察和學(xué)習(xí)貓的特征，然后動用了遍布Google各個(gè)數(shù)據(jù)中心的16000個(gè)CPU來進(jìn)行訓(xùn)練（內(nèi)部以過于復(fù)雜和成本高為由拒絕使用GPU），最終實(shí)現(xiàn)74.8%的識別準(zhǔn)確率。這一數(shù)字震驚業(yè)界。

吳恩達(dá)在“谷歌貓”項(xiàng)目臨近結(jié)束前激流勇退，投身自己的互聯(lián)網(wǎng)教育項(xiàng)目，臨走前他向公司推薦了辛頓來接替他的工作。面對邀請，辛頓表示自己不會離開大學(xué)，只愿意去Google“待一個(gè)夏天”。由于Google招聘規(guī)則的特殊性，時(shí)年64歲的辛頓成為了Google歷史上最年長的暑期實(shí)習(xí)生。

辛頓從80年代開始就戰(zhàn)斗在人工智能的最前線，作為教授更是桃李滿門（包括吳恩達(dá)），是深度學(xué)習(xí)領(lǐng)域的宗師級人物。因此，當(dāng)他了解了“谷歌貓”項(xiàng)目的技術(shù)細(xì)節(jié)后，他馬上就看到了項(xiàng)目成功背后的隱藏缺陷：“他們運(yùn)行了錯(cuò)誤的神經(jīng)網(wǎng)絡(luò)，并使用了錯(cuò)誤的計(jì)算能力?！?/p>

同樣的任務(wù)，辛頓認(rèn)為自己可以做的更好。于是在短暫的“實(shí)習(xí)期”結(jié)束后，他馬上投入行動。

辛頓找來了自己的兩個(gè)學(xué)生——Ilya Sutskever和Alex Krizhevsky，兩人都是出生于蘇聯(lián)的猶太人，前者極具數(shù)學(xué)天賦，后者擅長工程實(shí)現(xiàn)，三人密切配合后創(chuàng)建了一個(gè)新神經(jīng)網(wǎng)絡(luò)，然后馬上參加了ImageNet圖像識別比賽（ILSVRC），最后以驚人的84%識別準(zhǔn)確率奪得冠軍 。

2012年10月，辛頓團(tuán)隊(duì)在佛羅倫薩舉行的計(jì)算機(jī)視覺會議上介紹了冠軍算法AlexNet，相比谷歌貓用了16000顆CPU，AlexNet只用了4顆英偉達(dá)GPU，學(xué)術(shù)界和產(chǎn)業(yè)界徹底轟動，AlexNet的論文成為計(jì)算機(jī)科學(xué)史上最有影響力的論文之一，目前被引次數(shù)已經(jīng)超過12萬，而谷歌貓則被迅速遺忘。

DNNresearch公司三人組

曾拿過第一屆ImageNet大賽冠軍的余凱讀完論文后異常興奮，“像觸電了一樣”。余凱是一名出生于江西的深度學(xué)習(xí)專家，剛從NEC跳去百度，他馬上給辛頓寫郵件，表達(dá)了合作的想法，辛頓欣然同意，并索性把自己和兩名學(xué)生打包成一家公司，邀請買家競拍，于是便有了開頭的那一幕。

拍賣落槌后，一場更大的競賽展開了：Google乘勝追擊，2014年又把DeepMind收入囊中，“天下英雄盡入彀中”；而DeepMind則在2016年推出了AlphaGo，震驚全球；輸給Google的百度則下定決心押注AI，十年投入千億，余凱后來幫百度請來了吳恩達(dá)，他自己則在幾年后離職創(chuàng)辦了地平線。

微軟表面上看慢了一拍，但最終卻贏下了最大的戰(zhàn)利品——OpenAI，后者的創(chuàng)始人就包括辛頓兩個(gè)學(xué)生之一的Ilya Sutskever。而辛頓自己則一直在Google待到2023年，期間榮獲ACM圖靈獎(jiǎng)。當(dāng)然，跟Google的4400萬美元比（辛頓分得40%），圖靈獎(jiǎng)的100萬美元獎(jiǎng)金就顯得像是零花錢了。

從6月的谷歌貓，到10月的AlexNet論文，再到12月的太浩湖競拍，差不多6個(gè)月的時(shí)間里，AI浪潮的伏筆幾乎被全部埋下——深度學(xué)習(xí)的繁榮、GPU和英偉達(dá)的崛起、AlphaGo的稱霸、Transformer的誕生、ChatGPT的橫空出世……硅基盛世的宏大樂章奏響了第一個(gè)音符。

2012年從6月到12月的180天，碳基人類的命運(yùn)被永遠(yuǎn)改變了——只有極少人意識到了這一點(diǎn)。

液體貓

在這些極少數(shù)人中，斯坦福大學(xué)教授李飛飛是其中之一。

2012年，當(dāng)辛頓參加ImageNet比賽結(jié)果出爐時(shí)，剛生完孩子的李飛飛還在休產(chǎn)假，但辛頓團(tuán)隊(duì)的錯(cuò)誤率讓她意識到歷史正在被改寫。作為ImageNet挑戰(zhàn)賽的創(chuàng)辦者，她買了當(dāng)天最后一班飛機(jī)飛往佛羅倫薩，親自為辛頓團(tuán)隊(duì)頒獎(jiǎng)[2]。

李飛飛出生于北京，在成都長大，16歲時(shí)隨父母移民美國，一邊在洗衣店幫忙，一邊讀完普林斯頓。2009年李飛飛進(jìn)入斯坦福擔(dān)任助理教授，研究方向是計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)，這個(gè)學(xué)科的目標(biāo)是讓計(jì)算機(jī)能夠像人一樣，自己理解圖片和影像的含義。

比如，當(dāng)照相機(jī)拍下一只貓時(shí)，它只是通過傳感器把光線轉(zhuǎn)化成了像素，并不知道鏡頭里的東西是貓還是狗。如果把照相機(jī)比做人類的眼睛，計(jì)算機(jī)視覺解決的問題就是給照相機(jī)裝上人的大腦。

傳統(tǒng)的方式是將現(xiàn)實(shí)世界中的事物抽象為數(shù)學(xué)模型，比如將貓的特征抽象為簡單的幾何圖形，就能大幅度降低機(jī)器識別的難度。

圖片來源：李飛飛的TED演講

但這種思路有非常大的局限性，因?yàn)樨埡苡锌赡苁沁@樣的：

為了讓計(jì)算機(jī)能夠識別“液體貓”，杰夫·辛頓、楊立昆（Yann LeCun）等一大批深度學(xué)習(xí)先驅(qū)從80年代就開始了探索。但總會撞到算力或算法的瓶頸——好的算法缺少足夠的算力驅(qū)動，算力需求小的算法難以滿足識別精度，無法產(chǎn)業(yè)化。

如果解決不了“液體貓”的問題，深度學(xué)習(xí)的性感就只能停留在理論層面，自動駕駛、醫(yī)療影像、精準(zhǔn)廣告推送這些產(chǎn)業(yè)化場景就只是空中樓閣。

簡單來說，深度學(xué)習(xí)的發(fā)展需要算法、算力、數(shù)據(jù)三駕馬車來拉動，算法決定了計(jì)算機(jī)用什么方式識別事物；但算法又需要足夠大的算力來驅(qū)動；同時(shí)，算法的提升又需要大規(guī)模高質(zhì)量的數(shù)據(jù)；三者相輔相成，缺一不可。

2000年后，盡管算力瓶頸伴隨芯片處理能力的突飛猛進(jìn)逐步消除，但主流學(xué)界對深度學(xué)習(xí)路線仍舊興趣寡然。李飛飛意識到，瓶頸可能不是算法本身的精度，而在于缺乏高質(zhì)量、大規(guī)模的數(shù)據(jù)集。

李飛飛的啟發(fā)來自三歲孩子認(rèn)識這個(gè)世界的方式——以貓為例，孩子會在大人的教導(dǎo)下一次又一次遇見貓，逐漸掌握貓的含義。如果把孩子的眼睛當(dāng)作照相機(jī)，眼球轉(zhuǎn)動一次等于按一次快門，那么，一個(gè)三歲的孩子就已經(jīng)拍攝了上億張照片。

把這個(gè)方法套在計(jì)算機(jī)上，假如給計(jì)算機(jī)不停的看包含貓和其他動物的圖片，同時(shí)在每張圖片背后寫下正確答案。計(jì)算機(jī)每看一次圖片，就和背面的答案核對一次。那么只要次數(shù)夠多，計(jì)算機(jī)就有可能像孩子一樣掌握貓的含義。

唯一需要解決的問題就是：上哪找那么多寫好答案的圖片？

李飛飛在2016年來到中國，宣布谷歌AI中國中心成立

這就是ImageNet誕生的契機(jī)。當(dāng)時(shí)，即便是最大規(guī)模的數(shù)據(jù)集PASCAL，也只有四個(gè)類別總共1578張圖片，而李飛飛的目標(biāo)是創(chuàng)建一個(gè)包含幾百個(gè)類別總共上千萬張的數(shù)據(jù)集?，F(xiàn)在聽起來似乎不難，但要知道那是2006年，全球最流行的手機(jī)還是諾基亞5300。

依靠亞馬遜眾包平臺，李飛飛團(tuán)隊(duì)解決了人工標(biāo)注的龐大工作量。2009年，包含320萬張圖片的ImageNet數(shù)據(jù)集誕生。有了圖片數(shù)據(jù)集，就可以在此基礎(chǔ)上訓(xùn)練算法，讓計(jì)算機(jī)提升識別能力。但相比三歲孩子的上億張照片，320萬的規(guī)模還是太少了。

為了讓數(shù)據(jù)集不斷擴(kuò)充，李飛飛決定效仿業(yè)內(nèi)流行的做法，舉辦圖片識別大賽，參賽者自帶算法識別數(shù)據(jù)集中的圖片，準(zhǔn)確率最高者獲勝。但深度學(xué)習(xí)路線在當(dāng)時(shí)并不是主流，ImageNet一開始只能“掛靠”在歐洲知名賽事PASCAL下面，才能勉強(qiáng)湊夠參賽人數(shù)。

到了2012年，ImageNet的圖片數(shù)量擴(kuò)大到了1000個(gè)類別總共1500萬張，李飛飛用6年時(shí)間補(bǔ)足了數(shù)據(jù)這塊短板。不過，ILSVRC的最好成績錯(cuò)誤率也有25%，在算法和算力上，依然沒有表現(xiàn)出足夠的說服力。

這時(shí)，辛頓老師帶著AlexNet和兩塊GTX580顯卡登場了。

卷積

辛頓團(tuán)隊(duì)的冠軍算法AlexNet，采用了一種名叫卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡稱CNN）的算法?！吧窠?jīng)網(wǎng)絡(luò)”在人工智能領(lǐng)域是個(gè)極其高頻的詞匯，也是機(jī)器學(xué)習(xí)的一個(gè)分支，其名稱和結(jié)構(gòu)都取材自人腦的運(yùn)作方式。

人類辨識物體的過程是瞳孔先攝入像素，大腦皮層通過邊緣和方位做初步處理，然后大腦通過不斷的抽象來判定。因此，人腦可以根據(jù)一些特征就能判別出物體。

比如不用展示整張臉，大部分人都能認(rèn)出下圖中的人是誰：

神經(jīng)網(wǎng)絡(luò)其實(shí)就是模擬人腦的識別機(jī)制，理論上人腦能夠?qū)崿F(xiàn)的智能計(jì)算機(jī)也能實(shí)現(xiàn)。相較SVM、決策樹、隨機(jī)森林等方法，只有模擬人腦，才能處理類似“液體貓”和“半個(gè)特朗普”這種非結(jié)構(gòu)化數(shù)據(jù)。

但問題是，人腦約有1000億個(gè)神經(jīng)元，神經(jīng)元之間的節(jié)點(diǎn)（也就是突觸）更是多達(dá)萬億，組成了一個(gè)無比復(fù)雜的網(wǎng)絡(luò)。作為對比，用了16000個(gè)CPU組成的“谷歌貓”，內(nèi)部共有10億個(gè)節(jié)點(diǎn)，而這已經(jīng)是當(dāng)時(shí)最復(fù)雜的計(jì)算機(jī)系統(tǒng)了。

這也是為什么連“人工智能之父”Marvin Minsky都不看好這條路線，在2007年出版新書《The Emotion Machine》時(shí)，Minsky依然表達(dá)了對神經(jīng)網(wǎng)絡(luò)的悲觀。為了改變主流機(jī)器學(xué)習(xí)界對人工神經(jīng)網(wǎng)絡(luò)的長期的消極態(tài)度，辛頓干脆將其改名為深度學(xué)習(xí)（Deep Learning）。

2006年，辛頓在Science上發(fā)表了一篇論文，提出了“深度信念神經(jīng)網(wǎng)絡(luò)（DBNN）”的概念，給出了一種多層深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，被認(rèn)為是深度學(xué)習(xí)的重大突破。但辛頓的方法需要消耗大量的算力和數(shù)據(jù)，實(shí)際應(yīng)用難以實(shí)現(xiàn)。

深度學(xué)習(xí)需要不停的給算法喂數(shù)據(jù)，當(dāng)時(shí)的數(shù)據(jù)集規(guī)模都太小了，直到ImageNet出現(xiàn)。

ImageNet的前兩屆比賽里，參賽團(tuán)隊(duì)使用了其他的機(jī)器學(xué)習(xí)路線，結(jié)果都相當(dāng)平庸。而辛頓團(tuán)隊(duì)在2012年采用的卷積神經(jīng)網(wǎng)絡(luò)AlexNet，改良自另一位深度學(xué)習(xí)先驅(qū)楊立昆（Yann LeCun），其在1998年提出的LeNet讓算法可以提取圖像的關(guān)鍵特征，比如特朗普的金發(fā)。

同時(shí)，卷積核會在輸入圖像上滑動，所以無論被檢測物體在哪個(gè)位置，都能被檢測到相同的特征，大大減少了運(yùn)算量。

AlexNet在經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，摒棄了此前的逐層無監(jiān)督方法，對輸入值進(jìn)行有監(jiān)督學(xué)習(xí)，大大提高了準(zhǔn)確率。

比如下圖中右下角的圖片，AlexNet其實(shí)并沒有識別出正確答案（馬達(dá)加斯加貓），但它列出的都是和馬達(dá)加斯加貓一樣會爬樹的小型哺乳動物，這意味著算法不僅可以識別對象本身，還可以根據(jù)其他物體進(jìn)行推測[5]。

圖片來源：AlexNet論文

而產(chǎn)業(yè)界感到振奮的是，AlexNet有6000萬個(gè)參數(shù)和65萬個(gè)神經(jīng)元，完整訓(xùn)練ImageNet數(shù)據(jù)集至少需要262千萬億次浮點(diǎn)運(yùn)算。但辛頓團(tuán)隊(duì)在一個(gè)星期的訓(xùn)練過程中，只用了兩塊英偉達(dá)GTX 580顯卡。

GPU

辛頓團(tuán)隊(duì)拿到冠軍后，最尷尬的顯然是Google。

據(jù)說Google在內(nèi)部也做了ImageNet數(shù)據(jù)集的測試，但識別精度遠(yuǎn)遠(yuǎn)落后于辛頓團(tuán)隊(duì)?？紤]到Google擁有業(yè)界無法企及的硬件資源，以及搜索和YouTube的龐大數(shù)據(jù)規(guī)模，Google Brain更是領(lǐng)導(dǎo)欽點(diǎn)特事特辦，其結(jié)果顯然不具備足夠的說服力。

如果沒有這種巨大的反差，深度學(xué)習(xí)可能也不會在短時(shí)間內(nèi)震撼業(yè)界，得到認(rèn)可和普及。產(chǎn)業(yè)界感到振奮的原因在于辛頓團(tuán)隊(duì)只用了四塊GPU，就能達(dá)到這么好的效果，那么算力就不再是瓶頸。

算法在訓(xùn)練時(shí)，會對神經(jīng)網(wǎng)絡(luò)每層的函數(shù)和參數(shù)進(jìn)行分層運(yùn)算，得到輸出結(jié)果，而GPU恰好有非常強(qiáng)的并行運(yùn)算能力。吳恩達(dá)在2009年的一篇論文中其實(shí)證明了這一點(diǎn)，但在和Jeff Dean運(yùn)行“谷歌貓”時(shí)，他們還是用了CPU。后來Jeff Dean專門訂購了200萬美元的設(shè)備，依然不包括GPU[6]。

辛頓是極少數(shù)很早就意識到GPU之于深度學(xué)習(xí)巨大價(jià)值的人，然而在AlexNet刷榜之前，高科技公司普遍對GPU態(tài)度不明。

2009年，辛頓曾受邀去微軟做一個(gè)語音識別項(xiàng)目的短期技術(shù)顧問，他建議項(xiàng)目負(fù)責(zé)人鄧力購買最頂級的英偉達(dá)GPU，還要搭配對應(yīng)的服務(wù)器。這個(gè)想法得到了鄧力的支持，但鄧力的上司Alex Acero認(rèn)為這純屬亂花錢[6]，“GPU是用來玩游戲的，而不是用來做人工智能研究的?！?/p>

鄧力

有趣的是，Alex Acero后來跳槽去了蘋果，負(fù)責(zé)蘋果的語音識別軟件Siri。

而微軟對GPU的不置可否顯然讓辛頓有些火大，他后來在一封郵件里建議鄧力購買一套設(shè)備，而自己則會買三套，并且陰陽怪氣的說[6]：畢竟我們是一所財(cái)力雄厚的加拿大大學(xué)，不是一家資金緊張的軟件銷售商。

但在2012年ImageNet挑戰(zhàn)賽結(jié)束后，所有人工智能學(xué)者和科技公司都對GPU來了個(gè)180度大轉(zhuǎn)彎。2014年，Google的GoogLeNet以93%的識別準(zhǔn)確率奪冠，采用的正是英偉達(dá)GPU，這一年，所有參賽團(tuán)隊(duì)GPU的使用數(shù)量飆升到了110塊。

這屆挑戰(zhàn)賽之所以被視為“大爆炸時(shí)刻”，在于深度學(xué)習(xí)的三駕馬車——算法、算力、數(shù)據(jù)上的短板都被補(bǔ)足，產(chǎn)業(yè)化只剩下了時(shí)間問題。

算法層面，辛頓團(tuán)隊(duì)發(fā)表的關(guān)于AlexNet的論文，成為計(jì)算機(jī)科學(xué)領(lǐng)域被引用次數(shù)最多的論文之一。原本百家爭鳴的技術(shù)路線成了深度學(xué)習(xí)一家獨(dú)大，幾乎所有的計(jì)算機(jī)視覺研究都轉(zhuǎn)向了神經(jīng)網(wǎng)絡(luò)。

算力層面，GPU超強(qiáng)并行計(jì)算能力與深度學(xué)習(xí)的適應(yīng)性迅速被業(yè)界認(rèn)可，六年前開始布局CUDA的英偉達(dá)成為了最大的贏家。

數(shù)據(jù)層面，ImageNet成為圖像處理算法的試金石，有了高質(zhì)量的數(shù)據(jù)集，算法識別精度日行千里。2017年最后一屆挑戰(zhàn)賽，冠軍算法的識別準(zhǔn)確率達(dá)到97.3%，超過了人類。

2012年10月底，辛頓的學(xué)生Alex Krizhevsky在意大利佛羅倫薩的計(jì)算機(jī)視覺會議上公布了論文。然后，全世界的高科技公司開始不計(jì)成本地兩件事：一是買光英偉達(dá)的顯卡，二是挖光大學(xué)里的AI研究員。

太浩湖的4400萬美元，給全球的深度學(xué)習(xí)大神做了一次重新定價(jià)。

奪旗

從公開可查的信息看，當(dāng)時(shí)還在百度的余凱的確是第一個(gè)來挖辛頓的人。

當(dāng)時(shí)，余凱在百度擔(dān)任百度多媒體部的負(fù)責(zé)人，也就是百度深度學(xué)習(xí)研究院（IDL）的前身。在收到余凱的郵件后，辛頓很快就回復(fù)說同意合作，順帶提出了希望百度提供一些經(jīng)費(fèi)的愿望。余凱問具體數(shù)字，辛頓表示100萬美元就夠——這個(gè)數(shù)字低到令人難以置信，只能雇兩個(gè)P8。

余凱向李彥宏請示，后者爽快地答應(yīng)。余凱回復(fù)沒問題后，辛頓可能感受到了產(chǎn)業(yè)界的饑渴，就詢問余凱是否介意自己問問其他家，比如Google。余凱后來在回憶道[6]：

“我當(dāng)時(shí)有點(diǎn)兒后悔，猜我可能回答得太快了，讓辛頓意識到了巨大的機(jī)會。但是，我也只能大度地說不介意?！?/p>

最終百度跟辛頓團(tuán)隊(duì)失之交臂。但對于這個(gè)結(jié)果，余凱并非沒有心理準(zhǔn)備。因?yàn)橐环矫嫘令D有嚴(yán)重的腰椎間盤健康問題，不能開車，也不能坐飛機(jī)，很難承受跨越太平洋的中國之旅；另一方面，辛頓有太多的學(xué)生和朋友在Google工作了，雙方淵源太深，其他三家本質(zhì)上就是在陪標(biāo)。

如果說AlexNet的影響還集中在學(xué)術(shù)圈的話，那么太浩湖的秘密拍賣則徹底震驚了產(chǎn)業(yè)界——因?yàn)镚oogle在全球科技公司的眼皮子底下，花了4400萬美元買了一家成立不到一個(gè)月、沒有產(chǎn)品、沒有收入，只有三個(gè)員工和幾篇論文的公司。

最受刺激的顯然是百度，雖然在拍賣上折戟，但百度管理層親眼目睹了Google如何不惜代價(jià)投資深度學(xué)習(xí)，促使百度下定決心投入，并在2013年1月的年會上宣布成立深度學(xué)習(xí)研究院IDL。2014年5月，百度請來了“谷歌貓”項(xiàng)目的關(guān)鍵人物吳恩達(dá)，2017年1月，又請來了離開微軟的陸奇。

而Google在拿下辛頓團(tuán)隊(duì)后再接再厲，在2014年以6億美元買下了當(dāng)年的競拍對手DeepMind。

當(dāng)時(shí)，馬斯克向Google創(chuàng)始人Larry Page推薦了自己投資的DeepMind，為了能帶上辛頓一起去倫敦驗(yàn)驗(yàn)成色，Google團(tuán)隊(duì)還專門包了架私人飛機(jī)，并且改造了座椅，解決辛頓不能坐飛機(jī)的問題[6]。

“英國選手”DeepMind在圍棋比賽上戰(zhàn)勝了李世石，2016年

和Google爭奪DeepMind的是Facebook。當(dāng)DeepMind花落Google后，扎克伯格轉(zhuǎn)而挖來了“深度學(xué)習(xí)三巨頭”之一的楊立昆。為了將楊立昆納入麾下，扎克伯格答應(yīng)了他許多苛刻要求，比如AI實(shí)驗(yàn)室設(shè)立在紐約，實(shí)驗(yàn)室與產(chǎn)品團(tuán)隊(duì)完全劃清界限，允許楊立昆繼續(xù)在紐約大學(xué)任職等等。

2012年ImageNet挑戰(zhàn)賽后，人工智能領(lǐng)域面臨著非常嚴(yán)重的“人才供需錯(cuò)配”問題：

由于推薦算法、圖像識別、自動駕駛這些產(chǎn)業(yè)化空間被迅速打開，人才需求量暴增。但由于長期不被看好，深度學(xué)習(xí)的研究者是個(gè)很小的圈子，頂級學(xué)者更是兩只手?jǐn)?shù)得過來，供給嚴(yán)重不足。

這種情況下，如饑似渴的科技公司只能購買“人才期貨”：把教授挖過來，然后等他們把自己的學(xué)生也帶進(jìn)來。

楊立昆加入Facebook后，先后有六名學(xué)生追隨他入職。準(zhǔn)備在造車上躍躍欲試的蘋果挖來了辛頓的學(xué)生Ruslan Salakhutdinov，擔(dān)任蘋果首任AI總監(jiān)。就連對沖基金Citadel也加入了搶人大戰(zhàn)，挖走了當(dāng)年和辛頓搞語音識別、后來還代表微軟參與秘密競拍的鄧力。

此后的歷史我們再清楚不過：人臉識別、機(jī)器翻譯、自動駕駛等產(chǎn)業(yè)化場景日行千里，GPU訂單雪花一般飄向圣克拉拉的英偉達(dá)總部，人工智能的理論大廈也在日復(fù)一日的澆筑。

2017年，Google在論文《Attention is all you need》里提出Transformer模型，開啟了如今的大模型時(shí)代。幾年后，ChatGPT橫空出世。

而這一切的誕生，都可以追溯到2012年的ImageNet挑戰(zhàn)賽。

那么，推動2012年“大爆炸時(shí)刻”誕生的歷史進(jìn)程，又是在哪一年顯現(xiàn)的呢？

答案是2006年。

偉大

在2006年之前，深度學(xué)習(xí)的現(xiàn)狀可以借用開爾文男爵的那句名言來概括：深度學(xué)習(xí)的大廈已經(jīng)基本建成了，只不過在陽光燦爛的天空下，漂浮著三朵小烏云。

這三朵小烏云就是算法、算力和數(shù)據(jù)。

正如前文所說，由于模擬了人腦的機(jī)制，深度學(xué)習(xí)是一種在理論上非常完美的方案。但問題在于，無論是它需要吞噬的數(shù)據(jù)，還是需要消耗的算力，在當(dāng)時(shí)都是一個(gè)科幻級別的規(guī)模，科幻到學(xué)術(shù)界對深度學(xué)習(xí)的主流看法是：腦子正常的學(xué)者不會研究神經(jīng)網(wǎng)絡(luò)。

但2006年發(fā)生的三件事改變了這一點(diǎn)：

辛頓和學(xué)生Salakhutdinov（就是后來去蘋果的那位）在Science上發(fā)表了論文Reducing the dimensionality of data with neural networks，第一次提出了有效解決梯度消失問題的解決方案，讓算法層面邁出了一大步。

Salakhutdinov（左一）與辛頓（中），2016年

斯坦福大學(xué)的李飛飛意識到，如果數(shù)據(jù)規(guī)模難以還原現(xiàn)實(shí)世界的原貌，那么再好的算法也很難通過訓(xùn)練達(dá)到“模擬人腦”的效果。于是，她開始著手搭建ImageNet數(shù)據(jù)集。

英偉達(dá)發(fā)布Tesla架構(gòu)的新款GPU，并隨之推出CUDA平臺，開發(fā)者利用GPU來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的難度大幅度降低，望而生畏算力門檻被砍掉了一大截。

這三件事的發(fā)生吹散了深度學(xué)習(xí)上空的三朵烏云，并在2012年的ImageNet挑戰(zhàn)賽上交匯，徹底改寫了高科技產(chǎn)業(yè)乃至整個(gè)人類社會的命運(yùn)。

但在2006年，無論是杰夫·辛頓、李飛飛、黃仁勛，還是其他推動深度學(xué)習(xí)發(fā)展的人，顯然都無法預(yù)料人工智能在此后的繁榮，更不用說他們所扮演的角色了。

Hinton和Salakhutdinov的論文

時(shí)至今日，AI為核心驅(qū)動的第四次工業(yè)革命又開啟了，人工智能的演進(jìn)速度只會越來越快。如果說我們能得到多少啟發(fā)，也許不外乎以下三點(diǎn)：

1.產(chǎn)業(yè)的厚度決定創(chuàng)新的高度。

ChatGPT橫空出世時(shí)，“為什么又是美國”的聲音此起彼伏。但如果把時(shí)間拉長，會發(fā)現(xiàn)從晶體管、集成電路，到Unix、x86架構(gòu)，再到如今的機(jī)器學(xué)習(xí)，美國學(xué)界和產(chǎn)業(yè)界幾乎都是領(lǐng)跑者的角色。

這是因?yàn)?，雖然關(guān)于美國“產(chǎn)業(yè)空心化”的討論不絕于耳，但以軟件為核心的計(jì)算機(jī)科學(xué)這門產(chǎn)業(yè)，不僅從未“外流”到其他經(jīng)濟(jì)體，反而優(yōu)勢越來越大。至今70多位ACM圖靈獎(jiǎng)的獲得者，幾乎全部是美國人。

吳恩達(dá)之所以選擇Google合作“谷歌貓”項(xiàng)目，很大程度上是因?yàn)橹挥蠫oogle擁有算法訓(xùn)練所需要的數(shù)據(jù)和算力，而這又建立在Google強(qiáng)大的盈利能力的基礎(chǔ)上。這就是產(chǎn)業(yè)厚度帶來的優(yōu)勢——人才、投資、創(chuàng)新能力都會向產(chǎn)業(yè)的高地靠攏。

中國在自身的優(yōu)勢產(chǎn)業(yè)里，也在體現(xiàn)出這種“厚度優(yōu)勢”。當(dāng)前最典型的就是新能源車，一邊是歐洲車企包機(jī)來中國車展拜師新勢力，一邊是日本車企高管頻繁跳槽到比亞迪——圖什么呢？顯然不是只圖能在深圳交社保。

2.越是前沿的技術(shù)領(lǐng)域，人才的重要性越大。

Google之所以愿意花4400萬美元買下辛頓的公司，是因?yàn)樵谏疃葘W(xué)習(xí)這樣的前沿技術(shù)領(lǐng)域，一個(gè)頂級學(xué)者的作用，往往大過一萬個(gè)計(jì)算機(jī)視覺專業(yè)的應(yīng)屆生。假如當(dāng)時(shí)競拍成功的是百度或微軟，人工智能的發(fā)展脈絡(luò)可能都會被改寫。

這種“為了你買下整個(gè)公司”的行為，其實(shí)非常常見。蘋果自研芯片的關(guān)鍵階段，順手買了一家PASemi的小公司，就是為了把芯片架構(gòu)大神Jim Keller挖到手——蘋果的A4、AMD的Zen、特斯拉的FSD芯片，都得到了Jim Keller的技術(shù)扶貧。

這也是產(chǎn)業(yè)競爭力帶來的最大優(yōu)勢——對人才的吸引力。

“深度學(xué)習(xí)三巨頭”沒有一個(gè)是美國人，AlexNet這個(gè)名字來自辛頓的學(xué)生Alex Krizhevsky，他出生在蘇聯(lián)治下的烏克蘭，在以色列長大，來加拿大讀書。更不用說如今還活躍在美國高科技公司的眾多華人面孔。

3.創(chuàng)新的難度在于，如何面對不確定性。

除了“人工智能之父”Marvin Minsky反對深度學(xué)習(xí)之外，另一個(gè)知名深度學(xué)習(xí)反對者是加州大學(xué)伯克利分校的Jitendra Malik，辛頓和吳恩達(dá)都被他冷嘲熱諷過。李飛飛在搭建ImageNet時(shí)也曾咨詢過Malik，后者給她的建議是：Do something more useful（做點(diǎn)更有用的事）。

李飛飛Ted演講

正是這些行業(yè)先驅(qū)的不看好，導(dǎo)致深度學(xué)習(xí)經(jīng)歷了數(shù)十年的萬馬齊喑。即便到了2006年辛頓撕開了一束曙光，三巨頭的另一位楊立昆還在反復(fù)向?qū)W術(shù)界證明“深度學(xué)習(xí)也有研究價(jià)值”。

楊立昆從80年代就開始研究神經(jīng)網(wǎng)絡(luò)，在貝爾實(shí)驗(yàn)室期間，楊立昆就和同事設(shè)計(jì)了一種名叫ANNA的芯片，試圖解決算力問題。后來AT&T由于經(jīng)營壓力要求研究部門“賦能業(yè)務(wù)”，楊立昆的回答是“我就是要研究計(jì)算機(jī)視覺，有本事你解雇我”。最終求錘得錘，喜提N+1[6]。

任何前沿技術(shù)領(lǐng)域的研究者都必須面對一個(gè)問題——如果這個(gè)東西做不出來怎么辦？

從1972年進(jìn)入愛丁堡大學(xué)算起，辛頓在深度學(xué)習(xí)的前線已經(jīng)鏖戰(zhàn)了50年。2012年ImageNet挑戰(zhàn)賽舉辦時(shí)，他已經(jīng)65歲了。很難想象他在漫長的時(shí)間里面對學(xué)術(shù)界的種種質(zhì)疑，需要消解多少自我懷疑與否定。

如今我們知道，2006年的辛頓已經(jīng)堅(jiān)持到了黎明前最后的黑暗，但他自己也許并不知道這一點(diǎn)，更不用說整個(gè)學(xué)術(shù)界和產(chǎn)業(yè)界。就像2007年iPhone發(fā)布時(shí)，大多數(shù)人的反應(yīng)可能和時(shí)任微軟CEO鮑爾默是一樣的：

目前，iPhone依然是世界上最貴的手機(jī)，而且沒有鍵盤

推動歷史的人，往往猜不到自己在歷史進(jìn)程中的坐標(biāo)。

偉大之所以為偉大，不是因?yàn)槠錂M空出世時(shí)的驚艷，而是因?yàn)樗跓o邊黑暗中，忍受漫長的籍籍無名與不被理解。直到多年之后，人們才能順著這些標(biāo)尺，感嘆那時(shí)群星璀璨，天才輩出。

一個(gè)又一個(gè)科學(xué)研究的領(lǐng)域里，無數(shù)的學(xué)者終其一生都不曾窺見希望的微光。因而從某種角度看，辛頓和其他深度學(xué)習(xí)推動者是幸運(yùn)的，他們創(chuàng)造了偉大，間接推動了產(chǎn)業(yè)界一個(gè)又一個(gè)成功。

資本市場會給成功定一個(gè)公允的價(jià)格，歷史則記錄那些創(chuàng)造偉大的孤獨(dú)和汗水。

參考資料

[1] 16000臺電腦一起找貓，紐約時(shí)報(bào)

[2] Fei-Fei Li's Quest to Make AI Better for Humanity，Wired

[3] 李飛飛的TED演講

[4] 21秒看盡ImageNet屠榜模型，60+模型架構(gòu)同臺獻(xiàn)藝，機(jī)器之心

[5] 卷積神經(jīng)網(wǎng)絡(luò)的“封神之路”：一切始于AlexNet，新智元

[6] 深度學(xué)習(xí)革命，凱德·梅茨

[7] To Find AI Engineers, Google and Facebook Hire Their Professors，The Information

[8] 深度學(xué)習(xí)三十年創(chuàng)新路，朱瓏

[9] ImageNet這八年：李飛飛和她改變的AI世界，量子位

[10] DEEP LEARNING: PREVIOUS AND PRESENT APPLICATIONS，Ramiro Vargas

[11] Review of deep learning: concepts, CNN architectures, challenges, applications, future directions，Laith Alzubaidi等

[12] Literature Review of Deep Learning Research Areas，Mutlu Yap?c?等

[13] ChatGPT背后真正的英雄：OpenAI首席科學(xué)家Ilya Sutskever的信仰之躍，新智元

[14] 10 years later, deep learning ‘revolution’ rages on, say AI pioneers Hinton, LeCun and Li，Venturebeat

[15] From not working to neural networking，經(jīng)濟(jì)學(xué)人

[16] Huge “foundation models” are turbo-charging AI progress，經(jīng)濟(jì)學(xué)人

[17] 2012: A Breakthrough Year for Deep Learning，Bryan House

[18] 深度學(xué)習(xí)：人工智能的“神奇魔杖”，安信證券

[19] 深度學(xué)習(xí)算法發(fā)展:從多樣到統(tǒng)一 ，國金證券

本文為專欄作者授權(quán)微新創(chuàng)想發(fā)表，版權(quán)歸原作者所有。文章系作者個(gè)人觀點(diǎn)，不代表微新創(chuàng)想立場，轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問，請聯(lián)系http://www.i0562.net/。