編者按：本文來自微信公眾號(hào)智源社區(qū)（ID：BAAIHub），作者：李夢(mèng)佳，微新創(chuàng)想經(jīng)授權(quán)發(fā)布。

在大模型的研發(fā)道路上，思維鏈、指令微調(diào)和智能涌現(xiàn)等關(guān)鍵思想備受關(guān)注。正是思維鏈技術(shù)（Chain of Thought）讓大模型能夠涌現(xiàn)出一系列神奇的能力，成為了現(xiàn)代大語言模型產(chǎn)生「涌現(xiàn)」的底層技術(shù)。思維鏈旨在通過向大語言模型展示少量的樣例，并通過這些樣例解釋推理過程，讓大語言模型學(xué)會(huì)在生成答案時(shí)展示推理過程，并引導(dǎo)其得到更準(zhǔn)確的答案。相當(dāng)于將黑盒深度學(xué)習(xí)的多步推理過程的中間步驟拆開，結(jié)耦了各個(gè)步驟的工作，簡(jiǎn)化了每一步工作上模型的壓力，在提高可解釋性的同時(shí)提升了模型性能。

研究靈感往往來自某次偶然的一瞥驚鴻，可遇而不可求。談起思維鏈的靈光乍現(xiàn)，CoT提出者Jason Wei表示，他的靈感來源是一本叫做《Waking up》的冥想之書，該書作者為美國(guó)無神論者、公共知識(shí)分子Sam Harris，從靈修（spirituality）的角度講述了思維、意識(shí)和自我的關(guān)系。

智源社區(qū)特別邀請(qǐng)到現(xiàn)任OpenAI科學(xué)家Jason Wei進(jìn)行了對(duì)話，他談到了做研究的點(diǎn)點(diǎn)滴滴，以及在谷歌和OpenAI的工作經(jīng)歷。Jason Wei畢業(yè)于達(dá)特茅斯大學(xué)，在大模型研發(fā)領(lǐng)域擁有豐富的經(jīng)驗(yàn)和杰出成就，在谷歌工作期間曾主導(dǎo)推廣了大語言模型中包括思維鏈提示、指令微調(diào)和模型涌現(xiàn)在內(nèi)一系列關(guān)鍵思想的誕生。

要點(diǎn)速覽

• 對(duì)于當(dāng)時(shí)的許多華人家庭來說，美國(guó)夢(mèng)就是供孩子去讀常春藤盟校，在華爾街謀求一份體面的工作，賺很多錢。而我成為了當(dāng)時(shí)朋友圈中唯一一個(gè)從事人工智能研究的人。

• 早期的化學(xué)研究教會(huì)了我何為研究的本質(zhì)，以及如何提出嚴(yán)格的假設(shè)并進(jìn)行測(cè)試。

• 在2019年我創(chuàng)建了第一個(gè)對(duì)肺癌分類的神經(jīng)網(wǎng)絡(luò)。這也是我發(fā)表的一篇論文，在論文被接收前被拒了六次。

• 我對(duì)冥想很感興趣。冥想的作用是觀測(cè)到你頭腦中出現(xiàn)的所有想法，我稱之為思想流（stream of thought），連續(xù)不斷流動(dòng)的思想。參考人類內(nèi)在的思考過程，我認(rèn)為模型也可以有思想流。

• 這項(xiàng)技術(shù)上被稱為思維鏈的原因是，思想流更像是雜亂無章地，隨機(jī)在頭腦中涌現(xiàn)的任何東西。而思維鏈則是一個(gè)更有邏輯或組織性質(zhì)的思維過程。

• 從谷歌到OpenAI，最大的變化是每個(gè)人從做自己的研究、選擇項(xiàng)目轉(zhuǎn)變?yōu)樵诰哂泻诵哪繕?biāo)的更大團(tuán)隊(duì)中工作。

• OpenAI 的員工工作非常努力，所有人都對(duì)通用人工智能 (AGI) 充滿熱情。大部分加入OpenAI的人都是想?yún)⑴c研究一些更龐大的事項(xiàng)，成為GPT這樣項(xiàng)目的一員。

• 我不是非常擅長(zhǎng)平衡工作和生活，也不認(rèn)為每個(gè)人都應(yīng)該渴望做到平衡。事實(shí)是，沒有哪個(gè)超級(jí)成功的人是不努力工作的。我的策略是每周休息一天，其他日子都工作，到晚上10 點(diǎn)或 11 點(diǎn)左右。確保睡眠充足，且每周至少鍛煉3次。

• 關(guān)于推廣宣傳，很多研究者做得還遠(yuǎn)遠(yuǎn)不夠。貝爾實(shí)驗(yàn)室著名數(shù)學(xué)家Richard Hamming的建議是，應(yīng)該花與實(shí)際工作（做實(shí)驗(yàn)寫論文）一樣多的時(shí)間來做宣傳。

華爾街之夢(mèng)，從銀行家到神經(jīng)網(wǎng)絡(luò)

Q：能描述下你早年的生活和成長(zhǎng)經(jīng)歷，從何時(shí)開始接觸科研的呢？

A：早年我在弗吉尼亞州的（小鎮(zhèn)）上長(zhǎng)大，上的公立小學(xué)，但考上了一所很有競(jìng)爭(zhēng)力的高中，也就是Thomas Jefferson中學(xué)，那是一所你必須參加考試才能被錄取的學(xué)校，學(xué)生SAT 的平均成績(jī)非常高。

位于弗吉尼亞州的托馬斯杰弗遜科技中學(xué)（Thomas Jefferson High School for Science and Technology），享有“全美第一公立高中”的美譽(yù)，全美排名前2%

學(xué)校里的同學(xué)都很拔尖，高中幾乎是我人生中最努力的階段，基本上我在那里學(xué)到的最主要的東西就是要「全力拼搏」work hard。大多數(shù)人要么喜歡打比賽，要么喜歡研究，我屬于后者，從高中階段就開始做研究了。最初，我在美國(guó)海軍研究實(shí)驗(yàn)室（Naval Research Lab，簡(jiǎn)稱NRL）做了一些化學(xué)相關(guān)的研究。當(dāng)時(shí)接觸研究的機(jī)會(huì)還很少，但我會(huì)盡可能抓住機(jī)會(huì)。當(dāng)然，我現(xiàn)在不再從事化學(xué)研究了。

Q：早期的化學(xué)研究在方法論或思維方式上影響了你后來的工作嗎？

A：它教會(huì)了我何為研究的本質(zhì)，以及如何提出嚴(yán)格的假設(shè)并進(jìn)行測(cè)試。

Q：了解到你最初的夢(mèng)想是成為一名華爾街銀行家，這個(gè)夢(mèng)想后來發(fā)生了哪些變化？

A：對(duì)，過去我們常說美國(guó)夢(mèng)（American dream）。基本上，對(duì)于當(dāng)時(shí)的許多華人家庭來說，美國(guó)夢(mèng)就是讓你的孩子去讀常春藤盟校，在華爾街謀求一份體面的工作，賺很多錢。我去了達(dá)特茅斯，它是比較低調(diào)的常春藤盟校，達(dá)特茅斯本身和華爾街有很密切的聯(lián)系，周圍所有人都在卷金融去投行，而我大一時(shí)沒有得到金融方面實(shí)習(xí)的機(jī)會(huì)，這就有點(diǎn)像偏離了軌道。正好我母親有一個(gè)朋友在做人工智能初創(chuàng)公司。我聯(lián)系上了他，于是決定嘗試下做AI，因此我成為了朋友圈當(dāng)中唯一一個(gè)從事人工智能研究的人，有點(diǎn)孤單。

（編者注：美國(guó)夢(mèng)通常代表經(jīng)濟(jì)上的成功或是企業(yè)家的精神。歷史學(xué)者亞當(dāng)斯在1931年將“美國(guó)夢(mèng)”定義為，“無論每個(gè)人的社會(huì)階層或出生環(huán)境如何，生活都應(yīng)該變得更好，更豐富，更豐裕，每個(gè)人都有機(jī)會(huì)根據(jù)能力或成就而定”。）

Q：能分享更多在達(dá)特茅斯大學(xué)生活的經(jīng)歷和軼事嗎？

A：達(dá)特茅斯雖然是排名前100的學(xué)校，但沒有很多從事AI研究的教授。當(dāng)時(shí)正好有一個(gè)機(jī)會(huì)做醫(yī)學(xué)圖像數(shù)據(jù)處理，于是我在2019年創(chuàng)建了第一個(gè)可以對(duì)肺癌進(jìn)行分類的神經(jīng)網(wǎng)絡(luò)。這也是我試圖發(fā)表的一篇論文，在論文被接收前我被拒了六次。當(dāng)時(shí)的動(dòng)機(jī)只是單純地想發(fā)表論文，為了申請(qǐng)博士項(xiàng)目。在達(dá)特茅斯期間，我也曾經(jīng)前往丹麥交換。

Q：談?wù)勀阕钕矚g的導(dǎo)師以及對(duì)你影響最大的人嗎？

A：我的校友Sam Greydanus，他比我大三歲，我們大概交流過五次。他是在達(dá)特茅斯為數(shù)不多從事AI研究的人之一，和我一樣后來也去了谷歌的AI Residency項(xiàng)目做出很多不錯(cuò)的工作。鑒于當(dāng)時(shí)在達(dá)特茅斯AI氛圍很一般的情況下，他的存在讓我鼓舞人心。他給當(dāng)時(shí)作為機(jī)器學(xué)習(xí)“新學(xué)徒”的我寫了一封長(zhǎng)郵件，列出了很多有用的建議，比如閱讀Arxiv、經(jīng)常發(fā)布代碼并撰寫有關(guān)研究的博客文章。具體建議如下：

嗨，Jason，我記得你，很高興收到你的來信！關(guān)于如何進(jìn)行深度學(xué)習(xí)研究，我有一些（相當(dāng)固執(zhí)己見的）建議。這是一個(gè)列表（按最重要的內(nèi)容/半時(shí)間順序排列）。

1. 閱讀 Andrej Karpathy 的所有博客文章

2. 閱讀 Chris Olah 的所有博客文章

2.5 閱讀你感興趣的 Distill 上的任何帖子。或者看下我列出的帖子(https://Qreydanus.qithub.io/)

3. 也許 – 參加像 Andrew Ng 的 Coursera 課程這樣的在線課程

4. 絕對(duì) – 使用 Jupyter Notebook、NumPy 和 PyTorch 編寫簡(jiǎn)單的個(gè)人項(xiàng)目。當(dāng)你完成它們時(shí) a) 發(fā)布良好的、記錄良好的代碼（參見我的 github） b) 寫一篇關(guān)于你所做的事情的簡(jiǎn)短博客文章（參見我的博客）

5. 下載Arx應(yīng)用程序，瀏覽 Arxiv（機(jī)器學(xué)習(xí)預(yù)印本的在線存儲(chǔ)庫）上的論文。每天左右在通勤途中檢查一下。遵循 cs.LG、cs.NE 和 stat.ML 標(biāo)簽。另外，請(qǐng)為以下作者加注星標(biāo)：Yoshua Bengio、Yann LeCunn、Geoffery Hinton、Jason Yosinski、David Duvenaud、Andrej Karpathy、Pieter Abbeel、Quoc Lee、Alex Graves、Koray Kavukcuoglu、Gabor Melis、Oriol Vinyals、Jasch Sohl-Dickstein、Ian Goodfellow 和Adam Santoro。如果及時(shí)了解他們上傳的論文，并瀏覽我提到的三個(gè)類別中論文的標(biāo)題/摘要，就可以很快對(duì) SOTA 研究有一個(gè)有效的了解。或者：開始每天瀏覽 Arxiv Sanity Preserver 的“熱門炒作”和“最近熱門”選項(xiàng)卡。

6. 當(dāng)/如果你開始在達(dá)特茅斯進(jìn)行研究時(shí)，請(qǐng)確保涉及深度學(xué)習(xí)的一些元素。

7. 如果可以在 PyTorch 和 TensorFlow 之間進(jìn)行選擇，請(qǐng)選擇 PyTorch。你會(huì)終生感激這個(gè)決定。

8. 值得閱讀的熱門論文：AlexNet 論文、Alex Graves“生成序列”論文、Jason Yosinski（他是一位優(yōu)秀作者）的任何論文、神經(jīng)圖靈機(jī)論文、DeepMind Atari 論文，也許還有 Goodfellow 的 GAN 論文，盡管我還沒有讀過。如果可以的話，遠(yuǎn)離 GAN。

9. 在 ML 階段，簡(jiǎn)單問題 + 超簡(jiǎn)單實(shí)驗(yàn) ? 大型、多 GPU 的工作。有很多好的研究（例如，到目前為止我?guī)缀跛械墓ぷ鳎┒伎梢栽谝慌_(tái)像樣的 MacBook 上完成。

10. 不要被這份清單淹沒。你可能會(huì)找到更適合自己的道路。我能給出的最好建議就是重復(fù)Richard Feynman的建議：“以盡可能無紀(jì)律、無?禮和原創(chuàng)的方式努力學(xué)習(xí)你最感興趣的東西。”

Q：在研究道路上，關(guān)鍵的轉(zhuǎn)折點(diǎn)、幸運(yùn)時(shí)刻還有哪些？

A：最幸運(yùn)的時(shí)刻還是加入谷歌AI Residency項(xiàng)目，這個(gè)項(xiàng)目的接收率大概是1%，幫助我直接進(jìn)入工業(yè)界。這是一個(gè)為期 12 個(gè)月的研究項(xiàng)目，參與者不必?fù)碛胁┦繉W(xué)位，但你可以作為研究人員進(jìn)行研究。如果在這個(gè)項(xiàng)目中表現(xiàn)出色，就可以留在谷歌擔(dān)任長(zhǎng)期研究員。

思維鏈CoT，來源于深度冥想，讓模型模仿人類的思維流動(dòng)

Q：在 Google Brain 工作感覺如何，比如思維鏈的項(xiàng)目，是什么給了你靈感？

A：在 2022 年之前，在 Google Brain 工作被認(rèn)為是最好的工作之一，當(dāng)然現(xiàn)在仍然如此。在谷歌，你有很多自由和資源可以做任何你想做的事情。這相當(dāng)理想。而且也可以發(fā)表很多論文，都會(huì)署名，也附帶很多榮譽(yù)。我在的時(shí)期有點(diǎn)像AI研究的黃金時(shí)代，我非常愛谷歌。

Q：關(guān)于思維鏈（Chain of Thought），你給出的關(guān)鍵詞是冥想。能詳細(xì)說明一下嗎？

A：對(duì)，我對(duì)冥想很感興趣。冥想的作用是觀測(cè)到你頭腦中出現(xiàn)的所有想法，我稱之為思想流（stream of thought），基本上就是連續(xù)不斷流動(dòng)的思想，為此我寫了一篇評(píng)論文章Artificial stream of thought has non-trivial connections to consciousness（https://jasonwei20.github.io/files/artificial_stream_of_thought.pdf），但當(dāng)時(shí)沒有受到多少關(guān)注，因?yàn)闆]有實(shí)驗(yàn)來證明。

很多觀點(diǎn)文章都認(rèn)為，語言模型可以有思想流，也暗示著意識(shí)的存在。我想到可以參考人類如何解決數(shù)學(xué)問題的過程，在給出問題的答案之前，人類有一個(gè)內(nèi)在的思考流程，于是我從數(shù)學(xué)問題出發(fā)，嘗試改變prompt，發(fā)現(xiàn)了語言模型也可以具有內(nèi)在推理能力（要求模型在回答之前進(jìn)行一系列思考過程，也就是思維鏈）。起初效果并不好，和模型大小有關(guān)，后來更加強(qiáng)大的PalM出現(xiàn)了，模型越大CoT可以做得更好。

后來我將這種思維鏈的技巧嫁接在解決其他類型的問題上，也表現(xiàn)得很好。技術(shù)上被稱為思維鏈的原因是，思想流更像是雜亂無章地，隨機(jī)在頭腦中涌現(xiàn)的任何東西。而思維鏈則是一個(gè)更有邏輯或組織性質(zhì)的思維過程。

Q：這種冥想的靈感是否和宗教有關(guān)？

A：不，我不信教，但我受到了Sam Harris所寫的《Waking up— A Guide to Spirituality Without Religion》一書的啟發(fā)。這就是我的靈感來源。

（編者注：《Waking up》一書作者為美國(guó)無神論者、公共知識(shí)分子、腦神經(jīng)科學(xué)家Sam Harris，這本書是寫給美國(guó)人口百分之二十的”spiritual but not religious”，即相信靈性的存在，但是沒有宗教信仰的人。該書強(qiáng)調(diào)如何通過冥想消除人類對(duì)于自我的幻象，試圖用腦科學(xué)研究、思想實(shí)驗(yàn)來證明：1）人的思維有更高維度的存在，我們認(rèn)為的自我、喜怒哀樂其實(shí)都是虛幻的，基本就是佛教的世界觀 2）人可以籍由冥想練習(xí)來達(dá)到空性的體驗(yàn)）

《覺醒：通往靈性的非宗教指南》，Sam Harris著，閱讀鏈接：https://www.amazon.com/Waking-Up-Spirituality-Without-Religion/dp/1451636024

Q：在谷歌，你也領(lǐng)導(dǎo)了finetuning（微調(diào)）項(xiàng)目，這項(xiàng)工作面臨哪些挑戰(zhàn)？

A：對(duì)當(dāng)時(shí)我們參與了FLAN項(xiàng)目，那時(shí)我們還不知道如何對(duì)語言模型做微調(diào)，所以很難防止過擬合。我和團(tuán)隊(duì)不得不做的一件事就是為這些模型手動(dòng)編寫數(shù)百條不同的指令，以防止模型過擬合。其次，要弄清楚實(shí)驗(yàn)設(shè)計(jì)并正確進(jìn)行實(shí)驗(yàn)，當(dāng)時(shí)微調(diào)的運(yùn)算量很大。因此我們必須做出規(guī)劃，運(yùn)行消融實(shí)驗(yàn)等。同時(shí)也考慮設(shè)計(jì)實(shí)驗(yàn)，來評(píng)估零樣本任務(wù)。我們率先在 Google 內(nèi)部嘗試微調(diào)大語言模型以遵循指令。

Q：所以你們團(tuán)隊(duì)是指令微調(diào)的先驅(qū)？

A：OpenAI在我們之前就做過一些指令微調(diào)的工作，但他們沒有發(fā)表相關(guān)論文。所以我們應(yīng)該算是第一個(gè)在正式論文中提出指令微調(diào)（instruction tuning，原文鏈接：https://openreview.net/forum?id=gEZrGCozdqR）這個(gè)術(shù)語的團(tuán)隊(duì)。

Q：平時(shí)是如何組織團(tuán)隊(duì)，與最聰明的人一起開展項(xiàng)目的？

A：當(dāng)你與真正優(yōu)秀的合作者一起工作時(shí)，他們通常有非常高的標(biāo)準(zhǔn)。你需要不斷強(qiáng)迫自己專注在重要的工作上，并擁有雄心勃勃的夢(mèng)想。和他們一起工作時(shí)，每當(dāng)你展示一個(gè)成果，他們都會(huì)不斷地問，有什么方法可以做得比這個(gè)結(jié)果更好嗎？他們通常會(huì)不斷地push你做得更好。比如我的同事Quoc V. Le就經(jīng)常對(duì)我說，如果你能用小10倍的模型來實(shí)現(xiàn)這個(gè)功能，那就太好了，這確實(shí)是一件很難實(shí)現(xiàn)的事情。

Q：你也寫了很多關(guān)于涌現(xiàn)的文章，模型最讓你興奮的涌現(xiàn)能力是什么？

A：其中有三篇文章中提到的涌現(xiàn)能力最讓我興奮。

1) 上下文學(xué)習(xí)（In-context learning，https://arxiv.org/abs/2303.03846）。更大的語言模型實(shí)際上能進(jìn)行“真正的”上下文學(xué)習(xí)，它們能夠推理輸入標(biāo)簽映射（input-label mappings），而不是僅僅遵循格式；

2) 思維鏈推理，尤其是分解。因?yàn)檫@意味著AI有一天可能能夠解決極具挑戰(zhàn)性的問題，例如氣候變化；

3) U形縮放（U-shape Scaling：https://arxiv.org/abs/2211.02011）。有時(shí)，語言模型會(huì)隨著規(guī)模的擴(kuò)大而變得更糟，你可能認(rèn)為它們的表現(xiàn)會(huì)持續(xù)變得愈加糟糕。但如果繼續(xù)擴(kuò)大規(guī)模，這種趨勢(shì)會(huì)發(fā)生改變。隨著模型規(guī)模擴(kuò)大，其性能開始變好。因此整體變化趨勢(shì)呈現(xiàn)U形。

Q：如果繼續(xù)沿著這條路走下去，未來可能會(huì)涌現(xiàn)什么樣的模型能力？

A：我認(rèn)為如果模型能具有規(guī)劃能力會(huì)很有趣。如果你問它，解決這個(gè)數(shù)學(xué)問題需要哪5步，它很可能答不上來。可能單獨(dú)的步驟能解決得好，但整體規(guī)劃就做得很差。此外就是更好的通用性表現(xiàn)。當(dāng)前最主要的問題是有時(shí)候語言模型不太可靠，在某些用例中你無法完全信任它，只有90%正確率。如果能跨過這個(gè)門檻，可能會(huì)非常有用。

OpenAI的指針：無他，唯努力爾

Q：你是如何從 Google Brain 過渡到OpenAI的？與在 Google 工作相比，在 OpenAI 工作感覺如何？你喜歡那邊的工作氛圍嗎？

A：我想體驗(yàn)下和不同的人一起工作，確實(shí)有很多人從谷歌離職了。在OpenAI的工作讓人非常興奮，所有人都對(duì)通用人工智能 (AGI) 充滿熱情。OpenAI 的員工工作非常努力，團(tuán)隊(duì)也很專注。你可以自由地從事自己想做的事情，當(dāng)然大部分加入OpenAI的人都是想?yún)⑴c研究一些更龐大的事項(xiàng)，成為GPT這樣項(xiàng)目的一員。

Q：在 OpenAI 和在 Google 工作最大的區(qū)別是什么？

A：谷歌最近也發(fā)生了很大的變化。因此很難進(jìn)行同類比較。最大的變化就是從每個(gè)人都做自己的研究、選擇項(xiàng)目轉(zhuǎn)變?yōu)樵诤诵哪繕?biāo)更突出的龐大團(tuán)隊(duì)中工作。OpenAI非常專注于構(gòu)建 AGI，尤其是安全的 AGI。

Q：你之前的工作和目前GPT-4一類的項(xiàng)目聯(lián)系如何？

A：我以前研究過大型語言模型，現(xiàn)在我仍然研究大型語言模型，很多東西仍然相關(guān)，包括前面提及我主導(dǎo)的兩篇工作（Chain-of-Thought Prompting Elicits Reasoning in Large Language Models，https://arxiv.org/abs/2201.11903；Emergent Abilities of Large Language Models，https://openreview.net/pdf?id=yzkSU5zdwD）

我過去學(xué)到的主要技能，其中兩個(gè)最重要的是注重優(yōu)先級(jí)和溝通能力。我認(rèn)為這兩項(xiàng)技能仍然非常相關(guān)，即使我不再寫論文了。我仍然在做研究，但并不是我所做的所有研究都發(fā)表了。另外，GPT-4的大部分工作是在我加入之前就已經(jīng)完成了的，我在評(píng)估方面做了一點(diǎn)貢獻(xiàn)。

Q：你自己的短期或長(zhǎng)期研究目標(biāo)是什么？

A：長(zhǎng)期目標(biāo)只是構(gòu)建 AGI。我認(rèn)為成為構(gòu)建 AGI 的一員是一件非常深刻和令人興奮的事情。

Q：所以AGI還有很長(zhǎng)的路要走對(duì)嗎？

A：取決于你對(duì)長(zhǎng)的定義。

Q：構(gòu)建AGI路徑有很多，你在整個(gè)方案中AGI項(xiàng)目的工作定位是什么？

A：我想說這是一個(gè)很難回答的問題。我不知道通往AGI的道路。我認(rèn)為我之前的一些工作更加關(guān)注語言模型可以進(jìn)行推理的事實(shí)。而且，當(dāng)你擴(kuò)展語言模型時(shí)，你會(huì)獲得這些你可能意想不到的新興能力。我認(rèn)為這是我在谷歌期間試圖推廣的兩件事。

Q：如何看待人工智能的未來以及個(gè)人在該領(lǐng)域未來的研究方向？

A：我一直在思考的一件事是評(píng)估。很難進(jìn)行模型評(píng)價(jià)的原因之一是：語言模型可以完成非常廣泛的任務(wù)。它們生成這些非常長(zhǎng)的補(bǔ)全內(nèi)容，甚至人類也需要很長(zhǎng)時(shí)間才能閱讀。通常對(duì)于這些類型的任務(wù)來講，沒有明確的定義來說明什么樣才是完美的實(shí)現(xiàn)效果。在某種程度上，評(píng)價(jià)指標(biāo)是研究人員所要優(yōu)化的目標(biāo)函數(shù)。如果能深入了解模型的行為和局限性，就可以更好地引導(dǎo)研究人員做出正確的事情。

Q：關(guān)于涌現(xiàn)能力，未來的瘋狂想象是什么？

A：我覺得未來重要的方向包括，更事實(shí)性不會(huì)產(chǎn)生幻覺的語言模型，可以使用工具與世界進(jìn)行交互的多模態(tài)模型，以及一般意義上更加安全的模型。

Q：對(duì)于想要在這個(gè)領(lǐng)域開展職業(yè)生涯的人來說，你認(rèn)為最重要的建議是什么？

A：工作真的要非常努力。不僅涉及研究本身，還涉及研究周期的所有部分，例如選擇研究課題，并宣傳這項(xiàng)工作，并且我有意識(shí)地努力與那些我真正欽佩并且能力非常強(qiáng)的人合作。在谷歌，對(duì)我影響很大的人是我的同事Barret Zoph、Liam Fedus。他們的研究品味深深影響了我，并教會(huì)了我很多關(guān)于如何思考事物的知識(shí)。

Q：你如何定義工作非常努力，意味著工作時(shí)間非常長(zhǎng)？

A：工作的時(shí)長(zhǎng)和專注程度一樣重要。因此，你可以增加工作時(shí)間，也可以提升專注度。我認(rèn)為大多數(shù)人都喜歡嘗試增加時(shí)間，但有時(shí)增加專注度可能會(huì)更有效。我同時(shí)增加時(shí)間和專注度。

Q：你平時(shí)每天日程安排是什么樣的？

A：我可能早上 10 點(diǎn)左右開始工作，工作到晚上 10 點(diǎn)或 11 點(diǎn)左右。也許每天會(huì)開幾個(gè)小時(shí)的會(huì)議，當(dāng)然還有中飯、晚飯以及回復(fù)電子郵件等其他事情。如果晚上有事情可能不工作。周末基本上工作一天，休息一天。睡眠和鍛煉對(duì)我來說非常重要，我要確保自己每天睡眠充足，且每周至少鍛煉3次。

Q：你會(huì)給自己時(shí)間思考一些事情嗎？像之前說的冥想，工作間隙停下來思考一下，下一步該怎么做？

A：我可能應(yīng)該這樣做，但沒來得及。我有點(diǎn)太忙了，然后停止冥想。

Q：如何平衡職業(yè)生活與個(gè)人愛好、興趣？除了研究之外，你會(huì)利用空閑時(shí)間做什么？

我沒有太多空余時(shí)間做其他事，不是非常擅長(zhǎng)平衡工作和生活，也不認(rèn)為每個(gè)人都應(yīng)該渴望做到平衡。事實(shí)是，能夠持續(xù)努力工作的人會(huì)更加成功。沒有哪個(gè)超級(jí)成功的人是不努力工作的。我從別人那里聽到的一個(gè)好策略是每周休息一天，其他日子都工作。當(dāng)然有時(shí)上上推特，也見見朋友，但可能也只是每周幾次這樣。

不過我很喜歡旅行。在谷歌的時(shí)候幾乎嘗試參加所有外地會(huì)議，這會(huì)很有趣，而且這是結(jié)識(shí)新朋友和去新城市的好機(jī)會(huì)，非常酷。

對(duì)研究員的四點(diǎn)建議，推廣與宣傳不可忽視

Q：對(duì)于年輕研究人員如何更有效地發(fā)表論文有什么建議嗎？

A：這篇博文（原文鏈接：https://www.jasonwei.net/blog/practicing-ai-research）包含了我對(duì)于那些想成為更好的研究人員的人的大部分建議。分為四個(gè)主要部分，第一，提出或選擇一個(gè)研究想法；第二，進(jìn)行實(shí)驗(yàn)；第三是寫論文；第四是做宣傳。研究者可以積極提升這四項(xiàng)技能中的每一項(xiàng)。

• 首先，想法選擇。

提出或選擇一個(gè)要研究的課題，即“研究品味” – 每個(gè)人都應(yīng)該選擇讓自己感到滿足的研究類型，但不同的研究口味的影響力并不相同。我喜歡簡(jiǎn)單、通用且經(jīng)得起時(shí)間考驗(yàn)的研究課題，并盡量避免復(fù)雜、任務(wù)特定或短暫的項(xiàng)目。一個(gè)好的建議是要么（1）在一個(gè)熱門課題上做得比其他人更好，要么（2）在可能成為下一個(gè)熱門課題的領(lǐng)域上工作。策略一風(fēng)險(xiǎn)較低，需要非常努力。策略二風(fēng)險(xiǎn)較高，但潛在回報(bào)非常大。剛開始時(shí)，向經(jīng)驗(yàn)豐富的研究人員詢問他們的興趣，并選擇他們認(rèn)為令人興奮的課題是合理的。

大多數(shù)人（包括我自己）在想法選擇上會(huì)受益匪淺，因?yàn)閮?yōu)秀的想法選擇可以極大地提升研究的影響力。相反，無論執(zhí)行得多么出色，如果研究課題狹窄且發(fā)展空間有限，項(xiàng)目的影響力都會(huì)受到限制。我還學(xué)到了識(shí)別已投入成本謬誤的重要性 – 當(dāng)我意識(shí)到在醫(yī)學(xué)影像人工智能研究中進(jìn)展不大時(shí)，我完全放棄了那個(gè)方向，并開始進(jìn)行自然語言處理的研究。

• 技能二：實(shí)驗(yàn)設(shè)計(jì)和執(zhí)行。

在確定了研究課題之后，下一步是設(shè)計(jì)和執(zhí)行實(shí)驗(yàn)，以證明一個(gè)想法有效，或者回答一個(gè)科學(xué)問題。實(shí)驗(yàn)設(shè)計(jì)通常是直接的，作為嚴(yán)謹(jǐn)性的檢查，我喜歡向同事展示我的結(jié)果，并詢問是否有遺漏的地方。快速執(zhí)行實(shí)驗(yàn)是有益的，因?yàn)闀r(shí)間成本很高，而且可以向合作者表明你對(duì)項(xiàng)目的承諾。然而，為了速度而犧牲質(zhì)量是不好的，因?yàn)橹匾氖菢淞⒆鰢?yán)謹(jǐn)和全面實(shí)驗(yàn)的聲譽(yù)，即使是出色的想法也可能因?yàn)閳?zhí)行混亂而毀掉。

• 技能三：撰寫論文。

論文的寫作方式可以極大地改變它的接收結(jié)果。從宏觀上講，我仔細(xì)考慮如何將實(shí)驗(yàn)結(jié)果與該領(lǐng)域的廣泛背景聯(lián)系起來，以便讀者知道結(jié)果的重要性。我努力確保論文的結(jié)構(gòu)清晰，邏輯流暢，并遵循學(xué)術(shù)寫作的規(guī)范。此外，我注重使用清晰而準(zhǔn)確的語言，避免使用模糊或含糊不清的術(shù)語。我還會(huì)請(qǐng)同事或?qū)煂?duì)論文進(jìn)行審查，以獲取反饋和改進(jìn)建議。最后，我相信在撰寫論文時(shí)要保持耐心和恒心，因?yàn)檫@是一個(gè)需要時(shí)間和精力的過程。

• 技能四：影響力最大化。

最終的技能主要在論文發(fā)表后出現(xiàn)，最大化你工作的影響力。尤其是關(guān)于推廣工作這部分，很多人做得還遠(yuǎn)遠(yuǎn)不夠。我認(rèn)為這是最被低估的技能，也是最容易提高的技能。最大化影響力的方法有很多，在 Twitter 上宣傳工作、發(fā)表演講、在會(huì)議上發(fā)言、撰寫后續(xù)論文、錄制 YouTube 視頻、撰寫博客文章等。Twitter 上打廣告可能是單位努力的最高回報(bào)。開源代碼、數(shù)據(jù)或模型，以便其他人可以在此基礎(chǔ)上運(yùn)行實(shí)驗(yàn)也很重要。

Q：許多研究者覺得推廣和宣傳工作干擾主線，但實(shí)際上推廣工作盡管費(fèi)事，但卻非常重要對(duì)吧。

A：很同意。雖然有點(diǎn)煩人，也不是研究中最有趣的部分，但貝爾實(shí)驗(yàn)室著名數(shù)學(xué)家Richard Hamming的建議是，應(yīng)該花與實(shí)際工作（做實(shí)驗(yàn)寫論文）一樣多的時(shí)間來做宣傳。

（編者注：Richard Hamming原話曾經(jīng)這樣說，許多原本優(yōu)秀的工作因?yàn)樵愀獾男麄鞫链蠛＃髞碛直黄渌酥匦掳l(fā)現(xiàn)。很多時(shí)候，重要工作的發(fā)現(xiàn)者懶得把研究結(jié)果清楚地表達(dá)出來，導(dǎo)致工作的社會(huì)價(jià)值大打折扣。）

本文（含圖片）為合作媒體授權(quán)微新創(chuàng)想轉(zhuǎn)載，不代表微新創(chuàng)想立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問，請(qǐng)聯(lián)系http://www.i0562.net/。