大模型逐鹿AI搜索,「天工」跑在了前面
聲明:本文來自于微信公眾號 機器之心(ID:almosthuman2014),作者:機器之心,授權微新創想轉載發布。
最近一段時間,科技領域的新產品都講究個「大模型加持」,技術競爭進入了白熱化,不論谷歌、微軟還是 Meta 仿佛瞬間都回到了自己年輕時的樣子。
隨著技術的快速發展,越來越多的人開始討論大模型的應用。在落地上,首當其沖的就是谷歌一直有著主導地位的搜索。
在 ChatGPT 發布不久之后,占據先手優勢的微軟放出的第一波大模型應用產品正是搜索引擎。北京時間2月8日凌晨,微軟發布重大公告,爭分奪秒的宣布將大模型技術引入到自家的搜索引擎中。
這一次,數十年處于霸主地位的谷歌搜索,感受到了微軟新必應帶來的「震感」,也讓我們看到了 AI 搜索引擎成為了大模型技術落地應用的戰略要地。
近日,國內公司昆侖萬維加入了「AI 搜索引擎」的這場逐鹿之戰,宣布推出國內第一款融入大語言模型的搜索引擎 —— 天工 AI 搜索,并開啟內測申請且上線了 App。
內測鏈接:tiangong.cn
在這篇文章中,我們就來看下,天工 AI 搜索如何挑戰傳統搜索?實際用起來效果又如何。
為何始于搜索?
為何早早發布「天工」大語言模型的昆侖萬維,將大模型技術在 C 端的第一款產品落在搜索引擎場景?
最終原因,還是在于搜索的重要性與大模型技術帶來的革新潛力。
由于技術的快速迭代,很多科技公司提出了「基礎模型」,開發者根據自身的需求可以在其之上構建商業應用,不過基于它們實現的大規模工業轉型,效果還沒有顯現。
但在消費級領域,生成式 AI 似乎擁有更加明顯的應用前景。從今年2月開始,微軟、OpenAI、谷歌和百度等先行者的行動看來,不約而同地把大模型的能力引入到自家的搜索引擎當中,受到了人們的歡迎。
大模型時代來了,我們的生活會發生哪些改變?在看到過 ChatGPT 的震撼效果之后,我們都對此進行過或是嚴肅或是夸張的想象,有一個共識是:它可能會在科技公司的產品上無處不在,越是需要與計算機互動的工作,顛覆就會越強烈。
在與計算機互動的過程中,搜索引擎是基礎且「無感」的應用。長期以來,搜索幾乎沒有出現過明顯的形態變化,人們也越來越傾向于選擇頭部幾家服務。
大模型問世后,傳統搜索可能會被顛覆,這個格局有機會被打破:通過結合質變之后的 AI 技術,過去以關鍵詞為起點的搜索動作,已變成了發出指令「讓人工智能干活」,我們不再需要思考檢索的方式,或是在搜索結果中繁瑣地篩選可能有用的內容或是入口,AI 會一站式地解決問題。
通過大模型特有的思維鏈(CoT)能力,新一代搜索系統可以充分理解人們提出的問題和找到的內容,分析你的意圖,和你進行持續有效的互動,生成有意義的內容。
簡單來說,AI 現在已經有了點「邏輯」,它可以真正作為我們的個人助理,因為滿足大量復雜的需求而成為流量入口,也可以作為初步的生產力工具解決工作上的問題。
基于大模型的搜索能力,我們可以期待在不遠的未來,對于信息的需求會獲得極大滿足,讓 AI 整合資料能大幅提升知識獲取的效率,而 AI 生成則可以用以前無法想象的速度完成任務。
另一方面,一個可以充分理解人類意圖的 AI 也能連接各種服務,讓行程制定、會議紀要不再需要時間,隨著不斷使用,它還會變得越來越聰明。
如果存在這樣的大模型應用,它難道不就是我們心心念念的,可以幫我們與這個世界打交道的「超級 APP」?
全量 AI 搜索體驗,而且更方便
既然已經有產品上線,那么它的具體效果如何?
作為參加內測的首批用戶,機器之心第一時間試了試天工 AI 搜索的成色。一番體驗下來, 我們切實感受到了與傳統搜索引擎的不同之處。
這款 APP 名叫「天工 AI 助手」,新用戶下載就能體驗,如果是老用戶,也只需要更新 APP 就能體驗。它的用戶界面設計很簡單:在搜索框中點進去,就可以問自己想要了解的任何問題了。另外,利用「AI 對話」功能,你還可以體驗與天工 AI 助手聊天互動、創作文本等常規大模型的能力。
我們知道,傳統搜索引擎主要是以關鍵詞為導向的,輸入文字后得到與關鍵詞匹配的海量結果,以關聯程度為順序排列(不考慮廣告的話)。但這種方式有時未必就能給你真正想要的答案,畢竟即使是論文也存在標題黨,而如果搜索一長段話,搜索引擎很少會考慮輸入內容的邏輯。
天工 AI 搜索主打的是自然語言搜索,就是用大白話進行提問,不用遣詞造句,或是使用信息檢索課中提到的「操作符」,想怎么問就怎么問。天工 AI 搜索不僅能輕松分析并 Get 到你的真實意圖,還能捕捉到問題中的上下文關系,使搜索結果更精確、更相關。
它也大幅度改變了搜索引擎輸出結果的邏輯,簡單給出一個問題就可以看到,天工 AI 搜索的界面從上到下分成了三個部分來呈現,分別為參考、回答和追問。
這正是天工 AI 搜索與傳統搜索的不同之處:它首先會展示出參考信息源,并且這些信息源是對回答問題最具參考價值;然后基于 AI 大模型能力對參考內容概括總結,去除冗余和關聯不大的信息,更高效、準確地生成簡明扼要的回答。
作為搜索結果(回答)中引用信息源的參考,是天工 AI 搜索的第一大亮點。這些列出的參考保證了回答是可以追溯和值得信賴的,通過對應的索引讓你直接鏈接到原始信息。參考信息源也很豐富,不僅有新聞網站、知識問答平臺,還有機構官網、視頻等。
來到最底部,則是天工 AI 搜索的「追問」功能,體現了搜索引擎大模型的一面,它可以讓你圍繞一個問題展開20+ 輪次的深度交互。
搜索引擎的特點在于能針對你的需求輸出即時準確的信息,而大模型的強項是打破了人機之間的壁壘,可以和你有效進行對話,充分理解上下文內容,并給出準確的回應。
接下來我想了解一下谷歌在2017年發表的那篇影響了自然語言處理(NLP)發展方向的大作。天工 AI 搜索給到了這篇論文的題目、架構原理以及產生的影響,簡直像是對論文做了一個摘要總結。
我們繼續追問,在 NLP 領域里曝光率極高的 Transformer 早已經擴展到了計算機視覺領域。谷歌在視覺 Transformer 領域的工作 Vision Transformer 有哪些厲害的地方呢?天工 AI 搜索讓我們了解到 ViT 相較于傳統卷積和循環神經網絡的優勢、更出色的建模能力和更強的可解釋性,以及為計算機視覺領域帶來的積極影響。
當初寫 Transformer 論文的幾位作者,現在已經都算是大神了吧,他們都怎么樣了?那就接著往下問。
由此可見,天工 AI 搜索的無限追問賦予了你我「打破砂鍋問到底」的能力,一件事情的來龍去脈都可以在它那里找到答案。
除了通過追問讓你化身「萬事通」之外,天工 AI 搜索在大模型的加持下具備強大的信息整合、提煉和串聯能力,從而在應對開放式問題時更加游刃有余、答之有物。
這次我來問一個目前大模型領域沒有定論的熱點話題,開源還是閉源?看看天工 AI 搜索會給我們什么答案。它的回答首先點明不能一概而論,然后詳細羅列了開源和閉源的優勢,最后建議企業和研究機構根據自身情況選擇開源或閉源,可以說非常全面了。
大模型的搜索引擎不僅能接得住追問,而且還能拿捏很多細節。天工 AI 搜索在知識類、創意類搜索方面更是強于傳統搜索。
比如給出下面一個編程題目,它會先進行解釋,再輸出代碼實現。當然解法的來源鏈接也都列好了。
另外你也可以基于這個結果進行追問,一步步了解這個代碼的原理。
再來一個創意類的問題,比如我想利用生成式工具 Stable Diffusion 和 Runway 創作一部科幻大片,但不知道怎么做。天工 AI 搜索給出了非常詳細的準備步驟,可見要比自己總結快得多。
接著追問,我想寫一個以海洋遭到核污染導致人類滅亡為主題的故事,但不知道如何創作劇本。同樣交給天工 AI 搜索,回答依然條理清晰、邏輯性強。
實時性是搜索引擎的重要要求,天工 AI 搜索在這方面做出尤為出色,它用整個網絡作為資料庫保證了輸出的實時性。
比如我想了解一下 Meta 上周五發布的代碼大模型 Code Llama,以及在它的基礎上超越 GPT-4的大模型。從天工 AI 搜索那里,我們知道這個超越 GPT-4的大模型是 WizardCoder34B 以及它的一次生成通過率。
最后,天工 AI 搜索非常友好的一點是每輪次的搜索結果都不會丟失,保存在「我的歷史」中,以便你隨時回看搜索內容。并且,所有客戶端都是統一的。
天工大模型和 AI 增強技術
看起來挺好用的天工 AI 搜索,背后應用了哪些技術?它的最重要依托是昆侖萬維此前推出的千億級大語言模型「天工」。
作為國內首個對標 ChatGPT 的雙千億級大語言模型,「天工」部署在國內領先的 GPU 集群上,整合了千億級預訓練基座模型與千億 RLHF 模型。因此,模型擁有了強大的自然語言處理和智能交互能力,在豐富的知識儲備加持下,可以滿足知識問答、文案創作、邏輯推理、數理推算、代碼編程等多樣化生成式 AI 需求。
昆侖萬維表示,利用大模型能力,新一代搜索引擎正在變得更加聰明。另一方面,基于搜索的實時內容,大模型在內容生成時幻覺等現象出現的概率也被降低。在天工 AI 搜索的背后,昆侖萬維在多個角度進行著重改進,革新了傳統搜索引擎的體驗。
具體而言,提升主要體現在五個方面:
意圖識別和理解:傳統搜索引擎中,用戶經常需要多次嘗試搜索語句。天工 AI 搜索在檢索前會使用大模型對用戶問題做 Query 改寫,不僅可以深入地挖掘用戶真實意圖,還能準確捕捉到查詢中的上下文關系,帶來更加精確和相關的搜索結果。
智能摘要:在開放式問題上,通過「Dense Passage Retrieval」(DPR)技術,利用雙編碼器模型對問題和潛在相關文檔(例如維基頁面或論壇文章)進行編碼、計算相似度,確保準確檢索到高相關性文檔及關鍵段落。
向量語義檢索:昆侖萬維為搜索引擎構建了一套大規模實時向量檢索系統,并在搜索的多個環節發揮作用,包括精準內容定位、增強內容多樣性、提升上下文連貫性等。通過召回用戶之前查詢的搜索結果,提高搜索結果與用戶交互的連貫性,打造了一種更自然、流暢的搜索對話體驗。
智能追問技術,它為天工 AI 搜索的無限追問提供了支持。昆侖萬維表示,該技術的核心是充分理解用戶的查詢,并在需要更多信息時提出追問。追問的實現不僅離不開「意圖識別、信息完備性檢測、問題生成、用戶反饋接收、動態調整與學習、上下文感知」等步驟,還需要對話、用戶查詢日志、追問反饋等大量數據持續訓練。當然也需要不斷迭代和優化,通過準確把握用戶多遍需求,使回答始終不偏題。
此外,天工 AI 搜索也實現了跨語言的檢索(Cross-LanguageInformation Retrieval,CLIR),即使你提問時使用的是中文,AI 生成內容時尋找的信息也并不僅是中文,但呈現結果時全部都已翻譯并整合好了。這種方式不僅大大擴展了搜索的知識邊界,也確保用戶能夠接觸到最新、最全面的全球資訊和研究成果。
更重要的一點是,天工 AI 搜索會自動過濾收費網頁和無效信息,也沒有廣告,排在前面的都是有效參考鏈接。
在這些能力的加持下,AI 搜索既能看懂你的長難句,也能從全球的網絡中搜羅信息,整理出邏輯清晰的答案,如果獲得了你的反饋還能不斷改進。一個能夠解決所有問題的萬能 AI 已經初具雛形。
或許,超級應用的開始就是這個樣子。