聲明:本文來自于微信公眾號 機器之心（ID:almosthuman2014），作者:Esther，授權(quán)微新創(chuàng)想轉(zhuǎn)載發(fā)布。

大模型爆火的一年中，生成式 AI 行業(yè)最重要的發(fā)展瓶頸出現(xiàn)在算力側(cè)。9月20日，紅杉美國在文章《生成式 AI 的第二幕》提到，許多生成式人工智能公司在過去一年中很快發(fā)現(xiàn)，自身的發(fā)展瓶頸不是客戶需求，而是 GPU 緊張。漫長的 GPU 等待時間成為常態(tài)，以至于一個簡單的商業(yè)模式出現(xiàn)了:支付訂閱費以跳過排隊，而獲得更好的模型。

在大模型的訓(xùn)練中，參數(shù)規(guī)模的指數(shù)級增加，帶來了訓(xùn)練成本的急劇攀升。對于緊張的 GPU 資源，盡可能地發(fā)揮出硬件的性能，提高訓(xùn)練效率，變成一件更加重要的事情。

AI 開發(fā)計算平臺是一個重要的解決方案。利用 AI 開發(fā)計算平臺，一個大模型開發(fā)者可以一站式完成覆蓋數(shù)據(jù)準(zhǔn)備、模型開發(fā)、模型訓(xùn)練及模型部署的 AI 開發(fā)全流程。除了能夠降低大模型開發(fā)的門檻，AI 計算平臺通過提供訓(xùn)練優(yōu)化以及推理管理服務(wù)，讓計算資源變得更加高效。

9月26日，根據(jù)京東云在西安城市大會上對言犀 AI 開發(fā)計算平臺的介紹，使用京東云所推出的言犀 AI 開發(fā)計算平臺，不到一周時間，即可完成從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、到模型部署的全流程;之前需要10余人的科學(xué)家團(tuán)隊工作，現(xiàn)在只需要1-2個算法人員;通過平臺模型加速工具優(yōu)化，使用團(tuán)隊能夠節(jié)約90% 的推理成本。

更重要的是，在大模型快速走入千行百業(yè)的當(dāng)下，言犀 AI 開發(fā)計算平臺通過對大模型算法開發(fā)者和應(yīng)用開發(fā)者同時賦能，對于應(yīng)用開發(fā)者還能夠使用低代碼的形式實現(xiàn)大模型產(chǎn)品開發(fā)。產(chǎn)業(yè)大模型開發(fā)變得門檻更低，利用和改造大模型，將更加簡單了。

大模型時代，需要新的數(shù)字基礎(chǔ)設(shè)施

對一個大模型開發(fā)者來說，如果沒有 AI 開發(fā)計算平臺，意味著:在算法和應(yīng)用的開發(fā)過程中，需要自己搭建底層 GPU 算力資源的調(diào)度、存儲網(wǎng)絡(luò)、模型管控等一系列體系，整體開發(fā)過程將非常原始且門檻非常高。

而對于一個正在在內(nèi)部推行大模型行業(yè)應(yīng)用的公司來說，這意味著成本的迅速上升，以及訓(xùn)練效率的難以保證。

一年時間過去，金融、營銷、汽車、內(nèi)容、法律、辦公等行業(yè)正在積極與大模型做結(jié)合。大模型的強大勢能成為許多行業(yè)里重構(gòu)競爭格局的重要影響因素。更快地找到自己業(yè)務(wù)與大模型結(jié)合的場景，并高效地落地執(zhí)行，成為競爭的關(guān)鍵。

但發(fā)展行業(yè)模型并不是一件順利的事，如今仍然面臨一系列的挑戰(zhàn)和機遇:

數(shù)據(jù)上，不同行業(yè)的數(shù)據(jù)呈現(xiàn)不同的集中度和分散狀態(tài)，數(shù)據(jù)準(zhǔn)備周期和處理難度各有千秋;海量多模態(tài)的數(shù)據(jù)在訓(xùn)練時如何高效加載，是一個必須要解決的問題。

其次，大模型訓(xùn)練時環(huán)境的穩(wěn)定性，故障斷點恢復(fù)及接續(xù)訓(xùn)練的處理，對訓(xùn)練效率產(chǎn)生很大影響;在訓(xùn)練和部署環(huán)節(jié)，如何高效的進(jìn)行算力調(diào)度，提升算力資源利用率，也是企業(yè)必須考慮的成本問題。

京東云在西安城市大會上的分享稱，在過去一段時間的實踐中，京東云發(fā)現(xiàn)，產(chǎn)業(yè)大模型的挑戰(zhàn)不僅僅在于技術(shù)本身，如何將技術(shù)與行業(yè)應(yīng)用場景相結(jié)合，如何平衡成本、效率、體驗，才是大模型行業(yè)落地的真正挑戰(zhàn)。

回歸到最基礎(chǔ)的開發(fā)層面，平衡好成本、效率、體驗，意味著需要重新解決并優(yōu)化一些問題。

京東云 IaaS 產(chǎn)品研發(fā)部負(fù)責(zé)人龔義成在采訪中進(jìn)一步解釋稱，大模型時代對開發(fā)基礎(chǔ)設(shè)施的要求與傳統(tǒng)已經(jīng)產(chǎn)生了巨大的差別。在效率層面上，過去 AI 開發(fā)過程中，即使是相對低成本一些的 GPU 也可以完成很多相關(guān)工作，但是在大模型場景下，AI 開發(fā)已經(jīng)嚴(yán)重依賴 A100、A800等高成本 GPU，對 GPU 的算力和性能要求變得更高，成本也隨之快速攀升。

“因此，在高昂的成本下，如何把這些硬件性能壓榨到極致，對于大模型開發(fā)的成本效率就變得尤為重要?！?/p>

在過往 AI 的開發(fā)中，數(shù)據(jù)吞吐的并發(fā)度并沒有像大模型這么大，因為它需要許多 GPU 同時工作，因此即使本身數(shù)據(jù)量不大，但大模型的并發(fā)讀取以及可能帶來的延遲問題，對高性能的存儲提出了新的要求，過往的存儲機制通常無法滿足。

龔義成還提到，由于數(shù)據(jù)存取過程中，如果延遲越低，那么整個模型的效率就會更高。如果利用自研的智能芯片，就可完全采用低延遲的網(wǎng)絡(luò)，那么就能幫助整個模型訓(xùn)練效率的提升。

另外，在規(guī)模層面上，千億參數(shù)以上的大模型訓(xùn)練基本都要用到千卡以上進(jìn)行訓(xùn)練。龔義成分享稱，這在以往的 AI 開發(fā)中是極其少見的，因此這對開發(fā)提出了很高且全新的經(jīng)驗要求，對應(yīng)的開發(fā)基礎(chǔ)設(shè)施也完全不一樣。

對于想要提高大模型開發(fā)效率，幫助大模型更好得在行業(yè)中落地的公司來說，一套新的基礎(chǔ)設(shè)施成為了必要。

京東云發(fā)布言犀 AI 計算平臺

9月26日，京東在西安城市大會上正式對外發(fā)布了言犀 AI 開發(fā)計算平臺，產(chǎn)品覆蓋了數(shù)據(jù)準(zhǔn)備、模型開發(fā)、模型訓(xùn)練及模型部署的 AI 開發(fā)全流程能力，預(yù)置了主流開源大模型以及部分商業(yè)化大模型，以及一百多種推理工具和框架，能夠有效降低大模型開發(fā)門檻和成本。

在性能提升方面，言犀 AI 開發(fā)計算平臺在算力和存儲上做了許多技術(shù)突破。在底層，平臺能夠進(jìn)一步對 GPU 算力進(jìn)行整體調(diào)度和統(tǒng)籌，提高對平臺的底層資源使用的調(diào)度效率。

根據(jù)京東云方面的分享，算力方面京東云將在平臺中提供第五代的云主機，各種高性能的產(chǎn)品形態(tài)，可以提供算力最大可以支持?jǐn)?shù)十萬的 GPU 節(jié)點規(guī)模。網(wǎng)絡(luò)層面則通過自研 RDMA 擁塞算法，全局調(diào)控 RDMA 網(wǎng)絡(luò)流量路徑，不同 GPU 節(jié)點最大支持3.2Tbps RDMA 網(wǎng)絡(luò)帶寬，傳輸時延低至2us 左右作為基礎(chǔ)能力支撐。

在存儲方面，針對大模型訓(xùn)練數(shù)據(jù)吞吐量大的情況，京東云的云海分布式存儲，能夠支持大模型海量數(shù)據(jù)高并發(fā)集群要求，可以做到千萬級 IOPS，延遲低至百微秒。配合新的存算分離的架構(gòu)，云海可為客戶節(jié)省整體基礎(chǔ)設(shè)施成本超30%，現(xiàn)已在高性能計算、AI 訓(xùn)練等新興場景以及音視頻存儲、數(shù)據(jù)報表等傳統(tǒng)場景廣泛應(yīng)用。

除了能夠優(yōu)化底層資源，言犀 AI 計算平臺能夠幫助大模型開發(fā)者提高全鏈路效率提高，高效實現(xiàn)數(shù)據(jù)處理、模型開發(fā)、訓(xùn)練、部署、評測以及訓(xùn)練推理優(yōu)化、模型安全等工作:

• 在數(shù)據(jù)管理環(huán)節(jié)，言犀能夠通過智能標(biāo)注模型、數(shù)據(jù)增強模型、數(shù)據(jù)轉(zhuǎn)換工具集，幫助模型開發(fā)者實現(xiàn)數(shù)據(jù)導(dǎo)入、清洗、標(biāo)注以及增強所有環(huán)節(jié)，支持多種文件格式的數(shù)據(jù)導(dǎo)入和智能解析、提供自動、半自動的數(shù)據(jù)標(biāo)注能力。幫助解決數(shù)據(jù)環(huán)節(jié)存儲分散、數(shù)據(jù)格式不一、數(shù)據(jù)質(zhì)量參差不齊、人工標(biāo)注數(shù)據(jù)效率低等問題。

• 在分布式訓(xùn)練環(huán)節(jié)，言犀平臺適配國產(chǎn)硬件，支持 HPC，集成高性能文件系統(tǒng);提供資源的分配調(diào)度策略，保證硬件資源被充分利用;提供統(tǒng)一的交互接口，簡化訓(xùn)練任務(wù)的管理。幫助解決網(wǎng)絡(luò)和算法的復(fù)雜度快速增長，帶來計算資源的稀缺和浪費;HPC、高性能計算、高性能文件系統(tǒng)、異構(gòu)硬件的使用和適配困難;模型訓(xùn)練的多樣性，訓(xùn)練學(xué)習(xí)成本提高等問題。

• 無代碼開發(fā)能力方面，則進(jìn)一步簡化產(chǎn)大模型開發(fā)過程。用戶能夠直接選擇平臺內(nèi)置的大模型，上傳數(shù)據(jù)后，之后繼續(xù)選擇訓(xùn)練方式，指定超參和 AutoML 兩種無代碼訓(xùn)練方式之一后，得到一個微調(diào)模型或者應(yīng)用。

• 在應(yīng)用層，言犀平臺內(nèi)置了問答開發(fā)、文檔分析開發(fā)、插件開發(fā)等常用應(yīng)用場景的無代碼開發(fā)工具。選擇模型、知識庫、Prompt 模版以及開發(fā)平臺后，一鍵部署。并且能夠支持監(jiān)控、追蹤測試以及測試評估。

整體上，言犀 AI 開發(fā)計算平臺能夠滿足不同專業(yè)程度的用戶的使用需求。對于大模型算法開發(fā)者來說，能夠全流程支持從數(shù)據(jù)準(zhǔn)備、選擇模型、代碼調(diào)優(yōu)、部署發(fā)布等工作。對于應(yīng)用層開發(fā)者，能夠利用無代碼的方式，可視化點按選擇模型、上傳數(shù)據(jù)、配置參數(shù)，無需寫代碼即可實現(xiàn)任務(wù)引發(fā)，開始模型任務(wù)的訓(xùn)練，進(jìn)而降低門檻。

在引入模型方面，目前平臺已經(jīng)內(nèi)置了言犀、星火、LLama2等商業(yè)模型以及開源模型。龔義成表示，言犀對模型的選擇思路更傾向于重視質(zhì)量多過數(shù)量:選擇各個技術(shù)領(lǐng)域相對優(yōu)秀的商業(yè)模型，以及一些圍繞基礎(chǔ)模型打造的行業(yè)模型，避免用戶陷入選擇焦慮。

并且，之后言犀將重點引入京東基于基礎(chǔ)模型打造的行業(yè)模型應(yīng)用，如零售、健康場景以及在實際上已經(jīng)實現(xiàn)規(guī)?；涞氐男袠I(yè)應(yīng)用模型放到平臺上，幫助平臺的開發(fā)者來推進(jìn)相關(guān)業(yè)務(wù)的落地。

目前言犀共有三種方式交付方式:一是 MaaS 服務(wù)形式，開發(fā)者開發(fā)者可以通過 API 采用按量付費、成本經(jīng)濟的方式探索和使用大模型;二是，公有云 SaaS 版，用戶可以通過平臺提供的一站式模型開發(fā)、訓(xùn)練和部署的能力，基于公有云資源彈性供應(yīng)的優(yōu)勢，以最小化的成本啟動產(chǎn)業(yè)大模型的開發(fā)和部署。三是私有化交付版本，滿足對數(shù)據(jù)安全有更多特殊要求的客戶，數(shù)據(jù)完全本地化。

未來，言犀還將繼續(xù)升級平臺能力，在國產(chǎn)硬件覆蓋、模型生態(tài)合作、插件開發(fā)、應(yīng)用評測服務(wù)、一體機交付、Agent 開發(fā)服務(wù)等方面繼續(xù)完善，體系化地幫助解決產(chǎn)業(yè)大模型的開發(fā)和實施困難、大模型應(yīng)用的開發(fā)困難、模型訓(xùn)練推理成本昂貴、模型和應(yīng)用獲取困難、高性能計算、高性能文件、異構(gòu)硬件的使用和適配困難等問題。

推動大模型在千行百業(yè)落地

在西安城市大會上，京東集團(tuán)技術(shù)委員會主席、京東云事業(yè)部總裁曹鵬在演講中提到，在大模型逐漸向產(chǎn)業(yè)落地的過程中，希望做到提升更好的產(chǎn)業(yè)效率、產(chǎn)生更大的產(chǎn)業(yè)價值、能夠在更多的場景里復(fù)制，實質(zhì)上是對模型的訓(xùn)練過程以及基礎(chǔ)設(shè)施提出了更高的要求:模型需要更加易用、要做到更低門檻更低成本、并且可以靈活調(diào)用算力。

AI 開發(fā)計算平臺是解決這些問題的重要方案之一，一個高性能且易用的 AI 開發(fā)計算平臺能夠讓更多行業(yè)方低成本地參與到大模型行業(yè)建設(shè)當(dāng)中來，激發(fā)更多產(chǎn)業(yè)大模型的出現(xiàn)，加速大模型在千行百業(yè)的落地。

在實際的市場中，龔義成稱，行業(yè)客戶在選擇 AI 計算平臺時，主要會考慮的亮點分別是:行業(yè)理解以及平臺效率。相比于其他 AI 計算平臺，言犀 AI 開發(fā)計算平臺除了能夠提高極致的性能，還能夠結(jié)合京東長期以來在零售、金融、物流、健康等優(yōu)勢場景的經(jīng)驗，擁有更專業(yè)的產(chǎn)業(yè)大模型選擇。

在言犀 AI 計算平臺的模型生態(tài)中，除了內(nèi)置優(yōu)秀商業(yè)模型和開源模型，為了進(jìn)一步降低門檻，言犀 AI 計算平臺還會為這些大模型補充進(jìn)一步的增強能力，比如中文能力、數(shù)學(xué)能力等等，讓用戶能夠選擇更易用專業(yè)的大模型。

更重要的是，由于言犀 AI 開發(fā)計算平臺同時面向大模型應(yīng)用開發(fā)者，支持無代碼的方式構(gòu)建專有模型，除了上述基礎(chǔ)模型外，在言犀平臺還將為用戶提供更多應(yīng)用場景的專有模型，供用戶快速在自己的行業(yè)落地。

目前，言犀平臺所提供的應(yīng)用場景專有模型主要包括問答開發(fā)以及文檔分析開發(fā)等成熟高頻場景。這些應(yīng)用京東在自身的優(yōu)勢領(lǐng)域已被多次驗證，結(jié)合大模型能夠快速提升效率。

以對話工具為例，2021年起，名創(chuàng)優(yōu)品和京東云達(dá)成合作，將京東云旗下言犀在客戶服務(wù)方面的系列技術(shù)產(chǎn)品應(yīng)用在名創(chuàng)優(yōu)品，涵蓋名創(chuàng)優(yōu)品門店客服團(tuán)隊、用戶運營團(tuán)隊、IT 服務(wù)運維團(tuán)隊。2022年4月，言犀系列產(chǎn)品陸續(xù)上線，包含了在線客服機器人、語音應(yīng)答機器人、語音外呼機器人、智能質(zhì)檢、智能知識庫等一系列智能化產(chǎn)品，帶來了顯著的成效。

反饋數(shù)據(jù)顯示，目前言犀系列產(chǎn)品日均咨詢服務(wù)量近10000次，其中在線客服機器人應(yīng)答準(zhǔn)確率超過97%，獨立接待率超過70%，降低40% 的服務(wù)成本;語音應(yīng)答機器人應(yīng)答準(zhǔn)確率超過93%，獨立處理了46。1% 的客戶問題;智能質(zhì)檢累計完成數(shù)十萬次，發(fā)現(xiàn)并處理近3000服務(wù)風(fēng)險問題，用戶滿意度提升20%;智能知識庫內(nèi)容涵蓋了「名創(chuàng)優(yōu)品」品牌下約8800個核心 SKU，以及「TOP TOY」品牌下約4600個 SKU。

在大模型的落地實踐進(jìn)程已經(jīng)到了從單點向外普及的階段。在產(chǎn)業(yè)中，還有許多類似名創(chuàng)優(yōu)品的產(chǎn)業(yè)公司，對話機器人場景能夠為他們帶來更大的價值。而言犀 AI 開發(fā)計算平臺的推出，從底層算力、數(shù)據(jù)管理、無代碼應(yīng)用等全鏈路對產(chǎn)業(yè)公司的賦能，將為這些公司提供一個更更低門檻更低成本、更短訓(xùn)練周期的大模型產(chǎn)業(yè)化方案?？梢灶A(yù)見，之后類似名創(chuàng)優(yōu)品的案例將會出現(xiàn)得更加頻繁。

此外，京東云方面強調(diào)，相較于其他其他競品，京東言犀 AI 計算平臺采用的低代碼方面進(jìn)一步拉低了應(yīng)用開發(fā)者的開發(fā)門檻，且高性能存儲方面完全自主、整體技術(shù)體系完整適配度高且性能效率高。

隨著新型數(shù)字基礎(chǔ)設(shè)施的普及，大模型在千行百業(yè)的落地將變得更加快速，成本效率與創(chuàng)新的不可能三角將擁有更開闊的想象空間。