聲明:本文來自于微信公眾號 新智元（ID:AI_era），作者:新智元，授權(quán)微新創(chuàng)想轉(zhuǎn)載發(fā)布。

【新智元導讀】有的生成式AI應(yīng)用，已經(jīng)吸金15億美元了。風頭無限的背后，構(gòu)建應(yīng)用的關(guān)鍵，竟然在于這家企業(yè)的技術(shù)。

生成式AI應(yīng)用，現(xiàn)在已經(jīng)風頭無兩，動輒狂吸數(shù)億美元的投資!

可以說，全世界的大科技公司和獨角獸們，已經(jīng)為生成式AI打造了豐富的生態(tài)系統(tǒng)，版圖還在不斷擴張。

在10月24日剛剛結(jié)束的生成式AI構(gòu)建者大會上，亞馬遜云科技就提出了為用戶構(gòu)建完整端到端生成式AI的技術(shù)堆棧。

具體來說，亞馬遜云科技從5個方面來助力企業(yè)和開發(fā)者釋放生成式AI潛力:

-選擇合適的應(yīng)用場景，從典型場景入手創(chuàng)新業(yè)務(wù)模式

-借助專門構(gòu)建的生成式AI工具和基礎(chǔ)設(shè)施，快速構(gòu)建高性價比的生成式AI應(yīng)用

-夯實數(shù)據(jù)基座，使用私有化數(shù)據(jù)，打造差異化競爭優(yōu)勢

-借助云原生服務(wù)，加速AI原生應(yīng)用構(gòu)建，助力業(yè)務(wù)敏捷創(chuàng)新

-借助開箱即用的生成式AI服務(wù)，消除重復性工作并專注創(chuàng)新本身

根據(jù)IDC在2023年2月發(fā)布的全球CIO快速調(diào)研，金融、能源、醫(yī)療、法律行業(yè)的頭部機構(gòu)，在1年內(nèi)都會嘗試引進大模型以及生成式AI能力。

如今我們可以看到，這項預(yù)測已經(jīng)成真。

為生成式AI定制數(shù)據(jù)

生成式AI，可以用一個公式呈現(xiàn)，即提示詞+上下文+大模型=輸出結(jié)果。

舉個栗子，當一位客戶想要更換球鞋的顏色，他會提出「我買的鞋子可以換成棕色的嗎?」，提出問題便是提示詞。

那么上下文是指，之前購買的歷史對話信息，以及客戶訂單記錄等數(shù)據(jù)。

然后需要尋求大模型，檢索退換貨相關(guān)策略，然后根據(jù)以往的售后處理案例，再給出結(jié)果。

這樣，一個生成式AI應(yīng)用真正的價值就體現(xiàn)了。

但我們要清楚的是，這其中的基礎(chǔ)模型，并不是生成式AI的全部。

若說，在這些華麗的應(yīng)用背后，有著一個非常關(guān)鍵要素——數(shù)據(jù)。

相比于傳統(tǒng)的應(yīng)用，生成式AI在數(shù)據(jù)的利用上，有一套特有的流程。

其所需的能力涉及到從數(shù)據(jù)/語料加工、基礎(chǔ)模型訓練/調(diào)優(yōu)，到數(shù)據(jù)治理、知識召回、提示工程等一系列模塊。

玩轉(zhuǎn)數(shù)據(jù)，可是個技術(shù)活

目前，已經(jīng)有72%的頭部科技公司指出，「管理數(shù)據(jù)」已經(jīng)是阻止他們擴展AI用例的最大挑戰(zhàn)之一。

就拿現(xiàn)在最為火熱的向量數(shù)據(jù)庫來說，它可以可加速AI應(yīng)用程序的開發(fā)，并簡化由AI驅(qū)動的應(yīng)用程序工作負載的運作。

然而，作為一項相對較新的技術(shù)，目前能夠做出高質(zhì)量向量數(shù)據(jù)庫的企業(yè)，并不多。

與此同時，用戶的隱私等問題，也讓企業(yè)對于私有數(shù)據(jù)的采用望而卻步。

對于垂直領(lǐng)域模型的訓練微調(diào)，都需要一定的數(shù)據(jù)累積。

但有些數(shù)據(jù)是無法共享，拿來公開訓練的，比如醫(yī)療領(lǐng)域大模型，涉及患者個人、病歷等私人重要信息。

另外，數(shù)據(jù)質(zhì)量管控不到位、數(shù)據(jù)源分散或者出現(xiàn)數(shù)據(jù)孤島、缺乏數(shù)據(jù)素養(yǎng)等問題，在很多企業(yè)中不知不覺積累了很多「數(shù)據(jù)負債」。

全球領(lǐng)先的解決方案

顯然，面對如此復雜多變的挑戰(zhàn)，企業(yè)需要一套全面且一站式的解決方案，才能真正讓讓生成式AI技術(shù)實現(xiàn)賦能。

簡而言之，就是一個強大的「數(shù)據(jù)底座」。

其中包括，能夠存儲各種類型的數(shù)據(jù)庫，然后能夠提供將多個數(shù)據(jù)源打通的服務(wù)，最后，還需要確保數(shù)據(jù)安全并對其進行管理。

數(shù)據(jù)是每個企業(yè)的核心資產(chǎn)，構(gòu)建差異化優(yōu)勢的基礎(chǔ)

數(shù)據(jù)作為企業(yè)最為核心的資產(chǎn)之一，是在生成式AI浪潮中構(gòu)建差異化優(yōu)勢的基礎(chǔ)。

為此，亞馬遜云科技針對生成式AI的各項需求場景，特別定制了專有的數(shù)據(jù)庫。

場景一:用戶個人信息

對于一個生成式AI應(yīng)用來說，要想讓給出的結(jié)果更加貼合用戶的需求，就需要結(jié)合每個用戶自身的特點。

在把這些信息結(jié)合到Prompt里一起發(fā)送給LLM之后，就可以得到更加個性化的輸出了。

針對這一需求，亞馬遜云科技打造了Amazon RDS和Amazon Aurora這兩個關(guān)系數(shù)據(jù)庫解決方案。

其中，Amazon RDS是一項托管式關(guān)系數(shù)據(jù)庫服務(wù)，總共提供了7種熱門數(shù)據(jù)庫引擎。

Amazon Aurora則是亞馬遜云科技專為云平臺打造的關(guān)系型數(shù)據(jù)庫，具有著高性能、高可用、可擴展性強等特點，而且成本僅有同級數(shù)據(jù)庫的1/10。

場景二:會話歷史信息

除了個人信息外，用戶對話的上下文信息，對于生成式AI應(yīng)用的準確性來說也至關(guān)重要。

通過將歷史對話記錄和用戶最新提出的問題相結(jié)合，并一起發(fā)送給大模型，便可以實現(xiàn)更好的用戶體驗。

對此，亞馬遜云科技打造了Amazon DynamoDB和Amazon DocumentDB。

前者是快速且靈活的NoSQL數(shù)據(jù)庫，對規(guī)模沒有限制。非常適合無服務(wù)器的事件驅(qū)動型架構(gòu)、遍及全球的彈性服務(wù)，以及高吞吐量工作負載。

后者是基于云原生架構(gòu)，全面兼容MongoDB的托管NoSQL數(shù)據(jù)庫。

場景三:私域知識庫信息

眾所周知，通用大模型存在著幻覺、信息時效性差，以及包括token長度限制等各種問題。

尤其是對于企業(yè)內(nèi)部的信息來說，如果讓LLM自由發(fā)揮，很容易就給出了錯誤答案。

但如果能有私有知識的加持，LLM就可以給出更為精準有效的回答。

為了利用這些私域知識，我們可以通過Embedding模型把它們變成向量，并存放在向量數(shù)據(jù)庫里。

當有查詢到來時，通過同樣的Embedding模型生成新的向量，和向量數(shù)據(jù)庫里的數(shù)據(jù)做相似度計算，返回最相近的結(jié)果。

可以說，如果把LLM比作是容易失憶的大腦，那么向量數(shù)據(jù)庫就是這個大腦的海馬體。

對此，亞馬遜云科技有AmazonOpenSearch、Amazon PostgreSQL和Amazon RDS for PostgreSQL等方案。

Amazon Aurora/Amazon RDS PostgreSQL，能夠兼容開源PostgreSQL，易于學習。

Amanzon OpenSearch具備向量和倒排召回能力，可利用現(xiàn)有集群，同時能提供日志檢索能力。

Amazon Kendra是基于機器學習的端到端智能檢索服務(wù)，能夠幫助用戶使用自然語言搜索非結(jié)構(gòu)化文本。

場景四:輸出結(jié)果緩存

緩存，是一種存儲數(shù)據(jù)的組件，作用就在于能夠讓數(shù)據(jù)的請求更快地返回。

直白講，我們每次用網(wǎng)頁查詢后的信息，都會被緩存，當下次再訪問的時候，加載就更快了。

對于生成式AI應(yīng)用來說，用戶發(fā)出請求時，需要調(diào)用模型，輸出結(jié)果。

但是，就像ChatGPT這樣的爆火應(yīng)用，每天收到大量請求，就會出現(xiàn)高并發(fā)階段，存儲數(shù)據(jù)量暴增，數(shù)據(jù)庫的磁盤IO就成為了瓶頸。

因為，數(shù)據(jù)庫的速度和吞吐量，是影響生成式AI應(yīng)用程序整體性能的重要因素。

這時，就需要一種訪問更快的組件——緩存，來提升系統(tǒng)的整體性能。

就是將之前調(diào)用LLM輸入輸出結(jié)果進行緩存，當后續(xù)請求與之前輸入「相似」時，直接就返回內(nèi)存數(shù)據(jù)庫調(diào)用結(jié)果，完成輸出。

這樣一來，就做到了就無需調(diào)用模型就能得到結(jié)果，不僅提高了應(yīng)用的反應(yīng)率，還降低了模型的調(diào)用成本。

亞馬遜云科技對此提供了三種解決方案。

通過針對Redis或Memcached引擎的亞毫秒級的響應(yīng)時間，Amazon ElastiCache可用作高可用性內(nèi)存緩存，以減少訪問延遲、提高吞吐量并減輕關(guān)系數(shù)據(jù)庫或NoSQL數(shù)據(jù)庫的負載。

Amazon ElastiCache for Redis可以提供查詢結(jié)果緩存、持久會話緩存和整頁緩存。

另外，Amazon MemoryDB for Redis專為帶有微服務(wù)架構(gòu)的現(xiàn)代化應(yīng)用程序而構(gòu)建，與Redis兼容、持久的內(nèi)存數(shù)據(jù)庫服務(wù)，可提供超快的性能。

通過解決這四大場景的需求，亞馬遜云科技也就保障了每個企業(yè)都可以充分利用核心的數(shù)據(jù)，來構(gòu)建自己獨有的優(yōu)勢。

數(shù)據(jù)質(zhì)量決定了模型質(zhì)量，是構(gòu)建應(yīng)用的關(guān)鍵

數(shù)據(jù)質(zhì)量，不僅決定了模型質(zhì)量，同時也是構(gòu)建生成式AI應(yīng)用的關(guān)鍵。

而數(shù)據(jù)治理，便是這些應(yīng)用落地的保障。

Gartner數(shù)據(jù)顯示，到2025年，尋求擴大數(shù)字業(yè)務(wù)規(guī)模的組織中有80%將因不采用現(xiàn)代的數(shù)據(jù)和分析治理方法而失敗。

只有實施正確的管理策略，團隊才能隨時訪問高質(zhì)量的數(shù)據(jù)。

但是在實踐中，創(chuàng)建正確的管理控制，往往既復雜又耗時。

ETL是指數(shù)據(jù)的提取、轉(zhuǎn)換和加載過程。以往，業(yè)務(wù)數(shù)據(jù)往往需要通過ETL，才能進行分析從而提供洞察。

然而，這一過程非常耗時且復雜，需要管理復雜的轉(zhuǎn)換代碼和數(shù)據(jù)管道，以及投入一批具備專業(yè)ETL技能的工程師，曾被亞馬遜云科技CEO Adam描述為「不討好、不可持續(xù)的黑洞」。

數(shù)據(jù)集成不應(yīng)是一項人工工作的無底洞，我們需要快速、輕松地連接到所有數(shù)據(jù)，并加以使用。

而「Zero ETL」，就是亞馬遜云科技邁出的關(guān)鍵一步。

Amazon Zero ETL能夠大大幫助客戶簡化數(shù)據(jù)ETL，減少數(shù)據(jù)質(zhì)量問題。

具體來說，它沒有ETL流水線，可以實現(xiàn)交易數(shù)據(jù)的實時分析和機器學習，還能綜合來自多個Aurora數(shù)據(jù)庫的數(shù)據(jù)見解。

此外，亞馬遜云科技數(shù)據(jù)服務(wù)可以與外部數(shù)據(jù)庫實現(xiàn)Zero的集成。

讓數(shù)據(jù)實現(xiàn)一體化融合，將其數(shù)據(jù)庫、數(shù)據(jù)服務(wù)底層打通，由此，數(shù)據(jù)就實現(xiàn)了「無感知」流動。

另外，亞馬遜云科技提出了敏感數(shù)據(jù)保護方案——Amazon DataZone。

它使用內(nèi)置治理的統(tǒng)一平臺，能夠跨組織邊界解鎖數(shù)據(jù)價值。

它支持整個集團的數(shù)據(jù)發(fā)現(xiàn)、管理跨部門的訪問和使用生命周期，對數(shù)據(jù)的共享方式和授權(quán)人進行全面的控制和知曉審計的能力。

在以往，數(shù)據(jù)協(xié)作過程中，往往存在著重重困難。

比如指標定義不一致、可用數(shù)據(jù)難發(fā)現(xiàn)、數(shù)據(jù)權(quán)限難管理等。

通過Amazon DataZone，開發(fā)者和業(yè)務(wù)人員可以通過清晰指標的定義進行數(shù)據(jù)分析，開發(fā)者可以放心使用目錄管理中的數(shù)據(jù)，還能在同一個平臺上對數(shù)據(jù)進行可視化的訂閱和授權(quán)。

這樣，以上困難就都一一解決了。

而賦予Amazon DataZone關(guān)鍵能力的，就是可信賴數(shù)據(jù)集，和簡化數(shù)據(jù)訪問。

有了可信賴數(shù)據(jù)集，就可以對數(shù)據(jù)進行目錄化，找到和發(fā)現(xiàn)數(shù)據(jù)。

而有了簡化數(shù)據(jù)訪問，終端用戶就可以導航到Amazon DataZone的數(shù)據(jù)門戶，并選擇一個項目，來瀏覽他們的數(shù)據(jù)資產(chǎn)。

拉美最大的私營金融機構(gòu)伊塔烏聯(lián)合銀行，就在使用Amazon DataZone進行簡化數(shù)據(jù)治理。

數(shù)據(jù)安全與合規(guī)是重中之重

數(shù)據(jù)安全與合規(guī)，貫穿了從模型訓練、到微調(diào)，再到部署的整個過程，是重中之重。

LLM的火爆，雖然促進了眾多生成式AI的繁榮，卻也同時帶來許多新的安全挑戰(zhàn)。

提示注入、數(shù)據(jù)泄漏、過度依賴LLM生成的內(nèi)容、訓練數(shù)據(jù)污染等問題，林林總總防不勝防。

尤其是，通用模型使用少量的私有數(shù)據(jù)集自定義，就可以執(zhí)行面向特定領(lǐng)域的任務(wù)。這個過程中，私有數(shù)據(jù)集的安全性和保密性，顯然極為重要。

那么，我們該如何保護數(shù)據(jù)隱私，讓數(shù)據(jù)更安全呢?

首先，Amazon Bedrock服務(wù)，就提供了數(shù)據(jù)隱私保護，嚴格做到了「您的數(shù)據(jù)由您自己控制」。

Amazon Bedrock服務(wù)后端實現(xiàn)的架構(gòu)

它保證了客戶的數(shù)據(jù)不會被用于訓練Amazon Titan模型，也不會被共享給其他基礎(chǔ)模型提供商。

客戶的數(shù)據(jù)（提示詞、響應(yīng)、微調(diào)模型）是按用戶隔離的，會被保留在相應(yīng)的地理區(qū)域。

而且，客戶在Amazon Bedrock中的數(shù)據(jù)是被加密傳輸和存儲的，可以使用自帶的密鑰。

其次，Amazon DataZone可以保護數(shù)據(jù)在不同賬號之間安全共享。

它可以保證跨組織的數(shù)據(jù)治理，確保授權(quán)的用戶以授權(quán)的目的，訪問被授權(quán)的數(shù)據(jù)。

在工作流的發(fā)布與訂閱模式、數(shù)據(jù)的授權(quán)、通過數(shù)據(jù)項目和域來訪問數(shù)據(jù)、基于實際使用量的計費、組織結(jié)構(gòu)的復制、與API的集成商，它都保證了數(shù)據(jù)的安全。

全新生成式BI誕生

對于許多企業(yè)來說，都希望通過數(shù)據(jù)驅(qū)動業(yè)務(wù)，形成數(shù)據(jù)飛輪。

只有數(shù)據(jù)被充分利用和挖掘，才能發(fā)揮出巨大的商業(yè)價值。

舉個例子，如果銷售團隊能更好地了解從免費賬戶到付費賬戶的轉(zhuǎn)化率，他們就能優(yōu)化營銷和銷售計劃，從而增加收入。

但是，理解數(shù)據(jù)需要花費大量的時間、精力和知識。如何在海量數(shù)據(jù)中完成分析，并實現(xiàn)可視化，對于一個企業(yè)來說至關(guān)重要。

尤其是，對于那些不懂底層數(shù)據(jù)邏輯，以及沒有任何代碼基礎(chǔ)的企業(yè)用戶。

當前，業(yè)界常見解決方案是——BI工具，解決了大數(shù)據(jù)「最后一公里」的問題。

但是，在生成式AI爆發(fā)的當下，如何利用最新技術(shù)幫助企業(yè)釋放數(shù)據(jù)價值，做出商業(yè)決策?

亞馬遜云科技在自家的BI工具——Amazon QuickSight，推出了生成式BI功能。

通過將Amazon Quicksight的功能與Amazon Bedrock提供的大語言模型功能相結(jié)合，將其稱之為生成式BI。

現(xiàn)在，企業(yè)用戶中任何一個人都可以通過自然語言的提問，了解數(shù)據(jù)。

甚至，業(yè)務(wù)分析師還可以使用自然語言在幾秒鐘內(nèi)快速編寫和微調(diào)視覺效果，并將其添加到儀表板中。

無需學習語法，便可直接使用自然語言創(chuàng)建新的計算。

現(xiàn)在，創(chuàng)建一個新的儀表板或計算只需問幾個問題即可，非常簡單。

另外，業(yè)務(wù)用戶還可以使用自然語言提示來生成分析報告，或在Amazon Quicksight中對其數(shù)據(jù)進行可視化演示。

只需用文字鍵入故事描述，就可以使用相關(guān)儀表板中的數(shù)據(jù)，創(chuàng)建你想要的效果。

比如可以讓其生成對亞馬遜云科技免費試用賬號最感興趣的客戶分類報告，在報告生成后，他們可以根據(jù)需要對其進行修改，并與業(yè)務(wù)團隊共享。

加速生成式AI技術(shù)革命

構(gòu)建生成式AI應(yīng)用，充滿了挑戰(zhàn)性。

這個過程中，涉及到接入和管理多家基礎(chǔ)模型，還要連接不同的數(shù)據(jù)源，數(shù)據(jù)隱私和安全性需要保證。

金山辦公的WPS AI，成功將大語言模型的能力全面引入了產(chǎn)品。

而背后的功臣之一，就是亞馬遜云科技。

客戶的數(shù)據(jù)隱私和安全，一直是WPS的第一優(yōu)先級。

構(gòu)建各種AI的過程中，亞馬遜云科技不會使用客戶數(shù)據(jù)來改進模型，也不會將客戶數(shù)據(jù)與他人共享。客戶數(shù)據(jù)均保留在該客戶所在的區(qū)域中。

因此，Amazon Bedrock成功地助力WPS，加速了各種生成式AI的構(gòu)建。它支持的領(lǐng)先大語言模型，在多個文字處理場景都符合金山辦公的需求。

通過亞馬遜云科技的技術(shù)，西門子也解決了諸多業(yè)務(wù)難題。

此前，西門子中國IT面對的難題有，企業(yè)內(nèi)部信息分散、數(shù)據(jù)資料增長迅速、數(shù)據(jù)信息你傳遞能力不足等等。

對此，亞馬遜云科技基于西門子數(shù)據(jù)（如西門子的產(chǎn)品和解決方案），開發(fā)了一款智能回答助手——小禹。

它是西門子中國業(yè)務(wù)知識一體化的解決方案，部署在西門子安全環(huán)境中。

除了GPT本身擁有的龐大知識庫外，小禹還集成了西門子獨特的知識系統(tǒng)，如西門子的各種產(chǎn)品和服務(wù)、平臺和工具、內(nèi)部流程等。

它能夠及時響應(yīng)，自動提取知識，快速定位內(nèi)容（比如產(chǎn)品描述、用戶手冊、技術(shù)規(guī)格、營銷材料、常見問題解答、法規(guī)等）。

它既省時，又減少了人工維護成本，還增加了信息透明度和知識共享。

從2023年初項目立項，到9月手機版發(fā)布，小禹持續(xù)在各個領(lǐng)域運用生成式AI能力，加速了西門子中國業(yè)務(wù)的發(fā)展。

在亞馬遜云科技的助力之下，各大企業(yè)的生成式AI技術(shù)一定會繼續(xù)蓬勃發(fā)展，發(fā)生更多革命性變化。

生成式AI帶來的生產(chǎn)力提高和新用例，會給全球經(jīng)濟帶來巨大影響。

肉眼可見的是，這個時間點正在加速到來。

參考資料:

https://news.crunchbase.com/venture/biggest-rounds-of-june-ai-inflection-cleancapital/