微新創(chuàng)想(idea2003.com) 7月19日消息:Meta 正在全力推進(jìn)開源人工智能。該公司今天發(fā)布了 LLaMA 2，這是他們首款可供任何人免費使用的大型語言模型。

自從 OpenAI 于去年 11 月發(fā)布了備受矚目的 AI 聊天機器人 ChatGPT 以來，科技公司一直在爭相發(fā)布模型，希望能夠打破其主導(dǎo)地位。Meta 一直進(jìn)展緩慢。今年 2 月，當(dāng)競爭對手微軟和谷歌宣布推出 AI 聊天機器人時，Meta 推出了第一個較小版本的 LLaMA，只限于研究人員使用。但他們希望發(fā)布 LLaMA 2 并允許任何人在其基礎(chǔ)上構(gòu)建商業(yè)產(chǎn)品，以幫助他們迎頭趕上。

實際上，該公司發(fā)布了一套 AI 模型，其中包括不同規(guī)模的 LLaMA 2 版本，以及一種可以構(gòu)建成聊天機器人的 AI 模型，類似于 ChatGPT。與可以通過 OpenAI 網(wǎng)站訪問 ChatGPT 不同，該模型必須從 Meta 的合作伙伴微軟 Azure、亞馬遜 AWS 和 Hugging Face 下載。

Meta 負(fù)責(zé)生成 AI 工作的副總裁 Ahmad Al-Dahle 表示：「這使整個 AI 社區(qū)受益，并給人們提供了選擇，他們可以選擇封閉源方法或開源方法，以適應(yīng)其特定的應(yīng)用。」他說：「對我們來說，這是一個非常重要的時刻?！?/p>

但是仍然存在許多限制條件。根據(jù)與《麻省理工科技評論》獨家共享的公司研究論文，Meta 沒有公布訓(xùn)練 LLaMA 2 所使用的數(shù)據(jù)集信息，也不能保證其中沒有包含受版權(quán)保護(hù)的作品或個人數(shù)據(jù)。LLaMA 2 也存在著困擾所有大型語言模型的問題：傾向于產(chǎn)生虛假信息和冒犯性語言。

Al-Dahle 表示，通過將模型發(fā)布到公眾領(lǐng)域，并允許開發(fā)人員和公司進(jìn)行調(diào)試，Meta 將從中學(xué)到如何使其模型更安全、更公正和更高效的重要經(jīng)驗教訓(xùn)。

斯坦福大學(xué)基礎(chǔ)模型研究中心主任 Percy Liang 表示，強大的開源模型如 LLaMA 2 對 OpenAI 構(gòu)成了相當(dāng)大的威脅。Liang 是開源競爭對手 Alpaca 的研究團(tuán)隊的一員，該團(tuán)隊開發(fā)了 GPT-3 的早期版本。

Liang 表示：「LLaMA 2 并非 GPT-4?！共⑶以谘芯空撐闹?，Meta 承認(rèn) LLaMA 2 和 GPT-4 之間的性能差距仍然很大，而 GPT-4 現(xiàn)在是 OpenAI 的最先進(jìn)的 AI 語言模型。他補充說：「但對于許多用例來說，您并不需要 GPT-4?！挂粋€更可定制和透明的模型，比如 LLaMA 2，可能會幫助公司比一個龐大、復(fù)雜的專有模型更快地創(chuàng)建產(chǎn)品和服務(wù)。

加州大學(xué)伯克利分校教授 Steve Weber 表示：「如果 LLaMA 2 能成為領(lǐng)先的開源替代品，這對 Meta 來說將是一次巨大的勝利。」

為了推出 LLaMA 2，Meta 進(jìn)行了大量的調(diào)整，使模型比其前身更安全，更不容易產(chǎn)生有害虛假信息，Al-Dahle 說。

Meta 有很多過去的失誤可以汲取教訓(xùn)。他們的科學(xué)語言模型 Galactica 在僅三天后就被下線，他們以前的僅用于研究目的的 LlaMA 模型在網(wǎng)上泄露，引發(fā)了一系列批評，質(zhì)疑 Meta 是否充分考慮了 AI 語言模型的風(fēng)險，如虛假信息和騷擾等。

為了減輕重復(fù)這些錯誤的風(fēng)險，Meta 應(yīng)用了一系列不同的機器學(xué)習(xí)技術(shù)，旨在提高 LLaMA 2 的實用性和安全性。

Meta 的研究人員 Sasha Luccioni 表示，相比于一般生成式 AI 模型，訓(xùn)練 LLaMA 2 需要更多步驟。據(jù) Al-Dahle 表示，該模型使用了比其前身多 40% 的訓(xùn)練數(shù)據(jù)。其中訓(xùn)練數(shù)據(jù)有兩個來源：從在線抓取的數(shù)據(jù)，以及根據(jù)人類標(biāo)注員的反饋進(jìn)行微調(diào)和調(diào)整，以表現(xiàn)出更理想的方式。公司表示 LLaMA 2 沒有使用 Meta 用戶數(shù)據(jù)，并排除了已知含有大量個人信息的網(wǎng)站的數(shù)據(jù)。

盡管如此，LLaMA 2 仍然會產(chǎn)生冒犯、有害和其他問題語言，就像其他競爭對手的模型一樣。Meta 表示沒有從數(shù)據(jù)集中刪除有害數(shù)據(jù)，因為將其保留下來可能有助于 LLaMA 2 更好地檢測仇恨言論，而刪除它可能會意外地篩選掉某些人群。

Luccioni 表示，Meta 的開放承諾令人興奮，因為它允許像她這樣的研究人員能夠適當(dāng)?shù)匮芯?AI 模型的偏見、道德和效率。

LLaMA 2 作為一個開源模型，也將允許外部研究人員和開發(fā)人員對其進(jìn)行安全漏洞的探索，這將使其比專有模型更安全，Al-Dahle 表示。

Liang 也表示同意：「我非常興奮地嘗試一些東西，我認(rèn)為這將對社區(qū)有益。」