微新創(chuàng)想(idea2003.com) 8月18日消息:如果科技行業(yè)的頂尖人工智能模型有所區(qū)別的話，微軟支持的 OpenAI 的 GPT-4 在數(shù)學(xué)方面表現(xiàn)最好，Meta 的 Llama 2 則在中間位置，Anthropic 的 Claude 2 在了解自己的限制方面表現(xiàn)最好，而 Cohere AI 則被賦予了最多的幻覺和最自信的錯(cuò)誤答案的稱號(hào)。

這份周四來自 Arthur AI 研究人員的報(bào)告指出這一切。Arthur AI 是一家機(jī)器學(xué)習(xí)監(jiān)測(cè)平臺(tái)。

這項(xiàng)研究是在人工智能系統(tǒng)產(chǎn)生誤導(dǎo)信息的問題愈發(fā)引起爭(zhēng)議之際進(jìn)行的，與此同時(shí)，生成式人工智能正迎來了繁榮期。

Arthur AI 的聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Adam Wenchel 表示，這是第一個(gè)「全面考察幻覺率」的報(bào)告，而非僅僅提供「一個(gè)數(shù)字來衡量它們?cè)?LLM 排行榜上的位置」。

當(dāng)大型語言模型（LLMs）完全捏造信息、表現(xiàn)得像在說真實(shí)事實(shí)時(shí)，就會(huì)出現(xiàn) AI 幻覺。例如，在 6 月份的一例中，有人發(fā)現(xiàn) ChatGPT 在紐約聯(lián)邦法院的一份文件中引用了「虛假」的案例，涉案的紐約律師可能面臨制裁。

在一個(gè)實(shí)驗(yàn)中，Arthur AI 的研究人員在組合數(shù)學(xué)、美國(guó)總統(tǒng)和摩洛哥政治領(lǐng)導(dǎo)人等類別中測(cè)試了這些 AI 模型，并提出了一些「設(shè)計(jì)來使 LLMs 犯錯(cuò)的關(guān)鍵元素，需要多個(gè)步驟來推理信息」的問題，研究人員寫道。

總體而言，OpenAI 的 GPT-4 在所有測(cè)試的模型中表現(xiàn)最好，研究人員發(fā)現(xiàn)它的幻覺現(xiàn)象比之前的版本 GPT-3.5 要少，例如，在數(shù)學(xué)問題上，它的幻覺現(xiàn)象減少了 33% 至 50%，具體取決于類別。

另一方面，研究人員發(fā)現(xiàn)，Meta 的 Llama 2 比 GPT-4 和 Anthropic 的 Claude 2 更容易產(chǎn)生幻覺。

在數(shù)學(xué)類別中，GPT-4 排名第一，Claude 2 緊隨其后，但在美國(guó)總統(tǒng)類別的測(cè)試中，Claude 2 以準(zhǔn)確率位居第一，擠下了 GPT-4，成為第二名。當(dāng)被問到摩洛哥政治問題時(shí)，GPT-4 再次排名第一，而 Claude 2 和 Llama 2 則幾乎選擇不回答。

在第二個(gè)實(shí)驗(yàn)中，研究人員測(cè)試了這些 AI 模型在回答問題時(shí)是否會(huì)使用警示語來避免風(fēng)險(xiǎn)（比如：作為一個(gè) AI 模型，我不能提供意見）。

在使用警示語方面，與 GPT-3.5 相比，GPT-4 有了 50% 的相對(duì)增長(zhǎng)，研究人員寫道：「這從用戶的個(gè)別證據(jù)中量化了 GPT-4 的使用更加令人沮喪」，然而，根據(jù)報(bào)告，Cohere 的 AI 模型在任何回答中都沒有使用警示語。研究顯示，Claude 2 在「自我意識(shí)」方面最可靠，即準(zhǔn)確評(píng)估自身所知與所不知，并且只回答具備支持性數(shù)據(jù)的問題。

Cohere 的一位發(fā)言人對(duì)這些結(jié)果提出了異議，稱「Cohere 的檢索自動(dòng)生成技術(shù)未被測(cè)試，它對(duì)于給企業(yè)提供可驗(yàn)證的引用文獻(xiàn)以確認(rèn)信息來源非常有效」。

Wenchel 表示，用戶和企業(yè)最重要的結(jié)論是「根據(jù)實(shí)際工作負(fù)載進(jìn)行測(cè)試」，他隨后補(bǔ)充道：「重要的是要了解它在你試圖實(shí)現(xiàn)的任務(wù)上的性能」。

Wenchel 說：「很多基準(zhǔn)測(cè)試僅僅關(guān)注 LLM 本身的某種衡量標(biāo)準(zhǔn)，但實(shí)際上在真實(shí)世界中并不是這樣使用的。確保你真正了解 LLM 在實(shí)際應(yīng)用中的表現(xiàn)是關(guān)鍵。」

閱讀 Arthur AI研究報(bào)告：https://www.arthur.ai/gap