研究發現,AI生成的推文可能比人工編寫的更有說服力
站長之家(ChinaZ.com)6月29日 消息:最近,一項將人類創作的內容與OpenAI公司的GPT-3模型生成的內容進行對比的研究中,當推特上發布的內容由AI語言模型編寫時,適合更容易獲得人們的信任。
這項新研究對人們進行了調查,以了解他們是否能夠分辨一條推文是由另一個人還是由GPT-3編寫的。結果顯示,人們實際上無法真正分辨出來。這項調查還要求他們判斷每條推文中的信息是真實的還是虛假的。
研究結果顯示,比起人類編寫的虛假信息,研究參與者更難識別由語言模型編寫的虛假信息。同樣,他們也能更好地正確識別由GPT-3所編寫的準確的信息。
換句話說,在這項研究中,人們更傾向于相信GPT-3,這顯示了AI語言模型在向公眾提供信息或誤導公眾方面的強大力量。
這項研究的首席作者、蘇黎世大學生物醫學倫理與醫學歷史研究所的博士后研究員和研究數據經理喬萬尼·斯皮塔萊表示:“這類令人驚嘆的技術很容易被用來生成各種虛假信息。”不過,仍有辦法開發技術,使其更難用于宣傳虛假信息。
斯皮塔萊及其同事從Twitter收集了關于11個不同科學話題的帖子,涵蓋疫苗、新冠病毒、氣候變化和進化等內容。然后,他們使用GPT-3根據準確或不準確的信息編寫新的推文。該團隊于2022年通過Facebook廣告在線上收集了697名參與者的回答。他們都說英語,主要來自英國、澳大利亞、加拿大、美國和愛爾蘭。
研究結論顯示,GPT-3生成的內容與人類編寫的內容“無法區分”,調查對象無法判斷其中的差異。實際上,研究指出,其中一個限制是研究人員本身無法百分之百確定從社交媒體上收集到的推文是否在ChatGPT等應用程序的幫助下編寫。
這項研究還有其他限制需要注意,比如參與者必須在沒有上下文的情況下對推文進行評判。例如,他們無法查看撰寫內容的推特賬戶,這可能有助于判斷它是否是一個機器人。即使看到一個賬戶過去的推文和個人形象,也可能更容易確定與該賬戶相關的內容是否有誤導性。
參與者做容易識別真實推特用戶編寫的虛假信息,而由GPT-3生成的虛假信息的推文對調查對象的欺騙效果稍微更強。此外,現在已經有更先進的大型語言模型,可能比GPT-3更具說服力。
這項新研究還發現,在某些情況下,調查對象比GPT-3更擅長判斷準確性。研究人員同樣要求語言模型分析推文并判斷其準確性。當涉及辨識準確推文時,GPT-3的得分比人類參與者低。當涉及發現虛假信息時,人類和GPT-3的表現相似。
重要的是,改進用于開發語言模型的訓練數據集可以使不良行為者更難利用這些工具進行虛假信息宣傳。
然而,對抗虛假信息的最佳長期策略則是:鼓勵人們具備批判性思維能力,以便更好地識別事實和虛構之間的區別。