OpenAI 人工智能文本檢測器正確率只有 26% 且有 9% 的誤報
微新創想(idea2003.com) 7月26日消息:OpenAI 日前關閉了一個本應用于區分人類寫作和 AI 寫作的工具,原因是準確率較低。在一篇(更新后的)博客中,OpenAI 表示決定自 2023 年 7 月 20 日起停用其 AI 檢測器。該公司表示:「我們正在努力吸納反饋意見,并正在研究更有效的文本來源技術。」
在博客文章中,OpenAI 表示,我們的 AI 檢測器并不完全可靠。在我們對英語文本「挑戰集」的評估中,我們的檢測器正確地將 26% 的人工智能編寫的文本(真陽性)識別為「可能是人工智能編寫的」,而將 9% 的人類編寫的文本錯誤地標記為人工智能編寫的(誤報)。
雖然關閉了用于捕捉 AI 生成的寫作的工具,OpenAI 表示計劃「開發和部署機制,使用戶能夠了解音頻或視覺內容是否由 AI 生成。」目前尚不清楚這些機制會是什么樣的。
OpenAI 完全承認該檢測器從未很好地捕捉到 AI 生成的文本,并警告說它可能會出現誤報,即將人類撰寫的文本標記為 AI 生成。在關閉該工具之前,OpenAI 表示分類器通過更多數據可能會變得更好。
在 OpenAI 的 ChatGPT 迅速走紅成為有史以來增長最快的應用程序之后,人們爭先恐后地去掌握這項技術。一些領域對 AI 生成的文本和藝術產生警惕,特別是教育工作者擔心學生將不再學習,而只是讓 ChatGPT 寫作業。在對準確性、安全性和作弊擔憂的背景下,紐約的學校甚至禁止在校園內使用 ChatGPT。
AI 傳播的錯誤信息也是一個問題,研究表明,AI 生成的文本(如推文)可能比人類撰寫的更具有說服力。政府尚未找到限制 AI 的方法,到目前為止,只能讓各個團體和組織制定自己的規則和發展自己的保護措施來處理大量由計算機生成的文本。
目前看來,甚至是幫助開啟生成式 AI 熱潮的公司,都對如何處理這一切問題沒有答案。雖然有些傳播錯誤信息的人會被抓住,但要輕松區分 AI 和人類的工作將變得更加困難。
在 OpenAI 的信任和安全領導人最近離職的同時,聯邦貿易委員會正在調查 OpenAI 的信息和數據審核方式。OpenAI 拒絕對其博客文章以外的事情進行評論。