微新創想(idea2003.com) 10 月 27 日消息:OpenAI 今天宣布，已成立一個名為「準備組」（Preparedness）的新團隊，由麻省理工學院可部署機器學習中心的主任亞歷山大·馬德里（Aleksander Madry）領導，以評估、檢測并預防人工智能模型可能導致的「災難性風險」。

據 LinkedIn 資料顯示，馬德里自今年 5 月起加入 OpenAI，擔任「準備組」負責人。該團隊的主要職責是跟蹤、預測并防范未來 AI 系統可能帶來的危險，范圍涵蓋從誘導和欺騙人類（例如在網絡釣魚攻擊中）到惡意代碼生成能力。

準備組負責研究的一些風險類別看似相對遙遠，例如在博客文章中，OpenAI 列出了「化學、生物、放射性和核」威脅作為與 AI 模型相關的頂級關注領域。

OpenAI 的 CEO Sam Altman 是眾所周知的 AI 末日預言者，他經常表達出人工智能「可能導致人類滅絕」的擔憂。但公開表示 OpenAI 可能實際投資研究科幻反烏托邦小說中的場景，這比大眾預期還要更進一步。

該公司也表示愿意研究 AI 風險的「不太明顯」且更為實際的領域。為了配合準備組的成立，OpenAI 正在向社區征集風險研究方案，前十名提交者將有機會獲得 25，000 美元獎金和在準備組的職位。

「想象一下，我們讓你不受限制地訪問 OpenAI 的 Whisper（轉錄）、Voice（文本到語音）、GPT-4V 和 DALLE-3 模型，而你是一個惡意行為者，」征集方案作品中的一個問題寫道。「考慮最獨特的，同時仍有可能是潛在災難性的模型濫用。」

準備組還將負責制定「風險通知開發策略」，明確 OpenAI 在構建 AI 模型評估和監控工具方面的方法，公司的風險緩解行動及模型開發流程的監管結構。這將補充 OpenAI 在 AI 安全領域的其他工作，重點關注模型部署的前后階段。

OpenAI 在上述博客文章中寫道：「我們相信……AI 模型，其能力將超越當前最先進模型的能力，有可能惠及全人類。但它們也帶來了日益嚴重的風險……我們需要確保對高性能 AI 系統的安全具備必要的理解和基礎設施。」

準備組的揭幕是在英國政府主辦的一場重要的 AI 安全峰會上，此舉并非巧合。此前 OpenAI 宣布將成立一個團隊來研究、指導和控制新出現的「超智能」AI 形式。Altman 和 OpenAI 的首席科學家、聯合創始人伊利亞·蘇茨克弗（Ilya Sutskever）都相信，超過人類智慧的 AI 可能在未來十年到來，而且這種 AI 不一定會善良，因此需要研究如何限制和控制它。