本文概要:

Meta悄然發布Llama2Long AI模型，該模型在某些任務上擊敗了GPT-3.5Turbo和Claude2。

Llama2Long是基于Meta的開源Llama2模型，經過改進后能夠更好地處理長文本和復雜任務。

Llama2Long的改進主要包括:增加了長文本數據集、修改了位置編碼、使用了強化學習。

微新創想(idea2003.com) 10月3日 消息:Meta Platforms在9月29日發布了一篇計算機科學論文，介紹了其新發布的Llama2Long AI模型。該模型在某些任務上擊敗了GPT-3.5Turbo和Claude2，這表明Meta的開源方法在生成人工智能領域取得了重大進展。

Llama 2 Long是基于Meta的開源Llama2模型，經過改進后能夠更好地處理長文本和復雜任務。該模型的改進主要包括:

• 增加了長文本數據集:Llama2Long的數據集比Llama2大了4000億個token，其中包括大量的長文本。

• 修改了位置編碼:Llama2Long使用了RoPE編碼，該編碼能夠更好地處理長文本。

• 使用了強化學習:Llama2Long使用了強化學習來提高其性能。

在測試中，Llama2Long在生成長文本、翻譯語言、編寫代碼等任務上都取得了優異的成績。例如，在生成長文本的任務中，Llama2Long的表現比GPT-3.5Turbo和Claude2都更好。

Llama2Long的發布是一個重要里程碑，表明Meta在生成人工智能領域取得了重大進展。該模型的開源性也表明，開源方法在這一領域具有競爭力。