Meta悄然發(fā)布Llama 2 Long AI，在某些任務(wù)上擊敗GPT-3.5 Turbo和Claude 2
本文概要:
Meta悄然發(fā)布Llama2Long AI模型，該模型在某些任務(wù)上擊敗了GPT-3.5Turbo和Claude2。
Llama2Long是基于Meta的開源Llama2模型，經(jīng)過改進(jìn)后能夠更好地處理長(zhǎng)文本和復(fù)雜任務(wù)。
Llama2Long的改進(jìn)主要包括:增加了長(zhǎng)文本數(shù)據(jù)集、修改了位置編碼、使用了強(qiáng)化學(xué)習(xí)。
微新創(chuàng)想(idea2003.com) 10月3日 消息:Meta Platforms在9月29日發(fā)布了一篇計(jì)算機(jī)科學(xué)論文，介紹了其新發(fā)布的Llama2Long AI模型。該模型在某些任務(wù)上擊敗了GPT-3.5Turbo和Claude2，這表明Meta的開源方法在生成人工智能領(lǐng)域取得了重大進(jìn)展。
Llama 2 Long是基于Meta的開源Llama2模型，經(jīng)過改進(jìn)后能夠更好地處理長(zhǎng)文本和復(fù)雜任務(wù)。該模型的改進(jìn)主要包括:
-
增加了長(zhǎng)文本數(shù)據(jù)集:Llama2Long的數(shù)據(jù)集比Llama2大了4000億個(gè)token，其中包括大量的長(zhǎng)文本。
-
修改了位置編碼:Llama2Long使用了RoPE編碼，該編碼能夠更好地處理長(zhǎng)文本。
-
使用了強(qiáng)化學(xué)習(xí):Llama2Long使用了強(qiáng)化學(xué)習(xí)來提高其性能。
在測(cè)試中，Llama2Long在生成長(zhǎng)文本、翻譯語言、編寫代碼等任務(wù)上都取得了優(yōu)異的成績(jī)。例如，在生成長(zhǎng)文本的任務(wù)中，Llama2Long的表現(xiàn)比GPT-3.5Turbo和Claude2都更好。
Llama2Long的發(fā)布是一個(gè)重要里程碑，表明Meta在生成人工智能領(lǐng)域取得了重大進(jìn)展。該模型的開源性也表明，開源方法在這一領(lǐng)域具有競(jìng)爭(zhēng)力。
