要點(diǎn):

1. Meta、麻省理工學(xué)院 （MIT） 和卡內(nèi)基梅隆大學(xué) (CMU) 的研究人員介紹了一項(xiàng)名為StreamingLLM的技術(shù)，旨在解決大型語言模型(LLMs)在長時間對話中性能下降的問題。

2. StreamingLLM利用“attention sinks”（關(guān)注點(diǎn)匯）的概念，通過在對話的不同階段重新引入初始標(biāo)記，使LLMs能夠在無限長度的文本上保持高性能。

3. 研究人員還提出了使用單個特殊標(biāo)記作為“attention sink”來穩(wěn)定LLMs的關(guān)注機(jī)制，從而在長時間對話中保持高性能。

微新創(chuàng)想(idea2003.com) 10月8日 消息:Meta、麻省理工學(xué)院 （MIT） 和卡內(nèi)基梅隆大學(xué) (CMU) 的研究人員最近發(fā)表的一篇新論文介紹了一項(xiàng)名為StreamingLLM的創(chuàng)新技術(shù)，旨在解決大型語言模型(LLMs)在長時間對話中性能下降的問題。

LLMs如OpenAI的ChatGPT和Meta的Llama2在當(dāng)今的人工智能領(lǐng)域備受關(guān)注，但它們都面臨一個共同的挑戰(zhàn)，即在與用戶的對話中始終提供高質(zhì)量的響應(yīng)，無論對話持續(xù)多長時間或交換的對話數(shù)量如何。這是因?yàn)長LMs在訓(xùn)練時是基于特定長度的數(shù)據(jù)塊或序列進(jìn)行預(yù)訓(xùn)練的，一旦用戶輸入的標(biāo)記超過了這個長度，LLM的性能就會下降，這對企業(yè)希望在開放式對話中使用LLMs來幫助客戶或員工是不可接受的。

圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

StreamingLLM的解決方案是利用“attention sinks”概念，這些是在對話的不同階段重新引入初始標(biāo)記，以使LLMs能夠在無限長度的文本上保持高性能。

研究人員發(fā)現(xiàn)，LLMs在對話或訓(xùn)練的早期會更加關(guān)注初始標(biāo)記，因?yàn)樗鼈儗λ泻罄m(xù)標(biāo)記可見，而后續(xù)標(biāo)記只對有限的后續(xù)標(biāo)記可見。因此，通過在對話后期重新引入一些初始標(biāo)記，用戶可以有效地恢復(fù)LLM的性能。這就好比通過在對話后期使用與開始對話時相同的關(guān)鍵詞，突然使LLMs在對話后期能夠提供高質(zhì)量的響應(yīng)。

研究人員還提出了使用單個特殊標(biāo)記作為“attention sink”的方法，通過在對話的不同階段手動或自動重新引入此標(biāo)記，可以持續(xù)保持LLMs的性能。這項(xiàng)技術(shù)使LLMs能夠在無需頻繁刷新緩存的情況下，不間斷地為用戶提供幫助。然而，研究人員也強(qiáng)調(diào)了這項(xiàng)技術(shù)的局限性，它并不擴(kuò)展LLMs的上下文窗口，也不能確保LLM會記住對話的每個時刻的內(nèi)容。

綜合而言，StreamingLLM技術(shù)為LLMs在長時間對話中保持高性能提供了創(chuàng)新的解決方案，有望在許多領(lǐng)域，特別是需要持續(xù)不斷地與用戶交互的應(yīng)用中得到廣泛應(yīng)用。