文章概要:

1. DSPy是一個用于語言模型和檢索模型的AI框架，可以解決各種高級任務(wù)。

2. DSPy使用“簽名”和“提示器”的模塊化方法編譯任何程序。

3. DSPy需要很少的標(biāo)記數(shù)據(jù)，可以自動生成中間提示支持管道。

微新創(chuàng)想(idea2003.com) 8月29日 消息:最近，斯坦福大學(xué)的研究人員推出了一個名為DSPy的AI框架，用于利用語言模型和檢索模型來解決各種高級任務(wù)。DSPy包含多種技術(shù)，可以提示和微調(diào)語言模型，改進(jìn)其推理和檢索增強(qiáng)。

DSPy使用兩個簡單的概念“簽名（Signatures）”和“提示器(Teleprompters)”來編譯任何程序。其中，簽名是DSPy模塊輸入輸出行為的聲明性規(guī)范。提示器是功能強(qiáng)大的優(yōu)化器，可以學(xué)習(xí)如何提示任何程序模塊的最佳提示。

與其他產(chǎn)品相比，DSPy需要非常少的標(biāo)記數(shù)據(jù)。它有一個自動編譯器，可以訓(xùn)練語言模型運行聲明性步驟，并可以從最小數(shù)據(jù)進(jìn)行微調(diào)，無需人工標(biāo)記中間步驟。

DSPy的模塊化和可訓(xùn)練組件系統(tǒng)不同于其他庫，對于那些探索新管道或任務(wù)以解決高級問題的人非常有用。研究人員發(fā)布了安裝指南和演示，以讓更多人可以訪問該框架。

DSPy框架的核心特色功能總結(jié):

• 提供了模塊化和聲明式的Python接口，可以直觀地指示語言模型執(zhí)行流程，避免了繁瑣的提示工程。

• 自動編譯器可以跟蹤程序流程，為語言模型生成高質(zhì)量的 few-shot 提示或微調(diào)，教會模型實現(xiàn)聲明式步驟，無需人工標(biāo)注中間步驟。

• 引入了Signatures概念，聲明語言模型的輸入輸出行為。Teleprompters概念則實現(xiàn)了自動優(yōu)化提示。

• 可以重復(fù)編譯改進(jìn)性能，適應(yīng)代碼、數(shù)據(jù)、驗證約束的變化。

• 支持零試用和編譯后使用，編譯可以顯著提高任務(wù)完成質(zhì)量。

• 需要的訓(xùn)練數(shù)據(jù)很少，通常只需要標(biāo)注最終輸出，編譯器可以自動生成中間步驟的標(biāo)注。

• 可以統(tǒng)一提示和微調(diào)技術(shù)，為不同的語言模型生成定制化的提示或微調(diào)方案。

• 針對復(fù)雜任務(wù)可以可靠地教會強(qiáng)大的模型，如GPT-3.5等，顯著提高任務(wù)可靠性。

• 提供模塊化和可組合的通用模塊，避免專為特定應(yīng)用預(yù)構(gòu)建函數(shù)。

• 適合研究人員探索新的流程和任務(wù)，也方便實踐者開發(fā)知識密集型NLP應(yīng)用。

項目網(wǎng)址:https://github.com/stanfordnlp/dspy