要點(diǎn):

1、開(kāi)源工具Autolabel能用LLM代替人工高效標(biāo)注數(shù)據(jù)，效率提升100倍，成本僅1/7。

2、Autolabel支持主流LLM，可快速標(biāo)注NLP數(shù)據(jù)集，準(zhǔn)確率高達(dá)88.4%，超過(guò)人工標(biāo)注。

3、Autolabel可估計(jì)標(biāo)注置信度，不同LLM可平衡成本與質(zhì)量，大幅降低標(biāo)注門(mén)檻。

微新創(chuàng)想（idea2003.com）9月18日 消息:最近，一家初創(chuàng)公司refuel上線了一個(gè)AI標(biāo)注數(shù)據(jù)的開(kāi)源工具Autolabel，它能夠利用LLM（如GPT-4等）自動(dòng)對(duì)數(shù)據(jù)進(jìn)行標(biāo)注，大大簡(jiǎn)化了數(shù)據(jù)標(biāo)注流程。

Autolabel支持主流的LLM提供商，并可為開(kāi)源和私有模型提供支持。與人工標(biāo)注相比，Autolabel可將標(biāo)注效率提高100倍，而成本僅為人工成本的1/7。

研究表明，Autolabel結(jié)合GPT-4進(jìn)行標(biāo)注可取得88.4%的準(zhǔn)確率，超過(guò)了人工標(biāo)注的準(zhǔn)確率。Autolabel還可以估計(jì)標(biāo)注置信度，允許用戶(hù)平衡成本和質(zhì)量。總體來(lái)說(shuō)，Autolabel極大地降低了數(shù)據(jù)標(biāo)注的門(mén)檻，為訓(xùn)練高質(zhì)量模型提供了可能。

在接下來(lái)的幾個(gè)月中，開(kāi)發(fā)者承諾將向Autolabel添加大量新功能:如支持更多LLM進(jìn)行數(shù)據(jù)標(biāo)注;支持更多標(biāo)注任務(wù)，例如總結(jié)等;支持更多的輸入數(shù)據(jù)類(lèi)型和更高的LLM輸出穩(wěn)健性;讓用戶(hù)能夠試驗(yàn)多個(gè)LLM和不同提示的工作流程。