微新創(chuàng)想（idea2003.com）9月8日 消息:CatBERTa 是一種基于 Transformer 的人工智能模型，旨在通過文本輸入進行能量預(yù)測。該模型建立在預(yù)訓(xùn)練的 Transformer 編碼器之上，這是一種在自然語言處理任務(wù)中表現(xiàn)出色的深度學(xué)習(xí)模型。

CatBERTa 的獨特之處在于它能夠處理人類可理解的文本數(shù)據(jù)，并添加用于吸附能量預(yù)測的目標(biāo)特征。這使得研究人員可以以簡單易懂的格式提供數(shù)據(jù)，提高了模型預(yù)測的可用性和可解釋性。

論文地址:https://arxiv.org/abs/2309.00563

研究發(fā)現(xiàn)，CatBERTa 傾向于集中關(guān)注輸入文本中的特定標(biāo)記。這些指標(biāo)與吸附物（附著在表面上的物質(zhì)）、催化劑的整體組成以及這些元素之間的相互作用有關(guān)。CatBERTa 似乎能夠識別和重視影響吸附能量的催化系統(tǒng)的關(guān)鍵因素。

研究還強調(diào)了相互作用原子作為描述吸附排列的有用術(shù)語的重要性。吸附劑中的原子與塊體材料中的原子相互作用對于催化至關(guān)重要。有趣的是，與吸附能量的準(zhǔn)確預(yù)測幾乎沒有影響的是鏈接長度和這些相互作用原子的原子組成。這個結(jié)果表明，CatBERTa 可能會優(yōu)先考慮任務(wù)的重要內(nèi)容，并從文本輸入中提取最相關(guān)的信息。

在準(zhǔn)確性方面，CatBERTa 在吸附能量預(yù)測中顯示出0.75電子伏特的平均絕對誤差（MAE）。這個精度水平與廣泛使用的圖神經(jīng)網(wǎng)絡(luò)(GNNs)相當(dāng)，用于進行此類預(yù)測。CatBERTa 還具有額外的好處，即對于化學(xué)上相同的系統(tǒng)，從 CatBERTa 估計的能量可以通過彼此相減有效地消除系統(tǒng)誤差，達到19.3%。這表明，CatBERTa 有潛力大大減少催化劑篩選和反應(yīng)性評估中預(yù)測能量差異的錯誤，這是催化劑研究中至關(guān)重要的一部分。

總之，CatBERTa 提供了一種可能的替代傳統(tǒng)的 GNNs 的方法。它展示了提高能量差異預(yù)測精度的可能性，為更有效和精確的催化劑篩選程序打開了大門。