「連續數值分布式表征」加持，浙大UIUC讓語言模型擅長表格預測 | ICLR 2024 Spotlight

AIGC動態歡迎閱讀

原標題：「連續數值分布式表征」加持，浙大UIUC讓語言模型擅長表格預測 | ICLR 2024 Spotlight
關鍵字：特征,數值,表格,向量,模型
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：LRST
【新智元導讀】來自浙江大學和伊利諾伊大學厄巴納-香檳分校的研究者發表了他們關于「表格語言模型」（Tabular Language Model）的研究成果，提出「相對量綱分詞」和「特征內注意力機制」兩種適配技術，使現有語言模型架構能更有效得感知連續數值和組織表格特征，在大量下游分類回歸的表格預測數據集上超過以往非語言模型方法。論文「Making Pre-trained Language Models Great on Tabular Prediction」發表在ICLR 2024并被選為Spotlight。深度神經網絡（DNN）的遷移學習能力已經在非結構化數據中取得了廣泛應用，然而這種遷移紅利在結構化的表格數據中仍未得到充分探索。
相比圖像、文本和語音，表格數據的基本特征是異質的，不同列的值位于完全不同的特征空間，這為構建可遷移的表格模型帶來了根本性的挑戰。
在如今的AIGC浪潮下，大語言模型（LLM）可以通過強大的上下文學習（in-context learning）能力執行復雜高層次的推理和規劃，因此研究者認為這種文本遷移能力也可以用于規避表格異質特征帶來的

原文鏈接：「連續數值分布式表征」加持，浙大UIUC讓語言模型擅長表格預測 | ICLR 2024 Spotlight

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。