URM

URM – 阿里媽媽推出的世界知識大模型

URM

URM（Universal Recommendation Model）是由阿里媽媽開發的一款先進的全球知識大模型，旨在將通用知識與電商專業知識相結合，以解決傳統大語言模型在電商推薦場景中的不足。URM通過知識注入和信息對齊的方式，結合多模態商品表征和高效的生成方法，能夠顯著提升各種推薦任務的效果，包括多場景推薦和長尾商品推薦等，已經在阿里展示廣告中成功應用，提升了商家投放效果和消費者購物體驗。

URM是什么

URM（Universal Recommendation Model）是阿里媽媽推出的一款全球知識大模型，旨在通過知識注入和信息對齊，將大語言模型（LLM）的通用知識與電商領域的專業知識結合，從而克服傳統LLM在電商推薦中的不足之處。URM采用多模態融合的商品表征方法和高效的Sequence-In-Set-Out生成機制，能夠處理多種推薦任務，如多場景推薦和長尾推薦等，顯著提高了推薦的效果。目前，URM已在阿里展示廣告場景中投入使用，顯著改善了商家的投放效果和消費者的購物體驗。

URM的主要功能

多任務處理：能夠同時處理多種推薦任務，如多場景推薦、多目標推薦和長尾推薦等。
用戶興趣理解：深入理解用戶的興趣和需求，提供更符合用戶當前情境的推薦結果。
高效率推薦：在單次前向傳播中快速生成高質量的推薦集合，滿足工業級推薦系統的低時延和高QPS需求。
多模態融合：結合商品的ID表征和多種語義表征（如文本和圖像等），提升商品表達能力和推薦的準確度。
零樣本學習能力：在沒有大量標注數據的情況下，能夠快速適應新任務和新場景，提供有效的推薦。

URM的技術原理

多模態融合表征：
- ID表征：通過分布式哈希表將商品ID映射為獨特的嵌入向量，捕捉商品之間的協同信息。
- 語義表征：利用文本編碼器和圖像編碼器，將商品的文本描述和圖像信息轉化為語義嵌入向量。
- 融合機制：使用MLP層將ID表征和語義表征進行對齊融合，生成多模態商品嵌入向量，從而增強商品表達能力。
Sequence-In-Set-Out生成方式：輸入序列由用戶行為中的商品ID、任務提示中的文本token及特殊查詢符（如UM、LM）組成。輸出機制基于用戶建模頭（hUM）和語言模型頭（hLM）分別生成用戶表征和文本輸出。通過增加UM token數量，使URM在一次前向傳播中并行生成多個用戶表征，提升召回指標。
任務定義與提示工程：通過文本定義不同的推薦任務，將商品ID作為特殊token注入文本描述，實現用戶行為序列的高效表達。設計不同的提示模板，調整推薦結果的分布，使模型根據不同的任務需求和用戶行為動態調整推薦策略。
訓練方式：結合商品推薦任務的噪聲對比估計（NCE）損失和文本生成任務的負對數似然損失，采用完整參數的有監督微調（SFT），僅凍結商品的原始表征，保留LLM的預訓練知識。
異步推理鏈路：為滿足低時延和高QPS要求，設計面向用戶行為動態捕捉的異步推理鏈路，將推理結果持久化存儲，供在線召回階段使用。通過多實例在同一容器中部署，將URM推理的并發QPS提升200%。