衡宇 發(fā)自 凹非寺量子位 | 公眾號 QbitAI學(xué)術(shù)打野NeurIPS 2024，好多人啊（發(fā)出周迅的聲音）！最熱鬧最值得回味的，咱都總結(jié)好了：學(xué)術(shù)追星：和Ilya、FeiFei、Kaiming、Saining拘謹?shù)皇ФY貌地合照。現(xiàn)場開吃：分為吃瓜Bengio和OpenAI員工吵起來版 & “學(xué)術(shù)蝗蟲”狂炫會上的飯和下午茶版。勇闖Workshop：收獲最新insight，收集五花八門貼紙，搶各種周邊。該說不說，今年NeurIPS開了好幾個新的workshop，其中有一場還挺特別的，值得一聊。特別就特別在，它是咱中國公司提出概念，然后咱中國公司圍繞該概念為題主辦的。而且NeurIPS期間同題競賽也被pick——這賽題它還跟這家中國公司有關(guān)系，是該公司作為第一單位，同北京大學(xué)鄧小鐵教授、盧宗青教授研究團隊聯(lián)合提報的。答案揭曉！這場Workshop就是Auto-Bidding in Large-Scale Auctions（大規(guī)模拍賣中的自動出價），從AIGB（AI-Generated Bidding）Bidding模型訓(xùn)練新范式延展而來。去年4月，阿里媽媽在業(yè)界首提Bidding模型訓(xùn)練新范式：阿里媽媽生成式出價模型AIGB（AI-Generated Bidding），創(chuàng)新地將自動出價建模為生成式序列決策問題。這是生成式模型在該領(lǐng)域的首次應(yīng)用，而且一年來在阿里業(yè)務(wù)場景實操效果非常不錯。因此賽題入選后，拿到主辦權(quán)的阿里媽媽特別設(shè)置了AIGB賽道（也成為國內(nèi)工業(yè)界今年唯一一家獲得NeurIPS比賽主辦權(quán)的組織）。說起來，主辦Workshop、提報賽題入選，在NeurIPS這個level的頂會上夠可以了吧？結(jié)果阿里媽媽還在Workshop上還放了一招彩蛋：為了讓更多的研究者進入這個領(lǐng)域并激發(fā)更多諸如AIGB這樣的算法誕生，開源了世界首個包含了大規(guī)模模擬競價系統(tǒng)和博弈數(shù)據(jù)集的Benchmark，即AuctionNet。敲黑板，AuctionNet不僅適用于自動出價決策算法研究，還適用于大型博弈的廣泛的決策智能領(lǐng)域。強化學(xué)習(xí)、生成模型、運籌學(xué)和機制設(shè)計等更廣泛領(lǐng)域的研究人員也能受益，一整個非常nice。就庫庫一鍵三連唄？從一個腦洞到一場workshopOK，咱們先來厘清AIGB的概念。展開來說，AIGB是一種基于Transformer、Diffusion Model等生成式模型的自動出價問題新的解決范式。出價問題一般是廣告主很頭疼的事情，簡單理解就是他們得在平臺上通過競價的方式，進行廣告投放、精準營銷。并且是盡可能在預(yù)期成本下達到最好效果那種。在用AI大模型自動出價之前，整個出價領(lǐng)域業(yè)界其實已經(jīng)在用第三代辦法了，靠的是RL（強化學(xué)習(xí)）。但這種方式也有不足，比如在自動出價這種長序列決策場景下，會出現(xiàn)訓(xùn)練誤差累積過多的問題。與以往解決序列決策問題的RL思路不同，AIGB將Auto-Bidding視為一個策略生成問題。也就是說，AIGB通過生成模型強大的特征關(guān)聯(lián)以及分布擬合能力，直接捕捉歷史Bidding數(shù)據(jù)集中優(yōu)化目標和出價策略之間的相關(guān)性從而優(yōu)化策略。相比于傳統(tǒng)的RL方法，AIGB避免了價值函數(shù)預(yù)估和自舉法所所造成的誤差，而且尤其擅長處理Bidding所面對的長序列稀疏回報的問題。阿里媽媽決策智能技術(shù)團隊負責(zé)人介紹，AIGB在實際在線廣告平臺預(yù)算AB測試中取得了顯著效果，并已在阿里媽媽廣告場景實現(xiàn)大規(guī)模商業(yè)化落地，商家經(jīng)營效果提升顯著。更詳細的內(nèi)容大家可以去看看之前KDD 2024接收的《AIGB: Generative Auto-bidding via Conditional Diffusion Modeling》，這里不多贅述了。昨天，阿里媽媽在NeurIPS 2024現(xiàn)場組織的workshop，就是圍繞一種典型情況的AIGB話題展開——大規(guī)模拍賣中的自動出價。這場workshop邀請了來自Google Research、Amazon、Purdue University在內(nèi)的學(xué)界和工業(yè)界嘉賓來分享交流決策智能領(lǐng)域的最前沿技術(shù)。據(jù)淘天集團技術(shù)副總裁、算法技術(shù)負責(zé)人，阿里媽媽CTO鄭波透露，AIGB居然是從他的一個腦洞開始的。鄭波表示，去年年初，阿里技術(shù)同學(xué)們在生成式出價這個方向探索和實踐，并在業(yè)界首次提出了出價算法新范式：AIGB（AI- Generated Bidding），他相信 AIGB有潛力成為自動出價和大規(guī)模拍賣領(lǐng)域的下一代最先進技術(shù)。阿里媽媽首席算法架構(gòu)師、資深總監(jiān)璽羽則表示，自動出價是廣告最具特色的技術(shù)領(lǐng)域之一，一直以來都希望能吸引更多的從業(yè)者和非從業(yè)者關(guān)注這個領(lǐng)域。阿里媽媽依托NeurIPS舉辦的這次workshop，為大家提供了一個交流的平臺。而與會嘉賓中的大多數(shù)，不僅對AIGB技術(shù)本身的前沿性和創(chuàng)新性給予了高度評價，還對其在各行各業(yè)中的廣泛應(yīng)用價值及未來潛力表示了非常充分的肯定與期待。來自Google Reasearch的Dr. Zhao以《Auto-bidding in Online Advertising》為話題，簡明扼要分享了自己對于最新的自動出價技術(shù)的見見解。“生成模型和大型模型促進該領(lǐng)域的快速發(fā)展并帶來新的突破。“Dr. Zhao表達了自己的看法，”我可以看到將生成模型應(yīng)用于自動出價的各種潛在優(yōu)勢。生成模型可以幫助廣告商更好地了解他們的偏好，并幫助生成更復(fù)雜和更具適應(yīng)性的出價策略。“全球1500多支隊伍角逐，會上放榜這場workshop上也有“大規(guī)模拍賣中的自動出價”賽題參賽選手們和團隊的閃耀時刻。選手們基于不同的基礎(chǔ)生成模型，提出了一批不同于DiffBid（基于Diffusion Model的出價算法）的AIGB解決方案，迸發(fā)出諸多亮點。賽題總共分為兩個賽道，分別是：AIGB賽道：利用生成式模型學(xué)習(xí)自動出價Agent通用賽道：含不確定性的自動出價AlGB Track Winner兩個團隊，KGAB Team和CleanDiffuser Team作為獲獎團隊代表在workshop上做了pre～參賽團隊也有代表闡述了對AIGB的觀點及對未來的判斷。一位來自國內(nèi)學(xué)界的助理教授表示自己非常肯定AIGB的價值，在他看來，AI-generated Bidding技術(shù)正迅速成為廣告投放與出價優(yōu)化領(lǐng)域的核心驅(qū)動力，“隨著廣告生態(tài)系統(tǒng)的復(fù)雜性和動態(tài)性不斷提高，傳統(tǒng)規(guī)則驅(qū)動的出價方法逐漸顯現(xiàn)局限，而基于人工智能的出價技術(shù)能夠通過實時數(shù)據(jù)處理、動態(tài)預(yù)測和自適應(yīng)策略制定，實現(xiàn)更高效和精準的資源分配。”基于自己的研究和學(xué)術(shù)視野，他很樂意地分享了一點自己已經(jīng)洞察的先機：未來的發(fā)展中，我認為個性化出價策略，基于廣告主行為數(shù)據(jù)構(gòu)建高度定制化的出價模型會是一個比較有趣的方向。多位來自于國內(nèi)頂級互聯(lián)網(wǎng)的算法專家談道，不論是基于Transformer還是Diffusion的探索都會促進生成式技術(shù)在bidding方向的全面落地，相信隨著眾多從業(yè)者的探索與完善，AIGB技術(shù)會變得更加成熟并解決傳統(tǒng)方法所無法解決的問題。其中一位算法專家表示，他所在的團隊正探索AIGB模型的落地，旨在實現(xiàn)從復(fù)雜環(huán)境上下文出發(fā)的端到端智能出價，并已經(jīng)取得不錯的成果。從業(yè)界人士了解到，比賽的成果與阿里媽媽去年提出的DiffBid在效果上旗鼓相當。而AIGB范式下技術(shù)迭代很快，據(jù)阿里媽媽算法專家介紹，阿里媽媽在DiffBid基礎(chǔ)上，經(jīng)過近一年的努力又研發(fā)了新一代的出價算法，在自動出價比賽激戰(zhàn)正酣之時，已經(jīng)在雙十一期間悄然上線，拿到了顯著的效果。官方統(tǒng)計數(shù)據(jù)顯示，本次比賽總報名人次共1861人，AIGB賽道948人（海外70人），通用賽道913人（海外90人），包括全球范圍的頂尖高校、研究機構(gòu)和科技、金融公司團隊，以及很多跨組織和個人名義參賽團隊。最后組成了793支AIGB賽道隊伍和729支通用賽道隊伍，共計1522支隊伍參與賽題角逐，報名參賽隊伍中包括北大、清華、哥大、UCSD、慕尼黑工業(yè)大學(xué)、南洋理工、首爾大學(xué)等全球知名高校團隊，以及微軟、騰訊、螞蟻集團、快手、蝦皮、中國建設(shè)銀行、字節(jié)跳動、阿里巴巴等科技或金融公司團隊。還有很多跨組織團隊和個人名義團隊參賽。淺劃一個令人羨慕的非重點，2個賽道共12支隊伍都有賽事獎金拿，最高6000刀！當然了，因為是阿里媽媽舉辦，所以優(yōu)勝者會有阿里巴巴的實習(xí)機會、校招綠色通道以及訪問學(xué)者資格。“源神”啟動，正式開源自動出價決策領(lǐng)域的 Benchmark最后聊聊Auto-Bidding in Large-Scale Auctions上一個比較驚喜的點——“源神”啟動！阿里媽媽宣布，計劃正式開源自動出價領(lǐng)域的Benchmark「AuctionNet」，包含48個不同Agent互相競價的軌跡，共有超過5億條記錄，占用80GB的存儲空間。這是世界首個標準化的大規(guī)模競價模擬系統(tǒng)和大規(guī)模博弈數(shù)據(jù)集，相關(guān)成果已被NeurIPS 2024收錄為Spotlight論文（錄取率在3%左右）。特別強調(diào)一下，AuctionNet不僅適用于廣告競拍價決策算法的研究，還適用于大規(guī)模博弈中決策的研究。這是因為自動出價屬于決策智能范疇，可以廣泛應(yīng)用在游戲、自動駕駛、市場營銷、推薦系統(tǒng)、金融量化投資等領(lǐng)域。在來自Google Reasearch的Dr. Zhao看來，開源Benchmark的標準化評估和可重復(fù)性，將推動這一領(lǐng)域的推動學(xué)術(shù)研究和實際應(yīng)用的技術(shù)創(chuàng)新。不僅如此，還將有助于協(xié)作和知識共享幫助該領(lǐng)域更多人受益。講道理，阿里媽媽開源自動出價決策領(lǐng)域的Benchmark，真的為搭起一座多方共贏的橋梁砌上了最重要的第一塊磚。畢竟時至今日，在線廣告依然扮演著互聯(lián)網(wǎng)經(jīng)濟中至關(guān)重要的角色：統(tǒng)計數(shù)據(jù)顯示，2023年全球在線廣告市場規(guī)模超過了6000億美元；縱觀全球，Google、Meta、TikTok、Alibaba都有相應(yīng)的在線廣告平臺，就連AI 2.0時代弄潮兒OpenAI也在近日傳出考慮在產(chǎn)品中引入在線廣告的消息。這個領(lǐng)域內(nèi)，自動出價模式的出現(xiàn)打破了傳統(tǒng)廣告技術(shù)體系，成為驅(qū)動當前在線廣告發(fā)展的核心動力。但一切事情都不會完美無瑕。作為近年來工業(yè)界的研究焦點，自動出價領(lǐng)域仍然存在許多頗具挑戰(zhàn)性、有價值的科研問題。比如因為轉(zhuǎn)化稀疏、轉(zhuǎn)化率預(yù)測不確定性等問題，仍然需要精心設(shè)計如何在投放終點恰當?shù)貪M足成本約束；比如時過境遷，工業(yè)界的競拍環(huán)境已經(jīng)不再是傳統(tǒng)的單一坑位下的GSP拍賣機制，如何在更復(fù)雜的競拍環(huán)境中找到最優(yōu)的出價策略仍然是尚未解決的難題。明面上，解決這些問題是在助推商業(yè)收益，但從深層次來說，更是可以推動相關(guān)技術(shù)領(lǐng)域的持續(xù)發(fā)展。然而研究探討自動出價領(lǐng)域的難點不僅僅在技術(shù)本身，由于各平臺對數(shù)據(jù)的嚴格保護，且缺乏和工業(yè)界比較接近的廣告競價環(huán)境，目前針對其高價值問題的研究主要集中在少數(shù)幾家機構(gòu)。就，層層加碼，難上加難。其中，阿里媽媽就是為數(shù)不多能夠?qū)L在自動出價領(lǐng)域大規(guī)模落地的公司之一，且一直以來都活躍推動自動出價技術(shù)發(fā)展，先后發(fā)布了多個算法的升級。當然了，當RL不夠好用的時候，阿里媽媽敢站出來、愿意站出來，開源數(shù)據(jù)集，期待更多人參與研究，共同推動，優(yōu)勢也不僅僅在技術(shù)本身。從行業(yè)江湖的視角來看，它是中國領(lǐng)先的營銷平臺、擁有數(shù)百萬的廣告主，并且超過80%的廣告主使用了自動出價服務(wù)，它有完整的數(shù)據(jù)鏈路閉環(huán)，從用戶點擊到下單過程路徑中的數(shù)據(jù)都能獲取到。阿里媽媽技術(shù)同學(xué)介紹，為了讓更多研究者深入了解廣告平臺的運作細節(jié)，并參與廣告平臺最核心的自動出價算法的研究，團隊建設(shè)了一個標準的廣告競價環(huán)境，并設(shè)置了多種貼近工業(yè)界真實場景的特性，包括多坑、多樣化的流量價值分布、轉(zhuǎn)化預(yù)估不確定性、稀疏轉(zhuǎn)化等。一位阿里媽媽技術(shù)同學(xué)對量子位表示：“希望此Benchmark能為學(xué)界和工業(yè)界提供強有力的支持，也期待通過開源推動決策智能領(lǐng)域的AI技術(shù)和應(yīng)用快速向前發(fā)展。”不得不多說兩句，開源的意義，從來都包含共享、協(xié)作、共同探索。還包括一種自信，一種立足前沿頭部的自信，一種不懼挑戰(zhàn)的自信，一種自己就是“源頭活水”且愿意營造更好生態(tài)氛圍的自信。從去年的DiffBid，到今年在雙十一中得到驗證的新一代出價算法，阿里媽媽持續(xù)引領(lǐng)著行業(yè)的創(chuàng)新和變革。正如在RL方法時代一樣，阿里媽媽又將在AIGB方法時代，以自動出價技術(shù)發(fā)展的領(lǐng)航者身份再次啟航。GitHub鏈接：https://github.com/alimama-tech/AuctionNet—完—點這里?關(guān)注我，記得標星哦～一鍵三連「分享」、「點贊」和「在看」科技前沿進展日日相見 ~