無需參數訪問！CMU用大模型自動優化視覺語言提示詞 | CVPR’24

AIGC動態歡迎閱讀

原標題：無需參數訪問！CMU用大模型自動優化視覺語言提示詞 | CVPR’24
關鍵字：提示,模型,團隊,方法,視覺
文章來源：量子位
內容字數：0字

內容摘要：

林之秋投稿量子位 | 公眾號 QbitAI視覺語言模型（如 GPT-4o、DALL-E 3）通常擁有數十億參數，且模型權重不公開，使得傳統的白盒優化方法（如反向傳播）難以實施。
那么，有沒有更輕松的優化方法呢？
就在最近，卡內基梅隆大學（CMU）的研究團隊對于這個問題提出了一種創新的“黑盒優化”策略——
通過大語言模型自動調整自然語言提示詞，使視覺語言模型在文生圖、視覺識別等多個下游任務中獲得更好的表現。
這一方法不僅無需觸及模型內部參數，還大幅提升了優化的靈活性與速度，讓用戶即使沒有技術背景也能輕松提升模型性能。
該研究已被 CVPR 2024 接收。
如何做到的？大多數視覺語言模型（如 DALL-E 3、GPT-4o 等）并未公開模型權重或特征嵌入，導致傳統依賴反向傳播的優化方式不再適用。
不過，這些模型通常向用戶開放了自然語言接口，使得通過優化提示詞來提升模型表現成為可能。
然而，傳統的提示詞工程嚴重依賴工程師的經驗和先驗知識。
例如，為提升 CLIP 模型的視覺識別效果，OpenAI 花費了一年時間收集了幾十種有效的提示詞模板（如 “A good photo of a [cl

原文鏈接：無需參數訪問！CMU用大模型自動優化視覺語言提示詞 | CVPR’24