【綜述專欄】大型視覺語言模型攻擊綜述:資源、進展與未來趨勢!
AIGC動態(tài)歡迎閱讀
原標題:【綜述專欄】大型視覺語言模型攻擊綜述:資源、進展與未來趨勢!
關(guān)鍵字:模型,方法,數(shù)據(jù),攻擊者,報告
文章來源:人工智能學(xué)家
內(nèi)容字數(shù):0字
內(nèi)容摘要:
來源:人工智能前沿講習(xí)
在科學(xué)研究中,從方上來講,都應(yīng)“先見森林,再見樹木”。當(dāng)前,人工智能學(xué)術(shù)研究方興未艾,技術(shù)迅猛發(fā)展,可謂萬木爭榮,日新月異。對于AI從業(yè)者來說,在廣袤的知識森林中,系統(tǒng)梳理脈絡(luò),才能更好地把握趨勢。為此,我們精選國內(nèi)外優(yōu)秀的綜述文章,開辟“綜述專欄”,敬請關(guān)注。鏈接:https://arxiv.org/abs/2407.07403
近年來,隨著大型模型的顯著發(fā)展,大型視覺-語言模型(LVLMs)在各種多模態(tài)理解和推理任務(wù)中展示了卓越的能力。相比于傳統(tǒng)的大型語言模型(LLMs),由于更接近多資源的現(xiàn)實世界應(yīng)用和多模態(tài)處理的復(fù)雜性,LVLMs 展示了巨大的潛力和挑戰(zhàn)。然而,LVLMs 的脆弱性相對較少被探索,在日常使用中可能存在潛在的安全風(fēng)險。在本文中,我們對現(xiàn)有的各種 LVLM 攻擊形式進行了全面的回顧。具體來說,我們首先介紹了針對 LVLMs 攻擊的背景,包括攻擊的初步知識、攻擊的挑戰(zhàn)和攻擊資源。然后,我們系統(tǒng)地回顧了 LVLM 攻擊方法的發(fā)展,如操縱模型輸出的對抗攻擊,利用模型漏洞進行未授權(quán)操作的越獄攻擊,設(shè)計提示類型和模式的提示注入攻擊,以及影響模型訓(xùn)練
原文鏈接:【綜述專欄】大型視覺語言模型攻擊綜述:資源、進展與未來趨勢!
聯(lián)系作者
文章來源:人工智能學(xué)家
作者微信:
作者簡介: