標簽:位置
LongRoPE:超越極限,將大模型上下文窗口擴展超過200萬tokens
大數據文摘受權轉載自微軟亞洲研究院 編者按:大模型的飛速發展給人們的生活帶來了前所未有的便利。我們是否能夠設想利用大模型的潛力,快速掃描整部百科全書...
上海交大新框架解鎖CLIP長文本能力,多模態生成細節拿捏,圖像檢索能力顯著提升
白交 發自 凹非寺量子位 | 公眾號 QbitAICLIP長文本能力被解鎖,圖像檢索任務表現顯著提升! 一些關鍵細節也能被捕捉到。上海交大聯合上海AI實驗室提出新框架...
帶攝像頭的 AirPods,蘋果會怎么做出來?
放飛創意 大膽探索蘋果對智能產品的設計,正在放飛自我。 根據彭博社記者 Mark Gurman 的爆料,蘋果在「未來設備」的規劃里,有兩個大膽的想法: 一是帶有屏...
一覽大模型長文本能力
智猩猩和智東西發起主辦的2024中國生成式AI大會將于4月18-19日在北京舉辦。主會場將進行開幕式、大模型專場、AI Infra專場和AIGC應用專場;分會場將進行具身...
Transformer的無限之路:位置編碼視角下的長度外推綜述
機器之心專欄 機器之心編輯部在自然語言處理(Natural Language Processing,NLP)領域,Transformer 模型因其在序列建模中的卓越性能而受到廣泛關注。然而,...
首創pix2emb范式!NUS清華聯合發布NExT-Chat:對話/檢測/分割全能多模態大模型
新智元報道編輯:LRS 好困 【新智元導讀】研究人員提出了一個全新的位置建模方式pix2emb,可以在多模態對話模型中指定位置輸入來回答問題。隨著ChatGPT的爆紅...
大模型都會標注圖像了,簡單對話即可!來自清華&NUS
張傲 投稿量子位 | 公眾號 QbitAI多模態大模型集成了檢測分割模塊后,摳圖變得更簡單了! 只需用自然語言描述需求,模型就能分分鐘標注出要尋找的物體,并做...
AI繪圖模型不會寫字的難題,被阿里了
克雷西 發自 凹非寺量子位 | 公眾號 QbitAI能準確寫漢字的AI繪圖工具,終于登場了! 包括中文在內一共支持四種語言,而且還能文字的位置還能任意指定。 從此...
人大高瓴提出“注意力波”方法,70 億參數 Llama 比肩 GPT-4
夕小瑤科技說 原創作者 | 智商掉了一地、python最近,隨著大型語言模型(LLM)在人機交互、多模態任務和語言應用等領域的廣泛應用,研究者們紛紛致力于提升這...
孩子喜歡飛機,于是我給她做了一個雷達
大數據文摘出品作者:Caleb今年夏天,我計劃帶著我的孩子出國。她很興奮。在此之前,我和妻子決定大肆宣傳一下這次的飛行之旅,主要是為了確保女兒能安穩地度...
GPT、Llama等大模型存在「逆轉詛咒」,這個bug該如何緩解?
機器之心專欄作者:呂昂,張凱翼,解曙方,涂權,陳雨涵,文繼榮,嚴睿中國人民大學我們是否正在掉入中等智能陷阱?一個關于大語言模型 “逆轉詛咒” 的分析與...
自注意力推理缺陷的奧秘,螞蟻自研新一代Transformer或實現無損外推
機器之心專欄作者:螞蟻人工智能團隊隨著大語言模型的快速發展,其長度外推能力(length extrapolating)正日益受到研究者的關注。盡管這在 Transformer 誕生...
LLaMA2上下文長度暴漲至100萬tokens,只需調整1個超參數|復旦邱錫鵬團隊出品
蕭簫 發自 凹非寺量子位 | 公眾號 QbitAI只需微調一下,大模型支持上下文大小就能從1.6萬tokens延長至100萬?!還是在只有70億參數的LLaMA 2上。要知道,即使...
最強LLaMA突然來襲!只改一個超參數,實現上下文3.2萬token,多個任務打敗ChatGPT、Claude 2
明敏 豐色 發自 凹非寺量子位 | 公眾號 QbitAI悄無聲息,羊駝家族“最強版”來了!與GPT-4持平,上下文長度達3.2萬token的LLaMA 2 Long,正式登場。在性能上全...
韓國科學技術院最新成果:調動全身感官,機器狗也能在做中學
大數據文摘授權轉載自機器人大講堂作者:bilibili鐵山靠作為一種來自傳統武術的動作,主要是通過肩和胯來發力,在實際使用中往往可以爆發出驚人的力量……要是...