AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：OpenAI新模型用的嵌入技術(shù)被網(wǎng)友扒出來(lái)了
關(guān)鍵字：表征,向量,模型,研究者,論文
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：4099字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：蛋醬學(xué)起來(lái)吧。前幾天，OpenAI 來(lái)了一波重磅更新，一口氣宣布了 5 個(gè)新模型，其中就包括兩個(gè)新的文本嵌入模型。
我們知道，嵌入是表示自然語(yǔ)言或代碼等內(nèi)容中概念的數(shù)字序列。嵌入使得機(jī)器學(xué)習(xí)模型和其他算法更容易理解內(nèi)容之間的關(guān)聯(lián)，也更容易執(zhí)行聚類或檢索等任務(wù)。
使用更大的嵌入（比如將它們存儲(chǔ)在向量存儲(chǔ)器中以供檢索）通常要比更小的嵌入消耗更高的成本、以及更多的算力、內(nèi)存和存儲(chǔ)。而 OpenAI 此次推出的兩個(gè)文本嵌入模型分別是更小且高效的 text-embedding-3-small 模型和更大且更強(qiáng)大的 text-embedding-3-large 模型。
這兩個(gè)新嵌入模型都使用一種技術(shù)進(jìn)行訓(xùn)練，允許開(kāi)發(fā)人員權(quán)衡使用嵌入的性能和成本。具體來(lái)說(shuō)，開(kāi)發(fā)者通過(guò)在 dimensions API 參數(shù)中傳遞嵌入而不丟失其概念表征屬性，從而縮短嵌入（即從序列末尾刪除一些數(shù)字）。例如在 MTEB 基準(zhǔn)上，text-embedding-3-large 可以縮短為 256 的大小， 同時(shí)性能仍然優(yōu)于未縮短的 text-embedding-ada-002 嵌入（大小為 1536）。這一

原文鏈接：OpenAI新模型用的嵌入技術(shù)被網(wǎng)友扒出來(lái)了

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)