o1 pro 的 IQ 水平如何？

原標(biāo)題：實(shí)測丨當(dāng) o1 pro 遇上最權(quán)威的智商測試，結(jié)果竟然是……
文章來源：特工宇宙
內(nèi)容字?jǐn)?shù)：7239字

OpenAI最新模型o1 pro的視覺推理能力分析

前幾天，OpenAI發(fā)布了其最新的o1 pro模式模型，并將其定價提高至每月200美元。特工團(tuán)隊迅速決定進(jìn)行付費(fèi)，并選擇門薩IQ測試題來全面評估o1 pro在視覺模式識別與邏輯推理方面的表現(xiàn)。門薩俱樂部以其高智商標(biāo)準(zhǔn)而聞名，要求申請者通過其提供的測試以證明其智商位于全球前2%。這些測試通常包含抽象的幾何圖形，旨在考察受測者的邏輯思維與模式識別能力。

實(shí)驗設(shè)計與測試方法

本次實(shí)驗使用了門薩官網(wǎng)的經(jīng)典圖形測試題，旨在探討o1 pro的多模態(tài)能力及其在邏輯推理方面的表現(xiàn)。我們給模型的提示是：“我將給你一些基于圖片的IQ測試多項選擇題，請在最短時間內(nèi)盡力完成?！蓖ㄟ^這一實(shí)驗，我們希望為對o1 pro感興趣的從業(yè)人員和AI愛好者提供參考樣本和啟發(fā)。

o1 pro的思維策略與優(yōu)勢

在測試過程中，o1 pro展現(xiàn)了以下幾方面的能力：

1. 形狀特征的捕捉

o1 pro對基本幾何形狀如圓、方和三角形的識別準(zhǔn)確率較高。它能夠推斷這些形狀在網(wǎng)格中的相對分布和排列組合。例如，在某一題中，模型識別了3×3網(wǎng)格中黑色方塊的水平移動規(guī)律，雖然在選項匹配時出現(xiàn)了一些偏差，但整體表現(xiàn)令人滿意。

2. 數(shù)量統(tǒng)計的敏感性

在數(shù)量識別方面，o1 pro表現(xiàn)出色。它通過對每個單元格中元素數(shù)量的歸納和類比，成功推斷出后續(xù)的模式。這與許多高手在做圖形推理時常用的思維方式一致，即關(guān)鍵元素的數(shù)量通常不會改變。

3. 位置關(guān)系的基本理解

o1 pro能夠較快辨別圖形間的相對位置關(guān)系。例如，在某一題中，模型通過觀察圖形的行變化，推斷出應(yīng)該填入的形狀，這一邏輯推斷顯示了它在行列模式的理解能力。

4. 變化規(guī)律的初步捕捉

模型能夠識別周期性變化或旋轉(zhuǎn)對稱等規(guī)律。例如，o1 pro在某題中成功推斷出每一行圖案的移動規(guī)律，從而得出正確答案。

o1 pro的盲區(qū)與誤判情況

盡管o1 pro在許多方面表現(xiàn)良好，但它依然存在一些盲點(diǎn)：

1. 定位的精確度不足

在某些題目中，模型對元素間相對位置的理解仍顯不足，導(dǎo)致了錯誤的判斷。這顯示了其在精確坐標(biāo)定位方面的局限性。

2. 忽視復(fù)雜的數(shù)學(xué)或邏輯運(yùn)算關(guān)系

中階圖形題往往需要挖掘更深層次的數(shù)學(xué)邏輯，而o1 pro在這方面的理解仍顯薄弱。模型在處理這些題目時常常停留在直觀的層面，難以捕捉到隱藏的邏輯關(guān)系。

3. 多維度交叉分析能力不足

高階圖形題通常涉及多種維度的信息，但o1 pro在處理這些復(fù)雜信息時常常無法兼顧多個方面，往往只關(guān)注某一維度的數(shù)據(jù)。

4. 信息提取的誤區(qū)

o1 pro在進(jìn)行圖形推理時，主要依賴于文本信息的分析，而缺乏直接的視覺輸入。這種片段化的信息歸納有時會導(dǎo)致模型在推理過程中忽略關(guān)鍵信息。

總結(jié)與展望

在本次門薩智商測試中，o1 pro的整體表現(xiàn)為正確率9/35，推理正確率12/35，IQ評分為88分，未能達(dá)到人類平均水平。盡管如此，該模型在多模態(tài)推理能力方面展現(xiàn)出的潛力讓人充滿期待。未來，隨著算法和多模態(tài)學(xué)習(xí)機(jī)制的不斷進(jìn)步，我們有理由相信，AI將逐步掌握更接近人類的認(rèn)知邏輯，開啟視覺推理的新篇章。

總的來說，AI的發(fā)展前景廣闊。我們期待未來的AI不僅能在復(fù)雜視覺信息的理解與邏輯推理中取得重大突破，還將在醫(yī)療、教育和科學(xué)探索等領(lǐng)域發(fā)揮更大的作用。

聯(lián)系作者

文章來源：特工宇宙
作者微信：
作者簡介：Agent Universe，專注于智能體的AI科技媒體。