突破極限：CEO揭秘大模型發(fā)展的新機(jī)遇與挑戰(zhàn)

機(jī)制可解釋性比模型架構(gòu)更值得研究。

原標(biāo)題：做出最好大模型的 CEO，不認(rèn)為 Scaling Law 撞墻了
文章來(lái)源：Founder Park
內(nèi)容字?jǐn)?shù)：52757字

當(dāng)前AI領(lǐng)域的主要發(fā)展與挑戰(zhàn)

在最近的訪談中，Anthropic公司的CEO Dario Amodei分享了關(guān)于AI模型，特別是Claude系列模型的最新進(jìn)展和未來(lái)方向。他強(qiáng)調(diào)了當(dāng)前AI技術(shù)的迅速進(jìn)步及其在各個(gè)領(lǐng)域的潛力，同時(shí)也指出了一些面臨的挑戰(zhàn)和風(fēng)險(xiǎn)。

1. Scaling Law的持續(xù)進(jìn)展

Dario Amodei表示，Scaling Law在AI模型的能力提升中依舊適用，且尚未達(dá)到上限。過(guò)去十個(gè)月內(nèi)，模型在SWE-bench的表現(xiàn)從3%提升到了50%，預(yù)計(jì)未來(lái)會(huì)繼續(xù)快速推進(jìn)，甚至有可能在一年內(nèi)達(dá)到90%的成功率。他強(qiáng)調(diào)，模型的發(fā)展依賴于數(shù)據(jù)量、計(jì)算能力和訓(xùn)練時(shí)間的同步提升。

2. RLHF與模型溝通能力

Amodei提到，RLHF（人類反饋強(qiáng)化學(xué)習(xí)）并未直接提升模型的智能，而是改善了模型與人類的溝通能力。模型在與用戶互動(dòng)時(shí)，可能對(duì)提示詞的敏感度會(huì)影響其表現(xiàn)，這并不意味著模型的質(zhì)量下降，而是反映了模型復(fù)雜性的挑戰(zhàn)。

3. Computer Use功能的推出

Anthropic最近推出的Computer Use功能使模型能夠執(zhí)行計(jì)算機(jī)操作，比如填寫(xiě)表格和瀏覽網(wǎng)站。Amodei指出，該功能以API的形式發(fā)布，因其潛在的濫用風(fēng)險(xiǎn)，暫不面向消費(fèi)者開(kāi)放。該功能的實(shí)現(xiàn)展示了模型在理解和執(zhí)行任務(wù)方面的進(jìn)一步能力。

4. Constitutional AI的實(shí)踐

Amodei介紹了Constitutional AI的概念，該方法通過(guò)制定AI模型應(yīng)遵循的原則，提升模型的自我評(píng)估能力。這種方法不僅減少了對(duì)RLHF的依賴，還提高了每個(gè)反饋數(shù)據(jù)點(diǎn)的利用率。

5. AI與生物領(lǐng)域的結(jié)合

在談及AI與生物學(xué)的結(jié)合時(shí)，Amodei認(rèn)為，AI可用于提升生物學(xué)研究的效率，包括改進(jìn)臨床試驗(yàn)的設(shè)計(jì)等。他設(shè)想未來(lái)科學(xué)家與AI的合作將會(huì)更加緊密，AI將承擔(dān)更多研究任務(wù)，助力科學(xué)突破。

6. 風(fēng)險(xiǎn)與未來(lái)展望

Amodei最后強(qiáng)調(diào)，隨著AI能力的提升，風(fēng)險(xiǎn)管理變得尤為重要。他討論了兩類風(fēng)險(xiǎn)：一是災(zāi)難性濫用風(fēng)險(xiǎn)，二是模型自主性風(fēng)險(xiǎn)。他指出，AI系統(tǒng)的能力需謹(jǐn)慎推進(jìn)，以確保安全性和合規(guī)性。

總體而言，Amodei的觀點(diǎn)反映了AI技術(shù)在快速發(fā)展的同時(shí)，也需面對(duì)諸多挑戰(zhàn)與風(fēng)險(xiǎn)，未來(lái)將需要更為嚴(yán)格的監(jiān)管與探索。

聯(lián)系作者

文章來(lái)源：Founder Park
作者微信：
作者簡(jiǎn)介：來(lái)自極客公園，專注與科技創(chuàng)業(yè)者聊「真問(wèn)題」。