設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

用中科院物理所的考研題來(lái)考 GPT-4,它能考上物理所嗎

2023/3/19 11:45:07 來(lái)源:中科院物理所 作者:黃水機(jī) 責(zé)編:夢(mèng)澤

原文標(biāo)題:《ChatGPT 大升級(jí)?它去考研能考上物理所嗎?》

3 月 15 日本應(yīng)是小編勤勤懇懇搬磚的平凡一天,但小編剛睡醒就發(fā)現(xiàn)朋友圈被 ChatGPT 刷屏了:

新版 GPT-4 震撼發(fā)布!

大升級(jí)!強(qiáng)到爆炸!

這些字眼引起了我的興趣,于是小編迅速入 (ke) 手 (jin) 了 gpt-4,經(jīng)過(guò)簡(jiǎn)單體驗(yàn)后,小編發(fā)現(xiàn) Chatgpt 的思維深度確實(shí)比之前有了跨越式的提升,高中甚至大一大二的知識(shí)根本難不住它,于是小編準(zhǔn)備對(duì)它進(jìn)行進(jìn)一步測(cè)試...

如果你還不太了解什么是 ChatGPT,可以先看一下我們先前的推送:有人說(shuō) ChatGPT 有物理學(xué)博士水平?我們的測(cè)試結(jié)果令人……

在上一篇推送中我們已經(jīng)簡(jiǎn)單測(cè)試了 ChatGPT 的物理水平,但結(jié)果并不盡如人意。它仍停留在對(duì)物理學(xué)一知半解的階段,很多知識(shí)點(diǎn)僅限于知道,稍微深入就開(kāi)始顧左右而言他,邏輯思維能力有限,但那是之前的 gpt-3.5 版本。

gpt-4 和 gpt-3.5 在各項(xiàng)考試中的成績(jī)對(duì)比

根據(jù)官方的宣傳,新推出的 gpt-4 在各項(xiàng)考試中的成績(jī)遠(yuǎn)超 gpt-3.5,在很多專業(yè)和學(xué)術(shù)上的表現(xiàn)達(dá)到了人類水平,甚至在 GRE (美國(guó)研究生入學(xué)考試) 的兩科中已經(jīng)達(dá)到了頂尖大學(xué)生水準(zhǔn)。

于是小編開(kāi)始好奇:它能征服 GRE,能征服我們物理所的考研題嗎?

物理所碩士考試科目

物理所的考研專業(yè)課是國(guó)科大自主命題。根據(jù)往年的情況,專業(yè)課單科分?jǐn)?shù) 130 左右(滿分 150 分)才能有一定把握考上。

題目來(lái)源:國(guó)科大官網(wǎng)

由于不同專業(yè)的考試要求不同,這里我們就以四大力學(xué)中最難的量子力學(xué)作為基準(zhǔn)來(lái)考察一下新版 Chatgpt 的物理水平。至于為什么要選量子力學(xué),因?yàn)槠瘴飳?duì)它已經(jīng)構(gòu)不成威脅,測(cè)不出它的能力上限,是時(shí)候讓 Chatgpt 見(jiàn)識(shí)一下真正的力量了!

溫馨提示:看不懂也不影響你直接拉到文末看結(jié)論。

01、量子力學(xué)第一題

第一問(wèn)

第一題的三問(wèn)都是量子力學(xué)基礎(chǔ)內(nèi)容,屬于送分題,但從這個(gè)答案就可以看出 ChatGPT 是有量子力學(xué)功底的:能充分理解我給出的題目,思路清晰正確,加十分!

第二問(wèn)

本題 Chatgpt 用的方法很奇怪。因?yàn)轭}目沒(méi)有給出束縛態(tài)的具體形式,也就沒(méi)有值得討論的對(duì)稱性,只能勉強(qiáng)給一點(diǎn)分。

實(shí)際上定態(tài)下力學(xué)量的期望值不隨時(shí)間改變,具體到位移就是 d<x>/dt=0,用海森堡運(yùn)動(dòng)方程可以導(dǎo)出 < p>=m*d<x>/dt=0,因此的動(dòng)量期望為 0。

第三問(wèn)

本題其實(shí)只需要將含時(shí)薛定諤方程的解代入定態(tài)方程,求出其對(duì)時(shí)間的導(dǎo)數(shù)為 0 就可以,Chatgpt 卻大費(fèi)周章地去求含時(shí)薛定諤方程的解,實(shí)際上這個(gè)結(jié)論完全可以直接使用。

而且 Chatgpt 還差臨門一腳:證明對(duì)時(shí)間的導(dǎo)數(shù)為 0,不過(guò)影響不大。

第一題得分:22 分。

02、量子力學(xué)第二題

第一問(wèn)

首先是本征態(tài)沒(méi)問(wèn)題,但歸一化錯(cuò)了。積分的結(jié)果應(yīng)該用 delta 函數(shù),否則對(duì) 1 進(jìn)行全空間積分就是正無(wú)窮。但如果我們跟著 Chatgpt 的錯(cuò)誤思路繼續(xù)做下去,就會(huì)看到最后一步化簡(jiǎn)時(shí) AI 給出了這樣的結(jié)果:

這個(gè)式子的值應(yīng)當(dāng)是 1/π。居然會(huì)出現(xiàn)這種低級(jí)錯(cuò)誤,Chatgpt 你還是訓(xùn)練的不夠??!

第二問(wèn)

第二問(wèn)用泰勒公式就扯遠(yuǎn)了。本題兩個(gè)結(jié)論之間是厄米共軛的,只需證明其中之一。解題思路是在兩項(xiàng)中插入一個(gè)完備集,運(yùn)算后積分即得結(jié)論。

第三問(wèn)

第三問(wèn)的過(guò)程乍一看還是很合理的,公式本身也沒(méi)錯(cuò),但 AI 卻套錯(cuò)了公式導(dǎo)致結(jié)果錯(cuò)誤。正確的公式如下:

第四問(wèn)

第四問(wèn) Chatgpt 的思路沒(méi)錯(cuò),只需要將第三問(wèn)結(jié)果平方就能得到結(jié)果,但第四問(wèn)要用到第三問(wèn)的結(jié)論,所以也跟著錯(cuò)了,大概可以酌情給點(diǎn)思路分。

第二題得分:10 分。

03、量子力學(xué)第三題

第一問(wèn)

來(lái)看看 Chatgpt 對(duì)角動(dòng)量的理解。

看起來(lái) Chatgpt 并不懂角動(dòng)量,說(shuō)了一堆廢話以后算出來(lái)一個(gè) 0,正確的解法應(yīng)該把球坐標(biāo)代入波函數(shù),然后整理成球諧函數(shù)的形式算出角量子數(shù) l=1。

如果總角動(dòng)量為 0,第二問(wèn)的結(jié)果直接就是 0,就不需要算了。

第二問(wèn)

果然,Chatgpt 廢話了一大圈以后還是得出了 0,第一問(wèn)總角動(dòng)量算錯(cuò),第二問(wèn)算分量肯定會(huì)算錯(cuò)。

至于第三問(wèn),AI 廢話說(shuō)到一半就報(bào)錯(cuò)了,所以我就不上截圖了。

第三題得分:2 分。

04、量子力學(xué)第四題

第一問(wèn)

第一問(wèn)的解題思路是對(duì)的,然而 Chatgpt 一上來(lái)就把哈密頓量給寫錯(cuò)了,少了泡利矩陣?yán)锏?1/2,因此最后的本征值里多了個(gè) 2,且結(jié)果沒(méi)有歸一化,但除此以外都是對(duì)的。

第二問(wèn)

第二問(wèn)是純粹的本征值計(jì)算問(wèn)題,Chatgpt 的思路非常標(biāo)準(zhǔn),前期計(jì)算也是正確的,但最后算行列式時(shí)直接把兩個(gè) 2c_0 給扔掉了,導(dǎo)致兩個(gè)能級(jí)結(jié)果錯(cuò)誤。雖然沒(méi)能全對(duì),能做到這一步已經(jīng)很厲害了。

第四題得分:25 分

05、量子力學(xué)第五題

第一問(wèn)

第一問(wèn)是送分題,只要把定態(tài)的動(dòng)量和位移的不確定度代入不確定性關(guān)系,由 a^2+b^2≥2ab 就可以導(dǎo)出最小值,Chatgpt 的思路雖然復(fù)雜了點(diǎn),但也沒(méi)問(wèn)題,然而它又又又又算錯(cuò)了:

但我們稍加計(jì)算就能看出這里的化簡(jiǎn)結(jié)果應(yīng)當(dāng)是:

第二問(wèn)

第二問(wèn)變分法,Chatgpt 一上來(lái)就把歸一化常數(shù)算錯(cuò)了:

但人類也會(huì)犯這種低級(jí)錯(cuò)誤

很明顯,這里 AI 把平方漏掉了,導(dǎo)致后續(xù)計(jì)算全部錯(cuò)誤。不過(guò) AI 給出的過(guò)程很標(biāo)準(zhǔn),條理清晰,值得學(xué)習(xí)。

第三問(wèn)

本題直接套升降算符的性質(zhì):a_- |0>=0,|1>=a_+ |0>,由第一個(gè)式子確定基態(tài)波函數(shù),再用第二個(gè)式子算出第一激發(fā)態(tài)。AI 用的也是這個(gè)思路,但在下面這一步求導(dǎo)的時(shí)候算錯(cuò)了。

第四問(wèn)

題目已經(jīng)給出了微擾的矩陣形式,直接算特征值就可以解決問(wèn)題,但 Chatgpt 又把簡(jiǎn)單的行列式算錯(cuò)了,算出了 1*1=2 的驚天妙手:

正確的久期方程應(yīng)該是-λ^3+λ=0,而不是其給出的-λ^3+2λ=0。由久期方程解出 0 和 ±1 三個(gè)特征值,因此在微擾下三重簡(jiǎn)并消除,能級(jí)分裂成與特征值一一對(duì)應(yīng)的三個(gè)。

第五題總分:18 分。

ChatGPT 總得分77 分 / 150 分,距離 130 分的目標(biāo)還有億點(diǎn)差距,建議第二年再戰(zhàn)哦!

此外,我還讓 Chatgpt 做了 2021 年的國(guó)科大量子力學(xué)考研題,它也拿到了約 80 分,而且如果能幫它稍微修正一下計(jì)算過(guò)程中的錯(cuò)誤,就能達(dá)到約 100 分水平。毫不夸張地說(shuō),Chatgpt 的量子力學(xué)已經(jīng)達(dá)到了物理系本科畢業(yè)生水平。

06、文獻(xiàn)總結(jié)

為了進(jìn)一步測(cè)試 gpt-4 的學(xué)術(shù)能力,我又找了一篇文獻(xiàn)來(lái)測(cè)試 gpt-4 的文獻(xiàn)閱讀能力,下面是一段由其生成的文獻(xiàn)內(nèi)容總結(jié)。

論文鏈接

Chatgpt 翻譯總結(jié)的錯(cuò)誤較多,比如溫度的單位 mK 被翻譯成了毫克,也無(wú)法理解一些學(xué)術(shù)名詞,比如 1K 池(4He-1K-stage)被翻譯成了 1K 級(jí),不認(rèn)識(shí)卡皮查熱阻等,參考價(jià)值有限??磥?lái)學(xué)術(shù)名詞翻譯即使對(duì) AI 來(lái)說(shuō)也不是一件容易的事。

但如果讓 Chatgpt 以英文輸出,則其總結(jié)文獻(xiàn)內(nèi)容的能力十分強(qiáng)大,語(yǔ)言流暢邏輯清晰,不過(guò)仍會(huì)遺漏一些重要信息,所以還不能依賴 AI 來(lái)看文獻(xiàn)。

目前將論文輸入 Chatgpt 比較麻煩,很多時(shí)候不如直接看摘要,尚不能為我們閱讀文獻(xiàn)提供實(shí)質(zhì)性的幫助。如果后續(xù)能根據(jù)圖片或者 pdf 直接給出主要內(nèi)容,將是其能力的又一次飛躍。

07、新舊版本對(duì)比

最后我又對(duì)比了一下 gpt-3.5 和 gpt-4 的量子力學(xué)能力。面對(duì)一維諧振子問(wèn)題,gpt-4 能完美解決,但 gpt-3.5 就不行。

測(cè)試內(nèi)容相關(guān)  來(lái)源:窩湖邊的

不過(guò),面對(duì)更復(fù)雜的場(chǎng)論中氫原子狄拉克方程與精細(xì)結(jié)構(gòu)問(wèn)題,即使是 gpt-4 也無(wú)能為力,只能在說(shuō)了一堆廢話后報(bào)錯(cuò),看來(lái)場(chǎng)論的難度已經(jīng)超過(guò)了它的能力上限。綜合來(lái)看,gpt-3.5 對(duì)量子力學(xué)僅有大概了解,但 gpt-4 對(duì)量子力學(xué)有著深入的了解,水平遠(yuǎn)超 gpt-3.5。

gpt-3.5 和 gpt-4 的對(duì)比,第一張截圖是 gpt-3.5,后三張是 gpt-4。

總結(jié)

經(jīng)過(guò)測(cè)試,gpt-4 對(duì)量子力學(xué)的理解相當(dāng)深入。它解題的思路清晰準(zhǔn)確,但計(jì)算能力較差。由于語(yǔ)言模型底層邏輯的限制,它在解題過(guò)程中總是犯低級(jí)計(jì)算錯(cuò)誤,因此拿不到高分,也就考不上物理所。但我認(rèn)為它的總分過(guò)國(guó)家線不成問(wèn)題。

雖然 ChatGPT 很難考上物理所,但它的量子力學(xué)水平已經(jīng)接近物理專業(yè)的本科畢業(yè)生(計(jì)算能力除外),令人不得不承認(rèn)它的強(qiáng)大。不僅如此,從小學(xué)中學(xué)到本科的題目都可以讓 ChatGPT 來(lái)解,其不但能提供詳細(xì)的思路和過(guò)程,還能針對(duì)你提出的問(wèn)題加以講解,善加運(yùn)用完全可以成為學(xué)生的好幫手。

最后,歡迎大家報(bào)考中科院物理所哦!

注 1:ChatGPT 網(wǎng)頁(yè)端目前未開(kāi)放圖片輸入,本文并非以圖片,而是以輸入符號(hào)文字的形式來(lái)向 ChatGPT 提問(wèn)的。展示的題目圖片是為了方便讀者閱讀。

注 2:小編沒(méi)有考研經(jīng)驗(yàn),給分比較隨意,本文不構(gòu)成任何考研建議。

本文來(lái)自微信公眾號(hào):中科院物理所 (ID:cas-iop),作者:黃水機(jī)

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:ChatGPT,GPT4考研

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知