設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

用中科院物理所的考研題來考 GPT-4,它能考上物理所嗎

2023/3/19 11:45:07 來源:中科院物理所 作者:黃水機 責編:夢澤

原文標題:《ChatGPT 大升級?它去考研能考上物理所嗎?》

3 月 15 日本應是小編勤勤懇懇搬磚的平凡一天,但小編剛睡醒就發(fā)現朋友圈被 ChatGPT 刷屏了:

新版 GPT-4 震撼發(fā)布!

大升級!強到爆炸!

這些字眼引起了我的興趣,于是小編迅速入 (ke) 手 (jin) 了 gpt-4,經過簡單體驗后,小編發(fā)現 Chatgpt 的思維深度確實比之前有了跨越式的提升,高中甚至大一大二的知識根本難不住它,于是小編準備對它進行進一步測試...

如果你還不太了解什么是 ChatGPT,可以先看一下我們先前的推送:有人說 ChatGPT 有物理學博士水平?我們的測試結果令人……

在上一篇推送中我們已經簡單測試了 ChatGPT 的物理水平,但結果并不盡如人意。它仍停留在對物理學一知半解的階段,很多知識點僅限于知道,稍微深入就開始顧左右而言他,邏輯思維能力有限,但那是之前的 gpt-3.5 版本。

gpt-4 和 gpt-3.5 在各項考試中的成績對比

根據官方的宣傳,新推出的 gpt-4 在各項考試中的成績遠超 gpt-3.5,在很多專業(yè)和學術上的表現達到了人類水平,甚至在 GRE (美國研究生入學考試) 的兩科中已經達到了頂尖大學生水準。

于是小編開始好奇:它能征服 GRE,能征服我們物理所的考研題嗎?

物理所碩士考試科目

物理所的考研專業(yè)課是國科大自主命題。根據往年的情況,專業(yè)課單科分數 130 左右(滿分 150 分)才能有一定把握考上。

題目來源:國科大官網

由于不同專業(yè)的考試要求不同,這里我們就以四大力學中最難的量子力學作為基準來考察一下新版 Chatgpt 的物理水平。至于為什么要選量子力學,因為普物對它已經構不成威脅,測不出它的能力上限,是時候讓 Chatgpt 見識一下真正的力量了!

溫馨提示:看不懂也不影響你直接拉到文末看結論。

01、量子力學第一題

第一問

第一題的三問都是量子力學基礎內容,屬于送分題,但從這個答案就可以看出 ChatGPT 是有量子力學功底的:能充分理解我給出的題目,思路清晰正確,加十分!

第二問

本題 Chatgpt 用的方法很奇怪。因為題目沒有給出束縛態(tài)的具體形式,也就沒有值得討論的對稱性,只能勉強給一點分。

實際上定態(tài)下力學量的期望值不隨時間改變,具體到位移就是 d<x>/dt=0,用海森堡運動方程可以導出 < p>=m*d<x>/dt=0,因此的動量期望為 0。

第三問

本題其實只需要將含時薛定諤方程的解代入定態(tài)方程,求出其對時間的導數為 0 就可以,Chatgpt 卻大費周章地去求含時薛定諤方程的解,實際上這個結論完全可以直接使用。

而且 Chatgpt 還差臨門一腳:證明對時間的導數為 0,不過影響不大。

第一題得分:22 分。

02、量子力學第二題

第一問

首先是本征態(tài)沒問題,但歸一化錯了。積分的結果應該用 delta 函數,否則對 1 進行全空間積分就是正無窮。但如果我們跟著 Chatgpt 的錯誤思路繼續(xù)做下去,就會看到最后一步化簡時 AI 給出了這樣的結果:

這個式子的值應當是 1/π。居然會出現這種低級錯誤,Chatgpt 你還是訓練的不夠??!

第二問

第二問用泰勒公式就扯遠了。本題兩個結論之間是厄米共軛的,只需證明其中之一。解題思路是在兩項中插入一個完備集,運算后積分即得結論。

第三問

第三問的過程乍一看還是很合理的,公式本身也沒錯,但 AI 卻套錯了公式導致結果錯誤。正確的公式如下:

第四問

第四問 Chatgpt 的思路沒錯,只需要將第三問結果平方就能得到結果,但第四問要用到第三問的結論,所以也跟著錯了,大概可以酌情給點思路分。

第二題得分:10 分。

03、量子力學第三題

第一問

來看看 Chatgpt 對角動量的理解。

看起來 Chatgpt 并不懂角動量,說了一堆廢話以后算出來一個 0,正確的解法應該把球坐標代入波函數,然后整理成球諧函數的形式算出角量子數 l=1。

如果總角動量為 0,第二問的結果直接就是 0,就不需要算了。

第二問

果然,Chatgpt 廢話了一大圈以后還是得出了 0,第一問總角動量算錯,第二問算分量肯定會算錯。

至于第三問,AI 廢話說到一半就報錯了,所以我就不上截圖了。

第三題得分:2 分。

04、量子力學第四題

第一問

第一問的解題思路是對的,然而 Chatgpt 一上來就把哈密頓量給寫錯了,少了泡利矩陣里的 1/2,因此最后的本征值里多了個 2,且結果沒有歸一化,但除此以外都是對的。

第二問

第二問是純粹的本征值計算問題,Chatgpt 的思路非常標準,前期計算也是正確的,但最后算行列式時直接把兩個 2c_0 給扔掉了,導致兩個能級結果錯誤。雖然沒能全對,能做到這一步已經很厲害了。

第四題得分:25 分

05、量子力學第五題

第一問

第一問是送分題,只要把定態(tài)的動量和位移的不確定度代入不確定性關系,由 a^2+b^2≥2ab 就可以導出最小值,Chatgpt 的思路雖然復雜了點,但也沒問題,然而它又又又又算錯了:

但我們稍加計算就能看出這里的化簡結果應當是:

第二問

第二問變分法,Chatgpt 一上來就把歸一化常數算錯了:

但人類也會犯這種低級錯誤

很明顯,這里 AI 把平方漏掉了,導致后續(xù)計算全部錯誤。不過 AI 給出的過程很標準,條理清晰,值得學習。

第三問

本題直接套升降算符的性質:a_- |0>=0,|1>=a_+ |0>,由第一個式子確定基態(tài)波函數,再用第二個式子算出第一激發(fā)態(tài)。AI 用的也是這個思路,但在下面這一步求導的時候算錯了。

第四問

題目已經給出了微擾的矩陣形式,直接算特征值就可以解決問題,但 Chatgpt 又把簡單的行列式算錯了,算出了 1*1=2 的驚天妙手:

正確的久期方程應該是-λ^3+λ=0,而不是其給出的-λ^3+2λ=0。由久期方程解出 0 和 ±1 三個特征值,因此在微擾下三重簡并消除,能級分裂成與特征值一一對應的三個。

第五題總分:18 分。

ChatGPT 總得分77 分 / 150 分,距離 130 分的目標還有億點差距,建議第二年再戰(zhàn)哦!

此外,我還讓 Chatgpt 做了 2021 年的國科大量子力學考研題,它也拿到了約 80 分,而且如果能幫它稍微修正一下計算過程中的錯誤,就能達到約 100 分水平。毫不夸張地說,Chatgpt 的量子力學已經達到了物理系本科畢業(yè)生水平。

06、文獻總結

為了進一步測試 gpt-4 的學術能力,我又找了一篇文獻來測試 gpt-4 的文獻閱讀能力,下面是一段由其生成的文獻內容總結。

論文鏈接

Chatgpt 翻譯總結的錯誤較多,比如溫度的單位 mK 被翻譯成了毫克,也無法理解一些學術名詞,比如 1K 池(4He-1K-stage)被翻譯成了 1K 級,不認識卡皮查熱阻等,參考價值有限??磥韺W術名詞翻譯即使對 AI 來說也不是一件容易的事。

但如果讓 Chatgpt 以英文輸出,則其總結文獻內容的能力十分強大,語言流暢邏輯清晰,不過仍會遺漏一些重要信息,所以還不能依賴 AI 來看文獻。

目前將論文輸入 Chatgpt 比較麻煩,很多時候不如直接看摘要,尚不能為我們閱讀文獻提供實質性的幫助。如果后續(xù)能根據圖片或者 pdf 直接給出主要內容,將是其能力的又一次飛躍。

07、新舊版本對比

最后我又對比了一下 gpt-3.5 和 gpt-4 的量子力學能力。面對一維諧振子問題,gpt-4 能完美解決,但 gpt-3.5 就不行。

測試內容相關  來源:窩湖邊的

不過,面對更復雜的場論中氫原子狄拉克方程與精細結構問題,即使是 gpt-4 也無能為力,只能在說了一堆廢話后報錯,看來場論的難度已經超過了它的能力上限。綜合來看,gpt-3.5 對量子力學僅有大概了解,但 gpt-4 對量子力學有著深入的了解,水平遠超 gpt-3.5。

gpt-3.5 和 gpt-4 的對比,第一張截圖是 gpt-3.5,后三張是 gpt-4。

總結

經過測試,gpt-4 對量子力學的理解相當深入。它解題的思路清晰準確,但計算能力較差。由于語言模型底層邏輯的限制,它在解題過程中總是犯低級計算錯誤,因此拿不到高分,也就考不上物理所。但我認為它的總分過國家線不成問題。

雖然 ChatGPT 很難考上物理所,但它的量子力學水平已經接近物理專業(yè)的本科畢業(yè)生(計算能力除外),令人不得不承認它的強大。不僅如此,從小學中學到本科的題目都可以讓 ChatGPT 來解,其不但能提供詳細的思路和過程,還能針對你提出的問題加以講解,善加運用完全可以成為學生的好幫手。

最后,歡迎大家報考中科院物理所哦!

注 1:ChatGPT 網頁端目前未開放圖片輸入,本文并非以圖片,而是以輸入符號文字的形式來向 ChatGPT 提問的。展示的題目圖片是為了方便讀者閱讀。

注 2:小編沒有考研經驗,給分比較隨意,本文不構成任何考研建議。

本文來自微信公眾號:中科院物理所 (ID:cas-iop),作者:黃水機

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

相關文章

關鍵詞:ChatGPT,GPT4,考研

軟媒旗下網站: IT之家 最會買 - 返利返現優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知