如果允許學(xué)生用 AI“作弊”，他們的成績(jī)分布會(huì)發(fā)生怎樣的變化？針對(duì)這個(gè)問題，真有幾位大學(xué)教授正兒八經(jīng)研究了一番，并寫下了長(zhǎng)達(dá) 62 頁的研究論文。
結(jié)果發(fā)現(xiàn)，使用 GPT-4 后學(xué)生的“能力曲線被壓縮了”，差生和優(yōu)等生的差距縮小。
沃頓商學(xué)院教授分享了這項(xiàng)研究后，引起不少網(wǎng)友討論。網(wǎng)友對(duì)這樣的結(jié)果也感覺很意外：
和我的預(yù)期完全不符啊，還以為所有人分?jǐn)?shù)都會(huì)提高。
還有網(wǎng)友稱這是“真正的游戲規(guī)則改變者”：
AI 正在改變教育格局，在縮小差距的同時(shí)提高標(biāo)準(zhǔn)。
不過也有網(wǎng)友持不同觀點(diǎn)：
擅長(zhǎng)使用 AI 的人可能表現(xiàn)會(huì)非常出色，那種看起來差距縮小的情況可能只是因?yàn)橛袧M績(jī)點(diǎn) 4.0 這一上限。
AI 會(huì)是“平衡器”嗎？
除了上面所說的，我們查看論文，發(fā)現(xiàn)研究人員還得出了這些結(jié)論：
使用 GPT-4 對(duì)參與者總體任務(wù)完成的質(zhì)量影響較小且不穩(wěn)定；
使用 GPT-4 顯著減少了參與者完成任務(wù)的時(shí)間；
平時(shí)技能水平較低的參與者在使用 GPT-4 后，任務(wù)完成質(zhì)量提升最為顯著，本就能獨(dú)立高質(zhì)量完成任務(wù)的參與者獲得的質(zhì)量提升較小；
GPT-4 能為所有學(xué)生節(jié)省相似的時(shí)間，無論他們?cè)就瓿扇蝿?wù)的速度如何；
即便參與者不了解自己在各項(xiàng)任務(wù)上的具體成績(jī)，他們也能明確指出 GPT-4 最有效的應(yīng)用場(chǎng)景。
下面一起來看實(shí)驗(yàn)詳情。
具體來說，來自南加州大學(xué) Gould 法學(xué)院、明尼蘇達(dá)大學(xué)法學(xué)院的幾位教授，以研究 AI 輔助對(duì)法律分析的影響為例。
給參與實(shí)驗(yàn)的 60 位來自明尼蘇達(dá)大學(xué)法學(xué)院的學(xué)生提出了四項(xiàng)初級(jí)律師常見的任務(wù)：起訴狀起草（Complaint Drafting）、合同起草（Contract Drafting）、員工手冊(cè)起草（EE Handbook）和客戶備忘錄起草（Client Memo）。
不同的是，這些參與者隨機(jī)分為兩組（A 組、B 組），每組 30 人。A 組參與者需使用 GPT-4 完成起訴狀起草、合同起草任務(wù)，而 B 組使用 GPT-4 完成員工手冊(cè)起草和客戶備忘錄起草任務(wù)。
實(shí)驗(yàn)前，全部學(xué)生都接受了約 2 小時(shí)的培訓(xùn)，了解如何有效使用 GPT-4 進(jìn)行法律分析。完成任務(wù)過程中，參與者需記錄自己完成任務(wù)的時(shí)間。
然后，研究人員在不知道參與者身份和其他信息的情況下，匿名完成所有作品的評(píng)分。具體實(shí)驗(yàn)結(jié)果如下。
在 4.0 績(jī)點(diǎn)機(jī)制上，使用 GPT-4 輔助后，學(xué)生在四項(xiàng)任務(wù)中的平均分?jǐn)?shù)波動(dòng)幅度為 + 0.17、+0.24、+0.07、-0.07。
可視化圖表更直觀：
總的來說，僅合同起草任務(wù)的表現(xiàn)在 95% 置信水平上展現(xiàn)出了統(tǒng)計(jì)學(xué)意義上的顯著提升。
再來看使用和不使用 GPT-4 參與者，完成任務(wù)平均花費(fèi)的時(shí)間：
可以直觀地看到，參與者完成任務(wù)時(shí)間大大縮減：
更多數(shù)據(jù)和分析內(nèi)容，感興趣的朋友可查看論文。
值得一提的是，幾位教授在論文最后，還寫下了 12 頁啟示，針對(duì)律師、法律客戶、法官以及法學(xué)院、法學(xué)院學(xué)生提出了不同的建議。
其中指出：法學(xué)院需要重新考慮學(xué)生使用 AI 的時(shí)機(jī)和方法，以及在何種情況下應(yīng)限制 AI 的應(yīng)用，以便更好地適應(yīng)未來實(shí)踐的需求。此外，針對(duì)不同人群的類似研究也不在少數(shù)。
職場(chǎng)中 AI 會(huì)是“平衡器”嗎？
來自哈佛商學(xué)院、沃頓商學(xué)院、MIT 斯隆管理學(xué)院等的研究人員聯(lián)合波士頓咨詢公司做了一項(xiàng)研究。
他們選取了波士頓咨詢公司中的部分高知員工，讓他們使用 AI 輔助完成分析、創(chuàng)意構(gòu)思和說服技巧等 18 項(xiàng)任務(wù)測(cè)試。
結(jié)果發(fā)現(xiàn)，原本表現(xiàn)位于團(tuán)隊(duì)下半層的顧問們?cè)?AI 輔助下成果質(zhì)量提升了 43%；而平時(shí)表現(xiàn)在上半層的顧問僅提升了 17%。
使用 GPT-4 之前，頂尖員工與其他員工之間的平均差距為 22%；使用之后，這一差距顯著縮小至 4%。
MIT 的一項(xiàng)研究同樣表明，使用 ChatGPT 之后，高水平寫作者和低水平寫作者的表現(xiàn)差異縮減了一半。
創(chuàng)意寫作領(lǐng)域亦見相似現(xiàn)象，倫敦大學(xué)學(xué)院、埃克塞特大學(xué)研究人員的一項(xiàng)實(shí)驗(yàn)表明，創(chuàng)意作家技能差距縮小，GPT-4 提供的五個(gè)創(chuàng)意靈感“有效地平衡了不同創(chuàng)造力水平作家的創(chuàng)造力評(píng)分”。
不過，盡管有多項(xiàng)研究表明使用 AI 可以縮減人們之間的技能差距，但正如論文分享者、沃頓商學(xué)院教授 Ethan Mollick 所言：
技能的造王者（King Maker）、加速器（Escalator）、平衡器（Leveler），AI 究竟將扮演哪一種角色，并不是總是很清楚。
你認(rèn)為 AI 在你的身邊正扮演著哪種角色？
參考鏈接：
[1]https://x.com/emollick/status/1753486416758337981?s=20
[2]https://www.oneusefulthing.org/p/everyone-is-above-average
本文來自微信公眾號(hào)：量子位 （ID：QbitAI），作者：西風(fēng)
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。