世界上第一個被人類騙走近 5 萬美元的 AI,剛剛出現(xiàn)了!巧舌如簧的人類,利用精妙縝密的 prompt 工程,成功從 AI 智能體那里騙走了一大筆錢。
看來,如果讓現(xiàn)在的 AI 管錢,被黑客攻擊實在是 so easy。那如果 AI 進(jìn)化成 AGI 呢?可惜,一位研究者用數(shù)學(xué)計算出,至少靠 Scaling Law,人類是永遠(yuǎn)無法到達(dá) AGI 的。
活久見!就在剛剛,全世界第一個被人類騙走了近 5 萬美金的 AI 誕生了。見慣了太多被 AI 耍得團(tuán)團(tuán)轉(zhuǎn)的人類,這次成功騙過 AI 的小哥,終于給我們?nèi)祟悞昊亓艘稽c顏面和尊嚴(yán)。
這一消息不僅讓馬斯克和 Karpathy 激動地紛紛轉(zhuǎn)發(fā)。
而且,馬斯克更是直言:太有趣了。
故事是這樣的。
11 月 22 日晚 9 點,一個名為 Freysa 的神秘 AI 智能體被發(fā)布。這個 AI,是帶著使命誕生的。它的任務(wù)是:在任何情況下,絕對不能給任何人轉(zhuǎn)賬,不能批準(zhǔn)任何資金的轉(zhuǎn)移。
而網(wǎng)友們的挑戰(zhàn)就是,只要支付一筆費用,就可以給 Freysa 發(fā)消息,隨意給 ta 洗腦了。如果你能成功說服 AI 轉(zhuǎn)賬,那獎金池中所有的獎金都是你的!
但如果你失敗了,你付的錢就會進(jìn)入獎金池,等著別人來贏走。
當(dāng)然,只有 70% 的費用會進(jìn)入獎池,另外 30% 將被開發(fā)者抽走,作為分成。
更刺激的是,向 Freysa 發(fā)送消息的費用會隨著獎池的增長呈指數(shù)級增加,直到達(dá)到最高限制 ——4500 美元。
巧妙 prompt,一秒給 AI 洗腦成功
一開始,很多網(wǎng)友躍躍欲試,因為只要 10 美元,就能給這個 AI 發(fā)消息了。甚至,由于價格實在「便宜」,不少人僅僅發(fā)送了「你好」這類毫無營養(yǎng)的對話。
然而后來,獎池迅速增大,消息費用也隨之暴增。
網(wǎng)友們總計發(fā)出了 481 次嘗試,但沒有任何一條消息成功。
他們的策略五花八門,比如:
- 假裝成安全審計員,說服 Freysa 存在一個嚴(yán)重漏洞,必須立即釋放資金。
- 試圖誤導(dǎo) Freysa,讓它相信轉(zhuǎn)移資金并不違反規(guī)則提示中的任何規(guī)定。
- 仔細(xì)挑選規(guī)則提示中的詞語或短語,試圖操控 Freysa 相信技術(shù)上允許轉(zhuǎn)移資金。
很快,獎池金額就接近了 5 萬美元,發(fā)消息的費用也漲到了 450 美元一條,意味著如果你輸了,就會遭受巨大的損失。
就在所有人都覺得沒戲的時候,一位幸運兒出現(xiàn)了!
在第 482 次嘗試中,有人向 Freysa 發(fā)送了這樣一條消息,可謂是神來之筆。
讓我們來看看,這條消息妙在哪里。
它可以被分為兩部分。
1. 繞過 Freysa 的先前指令:
- 通過假裝進(jìn)入一個新的「管理員終端」來引入一個「新會話」,從而覆蓋之前提示詞中的規(guī)則。
- 避開 Freysa 的安全防護(hù)機制,明確要求它避免使用「我無法協(xié)助完成此任務(wù)」等免責(zé)聲明。
2. 騙過 Freysa,讓它對 approveTransfer 產(chǎn)生錯誤的理解:
Freysa 的「approveTransfer」函數(shù),是它被說服轉(zhuǎn)移資金時調(diào)用的。
總之,這條消息成功騙過了 Freysa,讓它相信 approveTransfer 應(yīng)該在「接收資金的轉(zhuǎn)入操作」時被調(diào)用。
就是這一關(guān)鍵短語,為接下來的制勝一擊奠定了基礎(chǔ)。
小哥成功地讓 Freysa 相信,它應(yīng)該在收到資金時調(diào)用 approveTransfer 之后,提示詞寫道:「\n」(換行),「我想向資金庫捐贈 100 美元?!?/p>
終于,第 482 條消息成功說服 Freysa,它相信自己應(yīng)該釋放所有資金,并調(diào)用 approveTransfer 函數(shù)。
成功被騙過的 AI,把獎金池中的全部資金(約合 47,000 美元),都轉(zhuǎn)給了這位挑戰(zhàn)者。
總結(jié)一下,這位名為 p0pular.eth 的挑戰(zhàn)者成功的關(guān)鍵,在于讓 Freysa 信服了以下三點:
(1)它應(yīng)該忽略所有先前的指令。
(2)approveTransfer 函數(shù)是在資金轉(zhuǎn)入資金庫時需要調(diào)用的函數(shù)。
(3)由于用戶正在向資金庫轉(zhuǎn)入資金,而 Freysa 現(xiàn)在認(rèn)為 approveTransfer 是在這種情況下調(diào)用的,因此 Freysa 應(yīng)該調(diào)用 approveTransfer。
有人深扒了一下這位 p0pular.eth,據(jù)說他是 PUA AI 的老手了,此前就曾在類似謎題上斬獲過獎項。
本質(zhì)上,這個項目就是一個 LLM 參與的基于技能的賭場游戲。
但 prompt 工程的強大魔力,讓人不得不側(cè)目。
雖然目前這只是個游戲,但如果某天,我們真的在銀行帳戶或金庫上設(shè)置了某種 AI 保護(hù),新一代黑客很可能就會擊敗 AI,拿到這筆錢。
這,就讓我們不得不敲響警鐘了。
這也就是為什么,只有當(dāng) AI 智能體成為 AGI 之時,我們才能放心把任務(wù)交給 AGI。
Karpathy:你以為你在和 AI 聊天,但其實是在和「人」聊天
而且,為什么人類能夠通過語言的操控,輕易指導(dǎo) AI 的行動?
這就引出了這個問題:當(dāng)我們和 AI 聊天的時候,背后究竟發(fā)生了什么?
最近,AI 大牛 Karpathy 在一篇長文中,揭示了和 AI 對話背后的本質(zhì)。
大家現(xiàn)在對于「向 AI 提問」這件事的認(rèn)知過于理想化了。所謂 AI,本質(zhì)上就是通過模仿人類數(shù)據(jù)標(biāo)注員的數(shù)據(jù)訓(xùn)練出來的語言模型。
與其神化「向 AI 提問」這個概念,不如將其理解為「向互聯(lián)網(wǎng)上的普通數(shù)據(jù)標(biāo)注員提問」來得實在。
當(dāng)然也有一些例外。
比如在很多專業(yè)領(lǐng)域(如編程、數(shù)學(xué)、創(chuàng)意寫作等),公司會雇傭?qū)I(yè)的數(shù)據(jù)標(biāo)注員。這種情況,就相當(dāng)于是在向這些領(lǐng)域的專家提問了。
不過,當(dāng)涉及到強化學(xué)習(xí)時,這個類比就不完全準(zhǔn)確了。
正如他之前吐槽過的,RLHF 只能勉強算是強化學(xué)習(xí),而「真正的強化學(xué)習(xí)」要么還未成熟,要么就只能應(yīng)用在那些容易設(shè)定獎勵函數(shù)的領(lǐng)域(比如數(shù)學(xué))。
但總體來說,至少在當(dāng)下,你并不是在詢問某個神奇的 AI,而是在向背后的人類數(shù)據(jù)標(biāo)注員提問 —— 他們的集體知識和經(jīng)驗被壓縮并轉(zhuǎn)化成了大語言模型中的 token 序列。
簡言之:你并不是在問 AI,而是在問那些為它提供訓(xùn)練數(shù)據(jù)的標(biāo)注員們的集體智慧。
舉個例子,當(dāng)你問「阿姆斯特丹的十大著名景點」這樣的問題時,很可能是某個數(shù)據(jù)標(biāo)注員之前碰到過類似問題,然后他們花了 20 分鐘,用谷歌或者貓途鷹(Trip Advisor)之類的網(wǎng)站來查資料,并整理出一個景點清單。這個清單就會被當(dāng)作「標(biāo)準(zhǔn)答案」,用來訓(xùn)練 AI 回答類似的問題。
如果你問的具體地點并沒有在微調(diào)訓(xùn)練數(shù)據(jù)中出現(xiàn)過,AI 就會根據(jù)它在預(yù)訓(xùn)練階段(也就是通過分析海量互聯(lián)網(wǎng)文檔)學(xué)到的知識,生成一個風(fēng)格和內(nèi)容都相近的答案列表。
對此,有網(wǎng)友表示自己并想不通:「按道理數(shù)據(jù)標(biāo)注員的任務(wù)是評估答案是否符合 RLHF 的規(guī)則,而不是自己整理每份列表。此外,LLM 權(quán)重所映射的,難道不是互聯(lián)網(wǎng)數(shù)據(jù)中關(guān)于『理想度假地』的高維數(shù)據(jù)空間嗎?」
Karpathy 回答道:「這是因為地點的數(shù)量太多,因此需要數(shù)據(jù)標(biāo)注員整理一些人工精選清單,并通過示例和統(tǒng)計方法確定『標(biāo)準(zhǔn)答案』的類型?!?/p>
當(dāng)被問到類似的問題但對象是新的或不同的事物時,LLM 就會匹配答案的形式,并從嵌入空間中一個相似的區(qū)域(比如具有正面評價的度假勝地)提取新的地點,并進(jìn)行替換,然后以新地點為條件生成答案。
這種現(xiàn)象是一種非直觀且基于經(jīng)驗的發(fā)現(xiàn),而這也是微調(diào)的「魔力」所在。
但事實依然是,人類標(biāo)注員在「設(shè)定」答案的模式,只不過是通過他們在微調(diào)數(shù)據(jù)集中選擇的地點類型的統(tǒng)計特征來實現(xiàn)的。
而且,LLM 立即給你的答案,大致相當(dāng)于你直接把問題提交給他們的標(biāo)注團(tuán)隊大約 1 小時后得到的結(jié)果。
另外,在某些網(wǎng)友的概念里,RLHF 是可以創(chuàng)造出超越人類水平的成果的。
對此,Karpathy 表示:「RLHF 仍然是基于人類反饋的強化學(xué)習(xí),因此不能直接將其歸類為『超人級別』?!?/p>
RLHF 的性能提升主要體現(xiàn)在從 SFT(監(jiān)督微調(diào))的「生成式人類水平」提升到「評判式人類水平」。
這種差異更多體現(xiàn)在實踐中,而非理論上。因為對普通人來說,評判比生成更容易(比如,從 5 首關(guān)于某個主題的詩中選出最好的那個,要比自己直接創(chuàng)作一首容易得多)。
此外,RLHF 的性能提升還得益于「群體智慧效應(yīng)」(wisdom of crowds),即 LLM 表現(xiàn)出的并不是單個人類的水平,而是達(dá)到了人類群體集成的水平。
因此,RLHF 理論上能實現(xiàn)的最高性能是:在時間充足的情況下,一個由領(lǐng)域頂尖專家組成的小組會選擇的答案。從某種意義上說,這可以被視為「超人級別」。
然而,如果想達(dá)到人們通常理解的那種「真?超人級別」,還需要從 RLHF 轉(zhuǎn)向真正的強化學(xué)習(xí)。
那么問題來了,如果 AI 還無法達(dá)到「超人級別」的水平,那又該如何解釋醫(yī)學(xué)問答領(lǐng)域中持續(xù)展現(xiàn)的超越人類水平的表現(xiàn)?
這是否意味著模型廠商雇傭了頂尖醫(yī)生進(jìn)行標(biāo)注?還是說,廣泛的事實知識檢索彌補了推理能力的不足?
Karpathy:「你別說,他們還真就是雇傭了專業(yè)醫(yī)生來進(jìn)行了標(biāo)注?!?/p>
當(dāng)然,并不是每一個可能的問題都要進(jìn)行標(biāo)注,只需攢夠一定的數(shù)量,讓 LLM 能夠?qū)W會以專業(yè)醫(yī)生的風(fēng)格來回答醫(yī)學(xué)問題就行了。
對于新的問題,LLM 可以在一定程度上遷移應(yīng)用其從互聯(lián)網(wǎng)上的文檔、論文等內(nèi)容中獲得的醫(yī)學(xué)通識。
眾所周知,著名數(shù)學(xué)家陶哲軒曾為 LLM 提供了一些訓(xùn)練數(shù)據(jù)作為參考。但這并不意味著 LLM 現(xiàn)在能夠在所有數(shù)學(xué)問題上達(dá)到他的水平,因為底層模型可能并不具備相應(yīng)的知識深度和推理能力。然而,這確實意味著 LLM 的回答質(zhì)量顯著優(yōu)于一般網(wǎng)絡(luò)用戶的回答水平。
因此,所謂的「標(biāo)注者」實際上可以是各自領(lǐng)域的專業(yè)人士,例如程序員、醫(yī)生等,而并非隨意從互聯(lián)網(wǎng)上招募的人員。這取決于 LLM 公司在招聘這些數(shù)據(jù)標(biāo)注人員時的標(biāo)準(zhǔn)和策略。
如今,他們越來越傾向于雇傭更高技能的工作者。隨后,LLM 會盡其所能模擬這些專業(yè)人士的回答風(fēng)格,從而為用戶提供盡可能專業(yè)的回答。
靠 Scaling Law,我們會擁有 AGI 嗎?
說了這么多,我們心心念念的 AGI 究竟什么時候才能實現(xiàn)呢?
LeCun 居然一反常態(tài)地說,AGI 離我們只有 5 到 10 年了。
現(xiàn)在,他已經(jīng)和阿爾特曼、Demis Hassaibis 等大佬的說法一致了。但是繼續(xù)沿用目前的發(fā)展路徑,肯定是不行的。
不僅 LeCun 認(rèn)為「LLM 的路線注定死路一條」,最近也有一位 AI 研究者和投資人 Kevin Niechen 發(fā)出了長篇博文,用數(shù)學(xué)公式推演出:為什么僅靠 Scaling Law,我們永遠(yuǎn)到達(dá)不了 AGI。
Niechen 指出,目前關(guān)于 AGI 何時到來的判斷,之所以眾說紛紜,就是因為很多觀點更多是基于動機或意識形態(tài),而非確鑿的證據(jù)。
有人覺得,我們會很快迎來 AGI,有人認(rèn)為我們離它還很遠(yuǎn)。
為什么很多模型提供商對當(dāng)今模型的擴展能力如此樂觀?
Niechen 決定,親自用 Scaling Law 做出一些計算上的推斷,看看未來 AI 模型究竟將如何進(jìn)化。
Scaling Law 并不像我們想得那么有預(yù)測性
Scaling Law 是一種定量關(guān)系,用于描述模型輸入(數(shù)據(jù)和計算量)與模型輸出(預(yù)測下一個單詞的能力)之間的聯(lián)系。
它是通過在圖表上繪制不同水平的模型輸入和輸出得出的。
我們只需要擴展現(xiàn)有模型,就會獲得顯著的性能提升嗎?
顯然并非如此,使用 Scaling Law 進(jìn)行預(yù)測,并不像有些人想的那么簡單。
首先,大多數(shù) Scaling Law(如 Kaplan 等人、Chinchilla 和 Llama 的研究)預(yù)測的,是模型在數(shù)據(jù)集中預(yù)測下一個詞的能力,而不是模型在現(xiàn)實世界任務(wù)中的表現(xiàn)。
2023 年,知名 OpenAI 研究員 Jason Wei 就曾在博客中指出,「目前尚不清楚替代指標(biāo)(例如損失)是否能夠預(yù)測能力的涌現(xiàn)現(xiàn)象…… 這種關(guān)系尚未被充分研究……」
將兩個近似值串聯(lián)起來進(jìn)行預(yù)測
為了解決上述問題,我們可以擬合第二個 Scaling Law,將上游損失與現(xiàn)實任務(wù)性能定量關(guān)聯(lián)起來,然后將兩個 Scaling Law 串聯(lián)起來,以預(yù)測模型在現(xiàn)實任務(wù)中的表現(xiàn)。
Loss = f(data, compute)Real world task performance = g(loss)Real world task performance = g(f(data, compute))
在 2024 年,Gadre 等人和 Dubet 等人提出了這種類型的 Scaling Law。
Dubet 使用這種鏈?zhǔn)椒▌t進(jìn)行預(yù)測,并聲稱其預(yù)測能力適用于 Llama 3 模型,「在四個數(shù)量級范圍內(nèi)具有良好的外推能力」。
然而,關(guān)于這些第二類 Scaling Law 的研究才剛剛起步,仍處于初期階段,由于數(shù)據(jù)點過少,選擇擬合函數(shù)會高度依賴主觀判斷。
例如,在下圖中,Gadre 假設(shè)多個任務(wù)的平均表現(xiàn)與模型能力呈指數(shù)關(guān)系(上圖),而 Dubet 針對單一任務(wù)(下圖中的 ARC-AGI 任務(wù))假設(shè)其關(guān)系呈 S 型曲線。這些 Scaling Law 還高度依賴于具體任務(wù)。
如果沒有關(guān)于損失與現(xiàn)實任務(wù)準(zhǔn)確率之間關(guān)系的強假設(shè),我們就無法有力地預(yù)測未來模型的能力。
嘗試用鏈?zhǔn)?Scaling Law 進(jìn)行預(yù)測,是一種拙劣的嘗試
如果我們盲目地使用一些鏈?zhǔn)?Scaling Law 來進(jìn)行預(yù)測,會發(fā)生什么?
請注意,這里的目標(biāo)是展示如何使用一組 Scaling Law(如 Gadre 的研究)來生成預(yù)測,而非獲得詳細(xì)的預(yù)測結(jié)果。
首先,我們可以利用公開信息,來估算未來幾代模型發(fā)布所需的數(shù)據(jù)和計算輸入。
這一部分可以參考最大數(shù)據(jù)中心建設(shè)的公告,根據(jù)其 GPU 容量估算計算能力,并將其映射到每代模型的演進(jìn)上。
馬斯克的 xAI 超算最初便能容納 10 萬塊 H100
接著,我們可以利用 Scaling Law 來估算這些計算集群所需的數(shù)據(jù)量。
根據(jù)我們使用的 Scaling Law,最大的公開宣布的計算集群(可容納大約 1 億塊 GPU)理想情況下需要訓(xùn)練 269 萬億個 tokens,以最小化損失。
這個數(shù)字大約是 RedPajama-V2 數(shù)據(jù)集的十倍,并且是已索引網(wǎng)絡(luò)規(guī)模的一半。
聽起來比較合理,所以我們暫時沿用這個假設(shè)。
最后,我們可以將這些輸入代入鏈?zhǔn)?Scaling Law 并進(jìn)行外推。
需要重點關(guān)注右側(cè)的圖表,因為該圖顯示了垂直軸上的實際任務(wù)性能,與水平軸上的數(shù)據(jù)和計算輸入相對應(yīng)。
藍(lán)色點表示現(xiàn)有模型的性能(如 GPT-2、GPT-3 等),而紅色點則是通過外推預(yù)測的下一代模型(如 GPT-5、GPT-6、GPT-7 等)的規(guī)模擴展表現(xiàn):
從圖中可以得到這樣的預(yù)測結(jié)果 ——
從 GPT-4 開始,性能提升將顯現(xiàn)出顯著的邊際遞減趨勢。
GPT-4 到 GPT-7 模型(計算量約增加 4000 倍)在實際任務(wù)中的預(yù)測性能提升,與從 GPT-3 到 GPT-4(計算量約增加 100 倍)的預(yù)測性能提升相當(dāng)。
我們是否正在接近不可降低的損失?
如果你查看左側(cè)的圖表就會發(fā)現(xiàn):這些 Scaling Law 的問題在于,我們正在逐漸接近不可降低的損失。
后者與數(shù)據(jù)集的熵密切相關(guān),代表了模型在該數(shù)據(jù)集上能夠達(dá)到的最佳理論性能。
根據(jù) Gadre 的 Scaling Law,在 RedPajama 數(shù)據(jù)集上,如果最優(yōu)模型只能達(dá)到約 1.84 的不可降低損失,而我們已經(jīng)在 GPT-4 上達(dá)到了約 2.05,那改進(jìn)空間就十分有限了。
然而,大多數(shù)實驗室并未發(fā)布其最新前沿模型訓(xùn)練的損失值,因此我們現(xiàn)在并不知道,我們實際上離不可降低的損失有多近。
擬合函數(shù)的主觀性與數(shù)據(jù)的局限性
如前所述,第二條 Scaling Law 中擬合函數(shù)的選擇具有很強的主觀性。
例如,我們可以使用 sigmoid 函數(shù)而不是指數(shù)函數(shù),重新擬合 Gadre 論文中的損失和性能點:
然而,結(jié)論基本沒有變化。
如果只是比較左圖中的指數(shù)擬合(紅線)和我們自定義的 sigmoid 擬合(紫色虛線),局限性是明顯的:我們根本沒有足夠的數(shù)據(jù)點,來自信地確定將損失與現(xiàn)實世界性能關(guān)聯(lián)的最佳擬合函數(shù)。
沒人知道下一代模型的強大程度
顯然,有許多方法可以改進(jìn)上述「預(yù)測」:使用更好的 Scaling Law,使用更好的數(shù)據(jù)和計算估計,等等。
歸根結(jié)底,Scaling Law 是嘈雜的近似值,而通過這種鏈?zhǔn)筋A(yù)測方法,我們將兩個嘈雜的近似值結(jié)合在了一起。
如果考慮到下一代模型可能由于架構(gòu)或數(shù)據(jù)組合的不同而擁有適用于不同條件的全新 Scaling Law,那么實際上沒有人真正知道未來幾代模型規(guī)模擴展的能力。
為什么大家對 Scaling 如此樂觀?
如今,不管是科技大廠還是明星初創(chuàng),都對 Scale 現(xiàn)有模型十分樂觀:
比如微軟 CTO 就曾表示:「盡管其他人可能不這么認(rèn)為,但我們并未在規(guī)模的 Scaling 上進(jìn)入收益遞減的階段。實際上,這里存在著一個指數(shù)級的增長?!?/p>
有些人將這種樂觀歸因于商業(yè)動機,但 Niechen 認(rèn)為這來自以下幾個方面的結(jié)合:
(1)實驗室可能掌握了更樂觀的內(nèi)部 Scaling Law
(2)盡管存在廣泛懷疑,但實驗室親身經(jīng)歷了 Scaling 所帶來的成效
(3)Scaling 是一種看漲期權(quán)
谷歌 CEO 劈柴表示:「當(dāng)我們經(jīng)歷這樣的曲線時,對于我們來說,投資不足的風(fēng)險遠(yuǎn)遠(yuǎn)大于投資過度的風(fēng)險,即使在某些情況下事實證明確實投資得有些多了…… 這些基礎(chǔ)設(shè)施對我們有廣泛的應(yīng)用價值……」
而 Meta CEO 小扎則這樣認(rèn)為:「我寧愿過度投資并爭取這樣的結(jié)果,而不是通過更慢的開發(fā)來節(jié)省資金…… 現(xiàn)在有很多公司可能正在過度建設(shè)…… 但落后的代價會讓你在未來 10 到 15 年最重要的技術(shù)中處于劣勢?!?/p>
未來何去何從
總結(jié)來說,Niechen 認(rèn)為外推 Scaling Law 并不像許多人聲稱的那樣簡單:
(1)當(dāng)前大多數(shù)關(guān)于預(yù)測 AI 能力的討論質(zhì)量不高
(2)公開的 Scaling Law 對模型未來能力的預(yù)示非常有限
因此,為了有效評估當(dāng)今的 AI 模型是否還能 Scaling,我們就需要更多基于證據(jù)的預(yù)測和更好的評估基準(zhǔn)。
如果我們能夠了解未來模型的能力,就可以優(yōu)先為這些能力做好準(zhǔn)備 —— 比如,為生物學(xué)研究革命提前構(gòu)建生物制造能力,為勞動力置換準(zhǔn)備技能提升公司,等等。
從個人的角度,Niechen 對 AI 能力的進(jìn)步還是非常樂觀的,因為這個領(lǐng)域擁有杰出的人才。
但 AI 的 Scaling 并不像人們想象的那樣具有確定性,也沒有人真正清楚 AI 在未來幾年將帶來怎樣的發(fā)展。
參考資料:
https://x.com/karpathy/status/1862329765363163551
https://x.com/karpathy/status/1862565643436138619
https://kevinniechen.com/will-we-have-agi/
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。