近日，面對 EDA 界對于自家 AlphaChip 的質(zhì)疑，谷歌首席科學(xué)家 Jeff Dean 以論文回應(yīng)論文，并表示：大家注意，這是同行競爭！
登上了 Nature 的「超人」芯片設(shè)計系統(tǒng) AlphaChip，卻多次遭到質(zhì)疑。而且不是簡單說說而已，做實驗、寫論文，還有一篇作為 invited paper 發(fā)在 ISPD 2023。
AlphaFold 都拿諾獎了，AlphaChip 還擱這辟謠呢？怎么辦？谷歌首席科學(xué)家 Jeff Dean 表示：我也寫篇論文！
EDA 社區(qū)一直對我們的 AlphaChip 方法是否像 Nature 論文中聲稱的那樣有效持懷疑態(tài)度。annadgoldie、Azaliamirh 和我寫了個論文，來回應(yīng)這些問題：
Jeff Dean 認為，這種毫無根據(jù)的懷疑，在很大程度上是由下面這篇文章（「一篇存在嚴重缺陷的未經(jīng)同行評審的論文」）導(dǎo)致的：
該論文聲稱復(fù)制了我們的方法，但未能在主要方面遵循：
作者沒有進行預(yù)訓(xùn)練（盡管在我們的 Nature 文章中提到了 37 次預(yù)訓(xùn)練），剝奪了基于學(xué)習(xí)的方法從其他芯片設(shè)計中學(xué)習(xí)的能力；
減少了 20 倍的計算量，并且沒有進行收斂訓(xùn)練。
這就像評估一個以前從未見過圍棋的 AlphaGo，然后得出結(jié)論，AlphaGo 不太擅長圍棋。
Jeff Dean 等人還回應(yīng)了 Igor Markov（Synopsys 的杰出架構(gòu)師）在 CACM 2024 年 11 月刊上發(fā)表的分析文章。
Jeff Dean 表示，Markov 發(fā)論文時沒說自己是 Synopsys 的高級員工，——Synopsys 是商業(yè) EDA 軟件，而 AlphaChip 是開源的。
Markov 的論文分析中還引用了另一篇沒發(fā)表的匿名 PDF：
這實際上也是 Markov 寫的。
Markov 的文章提出了隱晦的指控，所有這些都是完全沒有根據(jù)的，而且已經(jīng)被 Nature 證明過了。
我很驚訝 Synopsys 想與此扯上關(guān)系，我很驚訝 CACMmag 認為有必要在沒有證據(jù)的情況下發(fā)表這類指控。
除了兩篇有缺陷的、未經(jīng)同行評審的文章之外，沒有任何技術(shù)數(shù)據(jù)。
谷歌的回擊
話說在 arxiv 上吃瓜，小編還是第一次。
在 Introduction 部分，谷歌拉了個時間表：
2020 年 4 月：發(fā)布 Nature 論文的 arXiv 預(yù)印本。
2020 年 8 月：TPU v5e 中流片了 10 個 AlphaChip 布局。
2021 年 6 月：發(fā)表了 Nature 文章。
2021 年 9 月：在 TPU v5p 中流片了 15 個 AlphaChip 布局。
2022 年 1 月 - 2022 年 7 月：開源了 AlphaChip，Google 的另一個團隊獨立復(fù)制了 Nature 論文中的結(jié)果。
2022 年 2 月：谷歌內(nèi)部獨立委員會拒絕發(fā)表 Markov 等人的觀點，因為數(shù)據(jù)不支持其主張和結(jié)論。
2022 年 10 月：在 Trillium（最新的公共 TPU）中流片了 25 個 AlphaChip 布局。
2023 年 2 月：Cheng 等人在 arXiv 上發(fā)帖，聲稱對我們的方法進行了「大規(guī)模重新實現(xiàn)」。
2023 年 6 月：Markov 發(fā)布了他的「meta-analysis」。
2023 年 9 月：Nature 啟動了第二次同行評審。
2024 年 3 月：Google Axion 處理器（基于 ARM 的 CPU）采用了 7 個 AlphaChip 布局。
2024 年 4 月：Nature 完成了調(diào)查和出版后審查，發(fā)現(xiàn)完全對我們有利。
2024 年 9 月：MediaTek 高級副總裁宣布擴展 AlphaChip 以加速其最先進芯片的開發(fā)。
2024 年 11 月：Markov 重新發(fā)表了他的「meta-analysis」。
簡單來說，我 AlphaChip 已經(jīng)在自家服役這么長時間了，聯(lián)發(fā)科也用了，Nature 也調(diào)查過了，無懈可擊。
而且作為不同的部門，TPU 團隊需要足夠的信任才會使用 AlphaChip（優(yōu)于人類專家、高效且可靠），他們不能承擔(dān)不必要的風(fēng)險。
對于反方的 Markov，論文評價道：「Markov 的大部分批評都是這種形式：在他看來，我們的方法不應(yīng)該奏效，因此它一定不起作用，任何表明相反的證據(jù)都是欺詐。」
說到欺詐這件事，正反方都談到了內(nèi)部舉報人（whistle-blower），在 Markov 的文章中是這樣記載的：
論文的兩位主要作者抱怨他們的研究中不斷出現(xiàn)欺詐指控。2022 年，谷歌解雇了內(nèi)部舉報人，并拒絕批準(zhǔn)出版谷歌研究人員撰寫的一篇批評 Mirhoseini 等人的論文，舉報人起訴谷歌不當(dāng)解雇（根據(jù)加州舉報人保護法）。
而本文表示：這位舉報人向谷歌調(diào)查員承認，他懷疑這項研究是欺詐性的，但沒有證據(jù)。
對錯誤論文的逐條回應(yīng)
沒有預(yù)先訓(xùn)練 RL 方法
與以前的方法不同，AlphaChip 是一種基于學(xué)習(xí)的方法，這意味著它會隨著解決更多的芯片放置問題而變得更好、更快。
這是通過預(yù)訓(xùn)練實現(xiàn)的，如下圖 2 所示，訓(xùn)練數(shù)據(jù)集越大，放置新區(qū)塊的方法就越好。
相反，Cheng 等人根本沒有進行預(yù)訓(xùn)練（沒有訓(xùn)練數(shù)據(jù)），這意味著模型以前從未見過芯片，必須學(xué)習(xí)如何從頭開始為每個測試用例執(zhí)行布局。
作者在 Nature 論文中詳細討論了預(yù)訓(xùn)練的重要性，并實證證明了它的影響。例如下圖 3 表明，預(yù)訓(xùn)練可以提高放置質(zhì)量和收斂速度。
在開源的 Ariane RISC-V CPU 上，非預(yù)訓(xùn)練的 RL 需要 48 小時，才能接近預(yù)先訓(xùn)練模型在 6 小時內(nèi)可以產(chǎn)生的值。
在 Nature 論文中，作者針對主數(shù)據(jù)表中的結(jié)果進行了 48 小時的預(yù)訓(xùn)練，而 Cheng 等人預(yù)訓(xùn)練了 0 小時。
「Cheng 試圖通過暗示我們的開源存儲庫不支持預(yù)訓(xùn)練，來為他們?nèi)狈︻A(yù)訓(xùn)練找借口，但這是不正確的，預(yù)訓(xùn)練就是在多個樣本上運行方法?！?/p>
使用的計算資源減少了一個數(shù)量級
在 Cheng 等人的論文中，RL 方法提供的 RL 體驗收集器減少了 20 倍（26 個對比 512 個），GPU 數(shù)量減少了一半（8 個對比 16 個）。
使用較少的計算可能會損害性能，或者需要運行相當(dāng)長的時間才能實現(xiàn)相同的性能。
如下圖 4 所示，在大量 GPU 上進行訓(xùn)練可以加快收斂速度并產(chǎn)生更好的最終質(zhì)量。
RL 方法未訓(xùn)練到收斂
隨著機器學(xué)習(xí)模型的訓(xùn)練，損失通常會減少，然后趨于平穩(wěn)，這代表「收斂」—— 模型已經(jīng)了解了它正在執(zhí)行的任務(wù)。
眾所周知，訓(xùn)練到收斂是機器學(xué)習(xí)的標(biāo)準(zhǔn)做法。但如下圖所示，Cheng 等人沒有為任何一個進行收斂訓(xùn)練。
下表總結(jié)了詳細信息。除了沒有提供圖的 BlackParrotNG45 和 Ariane-NG45，其他四個具有收斂圖的塊（Ariane-GF12、MemPool-NG45、BlackParrot-GF12 和 MemPool-GF12），訓(xùn)練在相對較低的步數(shù)（分別為 350k、250k、160k 和 250k 步）處截止。
如果遵循標(biāo)準(zhǔn)的機器學(xué)習(xí)實踐，可能會提高這些測試用例的性能。
不具代表性、不可重現(xiàn)
在 Nature 論文中，作者報告的張量處理單元（TPU）塊的結(jié)果來自低于 7nm 的技術(shù)節(jié)點，這是現(xiàn)代芯片的標(biāo)準(zhǔn)制程。
相比之下，Cheng 等人采用了舊技術(shù)節(jié)點尺寸 45nm 和 12nm）的結(jié)果，這從物理設(shè)計的角度來看有很大不同。
例如，在低于 10nm 時，通常使用 multiple patterning，導(dǎo)致在較低密度下出現(xiàn)布線擁塞問題。因此，對于較舊的技術(shù)節(jié)點大小，AlphaChip 可能會受益于調(diào)整其獎勵函數(shù)的擁塞或密度分量。
AlphaChip 的所有工作都是在 7nm、5nm 和更新的工藝上進行的，作者沒有專注于將其應(yīng)用于舊工藝制程的設(shè)計。
此外，Cheng 等人也無法或不愿意分享在其主數(shù)據(jù)表中復(fù)制結(jié)果所需的綜合網(wǎng)表。
參考資料：
https://x.com/JeffDean/status/1858540085794451906
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。