AI對算力體系結(jié)構(gòu)的需求

要擺脫體系結(jié)構(gòu)的限制,需要對現(xiàn)有體系結(jié)構(gòu)進一步優(yōu)化。這包括:

適度使用較低精度;

更有效利用內(nèi)存層次結(jié)構(gòu);

更有效的并行形式;

使用大片上緩存和高帶寬內(nèi)存(目前應(yīng)用較多);

發(fā)展包含編解碼部件、稀疏部件等在內(nèi)的新部件(比如NVDIA A100 專門做了稀疏部件的設(shè)計);

計算流/數(shù)據(jù)流/控制流有機結(jié)合;

異構(gòu)深度融合結(jié)構(gòu)……

再進一步,變革體系結(jié)構(gòu),使其能夠?qū)崿F(xiàn)“更合理的映射”。

所謂更合理的映射,可以理解為:既然人工智能表征的是點和點之間的“關(guān)系”,而“關(guān)系”本身又具有一種拓?fù)溥B接關(guān)系,那么如果計算物理架構(gòu)能夠更好地映射到這種拓?fù)溥B接,顯然是最有效的。

如何實現(xiàn)?

首先要有面向應(yīng)用需求的體系結(jié)構(gòu)設(shè)計(主要是一些參數(shù)的變化,比如SIMD個數(shù)、核心數(shù),改變芯片尺寸、互連、能耗等);

進一步可以發(fā)展存內(nèi)計算、網(wǎng)內(nèi)計算這種適合人工智能算法的計算形態(tài)(存算一體、傳算一體);

最好的是,面向“連接關(guān)系”設(shè)計硬件、面向“連接”設(shè)計體系結(jié)構(gòu),使拓?fù)潢P(guān)系表示更能反映“關(guān)系和連接”。比如當(dāng)前排行超算TOP 500榜首的日本“富岳”,通過設(shè)計出6D-Torus,更適于映射高維度的數(shù)據(jù)。

再進一步,變革體系結(jié)構(gòu),使其能夠?qū)崿F(xiàn)“高可擴展的架構(gòu)設(shè)計”。

這類講的比較多的有晶圓級封裝和系統(tǒng)級封裝。

異構(gòu)集成系統(tǒng)設(shè)計方案的創(chuàng)新,讓“Chiplet”走進人們視野。這種“產(chǎn)品中的不同組件在獨立的裸片上設(shè)計和實現(xiàn)”的理念,正隨著技術(shù)的發(fā)展引起大型商業(yè)公司和研究機構(gòu)的關(guān)注。如今,不僅多核系統(tǒng)可以Chiplet,甚至多個Chiplet也可以再做融合。

比如美國初創(chuàng)公司Cerebras發(fā)布的“全球最大的芯片WSE”,就是晶圓級封裝的典型代表;蘇黎世聯(lián)邦理工學(xué)院發(fā)布剛剛在今年發(fā)布的4096核心RISC-V芯片,也是一個由多個Chiplet組合起來的眾核架構(gòu)。

據(jù)稱WSE上有1．2萬億個晶體管

在理想狀態(tài)下,這類“大芯片”的效率非常高,比“CPU+GPU”高很多倍,同時所需能耗和空間也非常低。

當(dāng)然,類腦芯片和量子芯片這種更加能夠映射到AI表征的“關(guān)系”的芯片,是從硬件形態(tài)上對體系結(jié)構(gòu)的突破,現(xiàn)在代表性的產(chǎn)品有谷歌發(fā)布的Truenorth 神經(jīng)形態(tài)芯片浙江大學(xué)發(fā)布的“達爾文2”芯片。

值得指出的是,類腦芯片目前仍處于概念驗證階段,量子芯片更是還在襁褓之中。

AI對算力軟件棧的需求

前文提到,根據(jù)發(fā)展趨勢,AI對算力軟件棧的需求,要求軟件棧是復(fù)雜、動態(tài)、分布式,分散的,要支撐新的場景(如原生支持分散場景等),以及架構(gòu)創(chuàng)新(如軟硬件協(xié)同設(shè)計、體系結(jié)構(gòu)突破等)。

這是由于,目前現(xiàn)有的人工智能軟件棧是分離的——即各流程軟件支持是分離的,每個階段有每個階段的處理系統(tǒng)。

比如:預(yù)處理,一般是基于CPU 集群,軟件多用Hadoop、Spark等;模型設(shè)計,前端CPU服務(wù)器+JupyterNotebook系統(tǒng);模型訓(xùn)練,基于CPU-GPU集群的TensorFlow等框架;部署、推理多利用邊緣設(shè)備等等。

正是由于各階段有各自的處理系統(tǒng)、不同的階段用不同的系統(tǒng),導(dǎo)致現(xiàn)在缺乏原生的擴展能力和動態(tài)支撐能力,包括編排、流程化處理,都缺乏很好的支撐。

由此,人工智能軟件棧需求就是對可擴展的支持、動態(tài)的支持、協(xié)同全流程計算等的需求。

其中,協(xié)同全流程計算需要考慮AI應(yīng)用的全生命周期和為“人的介入”作特殊設(shè)計。特別是人在環(huán)路中這點必須特殊考慮。

傳統(tǒng)HPC中,“人的介入”非常明確——就是開發(fā)階段,模型、算法確定以后就不必再去考慮了;但在AI特別是在訓(xùn)練中則不得不區(qū)別對待。

比如要研究人在回路中的最大特征,如要研究語義、交互、迭代;要研究不確定性、脆弱性和開放性條件下的任務(wù)建模、環(huán)境建模和人類行為建模;要研究人機物融合新型人工智能等等。

從架構(gòu)創(chuàng)新的角度,人工智能對算力軟件棧的需要,則集中在以下幾個方面:

從集中式到適應(yīng)分布式、分散、動態(tài)的需求;

從“以計算為中心”到“以數(shù)據(jù)為中心”;

從“面向計算機專家”到“面向數(shù)據(jù)分析專家”;

彈性、多框架的協(xié)同;

支持云邊端協(xié)同。

特別需要指出的是,受編程及軟件平臺感知邊緣資源限制,如今的智能任務(wù)不可能只在一臺大機器中完成,顯然需要云邊端協(xié)同完成;而智能本身的任務(wù)分配,包括感知、認(rèn)知、決策,也是一個閉環(huán),同樣需要云邊端的智能融合。

最后,兩點說明

當(dāng)前,AI對算力的需求潛力已毋庸置疑。但由于AI發(fā)展的歷史尚短,自身無論計算理論、方法算法都尚不完整,特別是數(shù)學(xué)理論的基礎(chǔ)還很不堅實,因此,AI還不能如傳統(tǒng)的數(shù)值模擬一樣,能夠非常明確地提出對HPC計算能力的要求。

也就是說,AI的計算理論還沒有發(fā)展到它能對HPC明確提出很高的需求階段。但反過來看,如果AI能夠接近甚至達到人的智能水平,肯定會對計算能力、存儲能力等的需求非常高。

另一方面,高性能計算未來也將不再簡單比拼“肌肉”——只追求規(guī)模和性能——更加智慧的高性能計算系統(tǒng)將成為主流。

未來,高性能計算、物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能將實現(xiàn)深度融合。國家超級計算廣州中心主任盧宇彤甚至預(yù)言,“到2030年,所有高端計算設(shè)備將自帶AI支持功能,高性能計算仿真將利用AI平臺提高性能,AI也將重塑計算仿真�！�

因此,現(xiàn)階段HPC與AI融合、適配問題的關(guān)鍵在于,在HPC體系結(jié)構(gòu)發(fā)生改變的過渡階段,如何在AI的演進階段支撐其計算能力需求,這是目前HPC領(lǐng)域應(yīng)該考慮的問題。

還應(yīng)注意到,深度學(xué)習(xí)僅僅是AI算法的一個分支,面向AI的云端高性能計算環(huán)境需要廣泛適應(yīng)包括深度學(xué)習(xí)在內(nèi)的多種應(yīng)用模式,未來的應(yīng)用需求仍有待進一步研究。