爆炸式增長結(jié)束，頂部提升有機(jī)會

用于深度學(xué)習(xí)模型的計(jì)算能力的爆炸式增長已經(jīng)結(jié)束了，并為各種任務(wù)的計(jì)算機(jī)性能樹立了新的基準(zhǔn)。但是這些計(jì)算限制的可能影響迫使機(jī)器學(xué)習(xí)轉(zhuǎn)向比深度學(xué)習(xí)更高效的技術(shù)。

過去算力的提升歸納了兩個(gè)原因：

一個(gè)是底部的發(fā)展，即計(jì)算機(jī)部件的小型化，其受摩爾定律制約；

另一個(gè)是頂部的發(fā)展，是上面提到的軟件、算法、硬件架構(gòu)的統(tǒng)稱。

在后摩爾定律時(shí)代，提升計(jì)算性能的方法，雖然底部已經(jīng)沒有太多提升的空間，但頂部還有機(jī)會。

在軟件層面，可以通過性能工程（performance engineering）提高軟件的效率，改變傳統(tǒng)軟件的開發(fā)策略，盡可能縮短軟件運(yùn)行時(shí)間，而不是縮短軟件開發(fā)時(shí)間。另外，性能工程還可以根據(jù)硬件的情況進(jìn)行軟件定制，如利用并行處理器和矢量單元。

在算法層面，在已有算法上的改進(jìn)是不均勻的，而且具有偶然性，大量算法進(jìn)展可能來源于新的問題領(lǐng)域、可擴(kuò)展性問題、根據(jù)硬件定制算法。

在硬件層面，由于摩爾定律的制約，顯然需要改進(jìn)的是硬件的架構(gòu)，主要問題就是如何簡化處理器和利用應(yīng)用程序的并行性。

通過簡化處理器，可以將復(fù)雜的處理核替換為晶體管數(shù)量需求更少的簡單處理核。由此釋放出的晶體管預(yù)算可重新分配到其他用途上，比如增加并行運(yùn)行的處理核的數(shù)量，這將大幅提升可利用并行性問題的效率。

深度學(xué)習(xí)時(shí)代AI模型需規(guī)模化擴(kuò)展

現(xiàn)代AI模型需要消耗大量電力，而且對電力的需求正以驚人的速度增長。在深度學(xué)習(xí)時(shí)代，構(gòu)建一流AI模型所需要的計(jì)算資源平均每3．4個(gè)月翻一番。

在當(dāng)今以深度學(xué)習(xí)為中心的研究范式當(dāng)中，AI的主要進(jìn)步主要依賴于模型的規(guī)�；瘮U(kuò)展：數(shù)據(jù)集更大、模型更大、計(jì)算資源更大。

在訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)需要為每一條數(shù)據(jù)執(zhí)行一整套冗長的數(shù)學(xué)運(yùn)算（正向傳播與反向傳播），并以復(fù)雜的方式更新模型參數(shù)。

在現(xiàn)實(shí)環(huán)境中部署并運(yùn)行AI模型，所帶來的能源消耗量甚至高于訓(xùn)練過程。實(shí)際上，神經(jīng)網(wǎng)絡(luò)全部算力成本中的80％到90％來自推理階段，而非訓(xùn)練階段。

因此，數(shù)據(jù)集規(guī)模越大，與之對應(yīng)的算力與能源需求也在飛速增長。模型中包含的參數(shù)量越大，推理階段所帶來的電力需求就越夸張。