一股清流，從通用出發(fā)去做專用芯片

目前主導(dǎo)推動推理芯片市場的以互聯(lián)網(wǎng)公司居多，除了領(lǐng)頭的谷歌，還有Facebook、亞馬遜等，不可忽視的還有以硬件結(jié)構(gòu)創(chuàng)新為出發(fā)點、骨骼清奇的寒武紀和尋求新增長力的英偉達。

不過，其中Facebook最有意思。

從他們在公共場合的表態(tài)來看，和谷歌、亞馬遜所處之境一樣，面對不可控的成本上漲，F(xiàn)acebook不是不著急。但不同于其他四家的芯片設(shè)計方向，即依據(jù)應(yīng)用需求調(diào)試算法，隨后依次開發(fā)設(shè)計硬件，F(xiàn)acebook選擇耐著性子去做一款通用的深度學(xué)習(xí)專用芯片。按照Facebook的意思，雖然是深度學(xué)習(xí)專用芯片，但是也不可順著應(yīng)用需求過于專一，因此它的做法也是非常獨特。

圖 ｜ Facebook Glow平臺

這始于Facebook早早為自己搭建好的一款名為Facebook Glow的深度學(xué)習(xí)通用處理器。提到這款平臺，F(xiàn)acebook稱其可用于處理云端的各種深度學(xué)習(xí)加速，但又不同于TensorFlow等開源工具，它不是針對用戶設(shè)計的。

Taylor解釋說：“推理加速器的市場必將表現(xiàn)為硬件碎片化，但我們的Glow主要是幫助深度學(xué)習(xí)專家設(shè)計神經(jīng)網(wǎng)絡(luò)而不是讓大家用它來開發(fā)算法，以調(diào)試到去適應(yīng)各類硬件推理加速器。我們知道碎片化時代正在到來，因為沒人知道怎樣把硬件資源組合起來最優(yōu)，所以我們會讓開發(fā)者專注在上層的網(wǎng)絡(luò)圖上而不是讓他們?yōu)椤�硬件’敲代碼。”

在軟件加速器上樹立好絕對的標(biāo)準，而后基于此來設(shè)計芯片，F(xiàn)acebook的造芯計劃可謂宏圖。

其實對于Facebook研發(fā)芯片這件事，業(yè)內(nèi)人多用“奇葩”來形容。依據(jù)精準的上層架構(gòu)來反向“強行”設(shè)計出底層具有通用性的AI芯片，很難評價其做法是否過于執(zhí)拗和宏大，只能暗嘆它的不走尋常路，因此對于CES2019上Intel宣布的這款與Facebook聯(lián)手的芯片，還是值得期待一下。

終端市場緣何如此重要？

不難發(fā)現(xiàn)，上文提到的在推理芯片市場引起軒然大波的芯片產(chǎn)品都可歸為一類：服務(wù)器芯片，即終端市場。

從技術(shù)角度來看，其實不僅僅是終端市場對推理芯片有著強需求，隨著智能應(yīng)用需求的深入，手機等移動端亦有此需求，如華為麒麟平臺中用到的NPU芯片正是一款專用于解決神經(jīng)網(wǎng)絡(luò)推理計算的芯片。

但是不同于端側(cè)市場的現(xiàn)有產(chǎn)品飽和與增長力不足，因云計算快速的深入，服務(wù)器的計算任務(wù)需求呈爆發(fā)式增長，因而對硬件架構(gòu)提升的需求格外迫切。

圖 ｜ 數(shù)據(jù)中心

亞馬遜James Hamilton曾結(jié)合亞馬遜所遇到的問題給出這樣的分析：一直以來，雖然專用芯片可以成十倍改善延遲、降低成本和功耗，但是通用芯片的地位卻是不可撼動的，這里面有其原因。以傳統(tǒng)服務(wù)來說，一般情況下每個用戶只會用到幾個固定的服務(wù)器，即我們的服務(wù)器是按照用戶分配的，這樣的情況下專用芯片通常是沒什么用的。但是云改變了一切，在一個完備的云系統(tǒng)中，比較“罕見”的工作負載甚至需要連接進入數(shù)千甚至數(shù)萬個服務(wù)器里，同時運行以完成任務(wù)。這在過去是完全不可能實現(xiàn)的，因為以前即便能夠很好的分配任務(wù)給專用硬件，也不能節(jié)約成本，尤其是當(dāng)一些緊急狀況出現(xiàn)時。

云的出現(xiàn)打通了硬件之間的“壁壘”，也極大程度的發(fā)揮了深度學(xué)習(xí)算法的威力，但它同時很快耗盡了眾多公司現(xiàn)有服務(wù)器芯片的計算能力。

IDC曾做過數(shù)據(jù)統(tǒng)計，2018年第二季度全球服務(wù)器市場的廠商收入同比增長43．7％達到225億美元，該季度全球服務(wù)器出貨量同比增長20．5％達到290萬臺。而其中最大的增長力就表現(xiàn)在云計算服務(wù)器上。

深度學(xué)習(xí)、推理芯片與產(chǎn)業(yè)變遷

回到推理芯片，即處理邏輯運算的芯片。其實它并不是什么新產(chǎn)物，這里不得不提英特爾的x86架構(gòu)。

所謂x86架構(gòu)，通俗來講就是一種通用的“CPU＋Linux”操作系統(tǒng)的架構(gòu)，它伴隨著1978年英特爾推出的8086處理器出現(xiàn)，具體指的是英特爾開發(fā)的一套通用的計算機指令集合。目前市面上所有主流的服務(wù)器都是基于Intel x86架構(gòu)的CPU公版二次開發(fā)而來。

采用Intel的x86架構(gòu)來處理服務(wù)器大量的計算任務(wù)，有人說是考慮CPU通過馮諾依曼架構(gòu)可以為數(shù)百萬的不同應(yīng)用加載任何軟件的靈活性優(yōu)勢，有人認為英特爾x86架構(gòu)的向后兼容性讓用戶只要換個CPU就能獲得性能提升的優(yōu)勢主導(dǎo)使然�？偠�言之，不同于訓(xùn)練模式的單一，深度學(xué)習(xí)推理任務(wù)的復(fù)雜讓產(chǎn)業(yè)界綜合考慮成本、技術(shù)成熟度等因素而最終選擇了CPU芯片＋x86指令集的系統(tǒng)架構(gòu)。

圖 ｜ Intel x86

但眾所周知的是，古老的x86架構(gòu)雖經(jīng)過了幾十年的技術(shù)迭代，受系統(tǒng)架構(gòu)本身的訪問限制（又稱馮諾依曼瓶頸），其總體的吞吐量和能耗都限制了它在大量計算任務(wù)上的表現(xiàn)能力，尤其是當(dāng)深度學(xué)習(xí)算法出現(xiàn)后，這一弊端愈加被凸顯。

深度學(xué)習(xí)算法之所以如此重要，主要原因在于它剛剛誕生不久就能夠迅速適應(yīng)幾乎所有的應(yīng)用需求，歷史上很少有一項技術(shù)有如此的影響力，因此其特殊屬性催生了對大量數(shù)據(jù)進行處理和分析的需求。對于這一算法帶來的影響，黃仁勛一句話點出其中奧妙：深度學(xué)習(xí)是一種新的計算方法，所以整個產(chǎn)業(yè)需要發(fā)展出一種新的計算體系結(jié)構(gòu)。

因而在深度學(xué)習(xí)的兩大功能——訓(xùn)練和推理的模式推動下，Caffe、Tensorflow等軟件架構(gòu)工具迅速發(fā)展，芯片巨頭也爭相以此為起點開發(fā)新的芯片。英偉達借助GPU與訓(xùn)練功能的天生匹配登上了市場龍頭的寶座，但他們發(fā)現(xiàn)要實現(xiàn)訓(xùn)練之后的推理功能，即對圖像的識別、語義的關(guān)聯(lián)處理等，GPU卻是不適合的。

沒有合適“人選”，推理市場因此空出霸主之位。退而求其次，CPU＋GPU發(fā)展成了服務(wù)器市場中主流的架構(gòu)解決方案，但終究不是長久之計。對此，大家心知肚明。

最后

在這一波巨頭帶動的小高潮背后，無疑預(yù)示著產(chǎn)業(yè)發(fā)展中推理任務(wù)處理需求積聚到了一個新的高點。

箭在弦上，不得不發(fā)。但最終誰將勝出，還只能靜候各廠家接下來的芯片產(chǎn)品。

正如Patterson與Hennessy在《計算機體系結(jié)構(gòu)的新黃金時代》里所言，“在摩爾定律走向終點的同時，體系結(jié)構(gòu)正在閃耀新的活力——以TPU為代表的領(lǐng)域特定架構(gòu) （Domain Specific Architectures， DSA） 興起，但CPU、GPU、FPGA仍然有用武之地，最終，市場會選出勝者。”