“人類永遠(yuǎn)不會嫌網(wǎng)絡(luò)太快，就像永遠(yuǎn)不會嫌高鐵太快，你只會嫌它慢，希望它更快些�！�

一個月內(nèi)，百度、阿里、騰訊、商湯、訊飛、360等國內(nèi)大廠扎堆發(fā)布“中國版 GPT ”，這家的名字還沒記清楚，另一家的又蹦了出來，一時間 AI 大模型“諸神混戰(zhàn)”�？蓪嵲拰嵳f，和 ChatGPT 相比，國內(nèi)的 GPT 還存在一定差距，但大家對于 AI 的狂熱渴求已經(jīng)被點燃，越來越多的企業(yè)意識到， AI 這班車，再不上，就來不及了。

01

大語言模型的成功與挑戰(zhàn)

以 GPT 系列模型為代表的大語言模型成為近來最受關(guān)注的技術(shù)之一。

圖 | OpenAI-ChatGPT

ChatGPT 憑什么落別人那么遠(yuǎn)？

模型越大， AI 回饋的效果越好。 OpenAI 的 GPT-1 模型有50億個參數(shù)， GPT-3.5 有1750億個參數(shù)，到現(xiàn)在的 GPT-4 預(yù)計將有超過一個T的參數(shù)。可以看出參數(shù)是成倍甚至成指數(shù)級增長。這種增長模型的變化，首先對內(nèi)存性能有著極高要求，因為訓(xùn)練它需要海量數(shù)據(jù)，同時需要處理海量數(shù)據(jù)集；此外，是數(shù)據(jù)中心的計算能力，還有 GPU 與 CPU 之間的通信；更重要的是網(wǎng)絡(luò)的帶寬，這些因素將決定大語言模型的整體性能。

整體性能決定了大模型運(yùn)行、訓(xùn)練所需的時長，也決定了對大模型后續(xù)調(diào)優(yōu)再訓(xùn)練的周期。比如你的大語言模型訓(xùn)練需要6個月，一年可能最多訓(xùn)練2次，而別人訓(xùn)練只需要2或3個月，一年就可以訓(xùn)練多次，那么最后 AI 的迭代效果是完全不一樣的。

圖 | NVIDIA

如今，不只是提出大語言模型的公司，越來越多的企業(yè)已經(jīng)意識到 AI 可能會優(yōu)化工作流程或是給客戶提供相應(yīng)的服務(wù)，大家紛紛開始嘗試做自己的產(chǎn)品。但一旦大家都在這個模型的基礎(chǔ)上去做，就會遇到吞吐量和性能的瓶頸。要支撐這么一個大模型做訓(xùn)練，投入成本是非常高的。

圖 | NVIDIA

此外還有電力的限制，能做大模型訓(xùn)練的數(shù)據(jù)中心的功耗和電力需求是非常大的，且增長趨勢明顯。數(shù)據(jù)顯示，數(shù)據(jù)中心一年消耗電力200 T瓦時，也就是2000億度電，占全球電力使用量的2%。2000億度電是什么概念？2021年我國三峽水電站發(fā)電量為1036億度，也就是三峽水電站兩年發(fā)的電量才夠全球數(shù)據(jù)中心用一年。而隨著 AI 數(shù)據(jù)中心的部署和持續(xù)增長，到2030年，全球電力使用的預(yù)測份額將達(dá)到5%，這將為全球能源、環(huán)保、碳排放等帶來巨大挑戰(zhàn)。

02

你跟ChatGPT可能只差了一個DPU

在 AI 的競賽中，有兩種方式：第一種是用資源去堆，就像造車一樣，后造車的永遠(yuǎn)要比先造車的人燒更多的錢去打市場；第二種是在同等資源下，比誰快，快就需要效率，而提高效率就需要 DPU 。

微軟此前發(fā)布的博客透露了 OpenAI 的 ChatGPT 采用的硬件是基于 NVIDIA 智能網(wǎng)卡和 InfiniBand 200G 網(wǎng)絡(luò)所做的產(chǎn)品，未來也有意部署 DPU 。

圖 | 微軟官博

而為了應(yīng)對 AI 模型訓(xùn)練、推理帶來的需求和挑戰(zhàn)， NVIDIA 近日發(fā)布了其最新一代數(shù)據(jù)處理器 BlueField-3 DPU ，并宣布全面量產(chǎn)。

圖 | NVIDIA

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛先生表示， AI 時代需要云數(shù)據(jù)中心基礎(chǔ)設(shè)施來支持非凡的計算需求。“ NVIDIA BlueField-3 DPU 實現(xiàn)了這一進(jìn)步，將傳統(tǒng)的云計算環(huán)境轉(zhuǎn)變?yōu)榧铀�、�?jié)能和安全的基礎(chǔ)設(shè)施，以處理生成 AI 的苛刻工作負(fù)載�！�

據(jù) NVIDIA 介紹， BlueField-3 DPU 是一款專為數(shù)據(jù)中心設(shè)計的、軟件定義、硬件加速的云服務(wù)計算平臺。它集成了高達(dá)16個計算核心，可提供高達(dá)400Gbp/s的網(wǎng)絡(luò)帶寬，并且支持多種協(xié)議和功能，包括網(wǎng)絡(luò)虛擬化、彈性負(fù)載均衡、數(shù)據(jù)中心互連等。 BlueField-3 DPU 還擁有世界領(lǐng)先的存儲加速功能，可提供高達(dá)1.6Tbp/s的存儲帶寬，并支持 NVMe-over-Fabric 和 RDMA 等高性能存儲協(xié)議。

大語言模型背后的硬件構(gòu)成是怎樣的？各家都不同。以 NVIDA DGX 為參照，支持大語言模型的服務(wù)器由8顆 NVIDIA 高性能 GPU 、4個 NVIDIA NVSWITCHES 、2顆x86 ?CPU、9塊 NVIDIA BlueField-3 DPU 、2T DDR５內(nèi)存、PCIe Gen5.0，以及服務(wù)器間的 NVIDIA Quantum-2 InfiniBand 網(wǎng)絡(luò)構(gòu)成。

其中 NVIDIA BlueField-3 DPU 發(fā)揮了怎樣的作用？首先是加速性能：NVIDIA BlueField-3 DPU 具有豐富的硬件加速器，可以滿足大語言模型嚴(yán)格的性能要求，并運(yùn)行苛刻的工作負(fù)載；其次，云規(guī)模效率：NVIDIA BlueField-3 DPU 可以釋放 CPU 核心，使大語言模型應(yīng)用具有更好的性能和可擴(kuò)展性，提升服務(wù)器的效率和能效，降本增效；第三是強(qiáng)大的零信任安全：安全的基礎(chǔ)設(shè)施都可以運(yùn)行在 NVIDIA BlueField-3 DPU 之上，并基于此構(gòu)建零信任安全模型，在不影響性能的情況下，確保數(shù)據(jù)中心安全；第四是完全可編程的基礎(chǔ)設(shè)施：NVIDIA DOCA 2.0 體現(xiàn)了 NVIDIA BlueField-3 DPU 的軟件可編程性，借助 NVIDIA BlueField-3 DPU 可以獲得完全可編程的加速數(shù)據(jù)中心平臺。

圖 | NVIDIA

簡單地說，NVIDIA BlueField-3 DPU 可以提升整個網(wǎng)絡(luò)性能，配合高算力 GPU ，可以支撐更大規(guī)模的大語言模型訓(xùn)練，從而縮短訓(xùn)練時間。根據(jù)模型需求動態(tài)調(diào)整部署以共享算力資源，并應(yīng)對不同規(guī)模的模型訓(xùn)練；提升服務(wù)器能效、釋放算力資源，用更少的服務(wù)器完成更多的任務(wù)，從而幫助企業(yè)實現(xiàn)節(jié)能環(huán)保、降本增效。

據(jù) NVIDIA 介紹，大語言模型和生成式AI主要會構(gòu)建在云基礎(chǔ)設(shè)施之上，以云服務(wù)的方式服務(wù)于市場，因此，DPU 會主要應(yīng)用于云服務(wù)提供商、AI 技術(shù)公司以及采用 AI 技術(shù)的企業(yè)。據(jù)悉，NVIDIA BlueField-3 DPU 已經(jīng)在部分國內(nèi)公有云服務(wù)提供商進(jìn)行測試，后續(xù)會逐步開始采用。

在不久前的 GTC 2023 大會上，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛先生堅定表示“ AI 迎來了‘ iPhone 時刻’”，回想當(dāng)年蘋果手機(jī)剛問世，當(dāng)時的用戶還都想著手機(jī)不就是用來打電話、發(fā)短信的？而今天，我們幾乎已經(jīng)遺忘了當(dāng)時的想法和其他手機(jī)。同樣，你會發(fā)現(xiàn)生活將慢慢被 AI 改變。

*聲明：本文為MetaPost原創(chuàng)，如需轉(zhuǎn)載請聯(lián)系我們。未經(jīng)允許嚴(yán)禁轉(zhuǎn)載，文章版權(quán)及最終解釋權(quán)歸MetaPost所有。

       原文標(biāo)題 : 你的GPT跟ChatGPT可能只差了一個DPU