云計(jì)算,新一代IT基礎(chǔ)架構(gòu);圖計(jì)算,對客觀世界中任何事物和事物之間的關(guān)系進(jìn)行完整刻劃、計(jì)算與分析的一門技術(shù)。

“云算天下,圖創(chuàng)未來”,在數(shù)智化時代,以云為基,以圖為用,兩者相得益彰。這大概也是華中科技大學(xué)的云圖團(tuán)隊(duì)以“云圖”為隊(duì)名,參加第七屆中國國際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽的深刻寓意吧。

臺上一分鐘,臺下十年功

第七屆中國國際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽近日在江西南昌落幕,今年新增的產(chǎn)業(yè)命題賽道成了矚目的焦點(diǎn),最終,華中科技大學(xué)的云圖團(tuán)隊(duì)與華南理工大學(xué)的城聯(lián)智圖團(tuán)隊(duì),從晉級決賽的50支隊(duì)伍中脫穎而出,榮獲賽道金獎。

當(dāng)華中科技大學(xué)云圖團(tuán)隊(duì)的隊(duì)長——華中科技大學(xué)服務(wù)計(jì)算技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室2017級博士趙進(jìn)和他團(tuán)隊(duì)的兄弟們站在領(lǐng)獎臺上時,參加大賽以來的多少個不眠之夜,宿舍、食堂、實(shí)驗(yàn)室三點(diǎn)一線的單調(diào)生活,從校賽到省賽再到國賽的一路拼搏,此時都化做了上揚(yáng)的嘴角、釋然的笑容。一切努力和付出都值了!

伙伴們模仿現(xiàn)場采訪場景,讓趙進(jìn)發(fā)表一下獲獎感言,他有些靦腆的笑了,道出了整個團(tuán)隊(duì)的心聲:“參加此次大賽的經(jīng)歷令我終生難忘。在讀博士生的前期,我的主要精力都放在科學(xué)研究上,借這次大賽之機(jī),能夠把我們多年以來的研究內(nèi)容與企業(yè)的需求相結(jié)合,有效解決了實(shí)際業(yè)務(wù)問題,讓我們感覺之前所做的科研工作非常有意義�！�

從最初的校賽到省賽,再到最后的國賽,云圖團(tuán)隊(duì)從打磨參賽作品內(nèi)容、制作PPT、參加路演、答辯,整個團(tuán)隊(duì)投入了大量時間和精力。難怪趙進(jìn)會感慨:“臺上一分鐘,臺下十年功。”

云圖團(tuán)隊(duì)中的另一位骨干,負(fù)責(zé)系統(tǒng)軟件研究的2020級博士生余輝也深有同感:“整個參賽的感覺就是時間緊、任務(wù)重。團(tuán)隊(duì)成員的凝聚力,來自學(xué)校老師的關(guān)懷和幫助,以及華為技術(shù)專家的支持,讓我們感到團(tuán)結(jié)協(xié)作的巨大能量。特別是我們的指導(dǎo)老師張宇副教授,凡事更是親力親為,每場打磨會議、每場路演排練都親臨現(xiàn)場,帶領(lǐng)著團(tuán)隊(duì)不斷地打磨和優(yōu)化項(xiàng)目。并且有任何問題出現(xiàn),都是他帶領(lǐng)我們在第一時間想方設(shè)法解決,然后不斷修改、完善。特別感謝指導(dǎo)張宇老師的辛苦付出!雖然最后路演的10分鐘演講是由師兄趙進(jìn)一個人完成的,但他的背后,有我們整個團(tuán)隊(duì)的支持、努力和奉獻(xiàn)。”

“我們能夠贏得最終的金獎,實(shí)至名歸,是對這個團(tuán)隊(duì)最好的回報�！闭f這話時,余輝的語氣中充滿自信、自豪還有滿滿的感謝。

厚積薄發(fā) 這個金獎實(shí)至名歸

你一定很想知道,云圖團(tuán)隊(duì)此次獲得的這個金獎含金量如何?中國國際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽是一項(xiàng)全球性的比賽,今年已經(jīng)是第七屆,參賽團(tuán)隊(duì)來自國內(nèi)外121個國家和地區(qū)的4347所院校,報名總?cè)藬?shù)達(dá)956萬。云圖團(tuán)隊(duì)最終贏得金獎,真可謂過五關(guān)斬六將。

再看看云圖團(tuán)隊(duì)的這個作品,依托于華為鯤鵬底層技術(shù)所選取的“鯤鵬BoostKit大數(shù)據(jù)Spark圖算法優(yōu)化”命題,實(shí)現(xiàn)了國際上首個面向并發(fā)圖分析任務(wù)的高性能圖計(jì)算系統(tǒng),通過高效利用鯤鵬處理器的眾核架構(gòu)和硬件加速單元,適配歐拉開源操作系統(tǒng),將傳統(tǒng)的圖計(jì)算性能實(shí)現(xiàn)倍級提升。

趙進(jìn)帶領(lǐng)的這支團(tuán)隊(duì)由5人組成,包括博士研究生、碩士研究生和本科生。大家分工協(xié)作,趙進(jìn)主要負(fù)責(zé)整個項(xiàng)目的技術(shù)和框架設(shè)計(jì),其他有的負(fù)責(zé)軟件開發(fā),有的負(fù)責(zé)工程開發(fā),還有的負(fù)責(zé)制作和優(yōu)化PPT等。這雖然是一支臨時組成的團(tuán)隊(duì),而且之前幾乎沒有參加類似比賽的經(jīng)驗(yàn),但這并不影響團(tuán)隊(duì)成員間的默契,反而更能激發(fā)其熱情與才情。據(jù)趙進(jìn)介紹,雖然團(tuán)隊(duì)成員各司其職,但所有人有一個共同點(diǎn),就是此前一直都在從事與圖計(jì)算相關(guān)的研究,其中最長的已有十年之久。團(tuán)隊(duì)在指導(dǎo)老師張宇副教授的帶領(lǐng)下,已經(jīng)在圖計(jì)算領(lǐng)域取得了多項(xiàng)關(guān)鍵技術(shù)突破,研發(fā)了國際首個面向并發(fā)圖分析任務(wù)系統(tǒng),以及國際首個基于眾核處理器的異步圖計(jì)算加速器,研究水平已經(jīng)達(dá)到國際領(lǐng)先。

華中科技大學(xué)在圖計(jì)算方面的研究到底有多厲害?就在今年8月舉行的圖計(jì)算領(lǐng)域最具影響力的國際賽事之一——2021年圖計(jì)算挑戰(zhàn)賽上,華中科技大學(xué)圖計(jì)算團(tuán)隊(duì)獲得全球冠軍。這是中國首次在該賽事中獲得冠軍。厲害吧!這樣看來,云圖團(tuán)隊(duì)能夠以其圖計(jì)算作品斬獲大賽金獎,是最好的傳承,也是眾望所歸。

“初次看到大賽產(chǎn)業(yè)賽道的這道命題,第一個感覺就是與我們的前期研究工作非常契合,當(dāng)時就有了一種躍躍欲試的沖動,希望將自己所做的圖計(jì)算基礎(chǔ)研究工作與企業(yè)的實(shí)際需求有機(jī)結(jié)合起來�！睆内w進(jìn)的語氣中可以感受到這種迫切的渴望,“以前,我們也與一些企業(yè)有過合作和成果落地,但這次基于華為鯤鵬平臺還是首次,也想挑戰(zhàn)一下自己�！�

作為團(tuán)隊(duì)的一員,正在讀研究生二年級的楊赟感慨頗多:“通過這次比賽,我深深感受到產(chǎn)業(yè)界與學(xué)術(shù)界之間存在的明顯差異。我們的校長曾經(jīng)說過,‘不僅要把論文發(fā)表在頂級期刊上,還要發(fā)表在祖國的大地上’。通過這次比賽,我對‘把論文發(fā)表在祖國的大地上”這句話有了更深刻的理解和體會。我們做研究的目的,是希望推動新技術(shù)的產(chǎn)業(yè)化。華為的這次命題就將科學(xué)知識與行業(yè)實(shí)踐進(jìn)行了高度融合,讓我們受益匪淺。”

今年新增的產(chǎn)業(yè)賽道,旨在推動高校的智力、技術(shù)和項(xiàng)目資源與經(jīng)濟(jì)社會發(fā)展需求緊密對接。華為深度參與了產(chǎn)業(yè)命題賽道,總計(jì)提供了32道創(chuàng)新命題項(xiàng)目,吸引了337所高校的1205支隊(duì)伍、近萬名學(xué)生參與其中。另一個獲得金獎的城聯(lián)智圖團(tuán)隊(duì),就是依托華為昇騰AI技術(shù)能力選取的“使用MindSpore設(shè)計(jì)和訓(xùn)練圖像風(fēng)格遷移模型”命題,創(chuàng)新性地提出了一種高性能的圖像風(fēng)格遷移算法,并給出了有現(xiàn)實(shí)意義的落地應(yīng)用場景。

不管是以前潛心研究,還是如今通過大賽揚(yáng)名,云圖團(tuán)隊(duì)的初衷一直沒變,那就是做一款全球領(lǐng)先的圖計(jì)算系統(tǒng),推廣到中國的企業(yè)用戶中,落地于多個實(shí)際的生產(chǎn)場景。通過鯤鵬BoostKit相關(guān)技術(shù)的支持,以及華為專業(yè)的指導(dǎo),云圖團(tuán)隊(duì)從技術(shù)理論到應(yīng)用實(shí)踐邁出了實(shí)質(zhì)性的一步。

沒有翻不過的坎 華為的支持功不可沒

對于圖計(jì)算、大規(guī)模并發(fā)處理等技術(shù)研究,趙進(jìn)極其自信,其團(tuán)隊(duì)的研究成果屬于國際首創(chuàng),曾經(jīng)發(fā)表過多篇頂級論文。但是在拿到賽題后,對于將圖計(jì)算系統(tǒng)與鯤鵬、歐拉等軟硬件平臺進(jìn)行適配,特別是運(yùn)行在像華為鯤鵬眾核處理器上,其實(shí)他心里也沒有底。

圖計(jì)算如今已經(jīng)是一項(xiàng)應(yīng)用非常廣泛的技術(shù),是大數(shù)據(jù)處理的一種主流模式,被應(yīng)用于教育、醫(yī)療、軍事、金融等眾多領(lǐng)域。現(xiàn)實(shí)中,很多數(shù)據(jù)都可以表達(dá)成一個圖的結(jié)構(gòu),比如社交網(wǎng)絡(luò)圖、道路交通圖、航班圖、電網(wǎng)圖等�！蚌H鵬BoostKit大數(shù)據(jù)Spark圖算法優(yōu)化”這道賽題的核心,就是如何進(jìn)一步提升圖算法的精度,同時盡量縮短處理時間。

“基于鯤鵬平臺,現(xiàn)有業(yè)界的開源算法,精度只有75%時,處理時間為600秒。華為希望,在將算法精度提升到90%時,能夠?qū)⑻幚頃r長控制在90秒以內(nèi)�！壁w進(jìn)介紹說,“我們基于華為平臺進(jìn)行第一次測試時發(fā)現(xiàn),當(dāng)精度為90%時,基于通用開源算法,執(zhí)行時間要3萬秒。但經(jīng)過我們的優(yōu)化后,基于云圖系統(tǒng)算法,在精度達(dá)到90%時,只需要13秒,效率提升2300多倍。”

對于云圖團(tuán)隊(duì)來說,如何在鯤鵬平臺之上充分發(fā)揮眾核處理器的性能和效率,這就是第一個要跨越的門檻。為了高效發(fā)揮眾核處理器的作用,云圖團(tuán)隊(duì)提出了一種新的技術(shù)路線,即以解耦合的方式處理圖數(shù)據(jù),盡量讓這些核之間不互相依賴。在此原則下,他們對架構(gòu)進(jìn)行了一次“大手術(shù)”,使得鯤鵬處理器的計(jì)算能力得以充分釋放,為接下來的圖計(jì)算系統(tǒng)調(diào)優(yōu)奠定了堅(jiān)實(shí)基礎(chǔ)。

趙進(jìn)還提到一個細(xì)節(jié),為了進(jìn)一步提升圖算法的精度達(dá)到命題要求,需要處理15萬個BFS的并發(fā)量,而在此之前,云圖團(tuán)隊(duì)從來沒有遇到過如此龐大的并行處理問題。如何讓15萬個圖計(jì)算任務(wù)部署在華為提供的三臺機(jī)器上,并高效運(yùn)行?云圖團(tuán)隊(duì)進(jìn)行了特別的優(yōu)化。2300倍效率的提升已經(jīng)說明了問題。

鯤鵬BoostKit使能套件可以幫助鯤鵬開發(fā)者及ISV合作伙伴,面向大數(shù)據(jù)、分布式存儲、數(shù)據(jù)庫、虛擬化、ARM原生、Web/CDN、NFV和 HPC八大典型應(yīng)用場景,實(shí)現(xiàn)應(yīng)用性能的加速�！癇oostKit是鯤鵬技術(shù)能力的一個重要體現(xiàn),在完成作品的過程中,它確實(shí)發(fā)揮了重要的加速作用。我們也基于它,開發(fā)出了更適合鯤鵬架構(gòu)的圖計(jì)算系統(tǒng)——云圖系統(tǒng),從而大幅提升了圖計(jì)算系統(tǒng)的性能。這對于不同的通用圖架構(gòu)應(yīng)用遷移至關(guān)重要�！壁w進(jìn)如是說。

“在整個參賽的過程中,我們得到了華為專家的悉心指導(dǎo)。比如,我們剛拿到賽題時,對于題目所涉及的數(shù)據(jù)集、精度,以及評判標(biāo)準(zhǔn)等拿捏不準(zhǔn);在參賽過程中,遇到一些問題時,在鯤鵬生態(tài)中也沒能找到相應(yīng)的答案。這時,華為的專家不僅耐心地為我們解答、指導(dǎo),而且特意組織了一次線上會議,逐一為我們演示。來自華為的支持讓我們非常感謝和感動�！庇噍x表示。

產(chǎn)學(xué)互動 齊頭并進(jìn)

對于云圖團(tuán)隊(duì)來說,整個參賽的過程,從技術(shù)的角度,沒有翻不過去的坎,然而項(xiàng)目的商業(yè)化卻是一只“攔路虎”。因?yàn)橐恢睆氖卵芯康脑茍D團(tuán)隊(duì)的幾個人,都沒有過創(chuàng)業(yè)經(jīng)驗(yàn),對于如何寫商業(yè)計(jì)劃書、進(jìn)行股權(quán)分配等幾乎沒有概念。這時,也是華為的專家出面,為其進(jìn)行指導(dǎo),理順?biāo)悸�。趙進(jìn)在最后答辯時才能夠應(yīng)對自如,闖關(guān)成功。

“無論是在學(xué)術(shù)界還是工業(yè)界,華為的技術(shù)和產(chǎn)品都處于國際領(lǐng)先水平�！蓖ㄟ^此次參賽與華為鯤鵬有了第一次親密接觸之后,趙進(jìn)的整體感覺是,“我們開發(fā)的云圖系統(tǒng)能夠達(dá)到業(yè)界頂尖水平,也是得益于華為鯤鵬眾核處理器等的支持。后續(xù),我們將開發(fā)更多的軟件系統(tǒng)、加速器等,希望也能部署和應(yīng)用于華為鯤鵬平臺之上�！�

云圖團(tuán)隊(duì)與華為的初心相同,都想為推動中國信息技術(shù)的發(fā)展貢獻(xiàn)自己的一份力量。在未來的學(xué)習(xí)和工作中,將更多的技術(shù)、應(yīng)用部署到華為自研的軟硬件平臺上,也是云圖團(tuán)隊(duì)的美好心愿。

理想已經(jīng)照進(jìn)現(xiàn)實(shí)。