面對新基建驅(qū)動而即將造成的數(shù)據(jù)量井噴現(xiàn)象,當下的數(shù)據(jù)庫模式將不能夠足以支撐,尤其考慮到AI正逐步落地的情況。

--全球每天生產(chǎn)的數(shù)據(jù)有多少?

--非常多。

依據(jù)Raconteur統(tǒng)計的數(shù)據(jù),到2025年,全球每天預計有463 EB數(shù)據(jù)產(chǎn)生,相當于每天產(chǎn)出約2．1億張DVD碟;IDC發(fā)布的《數(shù)據(jù)時代2025》報告中也預測,全球每年產(chǎn)生的數(shù)據(jù)從2018年的33 ZB增長到175 ZB(1 ZB=1024 EB),以25 MB/秒的網(wǎng)速進行下載,需要的時間為18億年。

隨著數(shù)據(jù)量的暴增,問題逐漸暴露。

數(shù)據(jù)規(guī)模大、類型多,一站式服務(wù)需求激增

截至目前,針對海量數(shù)據(jù)的處理,業(yè)內(nèi)既有的數(shù)據(jù)產(chǎn)品多只能解決某一類問題,譬如Hive應用于結(jié)構(gòu)化數(shù)據(jù)、面向數(shù)據(jù)存儲的文檔數(shù)據(jù)庫MongDB、專注于復雜搜索需求的ElasticSearch以及圖數(shù)據(jù)庫Neo4J等等。與此同時,圍繞多種數(shù)據(jù)類型的存儲與處理需求,業(yè)內(nèi)也搭建了一種混搭架構(gòu),涉及多種不同的數(shù)據(jù)庫技術(shù),以解決不同的數(shù)據(jù)問題。

只不過,我們也可以注意到,各個數(shù)據(jù)庫可以說是各自為政的,這也使得客戶在需要使用多種數(shù)據(jù)庫產(chǎn)品時,需要自己重新架設(shè)一層,以解決需求被滿足時所產(chǎn)生的附加問題,包括數(shù)據(jù)如何在不同數(shù)據(jù)庫之間導進導出、數(shù)據(jù)在不同庫中的一致性保持、整體運維等等。

僅從文字的描述來看,就可以知道,數(shù)據(jù)庫的單一獨立使用和混合使用各有優(yōu)劣,前者操作簡單但供給不足以滿足實際應用場景的多樣化需求,后者雖然能夠滿足客戶圍繞數(shù)據(jù)產(chǎn)生的多樣化需求,但是操作不便、運維復雜等問題也是不可忽視的。

就當下而言,混合架構(gòu)或許尚能夠應對來自產(chǎn)業(yè)內(nèi)的多樣化數(shù)據(jù)需求,但是長久以往下去并不是一個辦法,尤其是隨著新基建的到來,于國內(nèi)數(shù)據(jù)庫的發(fā)展也帶來了極大的挑戰(zhàn)。針對這個問題,騰訊云數(shù)據(jù)庫副總經(jīng)理王義成指出了三點:

1、數(shù)據(jù)量出現(xiàn)全面井噴,如何滿足相應運算與分析的實時進行?

2、業(yè)務(wù)融合多樣化發(fā)出挑戰(zhàn),數(shù)據(jù)庫是否能夠接受在不同的業(yè)務(wù)中心、數(shù)據(jù)中心、基礎(chǔ)設(shè)施之間去做相應的部署和融合?

3、老齡化逐步演進,數(shù)據(jù)庫人才缺口可能更大,數(shù)據(jù)庫供應商如何為用戶提供多種自動化服務(wù),以及能否為用戶的多種服務(wù)需求提供自動運維服務(wù),實現(xiàn)整個數(shù)據(jù)的自動化治理?

從這些挑戰(zhàn)來看,鑒于數(shù)據(jù)庫與數(shù)據(jù)庫之間的不兼容,為了避免復雜操作性、實現(xiàn)成本有效降低等目的,一個面向數(shù)據(jù)層面的一站式服務(wù)平臺顯然成為一個剛需。簡單來講,在這個一站式數(shù)據(jù)服務(wù)平臺或數(shù)據(jù)庫中,用戶希望能夠以簡單的操作方式調(diào)用多數(shù)據(jù)庫的資源,并處理多種數(shù)據(jù)模型等等。

數(shù)據(jù)庫未來趨勢?提名“多模數(shù)據(jù)庫”

在提及數(shù)據(jù)庫在新基建背景下將面臨的挑戰(zhàn)時,他也指出了這一產(chǎn)品的兩點趨勢,一點關(guān)乎數(shù)據(jù)庫分配模式,“在數(shù)據(jù)量再擴幾倍的情況下,還能保持TP與AP的整體穩(wěn)定性和性能,這是一個大趨勢,大家也會在這個點上繼續(xù)去深耕。”

第二點上,王義成則表示隨著5G的到來,可能會有更多模式的數(shù)據(jù)庫會出來,包括圖數(shù)據(jù)庫或是更為稀奇的數(shù)據(jù)模式。

“數(shù)據(jù)庫的下一個模式會向多模方向發(fā)展。數(shù)據(jù)庫的存儲模式是不同的,但真正對于應用訪問來說,或者對于應用處理來說,需要一個更加經(jīng)典化、更加統(tǒng)一的標準接口讓上層應用能夠去訪問�！蓖趿x成表示,“我認為,應對5G帶來的應用爆發(fā)、數(shù)據(jù)爆發(fā),多�？赡苁且粋�大的趨勢點。”

多模數(shù)據(jù)庫究竟是怎樣的?與現(xiàn)有的混合架構(gòu)模式而言,它的優(yōu)勢體現(xiàn)在哪里?

簡單來講,多模數(shù)據(jù)庫最終體現(xiàn)的是一種數(shù)據(jù)模式的統(tǒng)一,主要形式有兩種:

一種是數(shù)據(jù)存儲為統(tǒng)一模式,可以在這一層面暴露多種協(xié)議接口類型,比如一套數(shù)據(jù)存儲,可以暴露Mongo的訪問模式,暴露MySQL的訪問模式;

另一種則是集中存儲,將不同類型的數(shù)據(jù)庫存儲道一個整體通用的數(shù)據(jù)平臺,再用一個up層,或者用一個接口層去兼容多種協(xié)議,讓所有的應用都能夠更為方便的集中于自身的數(shù)據(jù)處理跟統(tǒng)一。

相較于混合架構(gòu)而言,多模數(shù)據(jù)庫在進行統(tǒng)一整合、將操作極簡化的同時,也降低了數(shù)據(jù)在不同庫之間來回遷移的成本和風險等。“多模數(shù)據(jù)庫有可能是未來中長期相對比較的趨勢�！蓖趿x成說到。

多模數(shù)據(jù)庫驅(qū)動下,助力AI逼近“人類智能”

從前面行業(yè)內(nèi)人士的講解來看,在數(shù)據(jù)庫賽道中,利好多多的多模數(shù)據(jù)庫已然成為被看好的下一個趨勢。當前,在多模數(shù)據(jù)庫賽道中,包括騰訊在內(nèi),華為、阿里等大型云服務(wù)商也已經(jīng)推出或即將推出有關(guān)產(chǎn)品。

在一些行業(yè)賽道中,尤其是那些傳統(tǒng)行業(yè),他們的數(shù)據(jù)多是分散在各個業(yè)務(wù)系統(tǒng)中,這也為他們的數(shù)據(jù)化、智能化變革道路中增添了難度。如果一個產(chǎn)品能夠幫助他們更快地整合數(shù)據(jù),并能夠提供抽象化的應用接口,這必然是利好的。

用王義成的話來說,使用多模數(shù)據(jù)庫的目的之一,是解決用戶不同調(diào)用的使用習慣,助力用戶使用。而當談及落地,“多模數(shù)據(jù)庫”于AI的智能提升而言可謂一大助力。

眾所周知,AI與人類智能差距之一就是“多模態(tài)信息的智能化理解”,這其中包括視覺、聲音、符號語言、嗅覺和觸覺等信息。如果能夠像人類利用多模態(tài)數(shù)據(jù)學習知識一樣,讓AI也擁有多模態(tài)數(shù)據(jù)的學習能力,AI的智能程度必然將大大獲得提升。

然而,就目前而言,多模態(tài)AI還存在不少技術(shù)難點,其中就涉及到多模態(tài)數(shù)據(jù)的融合。具體來看,一個軟件或算法模型的進步是較為容易的,但當多個算法疊加在一起,難度的升級將會是成倍的,尤其在面對圖像、語音、觸感等非文本數(shù)據(jù)時。

就這一點來看,多模數(shù)據(jù)庫與AI可以看作是相輔相成的:利用AI算法,數(shù)據(jù)庫將能夠在現(xiàn)有基礎(chǔ)上獲得進一步的優(yōu)化;反過來,正是因為能夠調(diào)用多個數(shù)據(jù)庫,以及兼具的統(tǒng)一性,多模數(shù)據(jù)庫將能夠為AI算法模型提供訓練平臺,以及融合數(shù)據(jù)處理平臺,讓AI系統(tǒng)的決策更為全面和智能。

作者:韓璐