南大通用：志在大數(shù)據(jù)基礎(chǔ)軟件設(shè)施中的“明珠”

全球大數(shù)據(jù)時(shí)代進(jìn)行時(shí)，從2012年美國(guó)奧巴馬政府宣布了“大數(shù)據(jù)研發(fā)計(jì)劃”，到2015年我國(guó)國(guó)務(wù)院印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要;從Google后Hadoop時(shí)代的“三駕馬車”Caffeine、Pregel、Dremel影響著全球大數(shù)據(jù)技術(shù)發(fā)展，到業(yè)內(nèi)普遍認(rèn)為MPP與Hadoop形成混搭架構(gòu)平臺(tái)是支撐大數(shù)據(jù)分析應(yīng)用的比較佳方案;從過(guò)去一年中國(guó)大數(shù)據(jù)市場(chǎng)已達(dá)到百億元的市場(chǎng)規(guī)模，到未來(lái)三年仍然保持著40%的高速增長(zhǎng)率，大數(shù)據(jù)已然開(kāi)辟出國(guó)家治理的新路徑，改變?nèi)藗兊纳罘绞?，引發(fā)IT行業(yè)巨大的技術(shù)變革?；仡?015年，大數(shù)據(jù)基礎(chǔ)設(shè)施的重要性不言而喻，而數(shù)據(jù)庫(kù)作為基礎(chǔ)軟件核心，為大數(shù)據(jù)分析應(yīng)用提供技術(shù)支撐，在大數(shù)據(jù)領(lǐng)域持續(xù)創(chuàng)造長(zhǎng)期價(jià)值。

過(guò)去三十年數(shù)據(jù)庫(kù)的發(fā)展已經(jīng)形成了以O(shè)racle、IBM、Microsoft等為代表的強(qiáng)勢(shì)壟斷格局。然而面對(duì)大數(shù)據(jù)引發(fā)的需求，傳統(tǒng)數(shù)據(jù)庫(kù)在處理百TB以上、特別是PB級(jí)數(shù)據(jù)的查詢、統(tǒng)計(jì)、分析等應(yīng)用時(shí)，遇到性能上的瓶頸。世界數(shù)據(jù)庫(kù)格局在發(fā)生革命性的變化，通用數(shù)據(jù)庫(kù)OldSQL一統(tǒng)天下變成了OldSQL、NewSQL、NoSQL共同支撐多類應(yīng)用的局面。國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商南大通用，已在項(xiàng)目中洞悉到用戶對(duì)多源異構(gòu)海量規(guī)模數(shù)據(jù)的處理需求，預(yù)判到大數(shù)據(jù)的到來(lái)，早在2008年就啟動(dòng)了分析型數(shù)據(jù)庫(kù)GBase 8a產(chǎn)品的設(shè)計(jì)與研發(fā)。恰逢曾擔(dān)任Oracle法國(guó)公司高級(jí)數(shù)據(jù)庫(kù)專家12年的武新博士回國(guó)發(fā)展事業(yè)，出任南大通用CTO，由此肩負(fù)起GBase 8a總設(shè)計(jì)師的重任。GBase 8a誕生時(shí)起步早、起點(diǎn)高、累計(jì)投入研發(fā)資金超過(guò)2億元，作為專用架構(gòu)的數(shù)據(jù)庫(kù)產(chǎn)品新品類，在大數(shù)據(jù)來(lái)臨之際憑借成熟的商用級(jí)水平搶占了市場(chǎng)先機(jī)。2015年是GBase 8a高速發(fā)展的一年，隨著南大通用CTO武新對(duì)GBase 8a過(guò)去一年的回顧，我們可以體會(huì)到與世界技術(shù)同步、市場(chǎng)同級(jí)的國(guó)產(chǎn)新型數(shù)據(jù)庫(kù)歷經(jīng)了怎樣不平凡之路。

　從未止步的產(chǎn)品優(yōu)化與技術(shù)突破

GBase 8a從2010年4月1日發(fā)布第一個(gè)單機(jī)版，產(chǎn)品歷時(shí)8年精進(jìn)演變，不斷進(jìn)行新技術(shù)突破和產(chǎn)品優(yōu)化。武新總結(jié)到GBase 8a在2015年主要發(fā)布了三個(gè)大的版本，與產(chǎn)品自身相比，v8.5.11.4更加增強(qiáng)可靠性;v8.5.11.5的性能相比上一版本提升了一倍;v8.6從MPP架構(gòu)變遷為聯(lián)邦架構(gòu)，實(shí)現(xiàn)了“追加寫(xiě)”的在線擴(kuò)容，批量“寫(xiě)”的性能提升1倍，單個(gè)集群支持?jǐn)?shù)量從192節(jié)點(diǎn)提升至300節(jié)點(diǎn)。產(chǎn)品取得這樣的成果背后，是1000+人月的研發(fā)投入，13類新功能的豐富，65萬(wàn)行新代碼的編寫(xiě)，超過(guò)400份4800頁(yè)文檔的輸出。這些數(shù)字在武新看來(lái)，正是南大通用人為GBase 8a獲得用戶認(rèn)可而作出的扎實(shí)基本功課。

國(guó)產(chǎn)數(shù)據(jù)庫(kù)在向著關(guān)鍵行業(yè)核心應(yīng)用的道路上破冰前行，數(shù)據(jù)庫(kù)的質(zhì)量是關(guān)鍵。武新進(jìn)一步介紹到南大通用在使用傳統(tǒng)人工測(cè)試，積累了上萬(wàn)例測(cè)試用例的基礎(chǔ)上，打造出國(guó)內(nèi)領(lǐng)先的數(shù)據(jù)庫(kù)自動(dòng)化測(cè)試平臺(tái)，通過(guò)自動(dòng)化的方式對(duì)GBase 8a進(jìn)行覆蓋性測(cè)試。自動(dòng)化測(cè)試平臺(tái)可以自動(dòng)生成海量用例模擬用戶的全部輸入和全部可能出現(xiàn)的場(chǎng)景，從而實(shí)現(xiàn)對(duì)產(chǎn)品無(wú)死角的全方位覆蓋測(cè)試?；趪?yán)格高效健全的測(cè)試體系，GBase 8a更是具備快速迭代的能力，比較快可實(shí)現(xiàn)3天發(fā)版，真正做到快速響應(yīng)一線用戶的需求。

　混搭架構(gòu)共同支撐大數(shù)據(jù)應(yīng)用

GBase 8a的集群形態(tài)是基于MPP技術(shù)架構(gòu)的。提及MPP與Hadoop在處理大數(shù)據(jù)時(shí)的關(guān)系，武新解答了大數(shù)據(jù)時(shí)代初期普遍存在的認(rèn)知誤區(qū)。Hadoop并非是解決大數(shù)據(jù)分析的技術(shù)方案。武新對(duì)行業(yè)環(huán)境的變化深有體會(huì)，他講到南大通用至少在三年前就開(kāi)始提出行業(yè)大數(shù)據(jù)的概念，大數(shù)據(jù)并非只是互聯(lián)網(wǎng)的產(chǎn)物，行業(yè)大數(shù)據(jù)的應(yīng)用并不比互聯(lián)網(wǎng)少。當(dāng)前業(yè)界主流的思路是，MPP存儲(chǔ)高價(jià)值密度數(shù)據(jù)，用于進(jìn)行數(shù)據(jù)分析和挖掘;Hadoop存儲(chǔ)低價(jià)值密度數(shù)據(jù)，用于基礎(chǔ)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)清洗和簡(jiǎn)單分類查詢。國(guó)際廠商已經(jīng)推出了這種融合架構(gòu)的平臺(tái)化產(chǎn)品，如EMC的Pivotal、HP的HAVEn。GBase 8a MPP集群已在金融、電信等眾多高端行業(yè)的應(yīng)用中與Hadoop產(chǎn)品混搭部署、相互融合，形成了支撐大數(shù)據(jù)應(yīng)用的整體解決方案。南大通用也推出了融合架構(gòu)的大數(shù)據(jù)統(tǒng)一處理平臺(tái)產(chǎn)品GBase UP，即Unified Platform。武新肯定的表示，南大通用在數(shù)據(jù)庫(kù)研究的領(lǐng)先性上，已經(jīng)實(shí)現(xiàn)了與國(guó)際主流廠商技術(shù)同步、市場(chǎng)同級(jí)的目標(biāo)。

優(yōu)異的市場(chǎng)表現(xiàn)離不開(kāi)用戶的信任支持

說(shuō)起市場(chǎng)表現(xiàn)，武新介紹：目前，GBase 8a已經(jīng)成功進(jìn)入電信、銀行、保險(xiǎn)、電力、公安、安全、海關(guān)、稅務(wù)、社保、財(cái)政、衛(wèi)計(jì)、食藥監(jiān)、統(tǒng)計(jì)、海洋、軍工等行業(yè)，其中在電信行業(yè)成功覆蓋三大運(yùn)營(yíng)商16個(gè)省份。GBase 8a市場(chǎng)份額在新一代MPP中占據(jù)第一。作為軟件產(chǎn)品，其產(chǎn)品質(zhì)量要在不斷的應(yīng)用部署中走向成熟，GBase 8a的快速成長(zhǎng)同樣也離不開(kāi)用戶的信任與支持，可以說(shuō)軍功章有南大通用的一半也有用戶的一半。說(shuō)到此處武新又興奮地舉了個(gè)實(shí)例，中國(guó)農(nóng)業(yè)銀行使用GBase 8a替換國(guó)外產(chǎn)品Sybase，突破了擴(kuò)展能力瓶頸。數(shù)據(jù)處理能力提升了100倍，數(shù)據(jù)處理級(jí)別也從TB提升到PB。通過(guò)引進(jìn)大數(shù)據(jù)處理技術(shù)，農(nóng)行歷史上第一次有了總行級(jí)別的數(shù)據(jù)倉(cāng)庫(kù)，經(jīng)營(yíng)視野也從分行級(jí)別擴(kuò)展至全行，并成為四大國(guó)有銀行中首家在金融核心系統(tǒng)中完成國(guó)產(chǎn)化替代，實(shí)現(xiàn)國(guó)產(chǎn)金融大數(shù)據(jù)平臺(tái)方案成功落地的銀行。而GBase 8a在農(nóng)行項(xiàng)目中也不斷進(jìn)步，完成了多次質(zhì)的飛躍，目前在建項(xiàng)目完成后集群總規(guī)模將達(dá)到400節(jié)點(diǎn)以上。GBase 8a從該項(xiàng)目上線至今，系統(tǒng)每天處理6000個(gè)以上的復(fù)雜作業(yè)，每天數(shù)據(jù)處理增量超過(guò)2TB，系統(tǒng)比較大的表已超過(guò)1000億行，每天增量10億條。武新由衷地表示，僅以這幾個(gè)數(shù)據(jù)為例就可以看出GBase 8a已成為真正令人自豪的世界級(jí)數(shù)據(jù)庫(kù)!

在對(duì)數(shù)據(jù)庫(kù)要求甚高的電信行業(yè)，GBase 8a擊敗了眾多對(duì)手，成為通過(guò)中國(guó)移動(dòng)集團(tuán)“集中經(jīng)分”POC測(cè)試的國(guó)產(chǎn)MPP數(shù)據(jù)庫(kù)，其他通過(guò)測(cè)試的國(guó)外產(chǎn)品僅有Greenplum、Vertica。武新簡(jiǎn)要描述了一下中移動(dòng)集中經(jīng)分測(cè)試規(guī)模：120個(gè)計(jì)算節(jié)點(diǎn)、30個(gè)加載節(jié)點(diǎn)，800TB裸數(shù)據(jù)，比較大表36000億行數(shù)據(jù)，比較小表8億行數(shù)據(jù)。他表示就是這樣的高難度動(dòng)作，GBase 8a也能完成得相當(dāng)漂亮，并入圍三甲。2015年GBase 8a在證監(jiān)、人社、海關(guān)、電信等四大行業(yè)31個(gè)項(xiàng)目POC測(cè)試中擊敗國(guó)外競(jìng)爭(zhēng)對(duì)手，獲得業(yè)內(nèi)良好口碑，同時(shí)也終結(jié)了國(guó)產(chǎn)數(shù)據(jù)庫(kù)無(wú)法支撐行業(yè)核心業(yè)務(wù)系統(tǒng)的時(shí)代，讓用戶有了更多的選擇。

僅2015年，GBase 8a就實(shí)現(xiàn)了在中國(guó)聯(lián)通、中國(guó)電信、銀監(jiān)會(huì)、公安部、國(guó)稅總局、海關(guān)總署等重點(diǎn)行業(yè)用戶的大數(shù)據(jù)處理平臺(tái)中提供支撐，項(xiàng)目累計(jì)上線1019個(gè)節(jié)點(diǎn)，數(shù)據(jù)處理總量超過(guò)5PB。武新自豪地表示，這些數(shù)據(jù)力證GBase 8a與國(guó)外產(chǎn)品在技術(shù)上已經(jīng)達(dá)到同步，甚至在支持?jǐn)?shù)據(jù)規(guī)模和系統(tǒng)并發(fā)能力上已局部領(lǐng)先。

　　志在摘取大數(shù)據(jù)基礎(chǔ)軟件設(shè)施中的明珠

數(shù)據(jù)如能源，數(shù)據(jù)安全是關(guān)鍵，支撐大數(shù)據(jù)存儲(chǔ)和計(jì)算的數(shù)據(jù)庫(kù)是大數(shù)據(jù)基礎(chǔ)軟件設(shè)施中的“明珠”，南大通用志在摘取這顆明珠。今年南大通用成為第一家掛牌新三板，進(jìn)入資本市場(chǎng)的國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商，南大通用將繼續(xù)加大產(chǎn)品研發(fā)、產(chǎn)品測(cè)試、應(yīng)用遷移、適配優(yōu)化等方面的成本投入，專注力量發(fā)展數(shù)據(jù)庫(kù)業(yè)務(wù)，志在通過(guò)不懈努力摘取大數(shù)據(jù)基礎(chǔ)軟件設(shè)施中的“明珠”。談起與國(guó)際數(shù)據(jù)庫(kù)的競(jìng)爭(zhēng)形勢(shì)時(shí)武新說(shuō)，在大數(shù)據(jù)分析領(lǐng)域，GBase 8a已經(jīng)戰(zhàn)勝Oracle、IBM、微軟等老牌數(shù)據(jù)庫(kù)巨頭，并在與HP、EMC等數(shù)據(jù)庫(kù)新貴的PK中屢屢獲勝，讓業(yè)界重新燃起了對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)的希望，也讓南大通用人為之驕傲和自豪。

產(chǎn)品、服務(wù)、合作蓄勢(shì)發(fā)力

展望2016年的發(fā)展規(guī)劃，武新表示將繼續(xù)聚焦在產(chǎn)品、服務(wù)、合作模式上發(fā)力。他將帶領(lǐng)研發(fā)團(tuán)隊(duì)攻關(guān)GBase 8a虛擬集群這一新的產(chǎn)品應(yīng)用形態(tài)。GBase 8a虛擬集群能夠進(jìn)行分層管理，支持跨數(shù)據(jù)中心的部署，多數(shù)據(jù)中心分層進(jìn)行管理，各數(shù)據(jù)中心按照需求及規(guī)模創(chuàng)建獨(dú)立的子集群。面對(duì)超大規(guī)模集群的元數(shù)據(jù)管理、通訊模型、跨異構(gòu)集群的訪問(wèn)等關(guān)鍵技術(shù)帶來(lái)的挑戰(zhàn)，南大通用人已做好了封閉攻關(guān)的準(zhǔn)備，為早日攻下1000節(jié)點(diǎn)的超大規(guī)模集群目標(biāo)而奮斗。GBase 8a之所以能在金融、電信、政務(wù)等高端行業(yè)項(xiàng)目中頻傳捷報(bào)，除了可與國(guó)際主流數(shù)據(jù)庫(kù)比肩的產(chǎn)品以外，優(yōu)質(zhì)的配套服務(wù)也是關(guān)鍵。武新談到，南大通用將進(jìn)一步擴(kuò)大技術(shù)支持服務(wù)隊(duì)伍，加固已經(jīng)形成的三橫三縱一環(huán)的技術(shù)體系，持續(xù)高效響應(yīng)用戶需求，以解決方案為依托，加強(qiáng)產(chǎn)品價(jià)值營(yíng)銷。GBase 8a需要在健全的生態(tài)環(huán)境中發(fā)展壯大，并且離不開(kāi)合作伙伴的助力。南大通用拓展公司新業(yè)務(wù)模式，已與東華軟件、華三通信、方正等公司形成深度合作，其中不乏趨近千萬(wàn)規(guī)模的合作形式。

匯聚人才、技術(shù)、產(chǎn)業(yè)發(fā)展的力量，南大通用人將繼續(xù)秉承匠心精神，精益打磨GBase 8a這顆大數(shù)據(jù)基礎(chǔ)軟件設(shè)施中的“明珠”，支撐國(guó)家大數(shù)據(jù)戰(zhàn)略落地，為用戶提供多一種高端產(chǎn)品選擇，推動(dòng)國(guó)內(nèi)大數(shù)據(jù)產(chǎn)業(yè)向前發(fā)展。