騰訊云奪冠計(jì)算奧運(yùn)冠軍 憑什么創(chuàng)下史上最好大數(shù)據(jù)成績(jī)？

　　2016年11月10日，具有計(jì)算奧運(yùn)會(huì)之稱(chēng)的SortBenchmark全球排序競(jìng)賽公布結(jié)果，其中，騰訊云用98.8秒完成100TB的數(shù)據(jù)排序，打破阿里云去年創(chuàng)造的329秒記錄，以及更早前百度的716秒紀(jì)錄，這引起了業(yè)界的關(guān)注。

　　眾所周知，騰訊云直到最近幾年才開(kāi)始發(fā)力公有云和大數(shù)據(jù)業(yè)務(wù)，而阿里云早從2009年開(kāi)始就已經(jīng)大張旗鼓的發(fā)展云計(jì)算業(yè)務(wù)，進(jìn)入2016年全力推進(jìn)大數(shù)據(jù)業(yè)務(wù)。那么，騰訊云在2016年底刷新大數(shù)據(jù)國(guó)際比賽的紀(jì)錄，是偶然事件還是確有過(guò)人之處?記者就此采訪了騰訊云副總裁、騰訊數(shù)據(jù)平臺(tái)部總經(jīng)理蔣杰。

　　史上最好的大數(shù)據(jù)比賽成績(jī)

　　SortBenchmark是一個(gè)專(zhuān)門(mén)從事排序基準(zhǔn)評(píng)估的非盈利國(guó)際機(jī)構(gòu)，該機(jī)構(gòu)每年主持的SortBenchmark排序競(jìng)賽被認(rèn)為是全球的“計(jì)算奧運(yùn)會(huì)”，它主要通過(guò)“Sort排序”這個(gè)最基本的計(jì)算問(wèn)題來(lái)評(píng)估一家公司或機(jī)構(gòu)大規(guī)模計(jì)算的綜合實(shí)力，不僅全面評(píng)測(cè)分布式系統(tǒng)軟件架構(gòu)能力，也評(píng)測(cè)硬件架構(gòu)能力。這是因?yàn)?ldquo;Sort排序”計(jì)算任務(wù)雖然比較基礎(chǔ)，但兼具測(cè)試系統(tǒng)IO(數(shù)據(jù)吞吐)和CPU資源消耗這兩項(xiàng)計(jì)算系統(tǒng)的核心性能評(píng)估指標(biāo)，尤其適合以海量數(shù)據(jù)為基準(zhǔn)來(lái)測(cè)評(píng)不同分布式系統(tǒng)的性能。

　　(上圖：近三年來(lái)SortBenchmark最好成績(jī)對(duì)比)

　　今年騰訊云總共參加了SortBenchmark的兩項(xiàng)主要比賽：GraySort和MinuteSort。GraySort比拼的主要是參賽系統(tǒng)對(duì)大規(guī)模數(shù)據(jù)的處理能力，MinuteSort則評(píng)測(cè)參賽系統(tǒng)的效率。具體來(lái)說(shuō)，GraySort比拼的是在最短時(shí)間內(nèi)將總共100TB、一共1萬(wàn)億條無(wú)序的100字節(jié)記錄、按照從小到大的順序排序;而MinuteSort比拼的是在1分鐘之內(nèi)能夠完成多少數(shù)據(jù)量的排序。每個(gè)比賽還再分為Indy(專(zhuān)用目的排序)和Daytona(通用目的排序)兩個(gè)子項(xiàng)。

　　騰訊云“數(shù)智分布式計(jì)算平臺(tái)”(以下簡(jiǎn)稱(chēng)“數(shù)智”)參加IndyGraySort測(cè)試，每分鐘可完成60.7TB的數(shù)據(jù)排序，去年的最好成績(jī)?yōu)?8.2TB/分鐘(阿里云)、2014年最好成績(jī)?yōu)?.38TB/分鐘(百度);參加DaytonaGraySort測(cè)試，每分鐘可完成44.8TB的數(shù)據(jù)排序，去年的最好成績(jī)?yōu)?5.9TB/分鐘(阿里云)、2014年最好成績(jī)?yōu)?.35TB/分鐘(UCSD，加州大學(xué)圣地亞哥分校)以及4.27TB/分鐘(ApacheSpark)。

　　騰訊云“數(shù)智”參加IndyMinuteSort測(cè)試的成績(jī)?yōu)?5TB，去年的最好成績(jī)?yōu)?1TB(阿里云)、2014年的最好成績(jī)?yōu)?TB(百度);參加DaytonaMinuteSort測(cè)試的成績(jī)?yōu)?7TB，去年的最好成績(jī)?yōu)?.7TB(阿里云)、2014年的最好成績(jī)?yōu)?.7TB(三星)。

　　根據(jù)SortBenchmark官網(wǎng)，可以看到騰訊云此次所取得的成績(jī)即便在SortBenchmark歷史上也算得上是最強(qiáng)。而蔣杰介紹說(shuō)，騰訊云今年能取得好成績(jī)，不僅得益于騰訊云平臺(tái)自有的強(qiáng)大調(diào)度能力，還由于騰訊云平臺(tái)對(duì)自身的調(diào)度系統(tǒng)做了大量?jī)?yōu)化工作，目前在騰訊內(nèi)部系統(tǒng)中每天的調(diào)度達(dá)2億次，可以說(shuō)是在海量系統(tǒng)中不斷驗(yàn)證磨合出的大數(shù)據(jù)處理能力。

　　相應(yīng)花了多少成本?

　　在本次SortBenchmark比賽中，騰訊云參賽系統(tǒng)主要采用的是512臺(tái)IBM的OpenPOWER服務(wù)器和邁絡(luò)思的100Gb網(wǎng)卡。蔣杰強(qiáng)調(diào)，這樣配置的平臺(tái)并不是專(zhuān)門(mén)為了本次比賽所搭建，而是來(lái)自于騰訊的日常計(jì)算服務(wù)網(wǎng)絡(luò)。

　　具體來(lái)說(shuō)，本次騰訊云的參賽系統(tǒng)配備了512個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)配置兩顆OpenPOWER處理器、512GB內(nèi)存、4塊華為NVMeSSD盤(pán)、100GbMellanox網(wǎng)卡。而去年阿里云配備3377個(gè)節(jié)點(diǎn)，每節(jié)點(diǎn)兩顆至強(qiáng)E5-2630芯片、96G內(nèi)存、12塊SATA硬盤(pán)、10G網(wǎng)卡。由于技術(shù)的飛速進(jìn)行，兩個(gè)參賽系統(tǒng)的成本相差不大，騰訊云的系統(tǒng)總體成本甚至還要略低一些。

　　眾所周知，基于RISC架構(gòu)的IBMPower芯片可同時(shí)執(zhí)行多條指令，可將一條指令分割成若干個(gè)進(jìn)程或線程，交由多個(gè)處理器同時(shí)執(zhí)行，因此并行計(jì)算性能方面遠(yuǎn)優(yōu)于基于CISC架構(gòu)的英特爾x86芯片。同時(shí)，Power架構(gòu)還可以很好地結(jié)合GPU的優(yōu)勢(shì)，形成IBM+NVIDIA的強(qiáng)強(qiáng)組合。IBM在2013年對(duì)Power芯片技術(shù)進(jìn)行了開(kāi)放，隨后出現(xiàn)了大批定制的OpenPOWER服務(wù)器。值得一提的是，OpenPOWER服務(wù)器芯片不僅性能更優(yōu)，而價(jià)格甚至要低于英特爾的同等性能芯片。

　　而基于OpenPOWER服務(wù)器的騰訊云大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)，能提供單集群上千臺(tái)規(guī)模實(shí)時(shí)流式計(jì)算;在數(shù)據(jù)存儲(chǔ)方面則支持多重?cái)?shù)據(jù)備份、萬(wàn)億數(shù)據(jù)的存儲(chǔ)能力;在任務(wù)調(diào)度方面，支持百萬(wàn)級(jí)任務(wù)的毫秒級(jí)調(diào)用;而且可以自動(dòng)發(fā)現(xiàn)故障節(jié)點(diǎn)并自動(dòng)剔除，通過(guò)業(yè)務(wù)的自動(dòng)遷移、關(guān)鍵節(jié)點(diǎn)的主從熱備，實(shí)現(xiàn)故障的秒級(jí)切換。

　　當(dāng)然，此次參賽也還是經(jīng)歷了不少困難。蔣杰回憶說(shuō)，在調(diào)優(yōu)的過(guò)程中發(fā)現(xiàn)網(wǎng)絡(luò)IO和磁盤(pán)IO都達(dá)不到理想的極限能力，雖然當(dāng)時(shí)已經(jīng)跑出了不錯(cuò)的成績(jī)，但整個(gè)團(tuán)隊(duì)沒(méi)有放過(guò)任何一個(gè)可以提高性能的機(jī)會(huì)。從架構(gòu)到代碼細(xì)節(jié)再到硬件的驅(qū)動(dòng)層，團(tuán)隊(duì)成員加班加點(diǎn)、不停地提出優(yōu)化方案和嘗試，最終達(dá)到理想成績(jī)。

　　背后的騰訊云大數(shù)據(jù)平臺(tái)

　　蔣杰認(rèn)為，最近幾年國(guó)內(nèi)互聯(lián)網(wǎng)公司頻頻在該大賽中奪冠，說(shuō)明國(guó)內(nèi)公司在云計(jì)算、大數(shù)據(jù)等領(lǐng)域已經(jīng)有了長(zhǎng)足的進(jìn)步，本次奪冠就是騰訊多年來(lái)技術(shù)積累的成果。在今年實(shí)際參賽時(shí)，組委會(huì)突然宣布比寒提前一個(gè)月進(jìn)行，這出乎很多參賽團(tuán)隊(duì)的預(yù)料，但這也考驗(yàn)了參賽團(tuán)隊(duì)的技術(shù)能力。

　　騰訊云參賽團(tuán)隊(duì)所使用的大數(shù)據(jù)平臺(tái)“數(shù)智”，是騰訊云于2016年發(fā)布了的大數(shù)據(jù)解決方案，這是基于騰訊十余年海量數(shù)據(jù)處理核心能力所打造的一站式大數(shù)據(jù)處理平臺(tái)。在對(duì)微信每天160億級(jí)別的多維分析場(chǎng)景中，“數(shù)智”平臺(tái)能夠做到6秒返回結(jié)果。

　　“數(shù)智”結(jié)合騰訊在互聯(lián)網(wǎng)海量數(shù)據(jù)處理經(jīng)驗(yàn)、開(kāi)源生態(tài)和自研組件服務(wù)，具有穩(wěn)定易用、技術(shù)開(kāi)放、秒級(jí)多維分析處理、安全可靠等特性。在基礎(chǔ)架構(gòu)上，騰訊云大數(shù)據(jù)團(tuán)隊(duì)對(duì)包括YARN、HIVE、PIG、SPARK、Kylin等眾多開(kāi)源組件進(jìn)行深度優(yōu)化，大幅提升了平臺(tái)性能;在使用上，可以按需部署大數(shù)據(jù)處理服務(wù)，包括數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、報(bào)表展示、數(shù)據(jù)分析、客戶畫(huà)像等大數(shù)據(jù)應(yīng)用。除此之外，“數(shù)智”還囊括了騰訊自研的機(jī)器學(xué)習(xí)引擎和內(nèi)置算法庫(kù)，可視化操作方式讓非技術(shù)人員也可能輕松駕馭數(shù)據(jù)挖掘。

　　蔣杰介紹說(shuō)，騰訊云“數(shù)智”平臺(tái)的誕生是因?yàn)轵v訊要處理海量數(shù)據(jù)的自身需求。截至2015年底，騰訊QQ、QQ空間、微信等產(chǎn)品線背后，有著3萬(wàn)億條數(shù)據(jù)接入、100億次數(shù)據(jù)分發(fā)、120PB的存儲(chǔ)、8.6PB的離線計(jì)算、2.5萬(wàn)億的實(shí)時(shí)計(jì)算、500萬(wàn)次任務(wù)調(diào)度等億萬(wàn)級(jí)的數(shù)據(jù)處理經(jīng)驗(yàn)和能力，這些都是騰訊云“數(shù)智”這一大數(shù)據(jù)產(chǎn)品的基礎(chǔ)。

　　巨大的數(shù)據(jù)量和高復(fù)雜度高的數(shù)據(jù)分析，對(duì)底層技術(shù)平臺(tái)的要求也非常高。春晚?yè)u一搖發(fā)紅包的千萬(wàn)級(jí)并發(fā)請(qǐng)求量是搶火車(chē)票的一百余倍，要處理的不僅是海量并發(fā)請(qǐng)求，還有資源推送、紅包收發(fā)和金融級(jí)的安全防護(hù)等等。面臨每天的海量多維分析計(jì)算需求，已經(jīng)無(wú)法通過(guò)傳統(tǒng)的開(kāi)源社區(qū)組件來(lái)保證分析結(jié)果及時(shí)效性。

　　騰訊云大數(shù)據(jù)團(tuán)隊(duì)針對(duì)交互式海量數(shù)據(jù)分析需求而自主研發(fā)了秒級(jí)分析平臺(tái)。“數(shù)智”實(shí)時(shí)檢索分析把檢索與數(shù)據(jù)分析有機(jī)結(jié)合，摒棄傳統(tǒng)數(shù)據(jù)分析的系統(tǒng)數(shù)據(jù)預(yù)加工模式，而是根據(jù)用戶輸入的個(gè)性化數(shù)據(jù)分析需求實(shí)時(shí)計(jì)算，可實(shí)現(xiàn)在億萬(wàn)級(jí)數(shù)據(jù)、萬(wàn)級(jí)維度的量級(jí)下進(jìn)行任意維度組合、任意層級(jí)下鉆等分析作業(yè)，結(jié)果響應(yīng)在數(shù)秒以內(nèi)。

　　蔣杰表示，“數(shù)智”是騰訊云全面開(kāi)放騰訊18年海量大數(shù)據(jù)處理經(jīng)驗(yàn)，讓企業(yè)在最短的時(shí)間內(nèi)、用最少的資源，通過(guò)精準(zhǔn)計(jì)算來(lái)建立核心商業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)。用戶采用騰訊云大數(shù)據(jù)解決方案后，可在短時(shí)間內(nèi)具備秒級(jí)響應(yīng)的實(shí)時(shí)多維數(shù)據(jù)分析能力。“數(shù)智”目前已經(jīng)在政府、傳統(tǒng)企業(yè)和互聯(lián)網(wǎng)企業(yè)中深度應(yīng)用。

　　在2015年9月，國(guó)務(wù)院印發(fā)了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，指出信息技術(shù)與經(jīng)濟(jì)社會(huì)的交匯融合引發(fā)了數(shù)據(jù)迅猛增長(zhǎng)，數(shù)據(jù)已成為國(guó)家基礎(chǔ)性戰(zhàn)略資源。隨著騰訊云在國(guó)際大數(shù)據(jù)大賽中取得新的世界紀(jì)錄，騰訊云的大數(shù)據(jù)平臺(tái)勢(shì)必將與騰訊的“互聯(lián)網(wǎng)+”相輔相承，成為在十三五期間的大數(shù)據(jù)高速公路之一。