2016 Sort Benchmark全球排序競(jìng)賽中,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊(duì)宣布僅用不到99秒(98.8秒)完成100TB的數(shù)據(jù)排序
2016計(jì)算奧運(yùn)會(huì)Sort Benchmark全球排序競(jìng)賽中,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊(duì)宣布僅用不到99秒(98.8秒)完成100TB的數(shù)據(jù)排序,打破阿里云去年創(chuàng)造的329秒的紀(jì)錄。在更早前,百度創(chuàng)造的紀(jì)錄是716秒,Hadoop的紀(jì)錄是4222秒。
在這次競(jìng)賽中,騰訊云數(shù)智分布式計(jì)算平臺(tái),奪得Sort Benchmark大賽GraySort和MinuteSort的冠軍,總共創(chuàng)造四項(xiàng)世界紀(jì)錄,將去年阿里云的紀(jì)錄整體提高2倍到5倍。騰訊名列全球大數(shù)據(jù)第一梯隊(duì)領(lǐng)軍企業(yè),這也是全球大數(shù)據(jù)性能進(jìn)化史的重要里程碑。
全球大數(shù)據(jù)性能進(jìn)化史
每年全球頂尖公司和學(xué)術(shù)機(jī)構(gòu)都會(huì)來參加該賽事,以評(píng)估軟硬件系統(tǒng)架構(gòu)能力及最新研究成果。這項(xiàng)賽事包括四項(xiàng)比賽,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊(duì)參加的是含金量最高的GraySort和MinuteSort兩項(xiàng)排序競(jìng)賽,重點(diǎn)評(píng)測(cè)大規(guī)模分布式系統(tǒng)的軟硬件架構(gòu)能力及平臺(tái)的計(jì)算效率,以上兩項(xiàng)比賽均包括Indy(專用目的排序)和Daytona(通用目的排序)兩個(gè)子項(xiàng)。數(shù)智一舉奪得上述四個(gè)子項(xiàng)的冠軍,總體將去年的紀(jì)錄提高2倍到5倍。
GraySort競(jìng)賽比拚的是如何在最短的時(shí)間內(nèi),將總共100TB,一共1萬億條無序的100字節(jié)紀(jì)錄,按照從小到大的順序進(jìn)行排序。數(shù)智用時(shí)98.8秒完成100TB的數(shù)據(jù)排序,即每分鐘完成60.7TB的數(shù)據(jù)排序,去年冠軍的紀(jì)錄為18.2TB/分鐘。MinuteSort競(jìng)賽,比拚的是在1分鐘之內(nèi)能夠完成多少數(shù)據(jù)量的排序。數(shù)智的成績(jī)?yōu)?分鐘完成55TB的排序,去年冠軍的紀(jì)錄是11TB,數(shù)智將這一數(shù)據(jù)量提升5倍。
Sort Benchmark四項(xiàng)世界紀(jì)錄對(duì)比
Sort Benchmark通過排序競(jìng)賽考量一家公司或機(jī)構(gòu)大規(guī)模計(jì)算能力的綜合實(shí)力,通過排序這個(gè)最基本的計(jì)算問題,不僅全面評(píng)測(cè)分布式系統(tǒng)軟件架構(gòu)能力(如海量數(shù)據(jù)分布式存儲(chǔ)、計(jì)算任務(wù)切片調(diào)度、節(jié)點(diǎn)通信協(xié)調(diào)同步、數(shù)據(jù)計(jì)算監(jiān)控容災(zāi)等性能),也評(píng)測(cè)了硬件架構(gòu)能力(如服務(wù)器硬件選配、網(wǎng)絡(luò)架構(gòu)調(diào)優(yōu)、
IDC規(guī)劃建設(shè)能力等)。在這次排序競(jìng)賽中,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊(duì)在基礎(chǔ)架構(gòu)上采用了512臺(tái)IBM的OpenPOWER服務(wù)器和邁絡(luò)思公司的100Gb互聯(lián)技術(shù),這也讓騰訊云大數(shù)據(jù)產(chǎn)品的性能取得進(jìn)一步提升。
此次參賽的騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊(duì)由騰訊云存儲(chǔ)產(chǎn)品中心、騰訊數(shù)據(jù)平臺(tái)部組成。在對(duì)微信每天160億級(jí)別的多維分析場(chǎng)景中,數(shù)智能夠做到6秒返回結(jié)果;數(shù)智是騰訊云在互聯(lián)網(wǎng)海量數(shù)據(jù)處理經(jīng)驗(yàn)之上,結(jié)合開源Hadoop生態(tài)和自研組件服務(wù),對(duì)外提供的一站式數(shù)據(jù)分析與挖掘平臺(tái),已在政府、傳統(tǒng)企業(yè)和互聯(lián)網(wǎng)企業(yè)中被深度應(yīng)用。
免責(zé)聲明:本站所使用的字體和圖片文字等素材部分來源于互聯(lián)網(wǎng)共享平臺(tái)。如使用任何字體和圖片文字有冒犯其版權(quán)所有方的,皆為無意。如您是字體廠商、圖片文字廠商等版權(quán)方,且不允許本站使用您的字體和圖片文字等素材,請(qǐng)聯(lián)系我們,本站核實(shí)后將立即刪除!任何版權(quán)方從未通知聯(lián)系本站管理者停止使用,并索要賠償或上訴法院的,均視為新型網(wǎng)絡(luò)碰瓷及敲詐勒索,將不予任何的法律和經(jīng)濟(jì)賠償!敬請(qǐng)諒解!