隨著物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等新的互聯(lián)網(wǎng)技術(shù)的發(fā)展，在為人們帶來便利的同時(shí)，也產(chǎn)生了大量的、結(jié)構(gòu)化的非格式化的數(shù)據(jù)。如何通過數(shù)據(jù)挖掘，從海量數(shù)據(jù)中獲得有用的信息，為用戶提供好的用戶體驗(yàn)，增強(qiáng)企業(yè)的競(jìng)爭(zhēng)力，這對(duì)企業(yè)來說是一個(gè)挑戰(zhàn)。
各巨頭的數(shù)據(jù)量級(jí)大曝光
百度威廉·張表示，“數(shù)百PB，每一天需要處理的數(shù)據(jù)是數(shù)十個(gè)TB，許多數(shù)據(jù)要在幾秒鐘之內(nèi)處理，很多數(shù)據(jù)在幾分鐘之內(nèi)要處理，更多的是幾個(gè)小時(shí)之內(nèi)處理就夠了，幾個(gè)小時(shí)處理數(shù)十個(gè)PB的數(shù)據(jù)，也是很困難的。所有的策略都是針對(duì)實(shí)時(shí)性和數(shù)據(jù)處理的時(shí)效性理來做的?；ヂ?lián)網(wǎng)用戶的需求是更加實(shí)時(shí)，如微博、團(tuán)購(gòu)、秒殺等，所以說實(shí)時(shí)處理十分重要。”
Yahoo!周軼平談道，“雅虎的云計(jì)算平臺(tái)綜述超過三萬(wàn)臺(tái)機(jī)器，最大的超過4000太左右，總存儲(chǔ)容量超過了100PB。”他表示，雅虎最近放了很多精力在保護(hù)用戶的隱私和數(shù)據(jù)安全性上，歐盟規(guī)定雅虎不能夠存儲(chǔ)用戶的數(shù)據(jù)超過一百天，雖然不能保存，但是雅虎做很深入的數(shù)據(jù)挖掘，從數(shù)據(jù)瓦局得到一些真正有價(jià)值的信息，并把這些信息保存下來。
SAP杜濤也介紹了其需要幫助客戶處理的數(shù)據(jù)量的級(jí)別，“SAP作為企業(yè)級(jí)應(yīng)用的提供商，更關(guān)注客戶的數(shù)據(jù)量是多少，這些客戶包括中小型企業(yè)到大型的客戶，其中有數(shù)據(jù)密集型的企業(yè)，如電信、金融、政府、零售等等，客戶的數(shù)量級(jí)包括從幾個(gè)TB到數(shù)百個(gè)TB。”同時(shí)，SAP自己有一個(gè)很大的數(shù)據(jù)中心，主要是為SAP的客戶提供服務(wù)，有三萬(wàn)臺(tái)服務(wù)器，數(shù)據(jù)量大概是15TB并且有越來越多的客戶的數(shù)據(jù)會(huì)在SAP的數(shù)據(jù)中心。
如何存儲(chǔ)并利用這些海量的數(shù)據(jù)?
如此海量的數(shù)據(jù)，如何進(jìn)行存儲(chǔ)、分析、處理?并基于海量數(shù)據(jù)的挖掘，為企業(yè)創(chuàng)造更大的商業(yè)價(jià)值?針對(duì)海量數(shù)據(jù)的挖掘的技術(shù)架構(gòu)，幾位專家分別介紹了自己的法寶。
SAP杜濤從兩個(gè)方面介紹SAP的海量數(shù)據(jù)處理方法，“一方面，在SAP的數(shù)據(jù)中心，采用了標(biāo)準(zhǔn)的云計(jì)算所用的虛擬化和分布式存儲(chǔ);另一方面，針對(duì)單獨(dú)的企業(yè)，SAP在4月16號(hào)在德國(guó)發(fā)生了內(nèi)存計(jì)算技術(shù)。海量數(shù)據(jù)的讀取和分析，在傳統(tǒng)的架構(gòu)下，基于磁盤的IO是以毫秒級(jí)來計(jì)算的，而在內(nèi)存RAM中處理時(shí)間是nm級(jí)的。所以SAP把客戶的數(shù)據(jù)經(jīng)過壓縮的處理放到內(nèi)存中去，進(jìn)行讀取和分析，把之前在應(yīng)用層的分析放到內(nèi)存里面去做，提升性能，幫助用戶充分利用他們的數(shù)據(jù)。”
Yahoo!的云計(jì)算的體系是以Hadoop為中心的，周軼平介紹到，并從數(shù)據(jù)采集(HDFS)、數(shù)據(jù)存儲(chǔ)和處理、數(shù)據(jù)服務(wù)三個(gè)層面入手，介紹了雅虎的海量數(shù)據(jù)處理的方案。數(shù)據(jù)采集方面，yahoo建立了DataHave負(fù)責(zé)從雅虎遍布全球數(shù)據(jù)中心中的幾十萬(wàn)臺(tái)機(jī)器上實(shí)時(shí)收集數(shù)據(jù)，它有2個(gè)干道，主干道負(fù)責(zé)把數(shù)據(jù)以很高的一致性經(jīng)過各種過濾清理以后，放到Hadoop的平臺(tái)上。但是這樣的處理方法實(shí)時(shí)性不是很高，為了滿足實(shí)時(shí)性的需求，還有一個(gè)旁道系統(tǒng)，能夠在秒級(jí)直接將數(shù)據(jù)源導(dǎo)入到Hadoop上。雅虎的數(shù)據(jù)處理都是基于Hadoop的實(shí)時(shí)的服務(wù)，同時(shí)Yahoop還有一套很大的不同業(yè)務(wù)邏輯所需求的服務(wù)系統(tǒng)，超過一半的數(shù)據(jù)處理都是使用HadoopPig數(shù)據(jù)引擎。
百度威廉·張表示，面對(duì)互聯(lián)網(wǎng)的云計(jì)算，大搜索是基于索引的，如何對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)地快速的更新，就需要進(jìn)行一些優(yōu)化。比如說根據(jù)數(shù)據(jù)更新的頻率，建立在更新系統(tǒng)快或是更新系統(tǒng)慢的系統(tǒng)之上，根據(jù)地域的登錄跟重要性的登錄把它放到南方或者是北方的機(jī)房里，也就是說，主要是根據(jù)數(shù)據(jù)的應(yīng)用來策略。機(jī)器學(xué)習(xí)的算法，內(nèi)存里面的數(shù)據(jù)進(jìn)行高復(fù)雜度的計(jì)算，可能要花費(fèi)很長(zhǎng)的時(shí)間，這在百度的環(huán)境中是不行的，無(wú)論是判斷用戶的需求、從用戶行為中得知需要推薦什么內(nèi)容和什么廣告，這些都需要非常高的時(shí)效性和極規(guī)模的機(jī)器學(xué)習(xí)。
您可能也喜歡這些文章
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專業(yè)媒體平臺(tái)，自1994年品牌成立以來，一直專注于安全&自動(dòng)化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場(chǎng)趨勢(shì)的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國(guó)際行業(yè)展覽會(huì)資源以及豐富的媒體經(jīng)驗(yàn)，提供媒體、活動(dòng)、展會(huì)等整合營(yíng)銷服務(wù)。
粵公網(wǎng)安備 44030402000264號(hào)
