百度目前為全球最大的中文搜索引擎、最大的中文網(wǎng)站,于2000年1月創(chuàng)立于北京,經(jīng)過十幾年的不斷發(fā)展,現(xiàn)已成為中國(guó)最受歡迎、影響力最大的中文網(wǎng)站。作為全球互聯(lián)網(wǎng)行業(yè)的領(lǐng)頭羊,百度一直肩負(fù)著引領(lǐng)行業(yè)技術(shù)方向的使命。在通過技術(shù)創(chuàng)新不斷滿足用戶的移動(dòng)搜索需求的同時(shí),百度也在繼續(xù)積極推動(dòng)移動(dòng)云生態(tài)系統(tǒng)的建設(shè)和發(fā)展,與產(chǎn)業(yè)實(shí)現(xiàn)共贏。2012年9月,百度面向開發(fā)者全面開放包括云存儲(chǔ)、大數(shù)據(jù)和云計(jì)算在內(nèi)的核心云能力,為開發(fā)者提供更強(qiáng)大的技術(shù)運(yùn)營(yíng)支持與推廣變現(xiàn)保障,以幫助他們?cè)谝苿?dòng)云時(shí)代獲得更好的收益和成長(zhǎng)。
應(yīng)用需求:
移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的快速發(fā)展產(chǎn)生并積累了大量的數(shù)據(jù),根據(jù)國(guó)際數(shù)據(jù)公司(IDC)發(fā)布的研究報(bào)告,全球所有信息數(shù)據(jù)中90%產(chǎn)生于最近幾年,到2020年,我們將產(chǎn)生44ZB的數(shù)據(jù),而互聯(lián)網(wǎng)企業(yè)尤其是搜索引擎公司是大數(shù)據(jù)實(shí)踐的先行者和領(lǐng)跑者。百度是中文世界主流的搜索引擎,每天響應(yīng)來(lái)自138個(gè)國(guó)家和地區(qū)的數(shù)十億次搜索請(qǐng)求,覆蓋95%以上的中國(guó)網(wǎng)民,每天都在存儲(chǔ)和處理海量的用戶數(shù)據(jù)和系統(tǒng)數(shù)據(jù),包括網(wǎng)頁(yè)、圖片、文檔及各類音視頻等,對(duì)海量數(shù)據(jù)的存儲(chǔ)、處理與管理能力有著很高的需求,如何妥善存儲(chǔ)龐大的冷數(shù)據(jù)信息成為了百度數(shù)據(jù)存儲(chǔ)管理的重中之重。
解決方案:
通過合理平衡容量、性能、可用性、成本等相關(guān)因素,百度設(shè)計(jì)開發(fā)了一套針對(duì)數(shù)據(jù)分級(jí)分層存儲(chǔ)的冰山冷存儲(chǔ)解決方案(天蝎整機(jī)柜存儲(chǔ)解決方案)。有效降低了數(shù)據(jù)存儲(chǔ)的TCO。
作為冰山冷存儲(chǔ)解決方案的一部分,在存儲(chǔ)介質(zhì)與數(shù)據(jù)管理方面,百度與希捷緊密合作,率先引入基于疊瓦式磁記錄(SMR)技術(shù)的8TB歸檔硬盤,有效降低了每GB存儲(chǔ)的成本與功耗。
希捷全新的8TB SMR硬盤擁有企業(yè)級(jí)可靠性,采用經(jīng)過實(shí)踐檢驗(yàn)的SATA 6Gb/s接口,支持歸檔工作負(fù)載,并具備多硬盤抗旋轉(zhuǎn)震功能,可在高密度的環(huán)境中實(shí)現(xiàn)一致的企業(yè)級(jí)性能,提高系統(tǒng)容量,借助更少的組件提高系統(tǒng)和人員效率,同時(shí)降低功耗成本。
目前,百度冰山冷存儲(chǔ)解決方案已經(jīng)在其自建的大型云計(jì)算中心大規(guī)模部署。
合作現(xiàn)狀:
希捷與百度的合作由來(lái)已久,雙方在2014年簽署了戰(zhàn)略合作備忘錄,涉及的合作領(lǐng)域包括低成本在線存儲(chǔ)、存檔、數(shù)據(jù)管理與優(yōu)化等。
作為搜索引擎公司的巨頭,百度擁有EB級(jí)別的海量數(shù)據(jù)存儲(chǔ),收錄了相當(dāng)于5000個(gè)國(guó)家圖書館的信息容量,同時(shí)承擔(dān)著每天百億次的訪問請(qǐng)求。伴隨數(shù)據(jù)規(guī)模的迅速增長(zhǎng),為了保障用戶數(shù)據(jù)安全所做的備份、法規(guī)遵從類備份、極冷數(shù)據(jù)歸檔存儲(chǔ)累積成了龐大的冷數(shù)據(jù)群體,因此急需尋求低成本存儲(chǔ)解決方案。
希捷歸檔盤針對(duì)24x7不間斷運(yùn)行工作負(fù)載設(shè)計(jì),同時(shí)5900的轉(zhuǎn)速可以大大降低硬盤功耗,能夠可靠地節(jié)約能源,節(jié)省成本。與此同時(shí),其8TB的總存儲(chǔ)空間以及單碟1.33TB的容量均為業(yè)界領(lǐng)先,每GB成本更是突破了傳統(tǒng)企業(yè)級(jí)近線盤的價(jià)格區(qū)間,快速的讀寫速度也可以滿足百度毫秒級(jí)響應(yīng)速度的需求。
希捷8TB歸檔硬盤擁有企業(yè)級(jí)的可靠性,支持歸檔工作負(fù)載,并具備多硬盤抗旋轉(zhuǎn)震動(dòng)功能,可在高密度的環(huán)境中實(shí)現(xiàn)一致的企業(yè)級(jí)性能,非常適合存儲(chǔ)海量的大數(shù)據(jù)、冷數(shù)據(jù)。“百度非常高興可以與存儲(chǔ)領(lǐng)域的領(lǐng)軍企業(yè)希捷合作,借助其業(yè)界領(lǐng)先的技術(shù),可以提高我們數(shù)據(jù)中心的存儲(chǔ)密度,更加經(jīng)濟(jì)有效地應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容,將大量冷數(shù)據(jù)進(jìn)行低成本歸檔存儲(chǔ)。”百度相關(guān)業(yè)務(wù)負(fù)責(zé)人表示。
作為開放數(shù)據(jù)中心的先鋒,百度不斷致力于優(yōu)化整機(jī)柜解決方案和降低TCO。無(wú)論是百度自建的陽(yáng)泉數(shù)據(jù)中心、超高密度1U18天蝎整機(jī)柜冷存儲(chǔ)服務(wù)器(每機(jī)柜720塊盤)、還是大容量希捷8TB疊瓦式磁記錄技術(shù)歸檔盤(每機(jī)柜5.76PB存儲(chǔ)空間),所有這些優(yōu)化方案的成功部署,都在整個(gè)行業(yè)均備受矚目。在新興的冷數(shù)據(jù)歸檔業(yè)務(wù)上,百度的成功部署,必將影響到大量的互聯(lián)網(wǎng)公司進(jìn)行跟進(jìn)和學(xué)習(xí)。
疊瓦式磁記錄(SMR)技術(shù)
希捷8TB歸檔盤實(shí)現(xiàn)業(yè)界領(lǐng)先面密度容量,這要?dú)w功于其自主研發(fā)的疊瓦式磁記錄技術(shù)。作為新一代存儲(chǔ)技術(shù),疊瓦式磁記錄對(duì)于不斷提升面密度(單碟存儲(chǔ)的數(shù)據(jù)量)具有重要作用,以促進(jìn)全球云和移動(dòng)應(yīng)用的發(fā)展,新一代疊瓦式磁記錄存儲(chǔ)技術(shù)預(yù)計(jì)能夠提升高達(dá)25%的面密度。
希捷通過疊瓦式磁記錄技術(shù)使用了更少的磁頭與磁碟,增強(qiáng)了硬盤的穩(wěn)定性,并達(dá)到了新的容量點(diǎn)。在使用目前相同硬盤配置的磁碟與磁頭時(shí),疊瓦式磁記錄也能提高存儲(chǔ)容量,使得硬盤的性價(jià)比更高,為提升單位面積存儲(chǔ)密度提供了一個(gè)經(jīng)濟(jì)實(shí)惠的途徑。
愿景
百度高級(jí)技術(shù)總監(jiān)劉超先生表示:“通過合理的數(shù)據(jù)分層存儲(chǔ),引入冷數(shù)據(jù)歸檔方案,可以幫助我們用更優(yōu)的TCO實(shí)現(xiàn)數(shù)據(jù)的安全保護(hù),對(duì)用戶、對(duì)公司都具有積極的價(jià)值。通過與希捷公司合作,借助希捷可靠的存儲(chǔ)技術(shù)和領(lǐng)先產(chǎn)品,我們可以更有效地應(yīng)對(duì)云計(jì)算、大數(shù)據(jù)環(huán)境下的數(shù)據(jù)增長(zhǎng)與存儲(chǔ)挑戰(zhàn),更好的服務(wù)業(yè)務(wù)、服務(wù)用戶,持續(xù)提升用戶體驗(yàn)。”
希捷科技中國(guó)區(qū)云和企業(yè)級(jí)OEM業(yè)務(wù)總監(jiān)錢亞歐表示:“作為全球存儲(chǔ)解決方案的領(lǐng)軍企業(yè),希捷正在幫助中國(guó)領(lǐng)先的云服務(wù)和互聯(lián)網(wǎng)供應(yīng)商解決其在存儲(chǔ)領(lǐng)域的痛點(diǎn)。很高興百度通過采用希捷全新的8TB歸檔盤有效降低了冷數(shù)據(jù)存儲(chǔ)的成本,將存儲(chǔ)的先進(jìn)技術(shù)轉(zhuǎn)化為實(shí)際效益。雙方的深化戰(zhàn)略合作也將進(jìn)一步鞏固希捷在中國(guó)企業(yè)級(jí)市場(chǎng)的領(lǐng)導(dǎo)地位。”