問題與挑戰(zhàn)

　　某用戶配置了16塊1TB磁盤做RAID5，承載其在線關(guān)鍵業(yè)務(wù)。運行3年后，磁盤開始陸續(xù)損壞，發(fā)現(xiàn)其重建過程漫長。在其業(yè)務(wù)未中斷的情況下，完成一次重建所需時間長達5天，這種情況還不是最糟的。更糟的是，在某次重建過程中，重建進程完成到60%時，過程被異常中止，RAID組fail，整個數(shù)據(jù)卷損壞，數(shù)據(jù)丟失。經(jīng)檢查發(fā)現(xiàn)，在重建過程中，該RAID組中的另一塊磁盤發(fā)生了讀錯誤，導(dǎo)致磁盤failed，被RAID組踢出。

　　通過這個案例可以看出幾個問題：

　　1、磁盤屬于消耗品，發(fā)生老化后，會產(chǎn)生潛在故障盤或假象故障盤;

　　2、故障盤或假象故障盤都將導(dǎo)致RAID組重建;

　　3、大容量磁盤RAID重建時間過長，重建過程風(fēng)險巨大;

　　4、潛在故障盤將導(dǎo)致RAID重建失敗;

　　隨著云時代的到來，數(shù)據(jù)量越來越多，磁盤容量越來越大，發(fā)生磁盤損壞的機率也越來越高，如何解決磁盤故障對存儲帶來的危害成為重要課題目。

　　磁盤維護新方式-IDDC主動式磁盤診斷中心

　　基于多年存儲維護經(jīng)驗的深刻理解，MacroSAN開發(fā)了一套可以在不增加任何附加投資的條件下，最大化提高磁盤及RAID組安全性的、智能存儲磁盤維護檢測修復(fù)工具，即下述的IDDC。

　　IDDC：Initiative Disk Diagnosis Center，主動式磁盤診斷中心

　　該診斷中心包含了4個模塊(磁盤檢測、快速修復(fù)、壞塊復(fù)位、磁盤診斷)，它可以通過預(yù)先設(shè)置的策略定期對磁盤進行錯誤檢測，用于發(fā)現(xiàn)磁盤中是否存在錯誤碼。再根據(jù)錯誤碼判斷磁盤錯誤類型，并進行相應(yīng)的壞塊修復(fù)、磁盤遷移或磁盤修復(fù)等操作，以提早處理磁盤潛在的故障隱患，降低RAID組重建損壞機率，提高設(shè)備穩(wěn)定性。

　　? 磁盤檢測：

　　? 對所有磁盤進行周期性全盤檢測，提前發(fā)現(xiàn)故障;

　　? 支持磁盤檢測速率動態(tài)調(diào)整，不影響應(yīng)用性能;

　　? 發(fā)現(xiàn)問題的磁盤交由診斷中心統(tǒng)一處理;

　　? 快速復(fù)位：結(jié)合CRAID的局部重建機制，可快速修復(fù)磁盤邏輯錯誤，降低全盤重建機率。

　　? 壞塊修復(fù)：經(jīng)過檢測的磁盤發(fā)現(xiàn)存在壞塊(扇區(qū))后，會觸發(fā)磁盤自身的remap機制，將壞塊的指針重定向到好的保留扇區(qū)中。然后調(diào)用RAID組的校驗功能，重建該數(shù)據(jù)塊，確保數(shù)據(jù)一致性。

　　? 磁盤診斷：所有告警磁盤、故障磁盤會在診斷中心進行復(fù)診并嘗試修復(fù)，減少磁盤故障誤判。修復(fù)后的磁盤自動轉(zhuǎn)為全局熱備磁盤。[nextpage]

　　RAID維護新方式-CRAID

　　根據(jù)統(tǒng)計數(shù)據(jù)分析，存儲系統(tǒng)的硬件故障90%以上是磁盤故障，而故障磁盤中，只有12%是完全的物理損壞，88%屬于部分/完全可用。如果磁盤發(fā)生錯誤后立即被踢出陣列，一方面客戶需要為100%的故障磁盤買單，另外一方面客戶還需要承擔(dān)故障磁盤被踢出陣列到被更換過程中其他磁盤再次故障所導(dǎo)致的數(shù)據(jù)丟失風(fēng)險。ODSP存儲軟件平臺在分層次、模塊化設(shè)計的基礎(chǔ)上，在多個層次上進行了磁盤錯誤處理，其目標(biāo)是：“盡量嘗試修復(fù)，盡可能減少踢盤”，以提高用戶的投資回報率，提出基于Cell的RAID同步和重建技術(shù)。

　　Cell，稱之為“細胞”，指帶“活性”的數(shù)據(jù)單元，是存儲資源管理的基本單位。引入Cell的概念后，資源管理層次如下圖所示，在具體的實現(xiàn)上，首先用物理磁盤創(chuàng)建RAID，然后把RAID的可用空間根據(jù)指定長度(默認1GB)劃分為多個Cell，創(chuàng)建LUN時，系統(tǒng)自動分配空閑Cell，破除了LUN與RAID、Disk之間的捆綁關(guān)系，使RAID的最小維護單位由原來的磁盤變成了更小更靈活的Cell，實現(xiàn)了完全的虛擬化存儲架構(gòu)。

　　CRAID(基于Cell的RAID)技術(shù)是宏杉科技在RAID機制上的一項創(chuàng)新技術(shù)。CRAID通過更精細的資源管理單元——Cell來實現(xiàn)對磁盤的精細化管理，不僅能有效提高系統(tǒng)對于磁盤故障的容忍度，減少數(shù)據(jù)處于臨界危險狀態(tài)的機率，而且能數(shù)倍地提升磁盤故障后的恢復(fù)效率。MS1000的CRAID技術(shù)能夠做到：

　　1、容忍多塊磁盤故障：在RAID組內(nèi)，只要同一Cell內(nèi)的兩個數(shù)據(jù)塊不同時出現(xiàn)故障，RAID組允許多塊磁盤發(fā)生介質(zhì)損壞，而數(shù)據(jù)不會丟失。借助CRAID技術(shù)既能解決傳統(tǒng)RAID6、RAID10磁盤浪費嚴重的問題，降低成本，又能解決2塊及以上磁盤出現(xiàn)介質(zhì)錯誤導(dǎo)致數(shù)據(jù)丟失的問題，甚至可做到所有磁盤出現(xiàn)介質(zhì)錯誤，系統(tǒng)和數(shù)據(jù)依然正常，極大地增強了可靠性。

　　2、數(shù)據(jù)重建時間減少80%：傳統(tǒng)的RAID機制數(shù)據(jù)重建恢復(fù)過程非常漫長，尤其是2TB等大容量硬盤普及后，數(shù)據(jù)丟失風(fēng)險大幅升高。據(jù)統(tǒng)計，在正常的監(jiān)控業(yè)務(wù)流量下，2TB硬盤故障的重建恢復(fù)時間長達5天—30天。MS1000通過下述幾項技術(shù)，能夠減少80%-95%的數(shù)據(jù)重建恢復(fù)時間，大大提高了存儲系統(tǒng)的數(shù)據(jù)保護能力。

　　?只對已寫數(shù)據(jù)的Cell進行重建，空閑Cell不重建;

　　?只重建數(shù)據(jù)發(fā)生變化的Cell，不對整個硬盤進行重建;

　　?只對發(fā)生介質(zhì)錯誤的Cell進行校驗重建恢復(fù)，其它Cell通過拷貝的方式重建;

　　傳統(tǒng)存儲與IDDC+CRAID比較

　　結(jié)語

　　在高清視頻監(jiān)控迅速發(fā)展的今天，大規(guī)模、高容量硬盤的廣泛部署，在滿足越來越高的容量需求的同時，也面臨著更高的磁盤故障率和數(shù)據(jù)丟失風(fēng)險，傳統(tǒng)的RAID機制已不能滿足需求。而宏杉科技創(chuàng)新性提出了IDDC+CRAID技術(shù)，具備高效靈活的磁盤重建和同步策略，可容忍一組RAID5磁盤出現(xiàn)多塊磁盤介質(zhì)錯誤數(shù)據(jù)不丟失，同時減少80%的磁盤重建時間，大大提升了整套存儲系統(tǒng)的可靠性。