通過提供對更廣泛信息集的訪問,大數(shù)據就可以為數(shù)據分析師和業(yè)務用戶產生分析見解提供一臂之力。成功的大數(shù)據分析應用程序會揭示某些趨勢和模式,以此來為決策制定提供更好的服務,并會指出新的創(chuàng)收機會和讓企業(yè)領先于他們的商業(yè)競爭對手的方法。但首先,企業(yè)往往需要增強他們現(xiàn)有的IT基礎設施建設以及數(shù)據管理流程以支持大數(shù)據架構的規(guī)模和復雜性。
Hadoop系統(tǒng)和NoSQL數(shù)據庫已經成為管理大數(shù)據環(huán)境的重要工具。不過,在很多情況下,企業(yè)利用他們現(xiàn)有的數(shù)據倉庫設施,或是一個新老混合的技術來對大數(shù)據流入他們的系統(tǒng)進行管理。
無論一個公司部署什么類型的大數(shù)據技術棧,有一些共通的因素必須加以考量,以保證為大數(shù)據分析工作提供一個有效的框架。在開始一個大數(shù)據項目之前,去審視項目所要承擔的新數(shù)據需求的更大圖景顯得尤為關鍵。下面來讓我們檢視四個需要加以考量的因素。
數(shù)據準確性
數(shù)據質量問題對于BI和數(shù)據管理專業(yè)人士來說一定不陌生。很多BI和分析團隊努力保證數(shù)據的有效性并說服業(yè)務使用人員去信任信息資產的準確性和可靠性。作為個性化分析庫而得以廣泛使用的電子表格或電子報表軟件可以對數(shù)據中信任缺乏的問題加以彌補:在Excel中存儲和操作分析數(shù)據的功能為支持自助分析能力創(chuàng)造了環(huán)境,但可能不會激發(fā)其他用戶對結果的自信心。數(shù)據倉庫與數(shù)據集成和數(shù)據質量工具一起,能夠通過為管理BI和分析數(shù)據提供標準化流程來幫助樹立信心。但是,由于不斷增加的數(shù)據容量和更廣泛多樣的數(shù)據類型,特別是當涉及結構化和非結構化數(shù)據混合時,就會對一個大數(shù)據的實施增加難度系數(shù)。建立評估數(shù)據質量標準以及對它們進行升級以處理那些更大、更多樣數(shù)據集,對于大數(shù)據實施的成功和分析框架的使用是至關重要的。
存儲適用
數(shù)據倉儲的一個核心要求是處理和存儲大數(shù)據集的能力。但并不是所有數(shù)據倉庫在這方面都滿足要求。一些是針對復雜查詢處理進行優(yōu)化,而其他的則并非如此。并且在許多大數(shù)據應用程序中,相較于事務系統(tǒng),由于添加了非結構化數(shù)據還有數(shù)據的創(chuàng)建和收集增速迅猛,用Hadoop和NoSQL技術增強數(shù)據倉庫就成為必要。對于一個希望獲取并分析大數(shù)據的組織來說,光有存儲容量是不夠的;而重要的部分在于將數(shù)據置于何處才是最佳的,這樣數(shù)據就可以轉化為有用信息并為數(shù)據科學家和其他用戶所利用。
查詢性能
大數(shù)據分析依賴于及時處理和查詢復雜數(shù)據的能力。一個很好地例子就是:一家公司開發(fā)了一個數(shù)據倉庫用來維護從能源使用計收集到的數(shù)據。在產品評估過程中,某供應商的系統(tǒng)有能力在15分鐘內處理七百萬條記錄,而另一家則在相同時間內可以處理最高三十萬條記錄。能否識別正確的基礎設施來支持快速的數(shù)據可用性和高性能查詢就意味著成功還是失敗。
穩(wěn)定性
隨著許多組織中數(shù)據量和數(shù)據種類的增長,大數(shù)據平臺的建立需要有對未來的考量。必須提前考慮和求證正在進行評估的大數(shù)據技術是否能夠進行擴展,以達到不斷向前發(fā)展的需求所要求的級別。這便超出了存儲容量的范疇,將性能也包含了進來,對那些從社交網絡,傳感器,系統(tǒng)日志文件以及其他非事務源獲取數(shù)據作為其業(yè)務數(shù)據擴展的公司來說尤為如此。
分析多樣而復雜的數(shù)據集需要一個健壯且富有彈性的大數(shù)據架構。在籌劃項目時通過對這四個因素進行考量,組織可以確定他們是否已經擁有能夠處理如此嚴苛大數(shù)據的分析程序亦或是需要額外的軟硬件以及數(shù)據管理流程來達到他們的大數(shù)據目標。