當前位置:才華齋>技能>電子技術>

大資料時代下的三種儲存架構

電子技術 閱讀(2.92W)

大資料時代,移動互聯、社交網路、資料分析、雲服務等應用的迅速普及,對資料中心提出革命性的需求,儲存基礎架構已經成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業連鎖、醫療、金融、新媒體、廣電等各個領域新興應用層出不窮。資料的價值日益凸顯,資料已經成為不可或缺的資產。作為資料載體和驅動力量,儲存系統成為大資料基礎架構中最為關鍵的核心。

大資料時代下的三種儲存架構

傳統的資料中心無論是在效能、效率,還是在投資收益、安全,已經遠遠不能滿足新興應用的需求,資料中心業務急需新型大資料處理中心來支撐。除了傳統的高可靠、高冗餘、綠色節能之外,新型的大資料中心還需具備虛擬化、模組化、彈性擴充套件、自動化等一系列特徵,才能滿足具備大資料特徵的應用需求。這些史無前例的需求,讓儲存系統的架構和功能都發生了前所未有的變化。

基於大資料應用需求,“應用定義儲存”概念被提出。儲存系統作為資料中心最核心的資料基礎,不再僅是傳統分散的、單一的底層裝置。除了要具備高效能、高安全、高可靠等特徵之外,還要有虛擬化、並行分佈、自動分層、彈性擴充套件、異構資源整合、全域性快取加速等多方面的特點,才能滿足具備大資料特徵的業務應用需求。

尤其在雲安防概念被熱炒的時代,隨著高清技術的普及,720P、1080P隨處可見,智慧和高清的雙向需求、動輒500W、800W甚至上千萬更高解析度的攝像機面市,大資料對儲存裝置的容量、讀寫效能、可靠性、擴充套件性等都提出了更高的要求,需要充分考慮功能整合度、資料安全性、資料穩定性,系統可擴充套件性、效能及成本各方面因素。

  目前市場上的儲存架構如下:

  (1)基於嵌入式架構的儲存系統

節點NVR架構主要面向小型高清監控系統,高清前端數量一般在幾十路以內。系統建設中沒有大型的儲存監控中心機房,儲存容量相對較小,使用者體驗度、系統功能整合度要求較高。在市場應用層面,超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。

  (2)基於X86架構的儲存系統

平臺SAN架構主要面向中大型高清監控系統,前端路數成百上千甚至上萬。一般多采用IPSAN或FCSAN搭建高清視訊儲存系統。作為監控平臺的重要組成部分,前端監控資料通過錄像儲存管理模組儲存到SAN中。

此種架構接入高清前端路數相對節點NVR有了較高提升,具備快捷便利的可擴充套件性,技術成熟。對於IPSAN而言,雖然在ISCSI環節資料併發讀寫傳輸速率有所消耗,但其憑藉擴充套件性良好、硬體平臺通用、海量資料可充分共享等優點,仍然得到很多客戶的青睞。FCSAN在行業使用者、封閉儲存系統中應用較多,比如縣級或地級市高清監控專案,大資料量的併發讀寫對千兆網路交換提出了較大的挑戰,但應用FCSAN構建相對獨立的儲存子系統,可以有效解決上述問題。

面對視訊監控系統大檔案、隨機讀寫的特點,平臺SAN架構系統不同儲存單元之間的資料共享冗餘方面還有待提高;從高效能伺服器轉發視訊資料到儲存空間的策略,從系統架構而言也增加了隱患故障點、ISCSI頻寬瓶頸導致無法充分利用硬體資料併發效能、接入前端資料較少。上述問題催生了平臺NVR架構解決方案。

該方案在系統架構上省去了儲存伺服器,消除了上文提到的效能瓶頸和單點故障隱患。大幅度提高儲存系統的寫入和檢索速度;同時也徹底消除了傳統檔案系統由於供電和網路的不穩定帶來的檔案系統損壞等問題。

平臺NVR中儲存的資料可同時供多個客戶端隨時查詢,點播,當用戶需要檢視多個已儲存的視訊監控資料時,可通過授權的視訊監控客戶端直接查詢並點播相應位置的視訊監控資料進行歷史影象的檢視。由於資料管理伺服器具有監控系統所有監控點的錄影檔案的索引,因此通過平臺CMS授權,視訊監控客戶端可以查詢並點播整個監控系統上所有監控點的資料,這個過程對使用者而言也是透明的。

  (3)基於雲技術的儲存方案

當前,安防行業可謂“雲”山“物”罩。隨著視訊監控的高清化和網路化,儲存和管理的視訊資料量已有海量之勢,雲端儲存技術是突破IP高清監控儲存瓶頸的重要手段。雲端儲存作為一種服務,在未來安防監控行業有著客觀的應用前景。

與傳統儲存裝置不同,雲端儲存不僅是一個硬體,而是一個由網路裝置、儲存裝置、伺服器、軟體、接入網路、使用者訪問介面以及客戶端程式等多個部分構成的複雜系統。該系統以儲存裝置為核心,通過應用層軟體對外提供資料儲存和業務服務。

一般分為儲存層、基礎管理層、應用介面層以及訪問層。儲存層是雲端儲存系統的基礎,由儲存裝置(滿足FC協議、iSCSI協議、NAS協議等)構成。基礎管理層是雲端儲存系統的核心,其擔負著儲存裝置間協同工作,資料加密,分發以及容災備份等工作。應用介面層是系統中根據使用者需求來開發的部分,根據不同的業務型別,可以開發出不同的應用服務介面。訪問層指授權使用者通過應用介面來登入、享受雲服務。其主要優勢在於:硬體冗餘、節能環保、系統升級不會影響儲存服務、海量並行擴容、強大的負載均衡功能、統一管理、統一向外提供服務,管理效率高,雲端儲存系統從系統架構、檔案結構、快取記憶體等方面入手,針對監控應用進行了優化設計。資料傳輸可採用流方式,底層採用突破傳統檔案系統限制的流媒體資料結構,大幅提高了系統性能。

高清監控儲存是一種大碼流多併發寫為主的儲存應用,對效能、併發性和穩定性等方面有很高的要求。該儲存解決方案採用獨特的大快取順序化演算法,把多路隨機併發訪問變為順序訪問,解決了硬碟磁頭因頻繁尋道而導致的.效能迅速下降和硬碟壽命縮短的問題。

針對系統中會產生PB級海量監控資料,儲存裝置的數量達數十臺上百臺,因此管理方式的科學高效顯得十分重要。雲端儲存可提供基於叢集管理技術的多裝置集中管理工具,具有裝置集中監控、叢集管理、系統軟硬體執行狀態的監控、主動報警,影象化系統檢測等功能。在海量視訊儲存檢索應用中,檢索效能尤為重要。傳統檔案系統中,檔案檢索採用的是“目錄-》子目錄-》檔案-》定位”的檢索步驟,在海量資料的高清視訊監控,目錄和檔案數量十分可觀,這種檢索模式的效率就會大打折扣。採用序號檔案定位可以有效解決該問題。

雲端儲存可以提供非常高的的系統冗餘和安全性。當線上儲存系統出現故障後,熱備機可以立即接替服務,當故障恢復時,服務和資料回遷;若故障機資料需要呼叫,可以將故障機的磁碟插入到冷備機中,實現所有資料的立即可用。

對於高清監控系統,隨著監控前端的增加和儲存時間的延長,擴充套件能力十分重要。市場中已有友商可提供單純針對容量的擴充套件櫃擴充套件模式和效能容量同步線性擴充套件的堆疊擴充套件模式。

雲端儲存系統除上述優點之外,在平臺對接整合、業務流程梳理、視訊資料智慧分析深度挖掘及成本方面都將面臨挑戰。承建大型系統、構建雲端儲存的商業模式也亟待創新。受限於寬頻網路、web2.0技術、應用儲存技術、檔案系統、P2P、資料壓縮、CDN技術、虛擬化技術等的發展,未來雲端儲存還有很長的路要走。