當前位置:才華齋>職業>系統架構師>

網路電視臺儲存系統架構

系統架構師 閱讀(6.41K)

網路電視臺作為一個整體的應用平臺,儲存系統不應單純地選擇分散式儲存架構或集中式儲存架構,應根據各種應用資料儲存的特點靈活地選擇分佈加集中的儲存方式。DAS、NAS、SAN、叢集儲存等各種儲存裝置紛繁複雜,應該根據網路電視臺各種應用的特點選擇不同特色的儲存架構和儲存裝置,才能做到有的放矢,才能使資源效益最大化。

網路電視臺儲存系統架構

1 引言

網路電視臺是一個構築在電信網路、廣電網路、網際網路絡之上的全業務內容運營平臺系統,節目通過分發網路向不同地域、不同終端上的使用者提供雙向的、互動的、互動的內容服務和體驗,並最終實現內容的跨平臺無縫融合。網路電視臺系統由節目製作中心、釋出運營平臺、傳輸分發網路和使用者終端四個部分組成,由於其問需要儲存、呼叫大量的節目源,這對網路儲存系統的構架提出了很高的要求。

2 儲存系統解析

2.1 分散式儲存

分散式儲存就是將資料分散儲存在多臺的獨立的客戶端上,由客戶端通過網路連線將儲存的資料共享到網路上或者通過第三方的平臺對資料進行集中的處理及共享。分散式儲存採用可擴充套件的系統結構,將儲存負荷分擔給多臺儲存伺服器,利用位置伺服器定位儲存的資訊。

因為需要通過第三方的平臺進行資料的共享和遷移,增加了共享、遷移的複雜性,就造成了資料的共享和遷移不便。

2.2 集中式儲存

集中式儲存是多個應用系統共享一個儲存伺服器,所有的客戶機IfO請求全部在中央系統進行處理。集中式儲存保證了每個終端的使用資訊是一致的,在資料共享和負載均勻方面更加有效。客戶能夠靈活地管理儲存資源的規劃,統一對資料安全性的訪問、備份和恢復等管理,更能對儲存空間進行有效的使用。

由於所有的I/O請求都發送到中央系統進行處理,增加了中央系統的儲存裝置壓力。當中央系統處於不同的地理區域,網路處理的'延時較大。系統效率不高,儲存資料管理靈活性不高,策略單一。

3 儲存系統應用比對

3.1 採用分散式儲存系統

早期的小型視訊網站較多采用分散式儲存架構,將其擴充套件到網路電視臺上。在分散式架構的網路電視臺的系統中,各個伺服器的資料獨立存放於伺服器自帶的硬碟中,或者通過DAS方式連線的獨立儲存裝置中,伺服器又通過檔案共享的方式使資料在整個網路中得到共享。

這種儲存架構帶來的問題是十分明顯的:一是分散式的儲存很難做到負載均衡;二是無法實現集中的高RAID級別保護,可用的儲存空間相對減少;三是儲存共享困難,要想使某一儲存資源在網路中共享,必須為網路中所有的伺服器配置此儲存資源的掛載點;四是快照、備份、恢復、遠端容災等儲存管理功能實現困難且成本較高。

3.2 採用集中式儲存系統

目前,很多視訊網站採用集中式的儲存結構來存放所有媒體資料,一般為NAS架構,通常是一臺大容量的檔案伺服器,而高階的NAS結構是由一個NAS頭後面接SAS、SCSI或FC盤陣,還可以是以SAN架構方式連線的磁碟陣列,需要安裝共享檔案系統,進行塊級的資料儲存,儲存效率更高。集中式儲存架構的特點比較明顯:一是集中儲存使用統一的RAID級別保護、儲存空間浪費少;二是便於實現服務的負載均衡,當某臺Web伺服器繁忙時其他伺服器可以提供同一資料的共享訪問;三是集中儲存同時也是對視訊內容的集中管理、減少視訊內容的重複儲存。

集中式的儲存容易解決網路電視臺視音訊資料的共享難題,但同時也存在I/O瓶頸、容量擴充套件性差、效能不可擴充套件、專業高階NAS或SAN儲存成本高昂、單點故障等關鍵問題。

4 網路電視臺資料儲存特點及構架對策

單純的集中式儲存或分散式儲存並不適合網路電視臺的儲存架構,究其原因是對網路電視臺不同應用資料儲存的特點沒有很好地進行區分。

網路電視臺儲存和處理的最主要的資料為視音訊資料,從視音訊資料的生產管理的流程可以將網路電視臺的儲存分為內容生產平臺、內容釋出平臺、內容管理平臺。由於三個平臺間對於資料儲存和共享性的要求不相同,對於儲存裝置的選擇要求也不相同,應針對各個平臺的特點,選擇不同特性的儲存裝置。

4.1 內容生產平臺特點與儲存對策

內容生產平臺主要完成視音訊資料的採集、轉碼、編輯、合成等任務,其儲存的資料主要為多種格式、多種高低碼流的視音訊原始素材。由於其線上製作的需求對儲存裝置的延時性要求較高,資料位於生產環節,不承擔歸檔備份任務,對儲存容量的實時增長要求相對較低。

內容生產平臺由於素材格式要求高、高清製作等較高需求同時要求資料I/O精確到幀的高實時性,可以採用高效能的iSCSI或FC儲存裝置構成SAN結構。但此時需要有共享檔案系統的客戶端支援,增加了建設成本和儲存裝置升級維護工作的難度,由於不承擔備份、歸檔等資料管理任務,儲存容量增長的實時性不高,採取這種方式的儲存裝置的代價和維護管理複雜度在可控範圍之內。

4.2 內容釋出平臺特點與儲存對策

內容釋出平臺主要完成多通道的流媒體對外發布,主要由流媒體伺服器、Web伺服器等構成,儲存的資料為多格式可變碼流的成品節目,由於節目量和網路頻寬迅速增長,對儲存裝置的頻寬和容量寬展都提出了較高的要求。

內容釋出平臺由於節目量和使用者點選量的爆炸性增長,最好採用容量和頻寬可線陛增長的儲存裝置,當前比較流行的叢集儲存擴充套件容易、管理簡單、共享方便,在擴充套件容量的同時可線性擴充套件頻寬。但這種儲存裝置通常由TCP/IP支援,增加了I/O操作的延時性,不論是Web釋出、IPTV還是手機電視一般都會採用緩衝的收看方式,對I/O操作的實時性沒有太高的要求,可以採用叢集儲存作為內容釋出平臺的集中儲存。

4.3 內容管理平臺特點與儲存對策

內容管理平臺主要完成生產環節和釋出環節的視音訊資料的備份、歸檔以及回遷的服務,由資料備份伺服器等構成,有海量的資料儲存需求,要求儲存裝置具有高容量、低價格的特性。

內容管理平臺由於承擔備份、歸檔等業務,需要海量的儲存裝置且擴充套件方便,可以採用LTO資料流磁帶作為儲存介質,價格低、能耗小、容量大,雖然採用非線性的讀取方式,I/O操作的延時很大,但可以滿足備份、歸檔等業務的非實時性要求。如果網路電視臺機房環境相對較差不利於磁帶介質的儲存,同時對視音訊資料的回遷有較高的要求,還要有統計分析等決策支援功能,應當採用D2D的歸檔策略,使用高容量、低效能的SATA磁碟陣列做磁碟級的歸檔儲存,但購置和執行成本相對於磁帶較大。