海綿數據近日宣佈推出其第二代大數據操作系統產品Sponge。Sponge是一個簡單多層，兼容完全POSIX兼容的分佈式NFS、Hadoop，支持對象存儲、雲存儲、SDS（軟件定義存儲）、容器機制，集成Spark為計算引擎，基於內存計算技術的分佈式系統，將大數據的存儲、管理和計算有機融合，具有實時一致性，易於兼容現有系統，相比10年前誕生的第一代產品Hadoop更加簡單易用，易於擴展。僅僅有作為計算平台的Spark不足以應對大數據的挑戰，整合後的Sponge技術框架，能夠同時支持大數據、雲存儲、結構化、半結構化和非結構化數據的處理，代表了大數據的發展方向。
簡單 高效 可靠 經濟
今天已經沒有人再懷疑大數據的價值，雲計算、移動互聯、物聯網、機器學習、無人機等前沿技術的普及與大數據的發展相得益彰，不論在美國還是中國，大數據已經在很多的IT企業和傳統企業開始落地，譬如互聯網金融公司的反欺詐流程，電信運營商的客户服務分析，都貫穿着大數據和機器學習技術的應用，這也刺激着初創企業在這個領域尋找新的商業機會。
目前普遍被採用來應對大數據的是開源軟件與廉價的x86服務器的組合，這些開源產品包括Hadoop、Spark、Storm、NoSQL等。傳統存儲和數據庫當然也針對大數據的需求升級，用來存儲價值密度低的大量非結構化數據卻不現實。這些原本被Google、Facebook、Yahoo等大公司驗證在某些場景很成功的開源項目，也存在問題：不同功能模塊對應多個相互獨立的開源項目，為不同的目的而設計，其關係很複雜，缺乏通用性，系統部署和使用複雜而低效，二次開發困難，並且難以統一管理和監控，維護成本高，所以，需要有一個統一的`平台。
簡單、高效、可靠、經濟，這四個詞，是海綿數據對第二代大數據操作系統的價值的追求，以及Sponge產品設計的理念。
滿足大量文件數據讀寫IO的高需求
不同於以往以磁盤計算技術為核心的文件系統，SpongeFS將集羣內存管理提升成為文件系統的重要組成部分，以滿足大量文件數據讀寫IO的高需求。SpongeFS基於分佈式設計，上文説的Masterless結構，以及模塊化架構，正是由SpongeFS來操盤的。
SpongeFS主要由集羣管理層、文件管理層和存儲層構成。當數據進入SpongeFS，就被分成一個個數據塊，每個數據塊通過文件管理層先存入緩存層，被加入集羣間複製隊列，一擊加入到持久隊列等待存入持久層，CDR則把持久層數據塊複製到目標集羣（目標羣數據塊也優先存到緩存層）。文件管理層的基本管理單位是Volume，每個Volume可以有不同的管理設置，如容錯性、安全性、物理資源的使用等。
