碧海分布式存儲-系統架構
碧海分布式存儲:數據時代的新型存儲系統
霄云科技傾力打造的碧海分布式存儲系統(BOSS:Blue Ocean Storage System,簡稱:碧海存儲), 是面向數據時代設計的全新一代可擴展高性能存儲系統,具備高擴展、高可靠、高性能、極簡管理等特性,滿足數據時代行業、企業不斷變化的業務需求,助力行業、企業構建更加彈性、強大和敏捷的IT基礎設施。

碧海存儲采用“無中心分布式存儲、集中式管理”的系統架構,實現了大規模擴展與易管理性的統一。系統的軟件架構由元數據管理服務器、數據存儲服務器、客戶端、協議網關等部分組成。這些軟件組件既可以分離部署在不同的存儲服務器上,也可以部署在相同存儲服務器上。
碧海分布式存儲-優勢與特色
高可靠性
多副本與強一致性
? 碧海存儲支持多副本與強一致性,數據的不同副本保存在不同存儲節點與機架中,支持磁盤/節 點/機架級容錯。
? 碧海存儲使用專用的Cache管理算法,新修改的數據會立即寫入磁盤,從而避免由于斷電等故障 引起數據丟失。
多層次數據修復
? 在數據讀寫過程中,碧海存儲會對每個副本進行檢查,并及時修復損壞的副本。
? 碧海存儲會周期性對每個磁盤進行可靠性檢查,如果發現磁盤損壞,則將該磁盤隔離,并啟動數據修復。
? 當磁盤損壞而進行數據重建時,該磁盤的數據會分散到存儲池中的其它磁盤,以分布式方式進行數據修復,從而顯著縮短修復時間,降低數據丟失風險。
? 碧海存儲可定期對全系統、指定的存儲池(pool)或卷進行一致性檢查,并進行修復。
? 碧海存儲可以根據系統I/O負載,自動調整修復速率,既能在系統工作時避免對正常業務產生干擾,又能在系統空閑時以大速率修復數據,降低數據丟失風險。
? 碧海存儲支持多副本與強一致性,數據的不同副本保存在不同存儲節點與機架中,支持磁盤/節 點/機架級容錯。
? 碧海存儲使用專用的Cache管理算法,新修改的數據會立即寫入磁盤,從而避免由于斷電等故障 引起數據丟失。
多層次數據修復
? 在數據讀寫過程中,碧海存儲會對每個副本進行檢查,并及時修復損壞的副本。
? 碧海存儲會周期性對每個磁盤進行可靠性檢查,如果發現磁盤損壞,則將該磁盤隔離,并啟動數據修復。
? 當磁盤損壞而進行數據重建時,該磁盤的數據會分散到存儲池中的其它磁盤,以分布式方式進行數據修復,從而顯著縮短修復時間,降低數據丟失風險。
? 碧海存儲可定期對全系統、指定的存儲池(pool)或卷進行一致性檢查,并進行修復。
? 碧海存儲可以根據系統I/O負載,自動調整修復速率,既能在系統工作時避免對正常業務產生干擾,又能在系統空閑時以大速率修復數據,降低數據丟失風險。

高性能
存儲系統的性能問題一直是海量數據、尤其是海量小文件存儲面臨的挑戰之一。隨著固態盤性能的快速發展和普遍使用,存儲系統的性能瓶頸已從早期的硬件轉移到存儲軟件本身。
碧海存儲從通信協議設計、編解碼方式、緩存管理算法、I/O調度算法、基于事件驅動的高并發編程模型、基于零拷貝的緩沖區管理等多個關鍵環節都進行了全棧優化設計,使得碧海存儲可以挖掘存儲硬件的性能,滿足云計算數據中心數據庫、虛擬機等業務對高IOPS和低延遲的性能要求。
經過第三方實際測試驗證,碧海存儲IOPS性能可以達到開源Ceph的3~10倍。
在存儲系統規模為4個存儲節點,每節點配置一塊PCIE SSD存儲卡和雙端口綁定的萬兆以太網卡時,碧海存儲系統可以達到140萬隨 機IOPS。
碧海存儲從通信協議設計、編解碼方式、緩存管理算法、I/O調度算法、基于事件驅動的高并發編程模型、基于零拷貝的緩沖區管理等多個關鍵環節都進行了全棧優化設計,使得碧海存儲可以挖掘存儲硬件的性能,滿足云計算數據中心數據庫、虛擬機等業務對高IOPS和低延遲的性能要求。
經過第三方實際測試驗證,碧海存儲IOPS性能可以達到開源Ceph的3~10倍。
在存儲系統規模為4個存儲節點,每節點配置一塊PCIE SSD存儲卡和雙端口綁定的萬兆以太網卡時,碧海存儲系統可以達到140萬隨 機IOPS。

平滑擴展
大規模擴展
碧海存儲采用無中心架構,徹底排除傳統存儲中元數據服務器所帶來的可擴展性瓶頸,系統可輕松 擴展至上千個節點。
在碧海存儲中,可以創建多個存儲池(pool)。存儲池提供了數據物理隔離的能力,一份數據的所有副本,都會保存在同一個存儲池中。每個存儲池的容量可以動態擴展。
平滑擴展
碧海存儲的節點隔離和存儲池隔離機制,使得系統在擴容時無需暫停業務系統,也無需對現有存儲池進行備份,保障業務系統的連續性。
增加節點或磁盤后,系統自動均衡數據,確保數據重新均衡地分布,以確保數據讀寫性能隨擴容而線性增長。
碧海存儲采用無中心架構,徹底排除傳統存儲中元數據服務器所帶來的可擴展性瓶頸,系統可輕松 擴展至上千個節點。
在碧海存儲中,可以創建多個存儲池(pool)。存儲池提供了數據物理隔離的能力,一份數據的所有副本,都會保存在同一個存儲池中。每個存儲池的容量可以動態擴展。
平滑擴展
碧海存儲的節點隔離和存儲池隔離機制,使得系統在擴容時無需暫停業務系統,也無需對現有存儲池進行備份,保障業務系統的連續性。
增加節點或磁盤后,系統自動均衡數據,確保數據重新均衡地分布,以確保數據讀寫性能隨擴容而線性增長。

統一存儲
碧海存儲可同時支持塊存儲、文件存儲、對象存儲,可通過規劃多個不同的存儲池,來同時支持虛擬化及云平臺、容器平臺、數據庫、云盤、郵件系統、電子票據、影像文件、大數據分析等多種應用場景,并可根據業務系統對數據可靠性、性能的不同要求配置不同的冗余策略的QoS策略,真正實現了一套存儲系統對業務的支持。

極簡運維
精簡部署
碧海存儲可以“一鍵部署”,并通過Web配置界面操作創建集群、導入License、創建存儲池、添加節點和磁盤、啟動存儲池,簡單幾步即可完成存儲的上線運行。
精簡運維
? 系統監控
- 不僅可以對整個集群的全局信息進行瀏覽,還可以監控每個存儲池、每個節點、每個磁盤的利用率和性能,實時掌握系統動態。
- 可以保持長達一年的歷史性能記錄,為業務負載分析、故障排錯提供強有力的支持。
? 輕松擴容,存儲新舊硬件輕松更替
- 擴容無需停機,備份數據。
- 存儲硬件新舊更替,數據自動遷移,存儲系統永不下線。
存儲管理,從未如此簡單!
碧海存儲可以“一鍵部署”,并通過Web配置界面操作創建集群、導入License、創建存儲池、添加節點和磁盤、啟動存儲池,簡單幾步即可完成存儲的上線運行。
精簡運維
? 系統監控
- 不僅可以對整個集群的全局信息進行瀏覽,還可以監控每個存儲池、每個節點、每個磁盤的利用率和性能,實時掌握系統動態。
- 可以保持長達一年的歷史性能記錄,為業務負載分析、故障排錯提供強有力的支持。
? 輕松擴容,存儲新舊硬件輕松更替
- 擴容無需停機,備份數據。
- 存儲硬件新舊更替,數據自動遷移,存儲系統永不下線。
存儲管理,從未如此簡單!

百億文件
碧海存儲采用基于NoSQL技術的分布式元數據管理架構,目錄訪問性能優異,并能夠支持基于標簽的文件搜索。此外,碧海存儲還針對海量小文件研發了專用的小文件合并技術,自動將多個小文件合并為聚合文件(大文件)進行存儲,有效減少存儲端的文件數量,元數據的數據量減少為原來的千分之一 。文件聚合操作對業務層透明。由此,碧海存儲可管理文件數量可達100億。





