碧海分布式存儲-系統架構
碧海分布式存儲：數據時代的新型存儲系統
霄云科技傾力打造的碧海分布式存儲系統（BOSS：Blue Ocean Storage System，簡稱：碧海存儲）， 是面向數據時代設計的全新一代可擴展高性能存儲系統，具備高擴展、高可靠、高性能、極簡管理等特性，滿足數據時代行業、企業不斷變化的業務需求，助力行業、企業構建更加彈性、強大和敏捷的IT基礎設施。
碧海存儲采用“無中心分布式存儲、集中式管理”的系統架構，實現了大規模擴展與易管理性的統一。系統的軟件架構由元數據管理服務器、數據存儲服務器、客戶端、協議網關等部分組成。這些軟件組件既可以分離部署在不同的存儲服務器上，也可以部署在相同存儲服務器上。
碧海分布式存儲-優勢與特色
高可靠性
多副本與強一致性
? 碧海存儲支持多副本與強一致性，數據的不同副本保存在不同存儲節點與機架中，支持磁盤/節 點/機架級容錯。
? 碧海存儲使用專用的Cache管理算法，新修改的數據會立即寫入磁盤，從而避免由于斷電等故障 引起數據丟失。
多層次數據修復
? 在數據讀寫過程中，碧海存儲會對每個副本進行檢查，并及時修復損壞的副本。
? 碧海存儲會周期性對每個磁盤進行可靠性檢查，如果發現磁盤損壞，則將該磁盤隔離，并啟動數據修復。
? 當磁盤損壞而進行數據重建時，該磁盤的數據會分散到存儲池中的其它磁盤，以分布式方式進行數據修復，從而顯著縮短修復時間，降低數據丟失風險。
? 碧海存儲可定期對全系統、指定的存儲池（pool）或卷進行一致性檢查，并進行修復。
? 碧海存儲可以根據系統I/O負載，自動調整修復速率，既能在系統工作時避免對正常業務產生干擾，又能在系統空閑時以大速率修復數據，降低數據丟失風險。
? 碧海存儲支持多副本與強一致性，數據的不同副本保存在不同存儲節點與機架中，支持磁盤/節 點/機架級容錯。
? 碧海存儲使用專用的Cache管理算法，新修改的數據會立即寫入磁盤，從而避免由于斷電等故障 引起數據丟失。
多層次數據修復
? 在數據讀寫過程中，碧海存儲會對每個副本進行檢查，并及時修復損壞的副本。
? 碧海存儲會周期性對每個磁盤進行可靠性檢查，如果發現磁盤損壞，則將該磁盤隔離，并啟動數據修復。
? 當磁盤損壞而進行數據重建時，該磁盤的數據會分散到存儲池中的其它磁盤，以分布式方式進行數據修復，從而顯著縮短修復時間，降低數據丟失風險。
? 碧海存儲可定期對全系統、指定的存儲池（pool）或卷進行一致性檢查，并進行修復。
? 碧海存儲可以根據系統I/O負載，自動調整修復速率，既能在系統工作時避免對正常業務產生干擾，又能在系統空閑時以大速率修復數據，降低數據丟失風險。
高性能
存儲系統的性能問題一直是海量數據、尤其是海量小文件存儲面臨的挑戰之一。隨著固態盤性能的快速發展和普遍使用，存儲系統的性能瓶頸已從早期的硬件轉移到存儲軟件本身。
碧海存儲從通信協議設計、編解碼方式、緩存管理算法、I/O調度算法、基于事件驅動的高并發編程模型、基于零拷貝的緩沖區管理等多個關鍵環節都進行了全棧優化設計，使得碧海存儲可以挖掘存儲硬件的性能，滿足云計算數據中心數據庫、虛擬機等業務對高IOPS和低延遲的性能要求。
經過第三方實際測試驗證，碧海存儲IOPS性能可以達到開源Ceph的3~10倍。
在存儲系統規模為4個存儲節點，每節點配置一塊PCIE SSD存儲卡和雙端口綁定的萬兆以太網卡時，碧海存儲系統可以達到140萬隨 機IOPS。
碧海存儲從通信協議設計、編解碼方式、緩存管理算法、I/O調度算法、基于事件驅動的高并發編程模型、基于零拷貝的緩沖區管理等多個關鍵環節都進行了全棧優化設計，使得碧海存儲可以挖掘存儲硬件的性能，滿足云計算數據中心數據庫、虛擬機等業務對高IOPS和低延遲的性能要求。
經過第三方實際測試驗證，碧海存儲IOPS性能可以達到開源Ceph的3~10倍。
在存儲系統規模為4個存儲節點，每節點配置一塊PCIE SSD存儲卡和雙端口綁定的萬兆以太網卡時，碧海存儲系統可以達到140萬隨 機IOPS。
平滑擴展
大規模擴展
碧海存儲采用無中心架構，徹底排除傳統存儲中元數據服務器所帶來的可擴展性瓶頸，系統可輕松 擴展至上千個節點。
在碧海存儲中，可以創建多個存儲池（pool）。存儲池提供了數據物理隔離的能力，一份數據的所有副本，都會保存在同一個存儲池中。每個存儲池的容量可以動態擴展。
平滑擴展
碧海存儲的節點隔離和存儲池隔離機制，使得系統在擴容時無需暫停業務系統，也無需對現有存儲池進行備份，保障業務系統的連續性。
增加節點或磁盤后，系統自動均衡數據，確保數據重新均衡地分布，以確保數據讀寫性能隨擴容而線性增長。
碧海存儲采用無中心架構，徹底排除傳統存儲中元數據服務器所帶來的可擴展性瓶頸，系統可輕松 擴展至上千個節點。
在碧海存儲中，可以創建多個存儲池（pool）。存儲池提供了數據物理隔離的能力，一份數據的所有副本，都會保存在同一個存儲池中。每個存儲池的容量可以動態擴展。
平滑擴展
碧海存儲的節點隔離和存儲池隔離機制，使得系統在擴容時無需暫停業務系統，也無需對現有存儲池進行備份，保障業務系統的連續性。
增加節點或磁盤后，系統自動均衡數據，確保數據重新均衡地分布，以確保數據讀寫性能隨擴容而線性增長。
統一存儲
碧海存儲可同時支持塊存儲、文件存儲、對象存儲，可通過規劃多個不同的存儲池，來同時支持虛擬化及云平臺、容器平臺、數據庫、云盤、郵件系統、電子票據、影像文件、大數據分析等多種應用場景，并可根據業務系統對數據可靠性、性能的不同要求配置不同的冗余策略的QoS策略，真正實現了一套存儲系統對業務的支持。
極簡運維
精簡部署
碧海存儲可以“一鍵部署”，并通過Web配置界面操作創建集群、導入License、創建存儲池、添加節點和磁盤、啟動存儲池，簡單幾步即可完成存儲的上線運行。
精簡運維
? 系統監控
- 不僅可以對整個集群的全局信息進行瀏覽，還可以監控每個存儲池、每個節點、每個磁盤的利用率和性能，實時掌握系統動態。
- 可以保持長達一年的歷史性能記錄，為業務負載分析、故障排錯提供強有力的支持。
? 輕松擴容，存儲新舊硬件輕松更替
- 擴容無需停機，備份數據。
- 存儲硬件新舊更替，數據自動遷移，存儲系統永不下線。
存儲管理，從未如此簡單！
碧海存儲可以“一鍵部署”，并通過Web配置界面操作創建集群、導入License、創建存儲池、添加節點和磁盤、啟動存儲池，簡單幾步即可完成存儲的上線運行。
精簡運維
? 系統監控
- 不僅可以對整個集群的全局信息進行瀏覽，還可以監控每個存儲池、每個節點、每個磁盤的利用率和性能，實時掌握系統動態。
- 可以保持長達一年的歷史性能記錄，為業務負載分析、故障排錯提供強有力的支持。
? 輕松擴容，存儲新舊硬件輕松更替
- 擴容無需停機，備份數據。
- 存儲硬件新舊更替，數據自動遷移，存儲系統永不下線。
存儲管理，從未如此簡單！
百億文件
碧海存儲采用基于NoSQL技術的分布式元數據管理架構，目錄訪問性能優異，并能夠支持基于標簽的文件搜索。此外，碧海存儲還針對海量小文件研發了專用的小文件合并技術，自動將多個小文件合并為聚合文件（大文件）進行存儲，有效減少存儲端的文件數量，元數據的數據量減少為原來的千分之一 。文件聚合操作對業務層透明。由此，碧海存儲可管理文件數量可達100億。
