Ceph

Ceph是一個(gè)開源的、高度可擴(kuò)展的、統(tǒng)一的分布式存儲(chǔ)系統(tǒng)，由紅帽公司開發(fā)并維護(hù)，它能夠提供對(duì)象存儲(chǔ)、塊存儲(chǔ)和文件存儲(chǔ)的解決方案。

目錄

• 1 概述
• 2 主要特點(diǎn)
  • 2.1 高性能
  • 2.2 高可用性
  • 2.3 高可擴(kuò)展性
  • 2.4 特性豐富
  • 2.5 架構(gòu)
• 3 核心組件
• 4 相關(guān)條目

概述

Ceph使用C++語(yǔ)言開發(fā)，是一個(gè)開放、自我修復(fù)和自我管理的開源分布式存儲(chǔ)系統(tǒng)。具有高擴(kuò)展性、高性能、高可靠性的優(yōu)點(diǎn)。

Ceph項(xiàng)目起源于Sage在攻讀博士學(xué)位期間的研究工作，其最初的研究成果于2004年發(fā)布，并隨后作為開源項(xiàng)目貢獻(xiàn)給了社區(qū)。經(jīng)過數(shù)年的發(fā)展和迭代，Ceph已經(jīng)獲得了眾多云計(jì)算廠商的支持，并在各種環(huán)境中得到了廣泛應(yīng)用。RedHat和OpenStack等平臺(tái)都能夠與Ceph無縫整合，利用其強(qiáng)大的存儲(chǔ)功能來支持虛擬機(jī)鏡像的后端存儲(chǔ)需求。

Ceph已經(jīng)廣泛獲得云計(jì)算廠商的支持，并在多個(gè)平臺(tái)中發(fā)揮著關(guān)鍵作用。RedHat、OpenStack和Kubernetes等技術(shù)都能夠與Ceph集成，利用其作為虛擬機(jī)鏡像的后端存儲(chǔ)解決方案。據(jù)估計(jì)，在中國(guó)，大約70%至80%的云平臺(tái)采用Ceph作為其基礎(chǔ)存儲(chǔ)平臺(tái)，這充分證明了Ceph在開源云平臺(tái)中的普遍應(yīng)用和重要性。國(guó)內(nèi)許多企業(yè)成功地使用Ceph構(gòu)建了分布式存儲(chǔ)系統(tǒng)，其中包括華為、阿里巴巴、中興通訊、新華三集團(tuán)、浪潮集團(tuán)、中國(guó)移動(dòng)、網(wǎng)易、樂視、奇虎360、星辰天合存儲(chǔ)、杉巖數(shù)據(jù)等知名企業(yè)。

主要特點(diǎn)

高性能

• Ceph放棄了傳統(tǒng)的中心化存儲(chǔ)元數(shù)據(jù)索引方式，采用CRUSH算法進(jìn)行數(shù)據(jù)分布，實(shí)現(xiàn)了高效的負(fù)載均衡和高度并行處理能力。
• 考慮到容災(zāi)需求，Ceph能夠?qū)崿F(xiàn)跨機(jī)房、機(jī)架感知等復(fù)雜的副本放置策略，以適應(yīng)不同工作負(fù)載。
• 支持大規(guī)模部署，可以輕松管理上千個(gè)節(jié)點(diǎn)，應(yīng)對(duì)從TB到PB級(jí)別的數(shù)據(jù)存儲(chǔ)需求。

高可用性

• 允許靈活配置副本數(shù)量，以滿足不同的數(shù)據(jù)安全級(jí)別。
• 支持故障域隔離，確保數(shù)據(jù)的強(qiáng)一致性。
• 在多種故障場(chǎng)景下提供自動(dòng)修復(fù)和自我恢復(fù)功能。
• 去除單點(diǎn)故障的可能性，通過自動(dòng)化管理降低系統(tǒng)維護(hù)難度。

高可擴(kuò)展性

• 采用去中心化設(shè)計(jì)，使得系統(tǒng)更加靈活易擴(kuò)展。
• 隨著節(jié)點(diǎn)的增加，系統(tǒng)性能呈線性增長(zhǎng)，方便按需擴(kuò)容。

特性豐富

• 同時(shí)支持塊存儲(chǔ)、文件存儲(chǔ)和對(duì)象存儲(chǔ)三種接口，滿足多樣化的存儲(chǔ)需求。
• 支持自定義接口開發(fā)，并提供多種編程語(yǔ)言的SDK支持，便于集成和二次開發(fā)。

架構(gòu)

1、Object（對(duì)象存儲(chǔ)）

提供原生的API，使得可以直接與Ceph存儲(chǔ)系統(tǒng)交互。 兼容Swift和S3的API，這意味著開發(fā)者可以使用這些流行的對(duì)象存儲(chǔ)協(xié)議與Ceph進(jìn)行集成，便于遷移和開發(fā)新的應(yīng)用。

2、Block（塊存儲(chǔ)）

支持精簡(jiǎn)配置（Thin Provisioning），允許更有效地使用存儲(chǔ)空間，僅分配實(shí)際需要的數(shù)據(jù)空間。 提供快照功能，可以創(chuàng)建數(shù)據(jù)的時(shí)間點(diǎn)副本，用于數(shù)據(jù)保護(hù)和恢復(fù)。 支持克隆操作，方便快速?gòu)?fù)制數(shù)據(jù)或創(chuàng)建虛擬機(jī)鏡像。

3、File（文件存儲(chǔ)）

• 提供遵守POSIX標(biāo)準(zhǔn)的文件接口，允許與傳統(tǒng)文件系統(tǒng)兼容的操作。
• 同樣支持快照功能，為文件系統(tǒng)提供額外的數(shù)據(jù)保護(hù)和恢復(fù)選項(xiàng)。

核心組件

• Monitor：一個(gè)Ceph集群需要多個(gè)Monitor組成的小集群，它們通過Paxos同步數(shù)據(jù)，用來保存OSD的元數(shù)據(jù)。

• OSD：OSD全稱Object Storage Device，也就是負(fù)責(zé)響應(yīng)客戶端請(qǐng)求返回具體數(shù)據(jù)的進(jìn)程。一個(gè)Ceph集群一般都有很多個(gè)OSD。

• MDS：MDS全稱Ceph Metadata Server，是CephFS服務(wù)依賴的元數(shù)據(jù)服務(wù)。

• Object：Ceph最底層的存儲(chǔ)單元是Object對(duì)象，每個(gè)Object包含元數(shù)據(jù)和原始數(shù)據(jù)。

• PG：PG全稱Placement Grouops，是一個(gè)邏輯的概念，一個(gè)PG包含多個(gè)OSD。引入PG這一層其實(shí)是為了更好的分配數(shù)據(jù)和定位數(shù)據(jù)。

• RADOS：RADOS全稱Reliable Autonomic Distributed Object Store，是Ceph集群的精華，用戶實(shí)現(xiàn)數(shù)據(jù)分配、Failover等集群操作。

• Libradio：Librados是Rados提供庫(kù)，因?yàn)镽ADOS是協(xié)議很難直接訪問，因此上層的RBD、RGW和CephFS都是通過librados訪問的，目前提供PHP、Ruby、Java、Python、C和C++支持。

• CRUSH：CRUSH是Ceph使用的數(shù)據(jù)分布算法，類似一致性哈希，讓數(shù)據(jù)分配到預(yù)期的地方。

• RBD：RBD全稱RADOS block device，是Ceph對(duì)外提供的塊設(shè)備服務(wù)。

• RGW：RGW全稱RADOS gateway，是Ceph對(duì)外提供的對(duì)象存儲(chǔ)服務(wù)，接口與S3和Swift兼容。

• CephFS：CephFS全稱Ceph File System，是Ceph對(duì)外提供的文件系統(tǒng)服務(wù)。

相關(guān)條目

• 云存儲(chǔ)軟件
• OpenIO
• OpenIO
• GlusterFS
• Apache Hadoop