높은 데이터 가용성 및 내구성

Ceph는 복제, EC 코드, CRUSH, 데이터 보호 및 HA를 위한 스크러빙을 제공합니다.

Ceph는 복제, EC 코드, CRUSH, 데이터 보호 및 HA를 위한 스크러빙을 제공합니다.

높은 데이터 가용성 및 내구성

Ceph 개체 스토리지는 데이터가 패리티 정보와 결합된 다음 스토리지 풀 전체에 분할 및 배포되는 복제 및 고급 삭제 코딩을 통해 데이터 가용성을 달성합니다.
저장 장치에 장애가 발생하면 데이터를 복구하는 데 샤드의 하위 집합만 필요하고 재구축 시간이나 성능 저하가 없으며 편리한 경우 장애가 발생한 저장 장치를 교체할 수 있습니다.
Ceph는 널리 배포된 데이터와 미디어에 기록된 데이터를 지속적으로 검증하는 데이터 스크러빙 기술을 결합하여 99.9999%의 데이터 내구성을 달성할 수 있도록 합니다.


데이터 복제, 이레이저 코딩 및 스크러빙

객체 복제

클라이언트가 데이터를 쓸 때 객체 ID와 풀 이름을 사용하여 쓸 OSD를 계산합니다. 클라이언트가 OSD에 데이터를 쓴 후 OSD는 데이터를 하나 이상의 OSD에 복사합니다. 여러 OSD가 동시에 실패하는 경우에도 데이터를 유지할 수 있도록 원하는 만큼 복제를 구성할 수 있습니다. 복제는 디스크 어레이의 RAID-1과 유사하지만 더 많은 데이터 복사본을 허용합니다. 규모에 따라 단순한 RAID-1 복제는 더 이상 하드웨어 오류 위험을 충분히 커버하지 못할 수 있기 때문입니다. 더 많은 복제본을 저장할 때의 유일한 단점은 스토리지 비용입니다.

Ceph 클라이언트는 CRUSH 알고리즘 을 기반으로 OSD에 데이터를 무작위로 씁니다 . OSD 디스크 또는 노드에 장애가 발생하면 Ceph는 정상적인 OSD에 저장된 다른 복제 의 데이터 를 복구할 수 있습니다.

전체 장애 도메인의 하나 이상의 장애로 인한 데이터 손실을 방지하기 위해 Ceph가 다른 서버, 랙, 룸 또는 데이터 센터에 복제된 데이터를 저장하도록 장애 도메인을 정의할 수 있습니다 . 예를 들어, 5개의 랙(각 랙에 3개의 서버)에 15개의 스토리지 서버가 설치된 경우 복제본 3과 랙을 장애 도메인으로 사용할 수 있습니다. Ceph 클러스터에 대한 데이터 쓰기에는 항상 5개 랙 중 3개에 3개의 사본이 저장됩니다. 데이터는 클라이언트 서비스를 저하시키지 않고 최대 2개의 랙이 실패하더라도 살아남을 수 있습니다. CRUSH 규칙은 Ceph storage에 단일 실패 지점이 없도록 하는 열쇠 입니다.

CRUSH rules ensure replicated data are distributed to different server nodes by following the failure domain

이레이저 코딩

복제는 최고의 전체 성능을 제공하지만 스토리지 공간 효율적이지 않습니다. 특히 더 높은 수준의 중복성이 필요한 경우.
높은 데이터 가용성을 확보하기 위해 과거에 RAID-1의 대안으로 RAID-5 또는 RAID-6을 사용했습니다. 패리티 RAID는 스토리지 성능(대부분 쓰기 성능)을 희생시키면서 훨씬 적은 스토리지 오버헤드로 중복성을 보장합니다. Ceph는 비슷한 결과를 얻기 위해 삭제 인코딩을 사용합니다. 스토리지 시스템의 규모가 커지면 하나 또는 두 개의 디스크 또는 장애 도메인이 동시에 장애를 일으키도록 허용하는 것에 자신이 없을 수 있습니다. 삭제 코드 알고리즘을 사용하면 더 적은 오버헤드 공간으로 더 높은 수준의 중복성을 구성할 수 있습니다.
이레이저 코딩은 원본 데이터를 K 데이터 청크로 분할하고 추가 M 코딩 청크로 계산합니다. Ceph는 데이터를 복구할 수 있는 최대 M개의 실패 도메인이 그 동안 실패합니다. 청크의 총 K+M은 서로 다른 장애 도메인에 있는 OSD에 저장됩니다.

use Erasure coding K+M=4+2 for it data protection.

스크러빙

데이터 일관성 및 청결 유지의 일환으로 Ceph OSD Daemons는 배치 그룹 내에서 개체를 스크러빙할 수 있습니다. 즉, Ceph OSD 데몬은 한 배치 그룹의 개체 메타데이터를 다른 OSD에 저장된 배치 그룹의 복제본과 비교할 수 있습니다. 스크러빙(보통 매일 수행)은 버그나 파일 시스템 오류를 포착합니다. Ceph OSD 데몬은 또한 개체의 데이터를 비트 단위로 비교하여 더 깊은 스크러빙을 수행합니다. 정밀 스크러빙(보통 매주 수행)은 가벼운 스크럽에서 분명하지 않은 드라이브의 불량 섹터를 찾습니다.

데이터 힐링

Ceph의 데이터 배치 설계로 인해 데이터는 모든 정상 OSD에 의해 치유됩니다. 데이터 복구에 필요한 예비 디스크가 없습니다. 이렇게 하면 손실된 데이터를 예비 디스크에 재구축해야 하는 디스크 어레이에 비해 재치료 시간이 훨씬 짧아질 수 있습니다.

one server nodes fails the cluster will self-heal by applying same data protection method.

Config CRUSH 맵 및 규칙

UVS 관리자를 사용하여 데이터 분포 및 실패 도메인을 정의합니다.




Ambedded - 시장에 출시된 전문 Ceph 스토리지 솔루션입니다.

2013년부터 대만에 위치한Ambedded Technology Co., LTD.60% CapEX 절감, 70% 더 적은 전력 소비 및 100% 확장 이점을 갖춘 ARM 기반 소프트웨어 정의 스토리지 어플라이언스를 제공하는 Ceph 스토리지 솔루션 제공업체입니다.

소프트웨어 정의 스토리지 설계 및 제조를 위해 Ambedded 팀은 고객이 통신, 의료, 군사, 에지 데이터 센터 및 HA 필수 엔터프라이즈 스토리지와 같은 다양한 산업에 ceph 솔루션을 채택하도록 도운 광범위한 경험을 보유하고 있습니다.

Ambedded는 2013년부터 고객에게 첨단 기술과 20년의 경험을 바탕으로 Ceph 스토리지 솔루션을 제공하고 있으며, Ambedded는 각 고객의 요구 사항이 충족되도록 보장합니다.