데이터 복제, 이레이저 코딩 및 스크러빙 | ARM 마이크로서버 Ceph 스토리지 솔루션 | Ambedded

Ceph는 데이터 보호와 고가용성을 위해 복제, EC 코드, CRUSH, 스크러빙을 제공합니다. | 고성능 Ceph 장비

Ceph는 데이터 보호와 고가용성을 위해 복제, EC 코드, CRUSH, 스크러빙을 제공합니다.

높은 데이터 가용성과 내구성

Ceph 객체 저장소는 데이터 가용성을 복제와 고급 이레이저 코딩을 통해 달성합니다. 데이터는 패리티 정보와 결합되어 샤딩되고 저장소 풀 전체에 분산됩니다.
저장 장치가 실패하면 데이터를 복구하기 위해 일부 샤드만 필요하며, 재구축 시간이나 성능 저하가 없으며, 실패한 저장 장치는 편리한 시기에 교체할 수 있습니다.
Ceph는 널리 분산된 데이터와 데이터 스크러빙 기술을 결합하여 미디어에 기록된 데이터를 지속적으로 유효성을 검증하여 15개의 9의 데이터 내구성을 달성할 수 있습니다.


데이터 복제, 이레이저 코딩 및 스크러빙

객체 복제

클라이언트가 데이터를 작성할 때, 객체 ID와 풀 이름을 사용하여 어떤 OSD에 작성해야 할지 계산합니다. 클라이언트가 데이터를 OSD에 작성한 후, OSD는 데이터를 하나 이상의 OSD로 복사합니다. 여러 개의 OSD가 동시에 실패하는 경우에도 데이터가 살아남을 수 있도록 원하는 만큼의 복제를 구성할 수 있습니다. 복제는 디스크 어레이의 RAID-1과 유사하지만 데이터의 복사본을 더 많이 허용합니다. 규모가 커지면 단순한 RAID-1 복제만으로는 하드웨어 고장의 위험을 충분히 커버하지 못할 수 있습니다. 더 많은 복제본을 저장하는 유일한 단점은 저장 비용입니다.

Ceph 클라이언트는 CRUSH 알고리즘에 기반하여 데이터를 무작위로 OSD에 기록합니다.OSD 디스크 또는 노드가 실패하면, Ceph는 데이터를 재생성할 수 있습니다.

Ceph가 전체 장애 도메인의 하나 이상의 장애로 인한 데이터 손실을 방지하기 위해 다른 서버, 랙, 룸 또는 데이터 센터에 복제된 데이터를 저장하도록 장애 도메인을 정의할 수 있습니다.예를 들어, 5개의 랙에 15개의 스토리지 서버가 설치되어 있다면 (각 랙에 3개의 서버), 장애 도메인으로 replica three와 rack을 사용할 수 있습니다.Ceph 클러스터 에 데이터를 쓰면 항상 5개 랙 중 3개에 3개의 복사본이 저장됩니다.데이터는 최대 2개의 랙이 고장나도 클라이언트 서비스의 품질을 저하시키지 않고 유지될 수 있습니다.CRUSH 규칙은 Ceph 스토리지단일 장애 지점이 없도록 하는 핵심입니다.

CRUSH 규칙은 복제된 데이터가 장애 도메인을 따라 다른 서버 노드에 분산되도록 보장합니다.

이레이저 코딩

복제는 전반적인 성능이 가장 우수하지만, 저장 공간 효율성은 그리 높지 않습니다.특히 더 높은 수준의 중복성이 필요한 경우입니다.
높은 데이터 가용성을 위해 과거에 RAID-1의 대안으로 RAID-5 또는 RAID-6을 사용했습니다.패리티 RAID는 저장 공간 성능(주로 쓰기 성능)의 비용으로 많이 줄어든 저장 공간 오버헤드와 함께 중복성을 보장합니다.Ceph는 유사한 결과를 얻기 위해 erasure encoding을 사용합니다.당신의 저장 시스템이 커질수록, 한 개 또는 두 개의 디스크 또는 장애 도메인이 동시에 실패할 경우에 대해 자신감을 가질 수 없을 수 있습니다.이레이저 코드 알고리즘을 사용하면 공간 오버헤드가 적은 상태에서 더 높은 수준의 장애 내성을 구성할 수 있습니다.
이레이저 코딩은 원본 데이터를 K개의 데이터 청크로 나누고 추가적인 M개의 코딩 청크를 계산합니다.Ceph는 동시에 최대 M개의 장애 도메인이 실패해도 데이터를 복구할 수 있습니다.다른 장애 도메인에 있는 OSD에 저장된 총 K+M 청크입니다.

데이터 보호를 위해 Erasure coding K+M=4+2를 사용합니다.

스크러빙

데이터 일관성과 정리를 유지하기 위해 Ceph OSD 데몬은 배치 그룹 내의 객체를 스크럽할 수 있습니다. 즉, Ceph OSD Daemons는 한 placement group의 객체 메타데이터를 다른 OSD에 저장된 placement group의 복제본과 비교할 수 있습니다. 스크럽 (보통 매일 수행)은 버그나 파일 시스템 오류를 잡아냅니다. Ceph OSD 데몬은 객체의 데이터를 비트 단위로 비교하여 더 깊은 스크럽을 수행합니다. 깊은 스크러빙(일반적으로 매주 수행)은 가벼운 스크러빙에서는 드라이브의 나쁜 섹터를 찾지 못했던 것을 발견합니다.

데이터 복구

Ceph의 데이터 배치 디자인으로 인해 데이터는 모든 건강한 OSD에 의해 복구됩니다. 데이터 재복구를 위해 예비 디스크가 필요하지 않습니다. 이로 인해 디스크 어레이와 비교하여 재복구 시간이 훨씬 짧아질 수 있습니다. 디스크 어레이는 손실된 데이터를 예비 디스크로 다시 구축해야 합니다.

하나의 서버 노드가 실패하면 클러스터는 동일한 데이터 보호 방법을 적용하여 자가 치유합니다.

CRUSH 맵 및 규칙 구성

데이터 분산과 장애 도메인을 정의하기 위해 UVS 매니저 사용




높은 데이터 가용성과 내구성 | Ceph 스토리지 솔루션; Ceph 장비 및 소프트웨어|Ambedded

2013년 대만에서 설립된 Ambedded Technology Co., LTD.는 Ceph 소프트웨어 정의 스토리지 기반의 블록, 파일 및 객체 스토리지 솔루션을 제공하는 선도적인 기업입니다. 우리는 데이터 센터, 기업 및 연구 기관을 위한 고효율, 확장 가능한 스토리지 시스템을 제공하는 데 전문화되어 있습니다. 우리의 제품에는 Ceph 기반 스토리지 장치, 서버 통합, 스토리지 최적화 및 간소화된 관리와 함께 비용 효율적인 Ceph 배포가 포함됩니다.

Ambedded는 B2B 조직에 맞춤화된 턴키 Ceph 스토리지 장치와 풀스택 Ceph 소프트웨어 솔루션을 제공합니다. 우리의 Ceph 스토리지 플랫폼은 통합 블록, 파일(NFS, SMB, CephFS) 및 S3 호환 객체 스토리지를 지원하여 신뢰성과 확장성을 개선하면서 총 소유 비용(TCO)을 줄입니다. 통합된 Ceph 조정, 직관적인 웹 UI 및 자동화 도구를 통해 고객이 AI, HPC 및 클라우드 작업 부하를 위한 고성능 스토리지를 달성하도록 돕습니다.

20년 이상의 기업 IT 경험과 10년 이상의 Ceph 스토리지 배포 경험을 바탕으로, Ambedded는 전 세계적으로 200개 이상의 성공적인 프로젝트를 수행했습니다. 우리는 전문 컨설팅, 클러스터 설계, 배포 지원 및 지속적인 유지 관리를 제공합니다. 전문 Ceph 지원과 원활한 통합에 대한 우리의 약속은 고객이 Ceph 기반 스토리지 인프라에서 최대의 가치를 얻을 수 있도록 보장합니다 — 대규모로, 빠르게, 그리고 예산 내에서.