สำรองข้อมูลและเก็บถาวรเพื่อใช้งานกับ Ceph

ทำไมและวิธีการใช้ Ceph Storage Appliance เป็นที่เก็บของ Veeam Backup & Replication

ทำไมและวิธีการใช้ Ceph Storage Appliance เป็นที่เก็บของ Veeam Backup & Replication

สำรองข้อมูลและเก็บถาวรเพื่อใช้งานกับ Ceph

กรณีศึกษานี้อธิบายวิธีใช้อุปกรณ์จัดเก็บข้อมูล Mars 400 ceph เป็นที่เก็บข้อมูลสำรองของการสำรองและการจำลองแบบ Veeam
Ceph รองรับการจัดเก็บอ็อบเจ็กต์ พื้นที่เก็บข้อมูลบล็อก และระบบไฟล์ POSIX ทั้งหมดในคลัสเตอร์เดียว ตามข้อกำหนดในการสำรองข้อมูล ลูกค้าสามารถเลือกโปรโตคอลการจัดเก็บข้อมูลที่แตกต่างกัน เพื่อรองรับความต้องการของกลยุทธ์การสำรองข้อมูลพื้นที่จัดเก็บข้อมูลต่างๆ
 
ในบทความนี้ เราใช้ Ceph block storage (Ceph RBD) และระบบไฟล์ Ceph (Cephfs) เป็นที่เก็บข้อมูลสำรอง และเปรียบเทียบระยะเวลางานสำรองข้อมูลของการสำรองข้อมูลเครื่องเสมือนจาก Hyper-V และ VMWare


สถาปัตยกรรมโซลูชันสำรองโดยใช้ Veeam และ Ceph

สถาปัตยกรรมของการสำรองข้อมูลเครื่องเสมือนบน VMWare และ Hyper-V มีความคล้ายคลึงกัน Veeam ใช้ตัวย้ายข้อมูลเพื่อถ่ายโอนข้อมูลจากโฮสต์ต้นทางไปยังที่เก็บข้อมูลสำรอง ตัวย้ายข้อมูลทำงานบนพร็อกซีเซิร์ฟเวอร์และเซิร์ฟเวอร์ที่เก็บ หากต้องการใช้ Ceph เป็นที่เก็บข้อมูลแบ็กเอนด์ของที่เก็บสำรอง คุณสามารถเมาต์ RBD หรือ CephFS บนเซิร์ฟเวอร์จริงของ Linux หรือเครื่องเสมือนเป็นเซิร์ฟเวอร์ที่เก็บได้ 

หากพร็อกซีและเซิร์ฟเวอร์ที่เก็บเป็นเครื่องเสมือนภายในคลัสเตอร์ไฮเปอร์ไวเซอร์ คุณจะได้รับประโยชน์จากการขนส่งข้อมูลความเร็วสูงแบบไม่มีเครือข่ายระหว่างดิสก์ VM พร็อกซีเซิร์ฟเวอร์ และเซิร์ฟเวอร์ที่เก็บ การกำหนดค่าที่ดีที่สุดของคลัสเตอร์ไฮเปอร์ไวเซอร์ขนาดใหญ่คือการปรับใช้หนึ่งพร็อกซีเซิร์ฟเวอร์ VM และหนึ่งเซิร์ฟเวอร์ที่เก็บ VM บนแต่ละโฮสต์ VMWare มิฉะนั้น คุณสามารถปรับใช้ VM สำรองหนึ่งพร็อกซีบนทุกโฮสต์ VMWare และหนึ่งโฮสต์ที่เก็บนอกโฮสต์เพื่อลบเวิร์กโหลดออกจาก VMWare ที่ใช้งานจริงของคุณ

มีสามวิธีในการใช้อุปกรณ์ Ambedded Ceph เป็นที่เก็บข้อมูลสำหรับ Veeam Backup and Replication อุปกรณ์บล็อก CephFSและRBDสามารถใช้เป็นที่เก็บข้อมูลสำรองภายในองค์กรได้ พื้นที่จัดเก็บอ็อบเจ็กต์ S3สามารถใช้เป็นระดับความจุสำหรับตำแหน่งระยะไกลได้

สำหรับวิธีตั้งค่าอุปกรณ์บล็อก Ceph RBD และระบบไฟล์ CephFS เป็นที่เก็บข้อมูลสำรองของ Veeam สำหรับการสำรองเครื่องเสมือนและไฟล์ ดูรายละเอียดได้ในเอกสารไวท์เปเปอร์ที่ส่วนท้ายของหน้านี้


Veeam proxy and repository servers are virtual machines inside the hypervisor cluster, with Mars 400 ceph storage to provide RBD and cephfs
a large hypervisor cluster is to deploy one proxy server VM and one repository server VM on each VMWare host, to have backup data to save into ceph RBD or cephfs

สภาพแวดล้อมการทดสอบ

คลัสเตอร์เซ็ฟ

  • Mars 400 สามเครื่องพร้อมจอภาพ 3x, 20 OSD และ 1x MDS (เซิร์ฟเวอร์ข้อมูลเมตา)
  • Ceph daemon แต่ละตัวทำงานบนไมโครเซิร์ฟเวอร์ Arm A72 แบบดูอัลคอร์หนึ่งตัว
  • ระบบปฏิบัติการ: CentOS 7
  • ซอฟต์แวร์ Ceph: Nautilus 14.2.9 Arm64
  • เครือข่าย: เครือข่าย 4x 10Gb ต่อ Mars 400 

Veeam Backup & Replication 10 เวอร์ชัน: 10.0.1.4854

เซิร์ฟเวอร์สำรอง Veeam

  • ซีพียู: Intel Xeon E5-2630 2.3GHz DUAL
  • DRAM: 64GB
  • เครือข่าย: 2x 10Gb sfp+ พันธะ
  • ดิสก์: 1TB สำหรับระบบ, 256GB SATA3 SSD สำหรับโวลุ่ม
  • Windows Server 2019

 พร็อกซีเซิร์ฟเวอร์ Veeam

  • ทำงานร่วมกับ Veeam Backup Server

 เซิร์ฟเวอร์ที่เก็บ

  • เครื่องเสมือน

◇ CPU: 4 คอร์ 2.3GHz

◇ DRAM: 8GB

◇เครือข่าย: สะพาน

◇ ดิสก์: ดิสก์เสมือน 50GB

◇ระบบปฏิบัติการ: CentOS 7.8.2003

  • เซิร์ฟเวอร์ Baremetal

◇ CPU: Intel Xeon X5650 2.67GHz DUAL

◇ DRAM: 48GB

◇เครือข่าย: 2-port 10Gb sfp+ bonding

◇ ดิสก์: 1TB สำหรับระบบ

◇ระบบปฏิบัติการ: CentOS 7.6.1810

โฮสต์ Hyper-V

◇   CPU: Intel Xeon E5-2630 2.3GHz DUAL

◇   DRAM: 64GB

◇   เครือข่าย: 2-port 10Gb sfp+ bonding

◇   ดิสก์: 1TB สำหรับระบบ

◇   Windows Server 2019

VMWare Host

◇   CPU: Intel Xeon E5-2630 2.3GHz DUAL

◇   DRAM: 64GB

◇   เครือข่าย: 2-port 10Gb sfp+ bonding

◇   ดิสก์: 1TB สำหรับระบบ

◇   ESXi 6.5

เครือข่าย: สวิตช์ 10GbE

เกณฑ์มาตรฐานในการตั้งค่าต่างๆ

เพื่อเปรียบเทียบประสิทธิภาพการสำรองข้อมูลของที่เก็บข้อมูลสำรองต่างๆ เราได้ตั้งค่าการทดสอบกับที่เก็บข้อมูลสำรองที่แตกต่างกันและแหล่งสำรองข้อมูลสามแหล่ง 

แหล่งสำรองข้อมูลที่เราใช้สำหรับการทดสอบคือโวลุ่มที่ใช้ SATA SSD บนเซิร์ฟเวอร์, Windows VM ของ Hyper-V และ CentOS 7 VM และ Windows VM ของ VMWare

(1)สำรองโวลุ่มบนไดรฟ์ SSD

ตารางที่ 1. สำรองข้อมูลโวลุ่มจากเซิร์ฟเวอร์ด้วย SATA SSD

ขนาดดิสก์ (ประมวลผลข้อมูล)237.9GB
อ่านข้อมูลจากต้นทาง200.1GB
ข้อมูลที่ถ่ายโอนไปยัง Ceph หลังจากการขจัดข้อมูลซ้ำซ้อนและการบีบอัด69.7GB
การขจัดข้อมูลซ้ำซ้อน1.3X
การบีบอัด2.7X


ตารางที่ 2

ที่เก็บข้อมูลสำรอง
ระยะเวลา
(วินาที)
แหล่งที่มา
(%)
พร็อกซี่
(%)
เครือข่าย
(%)
เป้าหมาย
(%)
อัตรา การประมวลผล
(MB/s)
อัตรา
การเขียนข้อมูล เฉลี่ย
(MB/s)
Linux VM,
RBD-replica 3
64683338421554110
Linux VM,
CephFS-replica 3
5219725315564137
Linux VM,
RBD, EC
64582348324554111
Linux VM,
CephFS, EC
5369726274564133
เซิร์ฟเวอร์ Linux,
RBD, EC
5269721163561136

หมายเหตุ: อัตราการเขียนข้อมูลเฉลี่ยคำนวณโดย Data Transferred หารด้วย Duration อัตราเหล่านี้แสดงถึงปริมาณงานของคลัสเตอร์ Ceph ในงานสำรองข้อมูลเหล่านี้

(2)สำรองข้อมูล Windows 10 VM บน Hyper-V บน HDD

ในเกณฑ์มาตรฐานนี้ เราสำรองข้อมูลอินสแตนซ์ Hyper-V ที่จัดเก็บไว้ในฮาร์ดไดรฟ์ SATA อัตราการประมวลผลของงานเหล่านี้ถึงขีดจำกัดสูงสุดของแบนด์วิดท์ HDD นอกจากนี้เรายังสามารถหาคอขวดที่ต้นทางได้เนื่องจากภาระงานของพวกเขาไม่ว่างในช่วง 99% ของระยะเวลางาน คลัสเตอร์ Ceph เป้าหมาย ปริมาณงานจากงานสำรองข้อมูล Veeam นั้นเบา คลัสเตอร์ Ceph ไม่ว่างเพียง 6% ถึง 1% ของเวลาทำงาน

เมื่อเทียบกับเกณฑ์มาตรฐานก่อนหน้า อัตราการประมวลผลของการสำรองข้อมูล VM นั้นต่ำกว่าการสำรองข้อมูล SSD มาก สาเหตุหลักมาจากข้อมูล VM ถูกเก็บไว้ในฮาร์ดไดรฟ์ 

ตารางที่ 3

ขนาดดิสก์ (HDD)127GB
อ่านข้อมูลจากแหล่งที่มา37.9GB
ข้อมูลที่ถ่ายโอนไปยัง Ceph หลังจาก การขจัดข้อมูล
ซ้ำซ้อนและการบีบอัด
21.4GB
การขจัดข้อมูลซ้ำซ้อน3.3X
การบีบอัด1.8X


ตารางที่ 4. สำรองอิมเมจเครื่องเสมือนบน SATA3 HDD

ที่เก็บข้อมูลสำรอง
ระยะเวลา
(วินาที)
แหล่งที่มา
(%)
พร็อกซี่
(%)
เครือข่าย
(%)
เป้าหมาย
(%)
อัตรา การประมวลผล
(MB/s)
อัตรา
การเขียนข้อมูล เฉลี่ย
(MB/s)
Linux VM,
โวลุ่ม RBD, EC
3639973614560
Linux VM,
โวลุ่ม CephFS,
EC
3779972114258.1
เซิร์ฟเวอร์ Linux,
โวลุ่ม RBD, EC
3759962214058.4

หมายเหตุ: อัตราการเขียนข้อมูลเฉลี่ยคำนวณโดย Data Transferred หารด้วย Duration อัตราเหล่านี้แสดงถึงปริมาณงานของคลัสเตอร์ Ceph ในงานสำรองข้อมูลเหล่านี้

(3)สำรองข้อมูล Virtual Machines บน ESXi บน HDD

การทดสอบนี้เป็นการสำรอง CentOS 7 และเครื่องเสมือน Windows 10 ที่ทำงานบน HDD ของโฮสต์ VMWare ESXi 6.5 ไปยังที่เก็บที่ได้รับการสนับสนุนโดย Ceph RBD พร้อมการป้องกันรหัสการลบ 4+2 

ตารางที่ 5.

แหล่งที่มาCentOS VMWindows 10 VM
ขนาดดิสก์ (HDD)40GB32GB
อ่านข้อมูลจากแหล่งที่มา1.8GB12.9GB
ข้อมูลที่ถ่ายโอนไปยัง Ceph หลังจาก การขจัดข้อมูล
ซ้ำซ้อนและการบีบอัด
966MB7.7GB
การขจัดข้อมูลซ้ำซ้อน22.1X2.5X
การบีบอัด1.9X1.7X


ตารางที่ 6

แหล่งสำรอง
ระยะเวลา
(วินาที)
แหล่งที่มา
(%)
พร็อกซี่
(%)
เครือข่าย
(%)
เป้าหมาย
(%)
อัตรา การประมวลผล
(MB/s)
อัตรา
การเขียนข้อมูล เฉลี่ย
(MB/s)
CentOS 7122991050888
Windows 102449911519332

หมายเหตุ: อัตราการเขียนข้อมูลเฉลี่ยคำนวณโดย Data Transferred หารด้วย Duration อัตราเหล่านี้แสดงถึงปริมาณงานของคลัสเตอร์ Ceph ในงานสำรองข้อมูลเหล่านี้

บทสรุป

จากผลการทดสอบ Ceph RBD และ CephFS มีประสิทธิภาพใกล้เคียงกัน เป็นไปตามประสบการณ์ของเราเกี่ยวกับเกณฑ์มาตรฐานของประสิทธิภาพ RBD และ CephFS การเปรียบเทียบคุณสมบัติของ CephFS และ RBD นั้นมีข้อดีและข้อเสีย หากคุณต้องการปรับใช้เซิร์ฟเวอร์ที่เก็บหลายตัว คุณต้องสร้างอิมเมจ RBD สำหรับแต่ละเซิร์ฟเวอร์ที่เก็บข้อมูลสำรอง เนื่องจากคุณสามารถเมานต์ Ceph RBD บนโฮสต์เดียวเท่านั้น เมื่อเทียบกับ CephFS การใช้ RBD นั้นง่ายกว่าเพราะไม่ต้องการเซิร์ฟเวอร์ข้อมูลเมตา เราต้องกำหนดขนาดความจุ RBD เมื่อสร้าง ดังนั้นคุณต้องปรับขนาดความจุเมื่อคุณต้องการพื้นที่เพิ่ม

หากคุณใช้ CephFS เป็นที่เก็บ คุณต้องปรับใช้เซิร์ฟเวอร์ข้อมูลเมตา (MDS) อย่างน้อยหนึ่งเซิร์ฟเวอร์ในคลัสเตอร์ Ceph นอกจากนี้เรายังต้องการเซิร์ฟเวอร์ข้อมูลเมตาสแตนด์บายสำหรับความพร้อมใช้งานสูง เมื่อเทียบกับ Ceph RBD คุณไม่จำเป็นต้องให้โควต้าระบบไฟล์ ดังนั้น คุณสามารถถือว่า CephFS เป็นพูลพื้นที่เก็บข้อมูลไม่จำกัด

ในการสาธิตการใช้งานนี้ การทดสอบของเราสำรองข้อมูล VM เพียงตัวเดียวในแต่ละงานสำรองข้อมูล จากรายงานการทดสอบข้างต้น เราทราบดีว่าอัตราการเขียนข้อมูลโดยเฉลี่ยนั้นสัมพันธ์กับอัตราการประมวลผลและการขจัดข้อมูลซ้ำซ้อนและประสิทธิภาพการบีบอัด ดิสก์ต้นทางที่เร็วกว่าช่วยลดระยะเวลาของงานสำรองข้อมูลและส่งผลให้อัตราการประมวลผลเร็วขึ้น ขึ้นอยู่กับโครงสร้างพื้นฐานของผู้ใช้ ผู้ใช้สามารถปรับใช้งานหลายงานพร้อมกันเพื่อสำรองข้อมูลอ็อบเจ็กต์ต่างๆ พร้อมกันได้ ที่เก็บข้อมูล Ceph ทำงานได้ดีมากในการสนับสนุนงานหลายงานพร้อมกัน 

คลัสเตอร์ HDD OSD Ceph 20x ที่ขับเคลื่อนโดย 3x Ambedded Mars 400 สามารถให้ปริมาณงานการเขียนรวมสูงถึง 700MB/s ไปยังพูลโค้ดการลบ 4+2 การปรับใช้งานสำรองข้อมูลปัจจุบันหลายงานจะได้รับประโยชน์จากการลดระยะเวลาการสำรองข้อมูลโดยรวม ประสิทธิภาพสูงสุดของคลัสเตอร์ Ceph เกือบจะเป็นสัดส่วนเชิงเส้นกับจำนวนดิสก์ไดรฟ์ทั้งหมดในคลัสเตอร์

ในกรณีการใช้งานนี้ เราไม่ได้ทดสอบโดยใช้พื้นที่จัดเก็บอ็อบเจ็กต์ S3 เป็นที่เก็บข้อมูลสำรอง พื้นที่จัดเก็บอ็อบเจ็กต์ S3 สามารถใช้เป็นระดับความจุในที่เก็บข้อมูลสำรอง Veeam Scale-Out และที่เก็บถาวรเป้าหมายสำหรับการสำรองข้อมูล NAS คุณสามารถตั้งค่าเกตเวย์ RADOS และสร้างผู้ใช้พื้นที่จัดเก็บอ็อบเจ็กต์ได้อย่างง่ายดายโดยใช้ตัวจัดการ Ambedded UVS ซึ่งเป็นเว็บ GUI สำหรับการจัดการ ceph

ดาวน์โหลด
ใช้ Ceph เป็นที่เก็บข้อมูลสำหรับเอกสารทางเทคนิค Veeam Backup & Replication
ใช้ Ceph เป็นที่เก็บข้อมูลสำหรับเอกสารทางเทคนิค Veeam Backup & Replication

วิธีการตั้งค่าอุปกรณ์บล็อก Ceph RBD และระบบไฟล์ CephFS เป็นที่เก็บข้อมูลสำรองของ...

ดาวน์โหลด
สินค้าที่เกี่ยวข้อง
Ceph Storage Appliance - Ceph Storage Appliance Mars 400 ด้านหน้า
Ceph Storage Appliance
ดาวอังคาร 400PRO

UniVirStor เป็นอุปกรณ์จัดเก็บข้อมูลที่กำหนดโดยซอฟต์แวร์ที่ใช้...

รายละเอียด
อุปกรณ์จัดเก็บข้อมูลระดับองค์กร Mars 400SES SUSE - Mars 400SES SUSE Enterprise Storage 6 (Nautilus) อุปกรณ์
อุปกรณ์จัดเก็บข้อมูลระดับองค์กร Mars 400SES SUSE
ดาวอังคาร 400SES

Mars400SES SUSE Enterprise Storage Appliance ประกอบด้วยฮาร์ดแวร์ไมโครเซิร์ฟเวอร์...

รายละเอียด

Ambedded - โซลูชันการจัดเก็บ Ceph ระดับมืออาชีพสู่ตลาด

ตั้งอยู่ในไต้หวันตั้งแต่ 2013,Ambedded Technology Co., LTD.เป็นผู้ให้บริการโซลูชันการจัดเก็บข้อมูล Ceph ที่นำเสนออุปกรณ์จัดเก็บข้อมูลที่กำหนดโดยซอฟต์แวร์ที่ใช้ ARM พร้อมการประหยัด CapEX 60% ใช้พลังงานน้อยลง 70% และข้อดีในการขยายขนาด 100%

สำหรับการออกแบบและการผลิตอุปกรณ์จัดเก็บข้อมูลที่กำหนดโดยซอฟต์แวร์ ทีมงานของ Ambedded มีประสบการณ์มากมายในการช่วยลูกค้านำโซลูชัน ceph ไปใช้ในอุตสาหกรรมที่หลากหลาย เช่น โทรคมนาคม การแพทย์ การทหาร ศูนย์ข้อมูล Edge และ HA ที่จำเป็นต้องใช้พื้นที่จัดเก็บข้อมูลระดับองค์กร

Ambedded ได้นำเสนอโซลูชั่นการจัดเก็บข้อมูล Ceph ให้กับลูกค้ามาตั้งแต่ปี 2556 ทั้งเทคโนโลยีขั้นสูงและประสบการณ์กว่า 20 ปี Ambedded ช่วยให้มั่นใจว่าจะตอบสนองความต้องการของลูกค้าแต่ละราย