Bagaimana kinerja penataan lapisan cache Ceph? | Solusi penyimpanan Ceph microserver ARM | Ambedded
Pengantar: Dalam posting ini, kami membagikan uji coba benchmark untuk menunjukkan bagaimana penataan lapisan cache Ceph dapat meningkatkan kinerja dari kolam HDD dengan menyiapkan lapisan cache yang didukung oleh kolam NVMe.'Ambedded' adalah solusi penyimpanan pusat data Taiwan yang efisien menggunakan mikroserver ARM Ceph: teknologi penyimpanan Ceph, integrasi server ARM, penyimpanan terdefinisi perangkat lunak, optimisasi penyimpanan perusahaan, penghematan biaya perangkat Ceph, perangkat lunak manajemen penyimpanan, dan penyedia komputasi penyimpanan klaster sejak tahun 2013. Seri Mars 400 dari Ambedded mengubah efisiensi penyimpanan Ceph dengan teknologi mikroserver ARM, memberikan solusi yang kompak dan hemat energi tanpa mengorbankan performa. Ideal untuk bisnis yang bertujuan untuk penyimpanan dengan kepadatan tinggi dengan kebutuhan ruang dan energi minimal.
Bagaimana kinerja penataan lapisan cache Ceph?
Pengantar:
Dalam posting ini, kami membagikan uji coba benchmark untuk menunjukkan bagaimana penataan lapisan cache Ceph dapat meningkatkan kinerja dari kolam HDD dengan menyiapkan lapisan cache yang didukung oleh kolam NVMe.
Apa itu Ceph Cache Tier dan Bagaimana Cara Kerjanya
Tier cache Ceph memungkinkan penggunaan perangkat penyimpanan yang lebih cepat sebagai cache untuk yang lebih lambat. Ini melibatkan pembuatan kumpulan perangkat penyimpanan cepat/mahal (seperti NVMe SSD) yang dikonfigurasi untuk berfungsi sebagai tingkat cache, dan kumpulan perangkat penyimpanan yang lebih lambat/lebih murah (seperti HDD) yang dikonfigurasi untuk berfungsi sebagai tingkat penyimpanan ekonomis. Tier cache menyimpan data yang sering diakses dari tier pendukung dan melayani permintaan baca dan tulis dari klien. Agen penataan cache secara berkala mengosongkan atau mengeluarkan objek dari lapisan cache berdasarkan kebijakan tertentu.
Demo Tingkat Cache Ceph
Di masa lalu, ketika menggunakan SATA SSD sebagai perangkat penyimpanan lapisan cache, peningkatan kinerja yang dihasilkan dari penggunaan lapisan cache tersebut tidak signifikan. Saat ini, biaya NVMe SSD telah turun banyak dibandingkan beberapa tahun yang lalu, dan kinerja NVMe SSD jauh lebih cepat dibandingkan HDD. Kami ingin mengetahui apakah penggunaan NVMe SSD sebagai lapisan cache dapat sangat membantu dalam sebuah pool HDD.
Untuk menguji efektivitas lapisan cache NVMe, kami menyiapkan uji coba untuk melihat apakah lapisan cache meningkatkan kinerja dari kolam penyimpanan berbasis HDD.
Pengaturan Kluster
| Host NVME | 3 x Ambedded Mars500 Ceph Appliances |
| Spesifikasi dari setiap perangkat Mars 500 | |
| CPU | 1x Ampere Altra Arm 64-Core 3.0 Ghz |
| Memori | 96 GiB DDR4 |
| Jaringan | 2 port 25Gbps Mellanox ConnectX-6 |
| Drive OSD | 8 x Micron 7400 960GB |
| Host HDD | 3 x Ambedded Mars400 Ceph Appliances |
| Spesifikasi dari setiap alat Mars 400 | |
| CPU | 8 node Quad-Cores Arm64 1.2 GHz |
| Memori | 4GiB per node. 32 GiB per alat |
| Jaringan | 2 x 2.5Gbps per node. 2x 10 Gb uplink melalui switch di dalam chassis. |
| Drive OSD | 8 x 6 TB Seagate Exos HDD |
Informasi Klaster Ceph
- 24 x OSD pada NVMe SSD (3x perangkat Ambedded Mars500)
- 24x OSD pada HDD (3x perangkat Ambedded Mars400)
- Server HDD dan NVMe terletak di root CRUSH yang terpisah.
Klien Uji
- 2 x server fisik. 2x kartu jaringan 25Gb
- Setiap server menjalankan 7x VM.
- Setiap VM memiliki 4x inti dan 8 GB memori
Menyiapkan Cache Tier oleh manajer Ambedded UVS
1. Buat pool dasar dengan menggunakan osd HDD.
2. Buat pool NVMe menggunakan osd SSD NVMe.
3. Tambahkan pool NVMe sebagai tier cache dari pool HDD.
konfigurasi tier cache default:
- Mode cache: writeback
- hit_set_count = 12
- hit_set_period = 14400 detik (4 jam)
- target_max_byte = 2 TiB
- target_max_objects = 1 juta
- min_read_recency_for_promote & min_write_recency_for_promote = 2
- cache_target_dirty_ratio = 0.4
- cache_target_dirty_high_ratio = 0.6
- cache_target_full_ratio = 0.8
- cache_min_flush_age = 600 detik.
- cache_min_evict_age = 1800 detik.
Kami menguji kolam HDD sebelum dan setelah menambahkan tingkat cache, menggunakan hingga 14 klien untuk menghasilkan beban uji. Setiap klien memasang RBD untuk uji coba fio. Pemuatan uji dimulai dengan satu klien dan meningkatkan jumlah klien setelah setiap pekerjaan uji selesai. Setiap siklus pengujian berlangsung selama lima menit dan dikendalikan secara otomatis oleh Jenkins. Kinerja pekerjaan uji adalah jumlah dari semua hasil klien. Sebelum menguji tiering cache, kami menulis data ke RBD hingga kolam tier cache terisi melebihi rasio penuh target cache ceph (0.8).
Diagram menunjukkan bahwa kinerja dari pool HDD murni secara signifikan ditingkatkan setelah menambahkan pool cache NVMe.
Selama tes tingkat cache, kami mengamati statistik pool menggunakan perintah ceph osd pool stats. Pool cache dan pool dasar memiliki aktivitas flushing, evicting, dan promoting. Kami mencatat statistik pool pada berbagai waktu selama tes tingkat cache.
Data telah ditulis ke cache
id cache pool 84
io klien 21 MiB/s wr, 0 op/s rd, 5.49k op/s wr
id mars400_rbd pool 86
tidak ada yang sedang terjadi
Cache sedang melakukan promosi dan pengusiran
kumpulan cache id 84
klien io 42 MiB/s wkt, 0 op/s rd, 10,79k op/s rd
tingkat cache io 179 MiB/dtk dikeluarkan, 17 operasi/dtk dipromosikan
pool mars400_rbd id 86
klien io 0 B/s rd, 1,4 MiB/s rd, 18 op/s rd, 358 op/s rd
Cache sedang dibilas
pool cache id 84
client io 3.2 GiB/s rd, 830 op/s rd, 0 op/s wr
cache tier io 238 MiB/s bilas, 14 op/s promosi, 1 PGs dibilas
pool mars400_rbd id 86
client io 126 MiB/s rd, 232 MiB/s wr, 44 op/s rd, 57 op/s wr
PG diusir
kumpulan cache id 84
klien io 2,6 GiB/s rd, 0 B/s wr, 663 op/s rd, 0 op/s wr
tingkat cache io 340 MiB/dtk flush, 2,7 MiB/dtk dikeluarkan, 21 operasi/dtk dipromosikan, 1 PG dikeluarkan (penuh)
pool mars400_rbd id 86
klien io 768 MiB/s rd, 344 MiB/s rd, 212 op/s rd, 86 op/s rd
Mengosongkan PG dan IO klien langsung ke pool dasar.(klien sedang menulis data)
ID cache kolam 84
IO klien 0 B/dt wr, 0 op/dt rd, 1 op/dt wr
IO tingkat cache 515 MiB/dt flush, 7.7 MiB/dt evict, 1 PGs flushin
ID kolam mars400_rbd 86
IO klien 613 MiB/dt wr, 0 op/dt rd, 153 op/dt wr
Setelah melakukan tes secara terus menerus, kami memberikan waktu istirahat pada kluster selama beberapa jam dan melakukan ulang tes penulisan acak 4 kB. Kami mendapatkan performa yang jauh lebih baik. Hal ini karena ruang cache telah dibebaskan untuk penulisan baru.
Dari tes ini, kami yakin bahwa penggunaan pool NVMe sebagai tingkat cache dari pool HDD dapat memberikan peningkatan performa yang signifikan.
Perlu diingat bahwa performa dari tingkat cache tidak dapat dijamin. Performa tersebut bergantung pada kondisi cache hit pada saat itu, dan performa yang sama tidak dapat dicapai dengan melakukan tes berulang dengan konfigurasi dan beban kerja yang sama.
Jika aplikasi Anda membutuhkan performa yang konsisten, gunakanlah pool SSD NMMe yang murni.
- Produk Terkait
Mars500 NVME Semua Flash Perangkat Penyimpanan Ceph
Mars 500
Perangkat Mars 500 Ceph dirancang untuk memenuhi kebutuhan penyimpanan data cloud-native berkinerja tinggi. Perangkat ini memanfaatkan teknologi flash...
rincian
Perangkat penyimpanan Ceph Mars 400PRO
Mars 400PRO
Mars 400 Ceph Appliance dirancang untuk memenuhi kebutuhan penyimpanan data cloud-native dengan kapasitas tinggi. Ini menggunakan HDD untuk mendapatkan...
rincian
Produk Populer
Unduh Bagaimana kinerja penataan lapisan cache Ceph? | Solusi Penyimpanan Ceph; Perangkat & Perangkat Lunak Ceph|Ambedded
Didirikan di Taiwan pada tahun 2013, Ambedded Technology Co., LTD. adalah penyedia terkemuka solusi penyimpanan blok, file, dan objek yang berbasis pada penyimpanan terdefinisi perangkat lunak Ceph. Kami mengkhususkan diri dalam menyediakan sistem penyimpanan yang efisien tinggi dan dapat diskalakan untuk pusat data, perusahaan, dan institusi penelitian. Penawaran kami mencakup perangkat penyimpanan berbasis Ceph, integrasi server, optimasi penyimpanan, dan penerapan Ceph yang hemat biaya dengan manajemen yang disederhanakan.
Ambedded menyediakan perangkat penyimpanan Ceph siap pakai dan solusi perangkat lunak Ceph tumpukan penuh yang disesuaikan untuk organisasi B2B. Platform penyimpanan Ceph kami mendukung penyimpanan objek yang kompatibel dengan S3, blok terpadu, dan file (NFS, SMB, CephFS), mengurangi total biaya kepemilikan (TCO) sambil meningkatkan keandalan dan skalabilitas. Dengan penyetelan Ceph yang terintegrasi, antarmuka web yang intuitif, dan alat otomatisasi, kami membantu pelanggan mencapai penyimpanan berkinerja tinggi untuk AI, HPC, dan beban kerja cloud.
Dengan pengalaman lebih dari 20 tahun di IT perusahaan dan lebih dari satu dekade dalam penerapan penyimpanan Ceph, Ambedded telah menyelesaikan lebih dari 200 proyek sukses secara global. Kami menawarkan konsultasi ahli, desain kluster, dukungan penerapan, dan pemeliharaan berkelanjutan. Komitmen kami terhadap dukungan Ceph profesional dan integrasi yang mulus memastikan bahwa pelanggan mendapatkan hasil maksimal dari infrastruktur penyimpanan berbasis Ceph mereka — secara skala, dengan cepat, dan dalam anggaran.