Comment se comporte le tiering de cache Ceph ?

Introduction :
Dans ce post, nous partageons un test de référence pour démontrer comment le tiering de cache Ceph peut améliorer les performances d'un pool HDD en configurant un niveau de cache soutenu par un pool NVMe.

14 Apr, 2023 Ambedded

Qu'est-ce que Ceph Cache Tier et comment cela fonctionne

La couche de cache Ceph permet d'utiliser des dispositifs de stockage plus rapides comme cache pour les plus lents. Cela implique la création d'un pool de dispositifs de stockage rapides/coûteux (comme les SSD NVMe) configurés pour agir comme une couche de cache, et d'un pool de sauvegarde plus lent/moins cher composé soit de dispositifs à code d'effacement, soit de dispositifs plus lents (comme les disques durs) configurés pour agir comme une couche de stockage économique. La couche de cache stocke les données fréquemment consultées de la couche de support et répond aux demandes de lecture et d'écriture des clients. L'agent de hiérarchisation du cache vide périodiquement ou évince des objets de la couche de cache en fonction de certaines politiques.

Démo de la couche de cache Ceph

Dans le passé, lors de l'utilisation du SSD SATA comme dispositif de stockage de la couche cache, l'amélioration des performances obtenue en utilisant la mise en cache était insignifiante. De nos jours, le coût des SSD NVMe a considérablement baissé par rapport à il y a plusieurs années, et les performances des SSD NVMe sont bien plus rapides que celles des disques durs. Nous souhaitons savoir si l'utilisation du SSD NVMe comme couche cache peut grandement aider un pool de disques durs.

Pour tester l'efficacité du niveau de cache NVMe, nous avons mis en place un test pour voir si le niveau de cache améliorait les performances d'un pool de stockage basé sur un HDD.

Configuration du cluster

Hôtes NVME	3 x Ambedded Mars500 Ceph Appliances
Spécification de chaque appareil Mars 500
CPU	1x Ampere Altra Arm 64-Core 3.0 Ghz
Mémoire	96 GiB DDR4
Réseau	2 ports 25Gbps Mellanox ConnectX-6
Lecteurs OSD	8 x Micron 7400 960GB

Hôtes de disque dur	3 x Ambedded Mars400 Ceph Appliances
Spécification de chaque appareil Mars 400
CPU	8 nœuds Quad-Cores Arm64 1.2 GHz
Mémoire	4GiB par nœud. 32 GiB par appareil
Réseau	2 x 2.5Gbps par nœud. 2x 10 Gb liaison montante via un commutateur en châssis.
Lecteurs OSD	8 x 6 TB Seagate Exos HDD

Informations sur le cluster Ceph

24 x OSD sur NVMe SSD (3x appareils Mars500 Ambedded)
24x OSD sur HDD (3x appareils Mars400 Ambedded)
Les serveurs HDD et NVMe sont situés dans des racines CRUSH séparées.

Clients de test

2 x serveurs physiques. 2x carte réseau 25 Gb
Chaque serveur exécute 7x VM.
Chaque VM a 4x cœurs et 8 Go de mémoire

Configurer le Cache Tier par le gestionnaire UVS Ambedded

1. Créez un pool de base en utilisant le disque dur osd.

2. Créez un pool NVMe en utilisant l'osd NVMe SSD.

3. Ajoutez le pool NVMe en tant que niveau de cache du pool HDD.
les configurations par défaut du niveau de cache:

Mode de cache : écriture différée

hit_set_count = 12

hit_set_period = 14400 sec (4 heures)

target_max_byte = 2 TiB

target_max_objects = 1 million

min_read_recency_for_promote & min_write_recency_for_promote = 2

cache_target_dirty_ratio = 0.4

cache_target_dirty_high_ratio = 0.6

cache_target_full_ratio = 0.8

cache_min_flush_age = 600 sec.

cache_min_evict_age = 1800 sec.

Nous avons testé le pool de disques durs avant et après l'ajout du niveau de cache, en utilisant jusqu'à 14 clients pour générer des charges de test. Chaque client a monté un RBD pour le test fio. Le test de charge a commencé avec un client et le nombre de clients a augmenté après chaque tâche de test terminée. Chaque cycle de test a duré cinq minutes et a été automatiquement contrôlé par Jenkins. La performance d'un emploi de test était la somme des résultats de tous les clients. Avant de tester le tiering du cache, nous avons écrit des données sur les RBD jusqu'à ce que le pool du cache tier soit rempli au-dessus du ratio complet cible du cache ceph (0,8).

Les diagrammes ont montré que les performances du pool HDD pur ont été considérablement améliorées après l'ajout d'un pool de cache NVMe.

Pendant le test du niveau de cache, nous avons observé les statistiques du pool en utilisant la commande ceph osd pool stats. Les pools de cache et de base avaient des activités de vidage, d'éviction et de promotion. Nous avons capturé les statistiques du pool à différents moments pendant le test du niveau de cache.

Les données ont été écrites dans le cache
id du pool cache 84
client io 21 MiB/s écriture, 0 op/s lecture, 5,49k op/s écriture

id du pool mars400_rbd 86
rien ne se passe

Cache faisait la promotion et l'expulsion
ID de cache du pool 84
E/S client 42 Mio/s en temps réel, 0 opération/s en temps réel, 10,79 000 opérations/s en temps réel
niveau de cache io : 179 Mio/s, expulsion, 17 opérations/s, promotion

pool mars400_rbd identifiant 86
E/S client 0 B/s en temps réel, 1,4 Mio/s en temps réel, 18 opérations/s en temps réel, 358 opérations/s en temps réel

Le cache était en cours de vidage
identifiant du pool de cache 84
E/S client 3,2 Gio/s en lecture, 830 op/s en lecture, 0 op/s en écriture
E/S du niveau de cache 238 Mio/s en vidage, 14 op/s en promotion, 1 PG en cours de vidage

identifiant du pool mars400_rbd 86
E/S client 126 Mio/s en lecture, 232 Mio/s en écriture, 44 op/s en lecture, 57 op/s en écriture

PG était en train d'expulser
Cache du pool ID 84
IO client 2.6 Gio/s en lecture, 0 o/s en écriture, 663 op/s en lecture, 0 op/s en écriture
IO du cache tier 340 Mio/s en vidage, 2.7 Mio/s en expulsion, 21 op/s en promotion, 1 PG en cours d'expulsion (plein)

Pool mars400_rbd ID 86
IO client 768 Mio/s en lecture, 344 Mio/s en écriture, 212 op/s en lecture, 86 op/s en écriture

Vidage de PG et IO client direct vers le pool de base.(les clients étaient en train d'écrire des données)
identifiant du cache de la piscine 84
io du client 0 B/s en écriture, 0 op/s en lecture, 1 op/s en écriture
io de la couche de cache 515 MiB/s en vidage, 7.7 MiB/s en éviction, 1 PGs en vidage

identifiant de la piscine mars400_rbd 86
io du client 613 MiB/s en écriture, 0 op/s en lecture, 153 op/s en écriture

Après le test continu, nous avons laissé le cluster se reposer pendant des heures et avons refait le test d'écriture aléatoire de 4 ko. Nous avons obtenu une performance nettement meilleure. C'était parce que l'espace de cache a été libéré pour la nouvelle écriture.

De ce test, nous sommes sûrs que l'utilisation du pool NVMe comme niveau de cache d'un pool HDD peut entraîner une amélioration significative des performances.

Il faut noter que la performance du niveau de cache ne peut pas être garantie. La performance dépend de la condition de succès du cache à ce moment-là, et la même performance ne peut pas être atteinte en répétant les tests avec la même configuration et les mêmes charges de travail.

Si votre application nécessite une performance constante, utilisez un pool SSD NMMe pur.

Produits associés: Appliance de stockage Ceph tout flash Mars500 NVME
Mars 500

L'appareil Mars 500 Ceph est conçu pour répondre aux besoins de stockage de données natives du cloud à haute performance. Il utilise la dernière technologie...
Détails

Appareil de stockage Ceph Mars 400PRO
Mars 400PRO

L'appliance Mars 400 Ceph est conçue pour répondre aux besoins de stockage de données cloud-native à haute capacité. Il utilise un disque dur pour...
Détails

Comment se comporte le tiering de cache Ceph ? | Solutions de stockage Ceph pour microserveurs ARM | Ambedded

Comment se comporte le tiering de cache Ceph ? | Solutions de stockage Ceph pour microserveurs ARM | Ambedded