Alta disponibilidad y durabilidad de datos

Ceph ofrece replicación, código EC, CRUSH, depuración para protección de datos y HA

Ceph ofrece replicación, código EC, CRUSH, depuración para protección de datos y HA

Alta disponibilidad y durabilidad de datos

El almacenamiento de objetos de Ceph logra la disponibilidad de los datos a través de la replicación y la codificación de borrado avanzada mediante la cual los datos se combinan con la información de paridad y luego se fragmentan y distribuyen en el grupo de almacenamiento.
Cuando falla un dispositivo de almacenamiento, solo se necesita un subconjunto de fragmentos para recuperar los datos, no hay tiempo de reconstrucción ni degradación del rendimiento, y los dispositivos de almacenamiento que fallan se pueden reemplazar cuando sea conveniente.
Ceph combina datos ampliamente distribuidos y tecnología de depuración de datos que valida continuamente los datos escritos en los medios y le permite lograr una durabilidad de datos de 15 nueves.


Replicación de datos, codificación de borrado y depuración

Replicación de objetos

Cuando un cliente va a escribir datos, utiliza el ID del objeto y el nombre del grupo para calcular en qué OSD escribirá. Después de que el cliente escribe datos en el OSD, el OSD copia los datos en uno o más OSD. Puede configurar tantas replicaciones como desee para que los datos puedan sobrevivir en caso de que varios OSD fallen al mismo tiempo. La replicación es similar al RAID-1 de la matriz de discos pero permite más copias de datos. Porque a escala, es posible que una simple replicación RAID-1 ya no cubra suficientemente el riesgo de falla del hardware. El único inconveniente de almacenar más réplicas es el costo de almacenamiento.

Los clientes de Ceph escriben datos aleatoriamente en OSD según el algoritmo CRUSH . Si falla el nodo o el disco OSD, Ceph puede recuperar los datos de otras replicaciones almacenadas en OSD en buen estado.

Puede definir el dominio de falla para hacer que Ceph almacene datos replicados en diferentes servidores, racks, salas o centros de datos para evitar la pérdida de datos debido a una o más fallas de todo el dominio de falla. Por ejemplo, si tiene 15 servidores de almacenamiento instalados en 5 bastidores (3 servidores en cada bastidor), puede utilizar la réplica tres y el bastidor como dominio de error. La escritura de datos en el clúster de Ceph siempre tendrá tres copias almacenadas en tres de los cinco bastidores. Los datos pueden sobrevivir con hasta 2 de los racks fallando sin degradar el servicio al cliente. La regla CRUSH es la clave para hacer que el almacenamiento de Ceph no tenga un único punto de falla .

CRUSH rules ensure replicated data are distributed to different server nodes by following the failure domain

Codificación de borrado

La replicación ofrece el mejor rendimiento general, pero no ahorra mucho espacio de almacenamiento. Especialmente si necesita un mayor grado de redundancia.
Para tener una alta disponibilidad de datos, es por eso que usamos RAID-5 o RAID-6 en el pasado como una alternativa a RAID-1. El RAID de paridad asegura la redundancia con mucha menos sobrecarga de almacenamiento a costa del rendimiento del almacenamiento (principalmente rendimiento de escritura). Ceph usa la codificación de borrado para lograr un resultado similar. Cuando la escala de su sistema de almacenamiento se vuelve grande, es posible que no se sienta seguro al permitir que solo uno o dos discos o dominios fallidos fallen al mismo tiempo. El algoritmo de código de borrado le permite configurar un mayor nivel de redundancia pero con menos espacio de sobrecarga.
La codificación de borrado fragmenta los datos originales en fragmentos de datos K y calcula fragmentos de codificación M adicionales. Ceph puede recuperar la cantidad máxima de datos M fallan los dominios mientras tanto. El K+M total de fragmentos se almacena en los OSD, que se encuentran en diferentes dominios de falla.

use Erasure coding K+M=4+2 for it data protection.

Depuración

Como parte del mantenimiento de la coherencia y la limpieza de los datos, los demonios OSD de Ceph pueden limpiar objetos dentro de grupos de ubicación. Es decir, Ceph OSD Daemons puede comparar metadatos de objetos en un grupo de ubicación con sus réplicas en grupos de ubicación almacenados en otros OSD. La limpieza (generalmente realizada a diario) detecta errores o errores del sistema de archivos. Ceph OSD Daemons también realiza una limpieza más profunda al comparar datos en objetos bit por bit. La limpieza profunda (generalmente realizada semanalmente) encuentra sectores defectuosos en una unidad que no eran evidentes en una limpieza ligera.

Curación de datos

Debido al diseño de ubicación de datos de Ceph, todos los OSD en buen estado recuperan los datos. No se requiere un disco de repuesto para la recuperación de datos. Esto puede hacer que el tiempo de recuperación sea mucho más corto en comparación con la matriz de discos, que tiene que reconstruir los datos perdidos en el disco de repuesto.

one server nodes fails the cluster will self-heal by applying same data protection method.

Configura el mapa y las reglas de CRUSH

Use el administrador de UVS para definir la distribución de datos y el dominio de fallas.




Ambedded: una solución de almacenamiento Ceph profesional para el mercado.

Ubicado en Taiwán desde 2013,Ambedded Technology Co., LTD.es un proveedor de soluciones de almacenamiento de Ceph que ofrece dispositivos de almacenamiento definidos por software basados ​​en ARM con un 60 % de ahorro de CapEX, un 70 % menos de consumo de energía y un 100 % de ventajas de escalabilidad horizontal.

Para el diseño y la fabricación de almacenamiento definido por software, el equipo de Ambedded tiene una amplia experiencia para ayudar a los clientes a adoptar la solución ceph en industrias versátiles, como telecomunicaciones, médica, militar, centro de datos perimetral y almacenamiento empresarial que requiere alta disponibilidad.

Ambedded ha estado ofreciendo a los clientes soluciones de almacenamiento Ceph desde 2013, tecnología avanzada y 20 años de experiencia, Ambedded garantiza que se cumplan las demandas de cada cliente.