White Paper - Un sistema de gestión de video convergente escalable y de alta disponibilidad basado en microservidores Arm | Soluciones de almacenamiento Ceph para microservidores ARM | Ambedded

Sistema de vigilancia basado en microservidores que combina almacenamiento escalable Ceph y sistema Nx Server VMS | Interfaz de gestión de Ceph fácil de usar

Sistema de vigilancia basado en microservidores que combina almacenamiento escalable Ceph y sistema Nx Server VMS

Introducción al sistema de vigilancia basado en servidor
Los componentes de un sistema de vigilancia digital incluyen cámaras IP, sistemas de almacenamiento y software de gestión de video para grabar y administrar el video en vivo y grabado. Generalmente hay dos tipos de sistemas de vigilancia: el NVR basado en sistema integrado o el VMS basado en servidor. En comparación con el NVR basado en sistema integrado, el VMS basado en servidor ofrece mucha más flexibilidad, escalabilidad e inteligencia. Un sistema de vigilancia a gran escala generalmente elegirá la solución VMS basada en servidor.
El software de grabación VMS basado en servidor puede ejecutarse en servidores Linux o Windows que tienen una matriz de discos interna para video grabado. O bien, los servidores VMS solo realizan tareas de grabación y almacenan el video en un sistema de almacenamiento externo. La solución secundaria ofrece una mejor flexibilidad debido a que las escalas del servidor de grabación y el servidor de almacenamiento son independientes.
Si tienes un nuevo requisito para agregar más cámaras o capacidad de almacenamiento, puedes agregar servidores para el nuevo requisito.


16 Jul, 2020 Ambedded

White Paper - Un sistema de gestión de video convergente escalable y de alta disponibilidad basado en microservidores Arm

Puntos de Dolor Requieren Mejoras

Sin embargo, todavía existen algunos puntos de dolor en los sistemas de gestión de video basados en servidores que deben abordarse.

  1. La reconstrucción de un disco fallido en una matriz de discos lleva demasiado tiempo.El riesgo de pérdida de datos aumenta con el tamaño del disco. No importa si los servidores VMS utilizan un almacenamiento interno o un sistema de almacenamiento externo, utilizan el controlador RAID para proteger los datos contra la pérdida. Si una unidad de disco falla, el controlador de la matriz de discos tardará mucho tiempo en reconstruir los archivos en la unidad de repuesto.El tiempo de reconstrucción y la posibilidad de fallo al reconstruir la unidad son proporcionales al tamaño del disco.Hoy en día, el disco duro más grande es de 16TB y pronto estará disponible un disco de 20TB.El uso de discos de tamaño pequeño aumenta el costo total de los servidores de almacenamiento.
  2. El rendimiento de almacenamiento sufre un gran impacto durante el modo de reconstrucción degradada.
  3. El servidor tradicional tiene un gran dominio de fallos. Si un servidor falla, todos los videos dentro del servidor se vuelven inaccesibles o incluso se pierden.Cuanto más discos se instalan en un servidor, más archivos de video se pierden al mismo tiempo cuando el servidor falla.
  4. Las VMS carecen de una arquitectura de hardware elástica.

 

Utilice el almacenamiento definido por software y el microservidor Arm con el sistema de gestión de video Nx Witness de Network Optics.

En este artículo, presentaremos cómo el dispositivo de almacenamiento definido por software de Ambedded y el microservidor basado en Arm integran el software VMS de Network Optics para resolver algunos de los problemas que existen en la solución actual.

Dispositivo de almacenamiento definido por software

El dispositivo de almacenamiento definido por software Mars 400 de Ambedded Ceph Storage es una solución de almacenamiento definida por software lista para usar para empresas.El dispositivo integra un microservidor basado en ARM con software de almacenamiento Ceph y una interfaz de usuario web.Mars 400 proporciona un clúster de almacenamiento unificado que admite el sistema de objetos, bloques y archivos.Está diseñado para ofrecer un rendimiento, confiabilidad y escalabilidad excelentes sin ningún punto único de falla y un dominio de falla mínimo.

Sistema de Gestión de Video Nx Witness y Servidor Nx

Nx Witness VMS es un sistema de gestión de video IP (IPVMS) abierto diseñado para encontrar, ver, grabar y gestionar cámaras de video IP, así como integrarse rápidamente con sistemas y dispositivos de terceros. La aplicación del servidor Nx es un servidor multimedia ligero y potente responsable de descubrir y gestionar dispositivos y datos del sistema Nx Witness. El servidor Nx graba video de cámaras IP en almacenamiento interno o externo. Tiene una arquitectura de enjambre de servidores que garantiza que no haya un único punto de fallo.

Arquitectura de microservidores ARM

Las plataformas de microservidores pueden alojar 8 módulos de servidores ARM de 64 bits de cuatro núcleos en un chasis de una unidad de rack (1RU). Dos switches redundantes en el chasis proporcionan una conexión ascendente de 4x10 Gbps para escalar horizontalmente y acceder a los clientes. Cada módulo de microservidor ARM es un servidor Linux independiente que cuenta con CPU, memoria, almacenamiento y recursos de interfaz de red dedicados para el software de aplicaciones.

La arquitectura de microservidores proporciona una mayor accesibilidad debido a su falta de un único punto de fallo. Cada nodo de microservidor puede configurarse como un nodo de almacenamiento de un clúster de almacenamiento o como un nodo de servidor VMS de un clúster VMS.


Cuando el microservidor está configurado como un nodo de almacenamiento, se une al clúster de almacenamiento de Ceph para trabajar con otros nodos de almacenamiento. Si configuramos el microservidor como un servidor Nx, realiza su trabajo como un servidor VMS y monta un disco virtual desde el clúster de almacenamiento para almacenar los archivos de video grabados. Esto significa que puedes desplegar de manera flexible el número necesario de servidores Nx y servidores de almacenamiento Ceph, todo en los microservidores Mars 400. Debido a las ventajas del microservidor, tienes la flexibilidad de escalar el sistema de vigilancia con un pequeño incremento.


El Sistema de Gestión de Video utiliza almacenamiento definido por software de alta disponibilidad como almacenamiento de respaldo.

Cómo el almacenamiento definido por software protege y repara los datos contra fallas de hardware

El almacenamiento de Ceph utiliza replicación o algoritmo de código de borrado para proteger los datos contra pérdidas en lugar del controlador RAID. La codificación de borrado es similar a RAID 5 o RAID 6 en la matriz de discos, pero con mucha más flexibilidad que permite más fallos de disco en la actualidad. Puede proteger los datos no solo de fallas en el disco duro, sino también proteger los datos contra fallas del servidor, fallas del rack y cualquier escala de dominio de falla. Los archivos de datos o video se descomponen en objetos y cada objeto se divide en varios fragmentos de datos y se calculan fragmentos redundantes. El servidor de almacenamiento almacena de forma distribuida datos y fragmentos redundantes en los diferentes servidores de almacenamiento del clúster de almacenamiento. Si un servidor de almacenamiento se rompe, todos los datos almacenados dentro de ese servidor deben ser reparados. La recuperación de datos la realizan todos los servidores y discos saludables. Y, solo los fragmentos perdidos deben ser recompuestos en lugar de reconstruir todos los discos completos.

Hay tres ventajas principales del almacenamiento distribuido definido por software en comparación con el sistema de almacenamiento RAID.

  1. Los datos pueden sobrevivir a la falla de uno o más nodos del servidor.
  2. La recuperación de datos es mucho más rápida que el RAID porque todos los discos sanos en el clúster ayudan a la recuperación de datos en paralelo y solo se necesita recuperar los datos perdidos. Si hay más discos en el clúster, la velocidad de recuperación es más rápida. Un experimento de perder un disco de 10TB con un uso del 60% en un clúster de 36 discos tomó 2.5 días para la recuperación. La velocidad de recuperación es de 28.5MB/s para esta escala de experimento. (Perfil de código de borrado de arcilla 4+2)
  3. Durante la curación, la sanación no interrumpe la grabación de video
  4. Puede utilizar unidades de disco de gran capacidad como HDD de 16TB en el clúster de almacenamiento Ceph para obtener la misma capacidad con menos servidores.

¿Cuántas cámaras puede grabar un microservidor?

Configuramos un entorno de pruebas para poner a prueba el servidor Nx en Ambedded Servidor micro Mars 400. El experimento utilizó en primer lugar un servidor para simular cámaras IP para transmitir videos a un microservidor Arm. El formato de transmisión de video es H.264, calidad alta de 1080p a 30 cuadros por segundo. El servidor Arm VMS monta un disco virtual como su almacenamiento. El resultado de la prueba concluye que un microservidor puede grabar un máximo de 30 cámaras sin perder el fotograma de video. La prueba también incluye el escenario cuando el disco virtual está lleno. Esto implica que un Mars 400 de 1U que aloja ocho microservidores puede soportar 240 cámaras de videos de alta definición. Esto implica que un Mars 400 de 1U que aloja ocho microservidores puede admitir hasta 240 transmisiones de video de alta definición de cámaras. Este es un gran logro al utilizar un servidor de 1U y consumir solo 100 Watts de energía.

Prueba con cámaras IP reales

En otra prueba, utilizamos cincuenta cámaras IP para realizar el test en un entorno real.

Lista de equipos:

  • Cámaras IP: 25x con cable y 25x inalámbricas
  • Servidor Mars 400Nx: 8 nodos en 1U. 4 núcleos Arm A72, 4GB de RAM y 2x LAN de 2.5Gbps
  • Servidor Nx: 3 nodos Arm Mars 400Nx,

♦ 3 nodos están activos para grabación y reproducción. Hay un recurso de repuesto en cada nodo en caso de fallo de un nodo.

  • Almacenamiento:

♦ Protección de datos: código de borrado 4+2, permite hasta 2 fallos de disco duro al mismo tiempo

♦ Servidor Ceph: 21x microservidores para Ceph OSD + 3x microservidores para Ceph monitor

♦ Discos duros: 21x 16TB Seagate Exos Enterprise SATA HDD. Se pueden utilizar 224TB.

  • Red:

♦ 4x puertos de 10Gb para 4x Mars 400Nx

♦ 1x interruptor Gb para cámaras

♦ Punto de acceso inalámbrico x 2

Durante la grabación y la reproducción, solo se utiliza el 150% de los recursos de la CPU. El recurso máximo utilizable de la CPU es del 400%. Por favor, consulte la figura 1.

Figura 1: Uso de CPU en el nodo del servidor Nx


Hay un total de 4GB de memoria disponible en cada nodo. Se reserva 1GB de memoria para uso de repuesto. La cantidad de memoria utilizada durante la prueba es de aproximadamente 2.8 GB. El nodo del servidor puede soportar de manera estable hasta 30 cámaras.

Figura 2: Memoria no utilizada en el nodo del servidor Nx


El tráfico de la red durante la prueba es de aproximadamente 150Mbps de descarga y 130Mbps de subida. El ancho de banda de la red de 2x 2.5Gb es mucho mayor que el tráfico real.

Figura 3: Tráfico de red de los nodos del servidor Nx


Conmutación por error del nodo del servidor VMS

El servidor de Network Optics VMS tiene la función de conmutación automática del servidor, que permite a los servidores VMS saludables conectarse a las cámaras de un servidor Nx VMS fallido. En nuestra prueba, configuramos tres microservidores como servidor Nx VMS. Pueden manejar un total de 90 cámaras. En condiciones normales, 50 cámaras de prueba se conectan de manera equitativa a los tres servidores. Simulamos un servidor fuera de línea apagándolo. Demostramos que 18 cámaras conectadas al servidor fallido pueden reconectarse automáticamente a los otros dos servidores en aproximadamente un minuto.

 

Esto implica que al utilizar la solución de microservidor para el servidor Nx VMS, solo se necesita 1/8 de un servidor Mars 400Nx de 1U reservado para la conmutación por error. En comparación con un servidor de nodo grande, la arquitectura de microservidor puede ahorrar el costo de un servidor para la configuración de conmutación por error.

Ejemplo de diseño

Requisitos del proyecto

  1. Número de cámaras: 200 cámaras
  2. Velocidad de bits por cámara para 1080p, alta calidad, 30 FPS: 4.87Mbps
  3. Horas de grabación por día: 16 horas
  4. Días para grabar: 60 días

 

Cálculo de los requisitos del servidor

  1. La capacidad total de almacenamiento utilizable requerida: 411 TB
  2. La capacidad total en bruto requerida si utilizamos el código de borrado 4+2: 678 TB
  3. Capacidad del disco duro: 16 TB
  4. Número de discos duros requeridos: 43 HDDs
  5. Número de nodos requeridos para el almacenamiento (Ceph OSD): 43
  6. Nodo de monitorización de Ceph: 3
  7. Nodos de servidor Nx para 200 cámaras: 200/30 = 7 nodos.
  8. Nodo de repuesto para la conmutación por error de NxServer: 1 nodo
  9. Total de nodos de microservidor requeridos: 43 + 3 + 7 + 1 = 54 nodos
  10. Total de Mars 400Nx requeridos: 54/8 = 7x 1U Mars 40Nx
  11. Nodos de repuesto: (7 x 8) - 54 = 2 nodos
  12. Consumo total de energía del servidor excluyendo HDD: 7 x 100 Watts = 700 Watts

 

Conclusión

Ambedded Mars 400Nx combina el servidor Nx VMS y el almacenamiento definido por software, y tiene las siguientes ventajas:

  1. El almacenamiento definido por software de Mars 400Nx puede proteger los datos no solo contra fallas de disco, sino también contra fallas del servidor.
  2. Cuando hay fallas de disco, Mars 400Nx repara los datos de forma paralela en todos los discos sanos. Es de 4 a 5 veces más rápido en comparación con el controlador RAID.
  3. Mars 400Nx puede mantener la grabación y reproducción de video durante la reparación de datos.
  4. Puede utilizar discos de gran capacidad en el clúster de almacenamiento Mars 400Nx para reducir el costo total del sistema de almacenamiento.
  5. Un servidor VMS Mars 400Nx de 1U puede admitir hasta 240 cámaras 1080p. Puede diseñar el sistema VMS con una combinación flexible de servidores de almacenamiento y VMS.
  6. El servidor Arm Mars 400Nx ahorra un 70 por ciento en el consumo de energía en comparación con los servidores x86.

Acerca de Ambedded

Ambedded es una empresa de almacenamiento definido por software con experiencia en sistemas operativos Linux, kernel, almacenamiento definido por software, sistemas integrados y servidores Arm.

La visión de Ambedded es hacer que el uso del almacenamiento definido por software Ceph sea fácil para que las empresas puedan beneficiarse de Ceph con una curva de aprendizaje más corta.

Ambedded simplifica Ceph ofreciendo una interfaz de usuario fácil de usar, un dispositivo de almacenamiento listo para usar, ajuste de estabilidad y rendimiento, implementación automatizada y soporte profesional.

Con el appliance Ceph diseñado específicamente, el equipo de Ambedded cuenta con una amplia experiencia para ayudar a los clientes a adoptar nuestra solución Ceph en diversas industrias, como las de telecomunicaciones, médica, militar, centros de datos periféricos y empresas que requieren almacenamiento de alta disponibilidad.

Visite el sitio web de Ambedded para más detalles.

Sobre Network Optics

Network Optix es una empresa de desarrollo de software enfocada en crear soluciones de gestión de video de vanguardia. Nuestro producto principal - Nx VMS - es una plataforma de gestión de video abierta, liviana y personalizable capaz de gestionar medios sin conexión, transmisiones de video en vivo y sistemas y dispositivos de terceros integrados. Nx VMS es una plataforma de transmisión en vivo gratuita, habilitada en la nube, accesible de forma remota, escalable a cualquier tamaño y con licencia solo cuando se requiere la grabación y búsqueda de cámaras de video IP. Nx VMS también está abierto para desarrolladores, con una documentación completa de API y SDK incorporada y gratuita para usar, lo que permite a las organizaciones o individuos crear sus propias aplicaciones impulsadas por video para cualquier mercado vertical o proyecto.

Agradecimientos

Nos gustaría agradecer a Seagate y Network Optix por proporcionar los discos duros empresariales Exos X16 y las cámaras IP utilizadas en este proyecto.

Referencia:

  • Por qué RAID dejó de funcionar en 2019, Por Robin Harris para Storage Bits
    https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/
  • Por qué la mejor configuración de RAID es no tener configuración de RAID por Colaborador Invitado → https://blog.shi.com/hardware/mejor-configuracion-raid-sin-configuracion-raid/
Video

Mars 400Nx ofrece un almacenamiento Ceph de alta disponibilidad para el software Nx VMS



Combina el almacenamiento Ceph y el sistema de gestión de video para crear un sistema de vigilancia digital convergente.



Tecnología relacionada
Microservidor basado en ARM

Plataforma de microservidores ARM Ambedded, con un tamaño de 4.4 x 6.6 cm, es el servidor de red más pequeño, completamente equipado para administrar...

Productos Relacionados
Sistema de Gestión de Video Convergente - Sistema de gestión de video con Ceph.
Sistema de Gestión de Video Convergente
Mars 400Nx

El Ambedded Mars400Nx es un sistema de gestión de video escalable que proporciona funcionalidad integrada entre el servidor de VMS de Network Optix y el almacenamiento...

Detalles

Dispositivo de almacenamiento Ceph

Hoja de datos de hardware y software del dispositivo de almacenamiento Ceph Mars 400.

Sistema de vigilancia basado en microservidores que combina almacenamiento escalable Ceph y sistema Nx Server VMS | UVS Manager - Simplificando la implementación de Ceph | Ambedded

Ubicada en Taiwán desde 2013, Ambedded Technology Co., LTD. ha sido proveedor de soluciones de almacenamiento de bloques y objetos. Sus principales servicios de gestión de almacenamiento de datos incluyen tecnología de almacenamiento Ceph, integración de servidores ARM, almacenamiento definido por software, optimización de almacenamiento empresarial, ahorro de costos en dispositivos Ceph, software de gestión de almacenamiento y soluciones de almacenamiento de bloques y objetos. Ofrecen soporte profesional de Ceph, sistemas de almacenamiento escalables con alta eficiencia de almacenamiento en el centro de datos.

Ambedded ofrece soluciones de almacenamiento Ceph de vanguardia en microservidores ARM, diseñadas para compradores B2B que buscan optimizar sus sistemas de almacenamiento empresarial. Nuestros dispositivos Ceph llave en mano reducen el costo total de propiedad (TCO) y simplifican la gestión del almacenamiento, admitiendo almacenamiento de bloques, sistemas de archivos y objetos en una plataforma unificada. Con un compromiso con la innovación y el soporte al cliente, Ambedded es su socio de confianza para soluciones escalables y eficientes de SUSE Enterprise Storage Appliance. Experimenta una integración perfecta y un soporte profesional para aprovechar todo el potencial de la tecnología Ceph en tu negocio.

Ambedded ha estado proporcionando a los clientes sistemas de almacenamiento escalables y una gestión de almacenamiento Ceph rentable desde 2013, y con tecnología avanzada y 20 años de experiencia, Ambedded garantiza que se satisfagan las necesidades de cada cliente.