El sistema de vigilancia basado en microservidor combina el almacenamiento Ceph escalable y el sistema VMS del servidor Nx

El dispositivo de almacenamiento Ceph integra una pila de software ajustada y un servidor Arm especialmente diseñado que ofrece un rendimiento, una fiabilidad, una interfaz de usuario web y una reducción del coste total de propiedad excepcionales.

El sistema de vigilancia basado en microservidor combina el almacenamiento Ceph escalable y el sistema VMS del servidor Nx

Introducción al sistema de vigilancia basado en servidor
Los componentes de un sistema de vigilancia digital incluyen cámaras IP, sistemas de almacenamiento y software de gestión de video para grabar y administrar el video en vivo y grabado. Generalmente hay dos tipos de sistemas de vigilancia; el NVR basado en el sistema integrado o el VMS basado en servidor. En comparación con el sistema integrado NVR, el VMS basado en servidor proporciona mucha flexibilidad, escalabilidad e inteligencia. Un sistema de vigilancia a mayor escala generalmente elegirá la solución VMS basada en servidor.
El software de grabación VMS basado en servidor puede ejecutarse en servidores basados ​​en Linux o Windows que tengan una matriz de disco interna para video grabado. O bien, los servidores VMS solo realizan trabajos de grabación y almacenan video en un sistema de almacenamiento externo. La solución secundaria ofrece una mayor flexibilidad debido a que las escalas del servidor de grabación y el servidor de almacenamiento son independientes.
Si tiene un nuevo requisito para agregar más cámaras o capacidad de almacenamiento, puede agregar servidores para el nuevo requisito.


16 Jul, 2020 integrado

Informe técnico: un sistema de gestión de video convergente escalable y de alta disponibilidad basado en Arm Microserver

Los puntos débiles requieren mejoras

Sin embargo, todavía existen algunos puntos débiles en el VMS basado en servidor que deben abordarse.

  1. La reconstrucción de un disco fallido en una matriz de discos lleva demasiado tiempo. El riesgo de pérdida de datos aumenta con el tamaño del disco. No importa si los servidores VMS usan un almacenamiento interno o un sistema de almacenamiento externo, usan el controlador RAID para proteger los datos contra pérdidas.  Si una unidad de disco falla, el controlador de matriz de discos tardará mucho tiempo en reconstruir los archivos en la unidad de repuesto. El tiempo de reconstrucción y la posibilidad de que no se pueda reconstruir la unidad son proporcionales al tamaño del disco. Hoy en día, el disco duro más grande es de 16 TB y pronto estará disponible un disco de 20 TB. El uso de discos de tamaño pequeño aumenta el costo total de los servidores de almacenamiento.
  2. El rendimiento del almacenamiento sufre un gran impacto durante el modo de reconstrucción degradado.
  3. El servidor tradicional tiene un gran dominio de errores. Si un servidor falla, todos los videos dentro del servidor se vuelven inaccesibles o incluso se pierden. Se instalan más discos en un servidor, se pierden más archivos de video al mismo tiempo cuando falla el servidor.
  4. VMS carece de una arquitectura de hardware elástica.

 

Usar almacenamiento definido por software y armar MicroServer con Network Optics Nx Witness Video Management System

En este artículo, presentaremos cómo el dispositivo de almacenamiento definido por software de Ambedded y el microservidor basado en Arm integran el software VMS de Network Optics para resolver algunos de los problemas que existen en la solución actual.

Dispositivo de almacenamiento definido por software

El dispositivo Mars 400 Ceph Storage Appliance de almacenamiento definido por software de Ambedded es una solución de almacenamiento definida por software llave en mano para empresas. El dispositivo integra un microservidor basado en ARM con el software de almacenamiento Ceph y la interfaz de usuario web. Mars 400 proporciona un clúster de almacenamiento unificado que admite el sistema de objetos, bloques y archivos. Está diseñado para proporcionar un excelente rendimiento, confiabilidad y escalabilidad sin un punto único de falla y un dominio de falla mínimo.

Sistema de gestión de video Nx Witness y servidor Nx

Nx Witness VMS es un sistema abierto de administración de video IP (IPVMS) diseñado para buscar, ver, grabar y administrar cámaras de video IP, así como para integrarse rápidamente con sistemas y dispositivos de terceros. La aplicación Nx Server es un servidor de medios liviano y potente responsable de descubrir y administrar dispositivos y datos del sistema Nx Witness. El servidor Nx graba videos de cámaras IP en un almacenamiento adjunto interno o externo. Tiene una arquitectura de colmena de servidor que garantiza que no haya ningún punto único de falla.

Armar arquitectura de microservidor

Las plataformas de microservidor admiten 8 módulos de servidores Quad-Core ARM de 64 bits en un chasis de una unidad de rack (1RU). Dos conmutadores redundantes en el chasis proporcionan un enlace ascendente de 4 x 10 Gbps para escalamiento horizontal y acceso de clientes. Cada módulo de microservidor ARM es un servidor Linux independiente que posee CPU, memoria, almacenamiento y recursos de interfaz de red dedicados para el software de la aplicación.

La arquitectura de microservidor proporciona una mayor accesibilidad debido a la falta de un único punto de falla. Cada nodo de microservidor se puede configurar como un nodo de almacenamiento de un clúster de almacenamiento o un nodo de servidor VMS del clúster VMS.


Cuando el microservidor se configura como un nodo de almacenamiento, se une al clúster de Ceph storage para trabajar con otros nodos de almacenamiento. Si configuramos el microservidor como un servidor Nx, hace su trabajo como un servidor VMS y monta un disco virtual desde el clúster de almacenamiento para almacenar los archivos de video grabados. Esto significa que puede implementar de manera flexible la cantidad necesaria de servidores Nx y servidores de almacenamiento Ceph en microservidores Mars 400. Debido a las ventajas del microservidor, tiene la flexibilidad de escalar el sistema de vigilancia con un pequeño incremento.


El sistema de gestión de video utiliza el almacenamiento definido por software de alta disponibilidad como almacenamiento de back-end.

Cómo el almacenamiento definido por software protege y recupera los datos contra fallas de hardware

El almacenamiento de Ceph utiliza un algoritmo de código de replicación o borrado para proteger los datos contra pérdidas en lugar del controlador RAID. La codificación de borrado es análoga a RAID 5 o RAID 6 en la matriz de discos, pero con mucha flexibilidad para permitir que más discos fallen actualmente. Puede proteger los datos no solo de las fallas de la unidad de disco, sino también de las fallas del servidor, fallas del bastidor y cualquier escala de dominio de fallas. Los archivos de datos o video primero se dividen en objetos y cada objeto se divide en varios fragmentos de datos y fragmentos redundantes calculados. El servidor de almacenamiento almacena datos y fragmentos redundantes de forma distribuida en los diferentes servidores de almacenamiento del clúster de almacenamiento. Si un servidor de almacenamiento falla, todos los datos almacenados dentro de ese servidor deben recuperarse. La reparación de datos la realizan todos los servidores y discos en buen estado. Y,

Hay tres ventajas principales del almacenamiento definido por software distribuido en comparación con el sistema de almacenamiento RAID.

  1. Los datos pueden sobrevivir a partir de una o más interrupciones del nodo del servidor.
  2. La recuperación de datos es mucho más rápida que RAID porque todos los discos en buen estado del clúster ayudan a reparar los datos en paralelo y solo los datos perdidos necesitan recuperación. Si hay más discos en el clúster, la velocidad de reparación es más rápida. Un experimento de pérdida de una unidad de 10 TB con un uso del 60 % en un clúster de 36 unidades tardó 2,5 días en recuperarse. La velocidad de recuperación es de 28,5 MB/s para esta escala de experimento. (Clay Erasure código 4+2 perfil)
  3. Durante la recuperación, la curación no interrumpe la grabación de video.
  4. Puede usar unidades de disco de gran capacidad como HDD de 16 TB en el clúster de almacenamiento de Ceph para obtener la misma capacidad con menos servidores.

¿Cuántas cámaras de grabación puede soportar un microservidor?

Configuramos un entorno de prueba para estresar el servidor Nx en el microservidor Ambedded Mars 400. El experimento primero usó un servidor para simular cámaras IP para transmitir videos a un microservidor Arm. El formato de transmisión de video es H.264, 1080p de alta calidad a 30 cuadros por segundo. El servidor Arm VMS monta un disco virtual como su almacenamiento. El resultado de la prueba concluye que un microservidor puede grabar un máximo de 30 cámaras sin perder el cuadro de video. La prueba también incluye el escenario mientras el disco virtual está lleno. Esto implica que un Mars 400 de 1U que alberga ocho microservidores puede admitir 240 cámaras de video de alta definición. Esto implica que un Mars 400 de 1U que aloja ocho microservidores puede soportar hasta 240 flujos de video de alta definición de cámara. Este es un gran logro al usar un servidor 1U y consume solo 100 Watts de energía.

Prueba con cámaras IP reales

En otra prueba, utilizamos cincuenta cámaras IP para realizar la prueba en un entorno real.

Lista de equipo:

  • Cámaras IP: 25x cableadas y 25x inalámbricas
  • Servidor Mars 400Nx: 8 nodos en 1U. Arm A72 de 4 núcleos, 4 GB de RAM y 2 LAN de 2,5 Gbps
  • Servidor Nx: 3 nodos Mars 400Nx Arm,

♦ 3 nodos están activos para grabación y reproducción. Hay un recurso de repuesto en cada nodo para la conmutación por error de un nodo.

  • Almacenamiento:

♦ Protección de datos: código de borrado 4+2, permite hasta 2 fallas en el disco duro al mismo tiempo

♦ Servidor Ceph: microservidor 21x para Ceph OSD + microservidor 3x para monitor Ceph

♦ Discos duros: 21 unidades de disco duro Seagate Exos Enterprise SATA de 16 TB. 224 TB es utilizable.

  • La red:

♦ 4 puertos de 10 Gb para 4 Mars 400Nx

♦ 1 conmutador Gb para cámaras

♦ Punto de acceso inalámbrico x 2

Durante la grabación y la reproducción, solo se utiliza el 150 % de los recursos de la CPU. El recurso de CPU utilizable máximo es 400%. Consulte la figura 1.

Figura 1: Uso de la CPU del nodo del servidor Nx


Hay un total de 4 GB de memoria disponible en cada nodo. La memoria de 1 GB está reservada para uso adicional. La cantidad de memoria utilizada durante la prueba es de aproximadamente 2,8 GB. El nodo del servidor puede admitir de manera estable hasta 30 cámaras.

Figura 2: Memoria no utilizada del nodo del servidor Nx


El tráfico de red durante la prueba es de aproximadamente 150 Mbps de descarga y 130 Mbps de carga. El ancho de banda de la red 2x 2.5Gb es mucho más alto que el tráfico real.

Figura 3: Tráfico de red de nodos de Nx Server


Conmutación por error del nodo del servidor VMS

El servidor VMS de Network Optics tiene la función de conmutación por error automática del servidor, que permite que los servidores VMS en buen estado conecten cámaras desde un servidor Nx VMS fallido. En nuestra prueba, configuramos tres microservidores como servidor Nx VMS. Pueden manejar un total de 90 cámaras. En condiciones normales, 50 cámaras bajo prueba están conectadas uniformemente a las tres cámaras. Simulamos un servidor fuera de línea apagándolo. Probamos que 18 cámaras conectadas al servidor fallido pueden volver a conectarse automáticamente a los otros dos servidores en aproximadamente un minuto. 

 

Esto implica que usar la solución de microservidor para el servidor Nx VMS; solo necesita 1/8 de un servidor Mars 400Nx de 1U reservado para la conmutación por error. Compare con un servidor de nodo grande; La arquitectura de microservidor puede ahorrar el costo de un servidor para la configuración de conmutación por error.

Ejemplo de diseño

Requerimientos del proyecto

  1. Número de cámaras: 200 cámaras
  2. Tasa de bits por cámara para 1080p, alta calidad, 30 FPS: 4,87 Mbps
  3. Horas de grabación por día: 16 horas
  4. Días para grabar: 60 días

 

Cálculo de los requisitos del servidor

  1. La capacidad de almacenamiento utilizable total requerida: 411 TB
  2. La capacidad bruta total requerida si usamos el código de borrado 4+2: 678 TB
  3. Capacidad del disco duro: 16TB
  4. Número de discos duros necesarios: 43 HDD
  5. Número de nodos necesarios para el almacenamiento (Ceph OSD): 43
  6. Nodo de Ceph Monitor: 3
  7. Nodos de servidor Nx para 200 cámaras: 200/30 = 7 nodos.
  8. Nodo de repuesto para conmutación por error de NxServer: 1 nodo
  9. Total de nodos de microservidor necesarios: 43 + 3 + 7 + 1 = 54 nodos
  10. Mars 400Nx total requerido: 54/8 = 7x 1U Mars 40Nx
  11. Nodos de repuesto: (7 x 8) - 54 = 2 nodos
  12. Consumo total de energía del servidor excluyendo HDD: 7 x 100 Watts = 700 Watts

 

Conclusión

Embedded Mars 400Nx combina el servidor Nx VMS y el almacenamiento definido por software tiene las siguientes ventajas:

  1. El almacenamiento definido por software de Mars 400Nx puede proteger los datos no solo contra fallas del disco, sino también contra fallas del servidor.
  2. Cuando hay fallas en el disco, Mars 400Nx vuelve a reparar los datos en paralelo por todas las unidades en buen estado. Es de 4 a 5 veces más rápido en comparación con el controlador RAID.
  3. Mars 400Nx puede mantener su grabación y reproducción de video durante la recuperación de datos.
  4. Puede usar unidades de disco de gran capacidad como en el clúster de almacenamiento Mars 400Nx para reducir el costo total del sistema de almacenamiento.
  5. Un servidor VMS Mars 400Nx de 1U puede admitir hasta 240 cámaras de 1080p. Puede diseñar el sistema VMS con una combinación flexible de almacenamiento y servidores VMS.
  6. El servidor Mars 400Nx Arm ahorra un 70 % del consumo de energía en comparación con los servidores x86.

Acerca de Embedded

Ambedded es una empresa de almacenamiento definido por software con experiencia en SO Linux, kernel, almacenamiento definido por software, sistema integrado y servidor Arm.

La visión de Ambedded es facilitar el uso del almacenamiento definido por software de Ceph para que las empresas puedan beneficiarse de Ceph con una curva de aprendizaje más corta.

Ambedded simplifica Ceph al ofrecer una interfaz de usuario fácil de usar, un dispositivo de almacenamiento listo para usar, ajuste de estabilidad y rendimiento, implementación automatizada y soporte profesional.

Con el dispositivo Ceph especialmente diseñado, el equipo de Ambedded posee una amplia experiencia para ayudar a los clientes a adoptar nuestra solución ceph en industrias versátiles, como telecomunicaciones, médica, militar, centro de datos perimetral y empresas que requieren almacenamiento de alta disponibilidad.

Visite el sitio web de Ambedded para obtener más detalles.

Acerca de la óptica de red

Network Optix es una empresa de desarrollo de software enfocada en crear soluciones de gestión de video de vanguardia. Nuestro producto principal, Nx VMS, es una plataforma de administración de video abierta, liviana y personalizable capaz de administrar medios fuera de línea, transmisiones de video en vivo y sistemas y dispositivos integrados de terceros. Nx VMS es una plataforma de transmisión en vivo gratuita: habilitada para la nube, accesible de forma remota, escalable a cualquier tamaño y con licencia solo cuando se requiere grabación y búsqueda de cámaras de video IP. Nx VMS también está abierto para desarrolladores, con documentación completa de API y SDK incorporada y de uso gratuito, lo que permite a las organizaciones o individuos crear sus propias aplicaciones basadas en video para cualquier mercado o proyecto vertical.

Expresiones de gratitud

Nos gustaría agradecer a Seagate y Network Optix por proporcionar las unidades de disco duro Exos X16 Enterprise y las cámaras IP utilizadas para este proyecto.

Referencia:

  • Por qué RAID dejó de funcionar en 2019, por Robin Harris para Storage Bits
    https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/
  • Por qué la mejor configuración RAID no es una configuración RAID de Guest Blogger  →  https://blog.shi.com/hardware/best-raid-configuration-no-raid-configuration/
Video

Mars 400Nx ofrece un almacenamiento ceph de alta disponibilidad para el software Nx VMS



Combine Ceph Storage y Video Management System para convertirse en un sistema de vigilancia digital convergente.



Tecnología relacionada
Microservidor basado en ARM

Plataforma de microservidor ARM integrado, con unas medidas de 4,4 x 6,6 cm, es el servidor de red más pequeño, totalmente equipado para gestionar el almacenamiento...

Productos relacionados
Sistema de gestión de video convergente - Sistema de gestión de vídeo con Ceph.
Sistema de gestión de video convergente
Marte 400Nx

El Ambedded Mars400Nx es un sistema de gestión de video escalable que proporciona una funcionalidad integrada entre el servidor Network Optix VMS y el almacenamiento...

Detalles

Dispositivo de almacenamiento Ceph

Hoja de datos de hardware y software del dispositivo de almacenamiento Mars 400 Ceph.

Ambedded: una solución de almacenamiento Ceph profesional para el mercado.

Ubicado en Taiwán desde 2013,Ambedded Technology Co., LTD.es un proveedor de soluciones de almacenamiento de Ceph que ofrece dispositivos de almacenamiento definidos por software basados ​​en ARM con un 60 % de ahorro de CapEX, un 70 % menos de consumo de energía y un 100 % de ventajas de escalabilidad horizontal.

Para el diseño y la fabricación de almacenamiento definido por software, el equipo de Ambedded tiene una amplia experiencia para ayudar a los clientes a adoptar la solución ceph en industrias versátiles, como telecomunicaciones, médica, militar, centro de datos perimetral y almacenamiento empresarial que requiere alta disponibilidad.

Ambedded ha estado ofreciendo a los clientes soluciones de almacenamiento Ceph desde 2013, tecnología avanzada y 20 años de experiencia, Ambedded garantiza que se cumplan las demandas de cada cliente.