El sistema de vigilancia basado en microservidor combina el almacenamiento Ceph escalable y el sistema VMS del servidor Nx / El dispositivo de almacenamiento Ceph integra una pila de software optimizada y un servidor Arm diseñado específicamente que ofrece un rendimiento, confiabilidad, interfaz de usuario web y reducción del TCO sobresalientes.

Introducción al sistema de vigilancia basado en servidor Los componentes de un sistema de vigilancia digital incluyen cámaras IP, sistemas de almacenamiento y software de administración de video para grabar y administrar el video en vivo y grabado. Generalmente hay dos tipos de sistemas de vigilancia; el NVR basado en el sistema integrado o el VMS basado en servidor. En comparación con el sistema integrado NVR, el VMS basado en servidor proporciona mucha flexibilidad, escalabilidad e inteligencia. Un sistema de vigilancia a mayor escala generalmente elegirá la solución VMS basada en servidor. El software de grabación VMS basado en servidor puede ejecutarse en servidores basados ​​en Linux o Windows que tienen una matriz de disco interna para video grabado. O, los servidores VMS solo realizan trabajos de grabación y almacenan video en un sistema de almacenamiento externo.La solución secundaria ofrece una mayor flexibilidad debido a que las escalas del servidor de grabación y el servidor de almacenamiento son independientes. Si tiene un nuevo requisito para agregar más cámaras o capacidad de almacenamiento, puede agregar servidores para el nuevo requisito. Con más de 20 años de experiencia en almacenamiento definido por software, integrado con el talentoso equipo experimentado en el diseño y fabricación de dispositivos de almacenamiento definidos por software basados ​​en ARM.

service@ambedded.com.tw

Horario de atención: de 9 a. M. A 6 p. M.

El sistema de vigilancia basado en microservidor combina el almacenamiento Ceph escalable y el sistema VMS del servidor Nx

16 Jul, 2020 Embedded

Informe técnico: un sistema de gestión de vídeo convergente basado en microservidores Arm escalable y de alta disponibilidad

Introducción al sistema de vigilancia basado en servidor
Los componentes de un sistema de vigilancia digital incluyen cámaras IP, sistemas de almacenamiento y software de administración de video para grabar y administrar el video en vivo y grabado. Generalmente hay dos tipos de sistemas de vigilancia; el NVR basado en el sistema integrado o el VMS basado en servidor. En comparación con el sistema integrado NVR, el VMS basado en servidor proporciona mucha flexibilidad, escalabilidad e inteligencia. Un sistema de vigilancia a mayor escala generalmente elegirá la solución VMS basada en servidor.
El software de grabación VMS basado en servidor puede ejecutarse en servidores basados ​​en Linux o Windows que tienen una matriz de disco interna para video grabado. O, los servidores VMS solo realizan trabajos de grabación y almacenan video en un sistema de almacenamiento externo. La solución secundaria ofrece una mayor flexibilidad debido a que las escalas del servidor de grabación y el servidor de almacenamiento son independientes.
Si tiene un nuevo requisito para agregar más cámaras o capacidad de almacenamiento, puede agregar servidores para el nuevo requisito.

Los puntos de dolor requieren mejoras

Sin embargo, todavía existen algunos puntos débiles en el VMS basado en servidor que deben abordarse.

  1. La reconstrucción de un disco fallido en una matriz de discos lleva demasiado tiempo. El riesgo de pérdida de datos aumenta con el tamaño del disco. Independientemente de que los servidores VMS utilicen un almacenamiento interno o un sistema de almacenamiento externo, utilizan el controlador RAID para proteger los datos contra pérdidas.  Si falla una unidad de disco, el controlador de la matriz de discos tardará mucho en reconstruir los archivos en la unidad de repuesto. El tiempo de reconstrucción y la posibilidad de que no se reconstruya la unidad son proporcionales al tamaño del disco. Hoy en día, el disco duro más grande es de 16 TB y antes estará disponible una unidad de 20 TB. El uso de discos de tamaño pequeño aumenta el costo total de los servidores de almacenamiento.
  2. El rendimiento del almacenamiento sufre un gran impacto durante el modo de reconstrucción degradada.
  3. El servidor tradicional tiene un gran dominio de fallas. Si un servidor falla, todos los videos dentro del servidor se vuelven inaccesibles o incluso se pierden. Se instalan más discos en un servidor, se pierden más archivos de video al mismo tiempo cuando falla el servidor.
  4. VMS carece de una arquitectura de hardware elástica.

 

Utilice el almacenamiento definido por software y active el microservidor con el sistema de gestión de vídeo Network Optics Nx Witness

En este artículo, presentaremos cómo el dispositivo de almacenamiento definido por software de Ambedded y el microservidor basado en Arm integran el software VMS de Network Optics para resolver algunos de los problemas que existen en la solución actual.

Dispositivo de almacenamiento definido por software

El dispositivo de almacenamiento Mars 400 Ceph Storage Appliance definido por software de Ambedded es una solución de almacenamiento definida por software llave en mano para empresas. El dispositivo integra un microservidor basado en ARM con el software de almacenamiento Ceph y la interfaz de usuario web. Mars 400 proporciona un clúster de almacenamiento unificado que admite el sistema de archivos, bloques y objetos. Está diseñado para proporcionar un excelente rendimiento, confiabilidad y escalabilidad sin un solo punto de falla y un dominio de falla mínimo.

Sistema de gestión de vídeo Nx Witness y servidor Nx

Nx Witness VMS es un sistema de administración de video IP abierto (IPVMS) diseñado para buscar, ver, grabar y administrar cámaras de video IP, así como para integrarse rápidamente con sistemas y dispositivos de terceros. La aplicación Nx Server es un servidor de medios potente y ligero responsable de descubrir y gestionar los datos y dispositivos del sistema Nx Witness. El servidor Nx graba videos de cámaras IP en un almacenamiento interno o externo. Tiene una arquitectura de colmena de servidores que garantiza que no haya un solo punto de falla.

Arquitectura de microservidor de brazo

Las plataformas de microservidor admiten 8 módulos de servidores ARM de 64 bits de cuatro núcleos en un chasis de una unidad de bastidor (1RU). Dos conmutadores redundantes en el chasis proporcionan un enlace ascendente de 4 x 10 Gbps para escalado horizontal y acceso de clientes. Cada módulo de microservidor ARM es un servidor Linux independiente que posee recursos de interfaz de red, almacenamiento, memoria y CPU dedicados para el software de aplicación.

La arquitectura del microservidor proporciona una mayor accesibilidad debido a la falta de un único punto de falla. Cada nodo de microservidor se puede configurar como un nodo de almacenamiento de un clúster de almacenamiento o un nodo de servidor VMS del clúster VMS.


Cuando el microservidor está configurado como un nodo de almacenamiento, se une al clúster de almacenamiento Ceph para trabajar con otros nodos de almacenamiento. Si configuramos el microservidor como un servidor Nx, este hace su trabajo como servidor VMS y monta un disco virtual desde el clúster de almacenamiento para almacenar los archivos de video grabados. Esto significa que puede implementar de manera flexible la cantidad necesaria de servidores Nx y servidores de almacenamiento Ceph, todos en microservidores Mars 400. Debido a las ventajas del microservidor, tiene la flexibilidad de escalar el sistema de vigilancia con un pequeño incremento.


El sistema de gestión de vídeo utiliza el almacenamiento definido por software de alta disponibilidad como almacenamiento de fondo.

Cómo el almacenamiento definido por software protege y recupera los datos contra fallas de hardware

El almacenamiento Ceph utiliza un algoritmo de código de replicación o borrado para proteger los datos de la pérdida en lugar del controlador RAID. La codificación de borrado es análoga a RAID 5 o RAID 6 en la matriz de discos, pero con mucha flexibilidad para permitir más fallas de disco actualmente. Puede proteger los datos no solo de fallas en la unidad de disco, sino que también protege los datos contra fallas del servidor, fallas del bastidor y cualquier escala de dominio de fallas. Los archivos de datos o video primero se despojan a objetos y cada objeto se divide en una cantidad de fragmentos de datos y fragmentos redundantes calculados. El servidor de almacenamiento almacena datos de forma distribuida y fragmentos redundantes en los diferentes servidores de almacenamiento del clúster de almacenamiento. Si un servidor de almacenamiento se rompe, todos los datos almacenados dentro de ese servidor deben recuperarse. La recuperación de datos la realizan todos los servidores y discos en buen estado. Y,solo los fragmentos perdidos deben volver a curarse en lugar de reconstruir todos los discos.

Hay tres ventajas principales del almacenamiento distribuido definido por software en comparación con el sistema de almacenamiento RAID.

  1. Los datos pueden sobrevivir a una o más roturas de nodos del servidor.
  2. La recuperación de datos es mucho más rápida que RAID porque todos los discos en buen estado del clúster ayudan a la recuperación de datos en paralelo y solo los datos perdidos necesitan reparación. Si hay más discos en el clúster, la velocidad de curación es más rápida. Un experimento de pérdida de una unidad de 10 TB de uso del 60% en un clúster de 36 unidades tardó 2,5 días en recuperarse. La velocidad de recuperación es de 28,5 MB / s para esta escala de experimento. (Perfil Clay Erasure código 4 + 2)
  3. Durante el ensayo, la curación no interrumpe la grabación de video.
  4. Puede utilizar unidades de disco de gran capacidad, como HDD de 16 TB en el clúster de almacenamiento Ceph, para obtener la misma capacidad con menos servidores.

¿Cuántas grabaciones de cámara puede admitir un microservidor?

Configuramos un entorno de prueba para estresar el servidor Nx en el microservidor Ambedded Mars 400. El experimento utilizó en primer lugar un servidor para simular cámaras IP para transmitir videos a un microservidor Arm. El formato de transmisión de video es H.264, 1080p de alta calidad a 30 cuadros por segundo. El servidor Arm VMS monta un disco virtual como almacenamiento. El resultado de la prueba concluye que un microservidor puede grabar un máximo de 30 cámaras sin perder el cuadro de video. La prueba también incluye el escenario mientras el disco virtual está lleno. Esto implica que un Mars 400 de 1U con capacidad para ocho microservidores puede admitir videos de alta definición de 240 cámaras. Esto implica que un Mars 400 de 1U con capacidad para ocho microservidores puede admitir hasta 240 transmisiones de video de alta definición de cámara. Este es un gran logro al usar un servidor de 1U y consume solo 100 Watts de energía.

Prueba con cámaras IP reales

En otra prueba, utilizamos cincuenta cámaras IP para realizar la prueba en un entorno real.

Lista de equipo:

  • Cámaras IP: 25x cableadas y 25x inalámbricas
  • Servidor Mars 400Nx: 8 nodos en 1U. Arm A72 de 4 núcleos, 4 GB de RAM y 2 LAN de 2,5 Gbps
  • Servidor Nx: 3 nodos Mars 400Nx Arm,

♦ Hay 3 nodos activos para grabación y reproducción. Hay un recurso de repuesto en cada nodo para la conmutación por error de un nodo.

  • Almacenamiento:

♦ Protección de datos: código de borrado 4 + 2, permite hasta 2 fallas en el disco duro al mismo tiempo

♦ Servidor Ceph: microservidor 21x para Ceph OSD + microservidor 3x para monitor Ceph

♦ Discos duros: 21x 16TB Seagate Exos Enterprise SATA HDD. 224TB son utilizables.

  • La red:

♦ 4 puertos de 10 Gb para 4 puertos Mars 400Nx

♦ Conmutador 1x Gb para cámaras

♦ Punto de acceso inalámbrico x 2

Durante la grabación y reproducción, solo se usa el 150% de los recursos de la CPU. El recurso de CPU máximo utilizable es 400%. Consulte la figura 1.

Figura 1: Uso de CPU del nodo del servidor Nx


Hay un total de 4 GB de memoria disponible en cada nodo. La memoria de 1GB está reservada para uso adicional. La cantidad de memoria utilizada durante la prueba es de aproximadamente 2,8 GB. El nodo del servidor puede admitir de forma estable hasta 30 cámaras.

Figura 2: Memoria no utilizada del nodo del servidor Nx


El tráfico de red durante la prueba es de aproximadamente 150 Mbps de descarga y 130 Mbps de carga. El ancho de banda de la red 2x 2.5Gb es mucho mayor que el tráfico real.

Figura 3: Tráfico de red de los nodos del servidor Nx


Conmutación por error del nodo del servidor VMS

El servidor Network Optics VMS tiene la función de conmutación por error automática del servidor, que permite que los servidores VMS en buen estado conecten cámaras desde un servidor Nx VMS fallido. En nuestra prueba, configuramos tres microservidores como el servidor Nx VMS. Pueden manejar un total de 90 cámaras. En condiciones normales, 50 cámaras bajo prueba están conectadas uniformemente a las tres cámaras. Simulamos un servidor fuera de línea apagándolo. Demostramos que 18 cámaras conectadas al servidor fallido pueden volver a conectarse automáticamente a los otros dos servidores en aproximadamente un minuto. 

 

Esto implica que el uso de la solución de microservidor para el servidor Nx VMS; solo necesita 1/8 de un servidor Mars 400Nx de 1U libre para la conmutación por error. Compare con un servidor de nodo grande; La arquitectura de microservidor puede ahorrar el costo de un servidor para la configuración de la conmutación por error.

Ejemplo de diseño

Requerimientos del proyecto

  1. Número de cámaras: 200 cámaras
  2. Tasa de bits por cámara para 1080p, alta calidad, 30 FPS: 4,87 Mbps
  3. Horas de grabación por día: 16 horas
  4. Días para grabar: 60 días

 

Cálculo de los requisitos del servidor

  1. La capacidad de almacenamiento utilizable total requerida: 411 TB
  2. La capacidad bruta total requerida si usamos el código de borrado 4 + 2: 678 TB
  3. Capacidad del disco duro: 16 TB
  4. Número de discos duros necesarios: 43 HDD
  5. Número de nodo necesario para el almacenamiento (Ceph OSD): 43
  6. Nodo Ceph Monitor: 3
  7. Nodos de servidor Nx para 200 cámaras: 200/30 = 7 nodos.
  8. Nodo de repuesto para la conmutación por error de NxServer: 1 nodo
  9. Total de nodos de microservidor necesarios: 43 + 3 + 7 + 1 = 54 nodos
  10. Total Mars 400Nx requerido: 54/8 = 7x 1U Mars 40Nx
  11. Nodos de repuesto: (7 x 8) - 54 = 2 nodos
  12. El consumo total de energía del servidor excluye HDD: 7 x 100 Watts = 700 Watts

 

Conclusión

Ambedded Mars 400Nx combina el servidor Nx VMS y el almacenamiento definido por software tiene las siguientes ventajas:

  1. El almacenamiento definido por software de Mars 400Nx puede proteger los datos no solo contra fallas del disco, sino también contra fallas del servidor.
  2. Cuando hay fallas en el disco, Mars 400Nx recuperó los datos en paralelo con todas las unidades en buen estado. Es de 4 a 5 veces más rápido en comparación con el controlador RAID.
  3. Mars 400Nx puede mantener su grabación y reproducción de video durante la recuperación de datos.
  4. Puede utilizar unidades de disco de gran capacidad, como en el clúster de almacenamiento Mars 400Nx, para reducir el costo total del sistema de almacenamiento.
  5. Un servidor 1U Mars 400Nx VMS puede admitir cámaras de hasta 240x 1080p. Puede diseñar el sistema VMS con una combinación flexible de almacenamiento y servidores VMS.
  6. El servidor Mars 400Nx Arm ahorra el 70 por ciento del consumo de energía en comparación con los servidores x86.

Acerca de Ambedded

Ambedded es una empresa de almacenamiento definido por software con experiencia en el sistema operativo Linux, kernel, almacenamiento definido por software, sistema integrado y servidor Arm.

La visión de Ambedded es facilitar el uso del almacenamiento definido por software de Ceph para que las empresas puedan beneficiarse de Ceph con una curva de aprendizaje más corta.

Ambedded simplifica Ceph al ofrecer una interfaz de usuario fácil de usar, dispositivo de almacenamiento listo para usar, ajuste de estabilidad y rendimiento, implementación automatizada y soporte profesional.

Con el dispositivo Ceph especialmente diseñado, el equipo de Ambedded posee una amplia experiencia para ayudar a los clientes a adoptar nuestra solución ceph en industrias versátiles, como telecomunicaciones, médico, militar, centro de datos de borde y empresas que requieren almacenamiento de alta disponibilidad.

Visite el sitio web de Ambedded para obtener más detalles.

Acerca de la óptica de red

Network Optix es una empresa de desarrollo de software centrada en la creación de soluciones de gestión de vídeo de vanguardia. Nuestro producto principal, Nx VMS, es una plataforma de administración de video abierta, liviana y personalizable capaz de administrar medios fuera de línea, transmisiones de video en vivo y sistemas y dispositivos integrados de terceros. Nx VMS es una plataforma de transmisión en vivo gratuita: habilitada para la nube, accesible de forma remota, escalable a cualquier tamaño y con licencia solo cuando se requiere la grabación y búsqueda de cámaras de video IP. Nx VMS también está abierto para desarrolladores, con documentación completa de API y SDK incorporada y de uso gratuito, lo que permite a las organizaciones o personas crear sus propias aplicaciones basadas en video para cualquier mercado o proyecto vertical.

Expresiones de gratitud

Nos gustaría agradecer a Seagate y Network Optix por proporcionar los discos duros empresariales Exos X16 y las cámaras IP que se utilizaron para este proyecto.

Referencia:

  • Por qué RAID dejará de funcionar en 2019, por Robin Harris para bits de almacenamiento
    https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/
  • Por qué la mejor configuración de RAID no es una configuración de RAID realizada por Guest Blogger  →  https://blog.shi.com/hardware/best-raid-configuration-no-raid-configuration/
Video

Mars 400Nx ofrece un almacenamiento ceph de alta disponibilidad para el software Nx VMS



Combine el sistema de gestión de vídeo y almacenamiento Ceph para convertirlo en un sistema de vigilancia digital convergente.



Tecnología relacionada
Microservidor basado en ARM

Plataforma de microservidor ARM incrustado, que mide 4,4 x 6,6 cm, es el servidor de red más pequeño, totalmente equipado para administrar el almacenamiento...

Read more
Productos relacionados
Sistema de gestión de video convergente
Marte 400Nx

El Ambedded Mars400Nx es un sistema de gestión de vídeo escalable que proporciona una funcionalidad integrada entre el servidor Network Optix VMS y el almacenamiento...

Detalles

Mars 400 Mars 400SES Hoja de datos

Ficha técnica del dispositivo Ceph y almacenamiento SUSE Enterprise

Ambedded: una solución de almacenamiento Ceph profesional para el mercado.

Ubicado en Taiwán desde 2013, Ambedded Technology Co., LTD. es un proveedor de soluciones de almacenamiento de Ceph que ofrece dispositivos de almacenamiento definidos por software basados ​​en ARM con un 60% de ahorro de CapEX, un 70% menos de consumo de energía y un 100% de ventajas de escalamiento horizontal.

Para el diseño y la fabricación de almacenamiento definido por software, el equipo de Ambedded tiene una amplia experiencia para ayudar a los clientes a adoptar la solución ceph en industrias versátiles, como telecomunicaciones, médica, militar, centro de datos de borde y almacenamiento empresarial requerido de alta disponibilidad.

Ambedded ha estado ofreciendo a los clientes soluciones de almacenamiento Ceph desde 2013, tanto tecnología avanzada como 20 años de experiencia, Ambedded garantiza que se cumplan las demandas de cada cliente.