Biała księga - Skalowalny i wysoko dostępny system zarządzania wideo oparty na mikroserwerze Arm | Rozwiązania przechowywania Ceph na mikroserwerach ARM | Ambedded

System monitoringu oparty na mikroserwerze łączy skalowalne przechowywanie Ceph i system Nx Server VMS | Przyjazny dla użytkownika interfejs zarządzania Ceph

System monitoringu oparty na mikroserwerze łączy skalowalne przechowywanie Ceph i system Nx Server VMS

Wprowadzenie do systemu monitoringu opartego na serwerze
Składniki systemu cyfrowego monitoringu obejmują kamery IP, systemy przechowywania i oprogramowanie do zarządzania i nagrywania wideo. Istnieją zazwyczaj dwa rodzaje systemów monitoringu: system wbudowany oparty na NVR lub system oparty na serwerze VMS. W porównaniu do systemu wbudowanego NVR, system oparty na serwerze VMS zapewnia większą elastyczność, skalowalność i inteligencję. W większych systemach monitoringu zazwyczaj wybiera się rozwiązanie oparte na serwerze VMS.
Serwerowe oprogramowanie do nagrywania VMS może działać na serwerach opartych na systemie Linux lub Windows, które posiadają wewnętrzny macierz dyskową do nagrywanego wideo. Alternatywnie, serwery VMS wykonują tylko zadania nagrywania i przechowują wideo w zewnętrznym systemie przechowywania. Drugie rozwiązanie oferuje większą elastyczność, ponieważ skale serwera nagrywającego i serwera przechowywania są niezależne.
Jeśli masz nowe wymagania dotyczące dodania większej liczby kamer lub pojemności magazynowej, możesz dodać serwery dla nowego wymagania.


16 Jul, 2020 Ambedded

Biała księga - Skalowalny i wysoko dostępny system zarządzania wideo oparty na mikroserwerze Arm

Punkty bólu wymagają poprawek

Jednak istnieją nadal pewne punkty bólu, które występują w serwerowym systemie zarządzania wideo i wymagają rozwiązania.

  1. Odbudowa uszkodzonego dysku w macierzy dyskowej zajmuje zbyt dużo czasu.Ryzyko utraty danych wzrasta wraz z rozmiarem dysku. Bez względu na to, czy serwery VMS korzystają z wewnętrznego systemu przechowywania danych, czy zewnętrznego systemu przechowywania danych, używają kontrolera RAID do ochrony danych przed utratą. Jeśli dysk ulegnie awarii, kontroler macierzy dyskowej będzie potrzebował bardzo dużo czasu na odbudowanie plików na dysku zapasowym.Czas odbudowy i możliwość niepowodzenia odbudowy dysku są proporcjonalne do rozmiaru dysku.Dzisiaj największy dysk twardy ma pojemność 16TB, a wkrótce będzie dostępny dysk o pojemności 20TB.Używanie małych dysków zwiększa całkowity koszt serwerów przechowywania danych.
  2. Przepustowość magazynowania jest znacznie obniżona podczas trybu odbudowy w stanie degradacji.
  3. Tradycyjny serwer ma duże pole awarii. Jeśli serwer ulegnie awarii, wszystkie filmy wewnątrz serwera stają się niedostępne lub nawet tracone.Im więcej dysków jest zainstalowanych w serwerze, tym więcej plików wideo jest traconych jednocześnie, gdy serwer ulega awarii.
  4. Brakuje elastycznej architektury sprzętowej dla VMS.

 

Użyj oprogramowania do zdefiniowanego przez oprogramowanie magazynu danych i mikroserwera Arm z systemem zarządzania wideo Nx Witness firmy Network Optics.

W tym artykule przedstawimy, jak urządzenie do zdefiniowanego przez oprogramowanie magazynu danych firmy Ambedded i mikroserwer oparty na Arm integrują oprogramowanie VMS firmy Network Optics w celu rozwiązania niektórych problemów występujących w obecnych rozwiązaniach.

Urządzenie do zdefiniowanego przez oprogramowanie magazynu danych

Aparat Mars 400 do przechowywania zdefiniowanego oprogramowania przez Ambedded z Przechowywanie Ceph to gotowe rozwiązanie do przechowywania zdefiniowanego oprogramowania dla przedsiębiorstw.Urządzenie integruje mikroserwer oparty na architekturze ARM z oprogramowaniem do przechowywania danych Ceph oraz interfejsem użytkownika internetowego.Mars 400 zapewnia zintegrowany klastr pamięci masowej, który obsługuje systemy obiektowe, blokowe i plikowe.Został zaprojektowany w celu zapewnienia doskonałej wydajności, niezawodności i skalowalności, bez pojedynczego punktu awarii i minimalnej domeny awarii.

System zarządzania wideo Nx Witness i serwer Nx

Nx Witness VMS to otwarty system zarządzania wideo IP (IPVMS), zaprojektowany do wyszukiwania, przeglądania, nagrywania i zarządzania kamerami wideo IP oraz szybkiego integrowania się z systemami i urządzeniami firm trzecich. Aplikacja serwera Nx to lekki, potężny serwer multimedialny odpowiedzialny za odkrywanie i zarządzanie urządzeniami i danymi systemu Nx Witness. Serwer Nx nagrywa wideo z kamer IP na wewnętrzne lub zewnętrzne nośniki. Posiada architekturę serwerową typu hive, zapewniającą brak pojedynczego punktu awarii.

Architektura mikroserwera Arm

Platformy mikroserwerów pomieszczają 8 modułów serwerów ARM 64-bit Quad-Core w jednostce montażowej o wysokości jednego stojaka (1RU). Dwa wewnętrzne przełączniki zapewniają redundantne łącze 4x10 Gbps do skalowania w poziomie i dostępu klienta. Każdy moduł mikroserwera ARM to niezależny serwer Linux, który posiada dedykowane zasoby CPU, pamięć, pamięć masową i interfejs sieciowy dla oprogramowania aplikacyjnego.

Architektura mikroserwera zapewnia większą dostępność ze względu na brak pojedynczego punktu awarii. Każdy węzeł mikroserwera może być skonfigurowany jako węzeł pamięci masowej klastra pamięci masowej lub węzeł serwera VMS klastra VMS.


Kiedy mikroserwer jest skonfigurowany jako węzeł pamięci masowej, dołącza do klastra pamięci masowej Ceph, aby współpracować z innymi węzłami pamięci masowej. Jeśli skonfigurujemy mikroserwer jako serwer Nx, wykonuje swoje zadanie jako serwer VMS i montuje dysk wirtualny z klastra Storage do przechowywania nagranych plików wideo. Oznacza to, że możesz elastycznie wdrożyć wymaganą liczbę serwerów Nx i serwerów pamięci masowej Ceph na wszystkich mikroserwerach Mars 400. Ze względu na zalety mikroserwera, masz elastyczność skalowania systemu monitoringu z niewielkim przyrostem.


System zarządzania wideo wykorzystuje wysoko dostępną pamięć masową zdefiniowaną programowo jako magazyn danych.

Jak oprogramowanie zdefiniowane przez użytkownika chroni i naprawia dane w przypadku awarii sprzętu

Ceph storage używa replikacji lub algorytmu kodowania błędów do ochrony danych przed utratą zamiast kontrolera RAID. Kodowanie wymazywane jest analogiczne do RAID 5 lub RAID 6 w macierzy dyskowej, ale z większą elastycznością, pozwalającą na obecnie większą liczbę awarii dysków. Może chronić dane nie tylko przed awariami dysku, ale także przed awariami serwera, awariami stelaża i awariami w dowolnej skali. Dane lub pliki wideo są najpierw przekształcane na obiekty, a każdy obiekt jest dzielony na wiele fragmentów danych i obliczane są nadmiarowe fragmenty. Serwer przechowuje dane i nadmiarowe fragmenty rozproszenie na różnych serwerach przechowywania w klastrze przechowywania. Jeśli serwer przechowywania ulegnie awarii, wszystkie dane przechowywane w tym serwerze muszą zostać naprawione. Naprawa danych jest wykonywana przez wszystkie zdrowe serwery i dyski. I tylko utracone fragmenty muszą zostać ponownie zrekonstruowane, zamiast odbudowywać całe dyski.

Istnieją trzy główne zalety rozproszonego systemu przechowywania zdefiniowanego programowo w porównaniu do systemu przechowywania RAID.

  1. Dane mogą przetrwać awarię jednego lub więcej węzłów serwera.
  2. Odzyskiwanie danych jest znacznie szybsze niż w przypadku RAID, ponieważ wszystkie zdrowe dyski w klastrze pomagają w procesie odzyskiwania danych równolegle, a jedynie utracone dane wymagają odzyskania. Im więcej dysków w klastrze, tym szybsze jest odzyskiwanie. Eksperyment polegający na utracie jednego dysku o pojemności 10TB i wykorzystaniu 60% przestrzeni w klastrze 36 dysków trwał 2,5 dnia. Prędkość odzyskiwania wynosiła 28,5MB/s dla tego eksperymentu. (Profil kodowania Clay Erasure 4+2)
  3. Podczas procesu gojenia, gojenie nie przerywa nagrywania wideo
  4. Możesz używać dysków o dużej pojemności, takich jak 16TB HDD w klastrze pamięci masowej Ceph, aby uzyskać tę samą pojemność przy mniejszej liczbie serwerów.

Ile kamer można nagrywać na jednym mikroserwerze?

Ustawiliśmy środowisko testowe, aby obciążyć serwer Nx na Ambedded Mars 400 mikroserwer. Eksperyment początkowo wykorzystał serwer do symulacji kamer IP do przesyłania strumieniowego wideo do mikroserwera Arm. Format strumienia wideo to H.264, wysoka jakość 1080p przy 30 klatkach na sekundę. Serwer Arm VMS montuje dysk wirtualny jako swoje miejsce przechowywania. Wynik testu wskazuje, że jeden mikroserwer może rejestrować maksymalnie 30 kamer bez utraty klatek wideo. Testowanie obejmuje również scenariusz, gdy wirtualny dysk jest pełny. Oznacza to, że 1U Mars 400, który pomieści osiem mikroserwerów, może obsługiwać 240 kamer wideo wysokiej rozdzielczości. Oznacza to, że 1U Mars 400, który pomieści osiem mikroserwerów, może obsługiwać do 240 strumieni wideo o wysokiej rozdzielczości. To jest świetne osiągnięcie przy użyciu serwera 1U i zużywa tylko 100 watów mocy.

Test z prawdziwymi kamerami IP

W kolejnym teście używamy pięćdziesięciu kamer IP do przeprowadzenia testu w rzeczywistym środowisku.

Lista wyposażenia:

  • Kamery IP: 25x przewodowe i 25x bezprzewodowe
  • Serwer Mars 400Nx: 8 węzłów w 1U. 4 rdzenie Arm A72, 4GB RAM i 2x 2.5Gbps LAN
  • Serwer Nx: 3 węzły Arm Mars 400Nx,

♦ 3 węzły są aktywne do nagrywania i odtwarzania. Na każdym węźle jest zapasowy zasób dla awaryjnego węzła.

  • Przechowywanie:

♦ Ochrona danych: kod wymazywania 4+2, umożliwia jednoczesne awarie 2 dysków twarde.

♦ Serwer Ceph: 21x mikroserwer dla Ceph OSD + 3x mikroserwer dla Ceph monitor

♦ Dyski twarde: 21x 16TB Seagate Exos Enterprise SATA HDD. Użyteczna pojemność wynosi 224TB.

  • Sieć:

♦ 4x porty 10Gb dla 4x Mars 400Nx

♦ 1x przełącznik Gb dla kamer

♦ 2x punkty dostępu bezprzewodowego

Podczas nagrywania i odtwarzania wykorzystywane jest tylko 150% zasobów procesora. Maksymalne możliwe do wykorzystania zasoby procesora wynoszą 400%. Proszę zobaczyć rysunek 1.

Rysunek 1: Wykorzystanie procesora w węźle serwera Nx


Każdy węzeł ma dostępne łącznie 4GB pamięci. 1GB pamięci jest zarezerwowane na zapas. Ilość pamięci wykorzystywanej podczas testu wynosiła około 2.8 GB. Węzeł serwera może stabilnie obsługiwać do 30 kamer.

Rysunek 2: Niewykorzystana pamięć w węźle serwera Nx


Ruch sieciowy podczas testu wynosił około 150Mbps dla pobierania i 130Mbps dla wysyłania. Przepustowość sieci 2x 2.5Gb jest znacznie wyższa niż rzeczywisty ruch.

Rysunek 3: Ruch sieciowy węzłów serwera Nx


Awaria węzła serwera VMS

Serwer Network Optics VMS posiada funkcję automatycznego przełączania serwera, która umożliwia zdrowym serwerom VMS połączenie z kamerami z uszkodzonego serwera Nx VMS. W naszym teście skonfigurowaliśmy trzy mikroserwery jako serwer Nx VMS. Mogą one obsłużyć łącznie 90 kamer. W normalnych warunkach 50 testowych kamer jest równomiernie podłączonych do trzech serwerów. Symulujemy wyłączenie serwera poprzez jego wyłączenie. Udowadniamy, że 18 kamer podłączonych do uszkodzonego serwera może automatycznie ponownie połączyć się z pozostałymi dwoma serwerami w około jednej minucie.

 

Oznacza to, że korzystając z rozwiązania mikroserwerowego dla serwera Nx VMS, potrzebujesz tylko 1/8 1U serwera Mars 400Nx na zapas dla awaryjnego trybu pracy. W porównaniu do dużego serwera węzłowego, architektura mikroserwerowa może zaoszczędzić koszt jednego serwera dla konfiguracji awaryjnej.

Przykład projektu

Wymagania projektu

  1. Liczba kamer: 200 kamer
  2. Przepływność bitowa na kamerę dla jakości 1080p, wysokiej jakości, 30 FPS: 4,87 Mbps
  3. Godziny nagrywania dziennie: 16 godzin
  4. Liczba dni do nagrywania: 60 dni

 

Obliczanie wymagań serwera

  1. Całkowita pojemność magazynowa wymagana: 411 TB
  2. Całkowita pojemność surowa wymagana przy użyciu kodu błędów 4+2: 678 TB
  3. Pojemność dysku twardego: 16 TB
  4. Liczba wymaganych dysków twardych: 43 HDD
  5. Liczba wymaganych węzłów do przechowywania (Ceph OSD): 43
  6. Węzeł monitorujący Ceph: 3
  7. Liczba węzłów serwera Nx dla 200 kamer: 200/30 = 7 węzłów.
  8. Zapasowy węzeł dla awarii NxServer: 1 węzeł
  9. Całkowita liczba wymaganych węzłów mikroserwera: 43 + 3 + 7 + 1 = 54 węzły
  10. Całkowita liczba wymaganych Mars 400Nx: 54/8 = 7x 1U Mars 40Nx
  11. Zapasowe węzły: (7 x 8) - 54 = 2 węzły
  12. Całkowite zużycie energii serwera bez HDD: 7 x 100 Watów = 700 Watów

 

Podsumowanie

Ambedded Mars 400Nx łączy serwer Nx VMS i pamięć masową zdefiniowaną programowo i ma następujące zalety:

  1. Pamięć masowa zdefiniowana programowo Mars 400Nx chroni dane nie tylko przed awariami dysków, ale także przed awariami serwera.
  2. W przypadku awarii dysków Mars 400Nx równolegle odtwarza dane na wszystkich zdrowych dyskach. Jest to 4-5 razy szybsze w porównaniu do kontrolera RAID.
  3. Mars 400Nx może utrzymywać nagrywanie i odtwarzanie wideo podczas naprawy danych.
  4. W klastrze pamięci masowej Mars 400Nx można używać dysków o dużej pojemności, co pozwala obniżyć całkowity koszt systemu pamięci masowej.
  5. Serwer VMS Mars 400Nx 1U obsługuje do 240x kamer 1080p. Można zaprojektować system VMS z elastycznym połączeniem pamięci masowej i serwerów VMS.
  6. Serwer Arm Mars 400Nx oszczędza 70 procent zużycia energii w porównaniu do serwerów x86.

O Ambedded

Ambedded to firma specjalizująca się w pamięci masowej zdefiniowanej programowo, posiadająca wiedzę na temat systemu operacyjnego Linux, jądra, pamięci masowej zdefiniowanej programowo, systemów wbudowanych i serwerów Arm.

Wizją Ambedded jest ułatwienie korzystania z oprogramowania Ceph w celu umożliwienia przedsiębiorstwom skorzystania z Ceph przy krótszej krzywej uczenia.

Ambedded upraszcza Ceph, oferując łatwy w użyciu interfejs użytkownika, gotowe do użycia urządzenie pamięci masowej, stabilność i optymalizację wydajności, automatyzację wdrożeń oraz profesjonalne wsparcie.

Z dedykowanym urządzeniem Ceph, zespół Ambedded posiada szerokie doświadczenie w pomaganiu klientom w przyjęciu naszego rozwiązania Ceph w różnych branżach, takich jak telekomunikacja, medycyna, wojsko, centra danych na krawędzi sieci oraz przedsiębiorstwa, które wymagają wysokiej dostępności pamięci masowej.

Odwiedź stronę internetową Ambedded w celu uzyskania szczegółowych informacji.

O sieciowych optykach

Network Optix to firma zajmująca się tworzeniem oprogramowania skoncentrowanego na tworzeniu nowatorskich rozwiązań zarządzania wideo. Nasz główny produkt - Nx VMS - to otwarta, lekka, dostosowywalna platforma zarządzania wideo, zdolna do zarządzania mediami offline, strumieniami wideo na żywo oraz zintegrowanymi systemami i urządzeniami firm trzecich. Nx VMS to bezpłatna platforma do transmisji na żywo - z możliwością korzystania z chmury, zdalnego dostępu, skalowalna do dowolnego rozmiaru i licencjonowana tylko w przypadku konieczności nagrywania i wyszukiwania kamer IP. Nx VMS jest również otwarty dla programistów, z kompleksową dokumentacją API i SDK wbudowaną i darmową do użytku, co pozwala organizacjom lub osobom tworzyć własne aplikacje oparte na wideo dla dowolnego rynku lub projektu.

Podziękowania

Chcielibyśmy podziękować Seagate oraz Network Optix za dostarczenie dysków twardych Exos X16 Enterprise oraz kamer IP użytych w tym projekcie.

Odnośnik:

  • Dlaczego RAID przestał działać w 2019 roku, autorstwa Robin Harris dla Storage Bits
    https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/
  • Dlaczego najlepszą konfiguracją RAID jest brak konfiguracji RAID przez Gość Blogera → https://blog.shi.com/hardware/najlepsza-konfiguracja-RAID-bez-konfiguracji-RAID/
Wideo

Mars 400Nx oferuje wysoką dostępność przechowywania Ceph dla oprogramowania Nx VMS



Połącz przechowywanie Ceph i system zarządzania wideo, aby stworzyć zintegrowany system monitoringu cyfrowego.



Powiązane technologie
Mikroserwer oparty na ARM

Ambedded platforma mikroserwerowa ARM, o wymiarach 4,4 x 6,6 cm, to najmniejszy serwer sieciowy, w pełni wyposażony do zarządzania pamięcią masową,...

Powiązane produkty
Zintegrowany system zarządzania wideo - System zarządzania wideo z Ceph.
Zintegrowany system zarządzania wideo
Mars 400Nx

Ambedded Mars400Nx to skalowalny system zarządzania wideo, który zapewnia zintegrowaną funkcjonalność między serwerem VMS Network Optix a skalowalnym,...

Detale

Urządzenie do przechowywania Ceph

Urządzenie do przechowywania danych Mars 400 Ceph Sprzęt i sprzęt arkusz danych SW.

System monitoringu oparty na mikroserwerze łączy skalowalne przechowywanie Ceph i system Nx Server VMS | UVS Manager - Ułatwienie wdrażania Ceph | Ambedded

Zlokalizowana na Tajwanie od 2013 roku, Ambedded Technology Co., LTD. jest dostawcą rozwiązań do przechowywania bloków i obiektów. Ich główne usługi zarządzania przechowywaniem danych obejmują technologię przechowywania Ceph, integrację serwerów ARM, przechowywanie zdefiniowane programowo, optymalizację przechowywania dla przedsiębiorstw, oszczędności kosztów przy użyciu urządzeń Ceph, oprogramowanie do zarządzania przechowywaniem oraz rozwiązania do przechowywania bloków i obiektów. Oferują profesjonalne wsparcie dla Ceph, skalowalne systemy przechowywania o wysokiej wydajności w centrum danych.

Ambedded oferuje nowoczesne rozwiązania przechowywania Ceph na mikroserwerach ARM, dostosowane do potrzeb klientów B2B, którzy chcą zoptymalizować swoje systemy przechowywania danych w przedsiębiorstwie. Nasze kompleksowe urządzenia Ceph redukują całkowity koszt posiadania (TCO) i upraszczają zarządzanie pamięcią masową, obsługując blokową, system plików oraz pamięć obiektową w jednolitej platformie. Z zaangażowaniem w innowacje i wsparcie klienta, Ambedded jest Twoim zaufanym partnerem w zakresie skalowalnych i wydajnych rozwiązań SUSE Enterprise Storage Appliance. Doświadcz bezproblemową integrację i profesjonalne wsparcie, aby wykorzystać pełny potencjał technologii Ceph w swojej firmie.

Ambedded od 2013 roku dostarcza klientom skalowalne systemy przechowywania i ekonomiczne zarządzanie pamięcią Ceph. Dzięki zaawansowanej technologii i 20-letniemu doświadczeniu, Ambedded zapewnia spełnienie indywidualnych potrzeb każdego klienta.