Bolestivé body vyžadují zlepšení

Nicméně, stále existují některé bolestivé body, které je třeba řešit ve VMS založeném na serveru.

1. Obnova selhavého disku v diskovém poli trvá příliš dlouho.Riziko ztráty dat se zvyšuje s velikostí disku. Bez ohledu na to, zda VMS servery používají interní úložiště nebo externí úložiště, používají řadič RAID k ochraně dat před ztrátou. Pokud selže pevný disk, řadič diskového pole bude potřebovat velmi dlouhou dobu na obnovu souborů na náhradním disku.Doba obnovy a možnost selhání při obnově disku jsou úměrné velikosti disku.Dnes je největší pevný disk o velikosti 16TB a brzy bude k dispozici disk o velikosti 20TB.Používání malých disků zvyšuje celkové náklady na úložné servery.
2. Během režimu degradace obnovování dochází k výraznému ovlivnění propustnosti úložiště.
3. Tradiční server má velkou oblast selhání. Pokud selže server, všechna videa uvnitř serveru se stanou nepřístupnými nebo dokonce ztracenými.Čím více disků je nainstalováno ve serveru, tím více video souborů je ztraceno ve stejnou dobu, když selže server.
4. VMS postrádá pružnou hardwarovou architekturu.

Použijte softwarově definované úložiště a Arm MicroServer s Network Optics Nx Witness systémem pro správu videa

V tomto článku představíme, jak se softwarově definované úložiště a mikroserver na bázi Arm od společnosti Ambedded integrují s VMS softwarem od Network Optics k řešení některých problémů, které se vyskytují v současném řešení.

Aparát s softwarově definovaným úložištěm

Aplikace pro softwarově definované úložiště Mars 400 od společnosti Ambedded je hotové řešení pro softwarově definované úložiště pro podniky s Ceph Storage.Přístroj integruje ARM-Based microserver s úložným softwarem Ceph a webovým uživatelským rozhraním.Mars 400 poskytuje sjednocený úložný cluster, který podporuje objektový, blokový a souborový systém.Je navržen tak, aby poskytoval vynikající výkon, spolehlivost a škálovatelnost bez jediného bodu selhání a minimálního selhávacího domény.

Nx Witness systém pro správu videa & Nx Server

Nx Witness VMS je otevřený systém pro správu IP videa (IPVMS), navržený pro vyhledávání, prohlížení, záznam a správu IP videokamer, stejně jako rychlou integraci s systémy a zařízeními třetích stran. Aplikace Nx Server je lehký, výkonný mediální server, který je zodpovědný za objevování a správu zařízení a dat systému Nx Witness. Nx Server zaznamenává video z IP kamer do interního nebo externě připojeného úložiště. Má architekturu serverového úlu zajišťující, že není žádný jediný bod selhání.

Architektura Arm Microserver

Platformy mikroserverů umožňují umístění 8x čtyřjádrových ARM 64bitových serverových modulů do jednotkového racku (1RU). Dva redundantní přepínače v rámci chassis poskytují 4x10 Gbps uplink pro horizontální škálování a přístup klientů. Každý modul ARM mikroserveru je nezávislý Linuxový server, který vlastní dedikované prostředky CPU, paměti, úložiště a síťového rozhraní pro aplikační software.

Architektura mikroserveru poskytuje větší dostupnost díky absenci jediného bodu selhání. Každý mikroserverový uzel může být nakonfigurován jako úložný uzel úložného clusteru nebo jako serverový uzel VMS clusteru.

Když je mikroserver nakonfigurován jako úložiště, připojuje se k Ceph úložištnímu clusteru a spolupracuje s ostatními úložištními uzly. Pokud nakonfigurujeme mikroserver jako Nx Server, plní svou funkci jako VMS server a připojuje virtuální disk ze skupiny úložiště pro ukládání nahrávaných videí. To znamená, že můžete flexibilně nasadit potřebný počet serverů Nx a serverů pro úložiště Ceph všechny na mikroserverech Mars 400. Díky výhodám mikroserveru máte flexibilitu škálovat systém dohledu s malým přírůstkem.

Jak softwarově definované úložiště chrání a obnovuje data před hardwarovými poruchami

Ceph storage používá replikaci nebo algoritmus kódování s vymazáním pro ochranu dat před ztrátou místo řadiče RAID. Erasure coding je analogické k RAID 5 nebo RAID 6 v diskovém poli, ale s mnohem větší flexibilitou umožňující více selhání disků v současnosti. Může chránit data nejen před selháním pevného disku, ale také před selháním serveru, selháním racku a jakýmkoli rozsahem selhání. Data nebo video soubory jsou nejprve převedeny na objekty a každý objekt je rozdělen na několik datových částí a vypočítány redundantní části. Úložný server distribuovaně ukládá data a redundantní části na různé úložné servery ve skupině úložišť. Pokud se porouchá úložný server, všechna data uložená v tomto serveru musí být znovu obnovena. Ošetřování dat provádějí všechny zdravé servery a disky. A pouze ztracené části musí být znovu obnoveny místo přestavby celých disků.

Existují tři hlavní výhody distribuovaného softwarově definovaného úložiště ve srovnání se systémem RAID.

1. Data mohou přežít poruchu jednoho nebo více serverových uzlů.
2. Data reheal je mnohem rychlejší než RAID, protože všechny zdravé disky v clusteru pomáhají souběžně s hojením dat a pouze ztracená data potřebují hojení. Pokud je v clusteru více disků, je rychlost hojení vyšší. Experiment, při kterém byl ztracen jeden disk o velikosti 10TB s využitím 60% v 36 diskovém clusteru, trval 2,5 dne na hojení. Rychlost hojení v tomto experimentu byla 28,5MB/s. (Clay Erasure code 4+2 profil)
3. Během hojení se hojení nezastavuje záznam videa
4. V Ceph úložišti můžete použít velkokapacitní pevné disky, jako je 16TB HDD, abyste získali stejnou kapacitu s menším počtem serverů.

Kolik kamerových záznamů může jeden mikroserver podporovat

Vytvořili jsme testovací prostředí pro zatížení Nx Serveru na Ambedded Mars 400 mikroserver. Experiment nejprve použil server k simulaci IP kamer pro streamování videí na Arm microserver. Formát video streamu je H.264, vysoká kvalita 1080p při 30 snímcích za sekundu. Server Arm VMS připojuje virtuální disk jako své úložiště. Výsledek testu závěruje, že jeden mikroserver může zaznamenávat maximálně 30 kamer bez ztráty video snímku. Testování zahrnuje také scénář, kdy je virtuální disk plný. To znamená, že 1U Mars 400, který pojme osm mikroserverů, může podporovat 240 kamer s vysokým rozlišením videí. To znamená, že 1U Mars 400, který pojme osm mikroserverů, může podporovat až 240 streamů videa ve vysokém rozlišení. Toto je skvělý úspěch pomocí 1U serveru a spotřebovává pouze 100 wattů energie.

Test s reálnými IP kamerami

V dalším testu používáme padesát IP kamer pro provedení testu v reálném prostředí.

Seznam vybavení:

• IP kamery: 25x kabelové a 25x bezdrátové
• Server Mars 400Nx: 8 uzlů v 1U. 4 jádra Arm A72, 4 GB RAM a 2x 2,5 Gbps LAN
• Nx Server: 3 uzly Mars 400Nx Arm,

♦ 3 uzly jsou aktivní pro záznam a přehrávání. Každý uzel má rezervní prostředky pro případ selhání jednoho uzlu.

• Úložiště:

♦ Ochrana dat: vymazání kódu 4+2, umožňuje selhání až 2 pevných disků současně

♦ Ceph server: 21x mikroserver pro Ceph OSD + 3x mikroserver pro Ceph monitor

♦ Pevné disky: 21x 16TB Seagate Exos Enterprise SATA HDD. K dispozici je 224TB.

• Síť:

♦ 4x 10Gb porty pro 4x Mars 400Nx

♦ 1x Gb switch pro kamery

♦ Bezdrátový přístupový bod x 2

Během nahrávání a přehrávání je využito pouze 150% zdrojů procesoru. Maximální využitelné zdroje procesoru jsou 400%. Viz obrázek 1.

Obrázek 1: Využití procesoru v uzlu Nx Server

V každém uzlu je k dispozici celkem 4 GB paměti. 1 GB paměti je rezervováno pro náhradní použití. Množství paměti použité během testu je přibližně 2,8 GB. Uzel serveru může stabilně podporovat až 30 kamer.

Obrázek 2: Nepoužitá paměť v uzlu Nx Server

Síťový provoz během testu je přibližně 150 Mbps pro stahování a 130 Mbps pro nahrávání. 2x 2,5Gb síťová šířka pásma je mnohem vyšší než skutečný provoz.

Obrázek 3: Síťový provoz uzlů serveru Nx

Převzetí úloh při selhání uzlu serveru VMS

Server Network Optics VMS má funkci automatického přepnutí serveru, která umožňuje zdravým VMS serverům připojit kamery z selhání serveru Nx VMS. V našem testu jsme nastavili tři mikroservery jako server Nx VMS. Mohou obsluhovat celkem 90 kamer. Za normálních podmínek jsou 50 testovaných kamer rovnoměrně připojeny ke třem serverům. Simulujeme výpadek serveru vypnutím. Dokazujeme, že 18 kamer připojených k selhání serveru se automaticky znovu připojí k ostatním dvěma serverům za přibližně jednu minutu.

To znamená, že při použití mikroserverového řešení pro server Nx VMS potřebujete pouze 1/8 1U serveru Mars 400Nx pro zálohu. V porovnání s velkým serverem na uzlu může mikroserverová architektura ušetřit náklady na jeden server pro nastavení zálohy.

Příklad návrhu

Požadavky na projekt

1. Počet kamer: 200 kamer
2. Bitová rychlost na kameru pro 1080p, vysoká kvalita, 30 FPS: 4,87 Mbps
3. Doba záznamu denně: 16 hodin
4. Počet dní pro záznam: 60 dní

Výpočet požadavků na server

1. Celková potřebná kapacita použitelného úložiště: 411 TB
2. Celková potřebná hrubá kapacita při použití kódování s vymazáním 4+2: 678 TB
3. Kapacita pevného disku: 16 TB
4. Počet potřebných pevných disků: 43 HDD
5. Počet uzlů potřebných pro úložiště (Ceph OSD): 43
6. Ceph Monitorovací uzel: 3
7. Nx serverové uzly pro 200 kamer: 200/30 = 7 uzlů.
8. Náhradní uzel pro zálohu NxServeru: 1 uzel
9. Celkový počet mikroserverových uzlů: 43 + 3 + 7 + 1 = 54 uzlů
10. Celkový počet požadovaných Mars 400Nx: 54/8 = 7x 1U Mars 40Nx
11. Náhradní uzly: (7 x 8) - 54 = 2 uzly
12. Celková spotřeba energie serveru bez HDD: 7 x 100 Wattů = 700 Wattů

Závěr

Ambedded Mars 400Nx kombinuje Nx VMS server a softwarově definované úložiště má následující výhody:

1. Softwarově definované úložiště Mars 400Nx může chránit data nejen proti selhání disku, ale také proti selhání serveru.
2. Když dojde k selhání disku, Mars 400Nx paralelně obnovuje data ze všech zdravých disků. Je to 4 až 5krát rychlejší než řadič RAID.
3. Mars 400Nx může udržovat nahrávání a přehrávání videa během obnovy dat.
4. V úložištním clusteru Mars 400Nx můžete použít disky s velkou kapacitou a tak snížit celkové náklady na úložný systém.
5. 1U VMS server Mars 400Nx může podporovat až 240x 1080p kamer. Můžete navrhnout VMS systém s flexibilní kombinací úložiště a VMS serverů.
6. Arm server Mars 400Nx ušetří 70 procent spotřeby energie ve srovnání s x86 servery.

O společnosti Ambedded

Ambedded je společnost specializující se na softwarově definované úložiště s odborností v oblasti Linux OS, jádra, softwarově definovaného úložiště, vestavěných systémů a Arm serverů.

Vize společnosti Ambedded je usnadnit používání softwarově definovaného úložiště Ceph, aby podniky mohly těžit z Ceph s kratším učebním procesem.

Ambedded zjednodušuje Ceph nabídkou snadno použitelného uživatelského rozhraní, připraveného úložného zařízení, stabilizace a optimalizace výkonu, automatizace nasazení a profesionální podpory.

S pomocí speciálně navrženého Ceph zařízení má tým Ambedded široké zkušenosti, které pomáhají zákazníkům přijmout naše řešení Ceph v různých odvětvích, jako jsou telekomunikace, zdravotnictví, vojenské, okrajová datová centra a podniky, které potřebují úložiště s vysokou dostupností.

Navštivte webovou stránku Ambedded pro více informací.

O síťové optice

Network Optix je softwarová vývojářská společnost zaměřená na tvorbu špičkových řešení pro správu videa. Náš hlavní produkt - Nx VMS - je otevřená, lehká, přizpůsobitelná platforma pro správu videa, která dokáže spravovat offline média, živé video streamy a integrované systémy a zařízení třetích stran. Nx VMS je bezplatná platforma pro živé streamování - cloudově přístupná, vzdáleně přístupná, škálovatelná na jakoukoli velikost a licencovaná pouze při nahrávání a vyhledávání IP kamer. Nx VMS je také otevřený pro vývojáře, s komplexní dokumentací API a SDK, která je vestavěná a zdarma k použití, což umožňuje organizacím nebo jednotlivcům vytvářet vlastní aplikace řízené videem pro libovolný vertikální trh nebo projekt.

Poděkování

Rádi bychom poděkovali Seagate a Network Optix za poskytnutí pevných disků Exos X16 Enterprise a IP kamer použitých pro tento projekt.

Odkaz:

• Proč přestal RAID v roce 2019 fungovat, od Robina Harrise pro Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• Proč je nejlepší konfigurace RAID žádná konfigurace RAID od Hostující bloger → https://blog.shi.com/hardware/nejsou-raid-konfigurace-nejlepsi-raid-konfigurace/