Exkurze do brněnského datacentra MasterDC aneb jak funguje datacentrum

Exkurze do datacentra MasterDC v Brně

Nedávno mě kolega upozornil na akci s názvem Den (po)otevřených dveří datacentra firmy MasterDC v Praze. Této akce jsme se bohužel nemohli zúčastnit kvůli vzdálenosti. Ale díky vstřícnosti a flexibilitě pracovníků MasterDC se nám podařilo dohodnout ještě něco lepšího, a to soukromou prohlídku jejich datacentra v Brně. A co jsme se tam dozvěděli a viděli? To vám záhy přiblížíme.

TIP REDAKCE
Zajímají vás novinky z oblasti hostingů a serverů? Pak si nenechejte ujít články ze série Hostingové novinky s aktualitami z českého a slovenského webhostingového trhu.

Budova

Datacentrum se nachází téměř v centru Brna, v ulici Cejl. Přestože to tak na první pohled nevypadá, budova se nachází v průmyslové oblasti a pro tento účel byla také postavena. Díky tomu má vysoké a velmi silné stropy, což je pro datacentrum velmi výhodné.

Velká světlá výška podlaží umožňuje v místnostech postavit zdvojenou podlahu. Pod ní pak lze umístit všechny elektrické i datové rozvody a podlaha rovněž umožňuje přívod studeného vzduchu od klimatizačních jednotek ke serverovým skříním. Není pak potřeba budovat samostatné rozvody pro chlazený vzduch a ušetří se tak místo i náklady. Navíc pak všechno působí až neuvěřitelně úhledně, jak můžete vidět na fotce z první serverovny, kterou jsme viděli (obr. 1). Když si představíte, že serverů je zde na tisíce, a každý potřebuje datový a napájecí kabel a kvalitní chlazení, je zdejší pořádek minimálně pro mne překvapivý.

Pohled do serverovny datacentra MasterDC
Obr. 1: Pohled do serverovny

Při tom počtu serverů si jistě umíte představit, že pevné stropy s vysokou nosností jsou také obrovskou výhodou. Datacentrum tak není omezené jenom na přízemí, ale může se v případě potřeby rozrůstat do několika pater. A to jsme se ještě nezmínili o velkých klimatizačních jednotkách, o kterých si řekneme víc později. Také o největší výhodě zdejší lokality jsme vám ještě neřekli.

Konektivita je trumfem v rukávu zdejšího datacentra. Nachází se totiž v těsné blízkosti souběhu optických tras různých poskytovatelů připojení na různé směry. Proto má zdejší datacentrum velmi jednoduše zabezpečenou redundanci připojení do internetu pomocí 3 linek do Prahy a několika linkami do Bratislavy. Toto je, jak si jistě umíte představit, pro spolehlivost datacenter jeden z klíčových parametrů.

Zde si dovolíme uvést jednu zajímavost: Pro zajištění skutečné redundance připojení do internetu je zapotřebí, aby byly datové trasy vedeny geograficky odděleně. Je to mimo jiné proto, aby při případném prokopnutí kabelu při zemních pracích nevypadly obě linky. Mnohdy se třeba až při překopnutí kabelu může ukázat, že linka vede jinudy, než se původně předpokládalo. A že se teď kolem dálnice D1 kope ostošest. I proto linek a záloh není nikdy dost.

Poslední výhodou zdejší lokality, kterou zmíníme, je nejmodernější energetická infrastruktura, jak můžete vidět na obrázku č. 2.

Elektrické rozvodné skříně datacentra MasterDC v Brně
Obr. 2: Elektrické rozvodné skříně

Pokud máte dojem, že je to snad žert, tak se nemýlíte. Jsou to rozvodné skříně pro světla na chodbách a jiné obvody, které ale s datacentrem vůbec nesouvisí. Skutečnou rozvodnou skříň jedné ze serveroven můžete vidět na obrázku č. 3. Více o napájení elektřinou si řekneme v jedné z dalších kapitol.

Rozvodné skříně serverovny datacentra MasterDC v Brně
Obr. 3: Rozvodné skříně serverovny

Chlazení datacentra

Protože datacentra obsahují tisíce serverů s nemalou spotřebou na malé ploše a každému z nich vyhovuje spíše nižší teplota, žádné datacentrum se neobejde bez dostatečného chlazení. V brněnském datacentru to Master řeší dvěma způsoby: industriální klimatizací a freecoolingem. Většina jejich serveroven využívá první možnost, nejmodernější ekologický sál pak tu druhou.

Klimatizace

Na obrázku č. 4 vidíte jednu z klasických klimatizačních jednotek serverovny s výkonem 85 kW. V každé serverovně jsou klimatizace minimálně 2 z důvodu zálohy při poruše jedné z nich.

Jedna z průmyslových klimatizací serverovny datacentra MasterDC v Brně
Obr. 4: Jedna z industriálních klimatizací serverovny

Klimatizace nasává teplý vzduch shora přímo z místnosti a ochlazený vzduch žene do zdvojené podlahy. Tudy vzduch proudí k rackovým skříním (např. bílé skříně vpravo na obrázku č. 1) a přes otvory v podlaze do studené uličky mezi servery (obr. č. 6). Pro lepší pochopení přikládáme schematický obrázek č. 5 znázorňující proudění vzduchu v datovém sálu.

Princip chlazení serverovny
Obr. 5: Principiální znázornění chlazení serverovny (zdroj: master.cz)
Studená ulička mezi rackovými skříněmi datacentra MasterDC v Brně
Obr. 6: Studená ulička mezi rackovými skříněmi

Dále vzduch prochází skrze jednotlivé servery (obr. 7), které ochlazuje, a pak již ohřátý proudí ven z racku a zpátky do místnosti, kde je opět nasáván klimatizačními jednotkami. A tak stále dokola.

Servery v rackové skříni datacentra MasterDC v Brně
Obr. 7: Servery v rackové skříni

Zajímavá fakta: Na každých 100 W příkonu serveru datacentrum spotřebuje dalších přibližně 50 W pro podpůrné systémy, zejména chlazení. V serverovnách s průmyslovým chlazením se udržuje teplota 18–25 °C, ale ani teploty nad 30 °C by zdejším serverům nevadily.

Pro udržování správné teploty a monitorování chodu si společnost vyrobila vlastní řídicí systém. Na obrázku č. 8 je fotka grafického rozhraní tohoto systému přímo v serverovně. Samozřejmě správnost chodu všech komponent může vidět i personál vykonávající dohled z komfortu recepce.

Uživatelské rozhraní řídicího systému serverovny datacentra MasterDC v Brně
Obr. 8: Uživatelské rozhraní řídicího systému na monitoru v jedné ze serveroven

Free cooling

Alternativou ke klasické klimatizaci je free cooling, neboli volné chlazení. Je to typ chlazení, který využívá chladnější venkovní vzduch ke chlazení zařízení přímo (po filtraci od prachu), tedy bez použití např. kompresorového chlazení. Z principu by mělo být mnohem levnější než klasické chlazení klimatizací, protože na kompresory připadá naprostá většina spotřeby klimatizací. Jak vypadá jednotka chlazení na bázi free coolingu uvidíte na obr. č. 9.

Free coolingové jednotky datacentra MasterDC v Brně
Obr. 9: Free coolingové jednotky

Oproti běžným klimatizačním jednotkám z obrázků č. 1 a č. 4 je zde zřejmá přítomnost sání venkovního vzduchu. Ten je opět hnán podlahou do studené uličky mezi rackovými skříněmi (obr. 10).

Rackové skříně využívající free cooling datacentra MasterDC v Brně
Obr. 10: Rackové skříně využívající free cooling

Poté, co si chladný vzduch odpracuje své během cesty kolem serverů, proudí do místnosti a pak musí být vypuštěn větracími mřížkami ven (obr. č. 11).

Větrací mřížky free coolingu datacentra MasterDC v Brně
Obr. 11: Větrací mřížky free coolingu pro vypuštění ohřátého vzduchu

Protože jsme v České republice a míváme zde i léto, asi tušíte, že s free coolingem to nebude až tak jednoduché. A máte pravdu. Také free coolingová jednotka obsahuje klimatizaci pro dochlazování během horkých dní. Přesto pro co nejvyšší využití výhody free coolingu, je maximální dovolená teplota mezi servery o poznání vyšší, než je tomu v serverovně chlazené klasickou klimatizací.

Ze zkušeností pracovníků Master Internet se tato zvýšená teplota nijak měřitelně neprojevuje na životnosti a spolehlivosti serverů, které používají. Obratem jsme se ale dozvěděli, že podmínkou je správné uložení serverů ve skříních, tak aby všechny komponenty měly přístup ke chladnému vzduchu tak, jak potřebují. Zároveň to může být díky kvalitě profesionálních komponent značky Dell EMC, které zde nachází svůj domov, a které mají certifikaci pro běh ve vysokoteplotních datacentrech – tzv. high temperature data centres. Ty zvládnou chod i ve 40 stupních Celsia a výrazně se tak šetří náklady na chlazení datacentra. I přesto je prý mnoho zákazníků, kteří před umístěním v serverovně chlazené free coolingem upřednostňují serverovny s klasickým chlazením.

Vlhkost

Jak můžete vidět i na obrázku 8, teplota není jediným parametrem, který musí klimatizace držet v určitých mezích. Tím druhým je relativní vlhkost vzduchu, kterou udržují v rozmezí 40–60 %. Příliš suchý vzduch by totiž zvyšoval riziko poškození hardware statickou elektřinou, proto všechny chladicí jednotky (klasické i free coolingové) obsahují také zvlhčovače vzduchu.

Zajímavostí je, že ze zkušeností Masteru může být spotřeba free coolingu v zimě paradoxně možná i větší než spotřeba klasické klimatizace v létě. Důvodem je právě ona nutnost zvlhčování vzduchu, který je v zimě výrazně sušší, neustálá výměna vzduchu v serverovně se vzduchem zvenčí a také nemalá energetická náročnost odpařování vody pro zvlhčování. Tím se pomalu dostáváme k zabezpečení elektřinou, protože bez elektřiny nefunguje ani chlazení.

Napájení elektrickou energií

Jak si jistě umíte představit, spolehlivé napájení elektřinou je pro dostupnost služeb datacentra stěžejní, jak pro servery, konektivitu i chlazení. V navštíveném datacentru proto využívají vlastní trafostanice a dvě nezávislé větve napájení. Každá z větví má svůj transformátor, vedení, UPS a 2 motorgenerátory.

Jedna z mnoha jednotek UPS v datacentru MasterDC v Brně
Obr. 12: Jedna z mnoha jednotek UPS v datacentru

UPS jednotky (např. na obr. 12, kde ale nevidíte akumulátory, které se nacházejí mimo tuto skříň) slouží pro rychlou (nabíhají okamžitě), ale krátkodobou zálohu při výpadku alespoň do doby, než najedou motorgenerátory (viz obrázky č. 13, č. 14 a č. 15). Ty jsou pro každou větev dva (jeden pro nové serverovny, 1 pro starší) a v případě potřeby a průběžného doplňování paliva vydrží běžet až měsíc bez přestávky. Pak by musela následovat výměna oleje a filtrů.

Kontejnery s motorgenerátory pro zálohu datacentra MasterDC v Brně
Obr. 13: Kontejnery s motorgenerátory

Dle provozovatele se kdysi výpadky sítě pohybovaly na úrovni 1 hodiny ročně. Ale posledních několik let se prý v síti objevují již pouze mikrovýpadky, které hravě pokryjí jednotky UPS. Motorgenerátory se tak zapínají pouze z důvodu kontroly funkčnosti při simulovaném výpadku, která se provádí každý měsíc. Jednou za 4 roky pak v Masteru provádí i revizi trafostanic, při které je datacentrum po dobu cca 4 hodin napájeno motorgenerátory.

Motorová část dieselgenerátoru datacentra MasterDC v Brně
Obr. 14: Motorová část motorgenerátoru

Ještě se na chvíli vrátíme zpět k jednotkám UPS. Ty, které používají, jsou modulární a kupříkladu 150 kW UPS se skládá ze pěti 30 kW modulů. Takovou UPS je ale možné zatížit pouze zařízeními se součtem příkonů 120 kW, aby i při poruše jednoho z modulů byla zajištěna redundance.

Dalším zajímavým tématem je životnost těchto zařízení. UPS se v datacentru mění co 10 let a akumulátory se mění v intervalu 5 let, tedy častěji, než je doporučeno výrobcem. Mnoho výrobců baterií prý nabízí i akumulátory s nominální životností 10 let, ale z důvodu ostražitosti i takové akumulátory radši nahrazují novými s periodou 5 let. Riziko, že akumulátor nebude mít deklarovanou životnost a s tím spojené riziko výpadku totiž nestojí za ušetřené náklady. Výpadek a s ním spojená nespokojenost klientů by byl ve výsledku daleko dražší než sada nových baterek.

Generátorová část dieselgenerátoru datacentra MasterDC v Brně
Obr. 15: Generátorová část motorgenerátoru

Hasicí systém

Další ze systémů, který není běžně v provozu, ale musí v datacentru být, je hasicí systém. Hašení vodou je sice nejlevnější, ale v rozumně navržených datacentrech se nepoužívá. Důvodem je, jak si jistě dokážete představit, téměř jisté poškození serverů a elektroniky v případě, že by ho bylo nutné použít.

V datacentru firmy Master Internet používají hasicí systémy, které by případný požár uhasily inertním plynem FM-200. Použití tohoto plynu má mnoho výhod:

  • je to elektricky nevodivý plyn, který je šetrný a bezpečný jak k elektronice, tak pro lidský organismus, tedy ekologický
  • nepoškozuje ozonovou vrstvu
  • hasební efekt spočívá v absorpci tepla a po rozpadu teplem plamene působí také chemicky
  • nezanechává po hašení žádné zbytky (snižuje náklady na úklid)
  • reaguje velmi rychle a redukuje tak i sekundární škody požáru
  • z tlakových lahví je v případě požáru vypuštěn během několika málo sekund (obvykle do max. 10 vteřin)

Plyn se skladuje v lahvích (obr. č. 16), ze kterých je v případě potřeby vypuštěn automatickým hasicím systémem.

Láhve s hasicím plynem FM200 datacentra MasterDC v Brně
Obr. 16: Láhve s hasicím plynem

Samozřejmě jsme byli zvědaví, jestli podobná událost již někdy v datacentru nastala. Odpověď byla, že za celou historii provozu datacentra, tedy 15 let, se naštěstí nic takového nestalo. Ani požár, ani jiné vypuštění hasicího plynu, které by bylo pro firmu ještě dražší. Při požáru by totiž nové hasivo v ceně stovek tisíc Kč platila pojišťovna, ale při lidském zavinění bez požáru by tyto náklady snášela firma.

Další zajímavosti

Během exkurze jsme se dozvěděli nebo si všimli několik dalších zajímavostí, které se teď pokusíme stručně shrnout.

Rozšiřování

Větší rozšiřování kapacity nebo počtu datacenter pravděpodobně v dohledné době nebude potřeba. Počty a nároky uživatelů sice stále rostou, ale současně roste výkonnost a kapacita serverových zařízení, které se vejdou do stejného nebo i menšího prostoru. V delším časovém horizontu se ale výstavba třetího datacentra MaterDC plánuje, tentokrát takzvaně “na zelené louce”.

Konkurence

Na naši zvědavou otázku, jak si stojí s ohledem na konkurenci, jsme dostali zajímavou odpověď. Jako největší konkurenty vnímají americké giganty Amazon a Google, protože cenově na ně bohužel nedosáhnou. Ale svou konkurenční výhodu vidí v osobním přístupu a podpoře, díky kterému si stále udržují svou klientelu.

Mají také celou řadu zákazníků, kteří se k nim od cloudových gigantů vrátili zpět právě proto, že se jim nedostávalo dostatečné podpory a řada věcí u nich takzvaně “nešla”. Tito zákazníci již ví, že problémy a kritické věci se těžko řeší pouze přes tickety s bůhví jakým zpožděním. Proto v Masteru velice dbají na kvalitní podporu 24/7.

Hlučnost

V jedné ze serveroven nás překvapila celkem vysoká hlučnost. A že to nebyl jen náš pocit, potvrdila přítomnost 3 párů sluchátek pro ochranu sluchu hned za dveřmi serverovny. Vysvětlujeme si to projevem pravděpodobně tisíců serverů, protože počet racků v této místnosti byl odhadem minimálně 2 krát větší než v jiných serverovnách. To můžete ostatně vidět i na délce jedné studené uličky v této místnosti, viz obr. 17.

Nejdelší studená ulička datacentra MasterDC v Brně
Obr 17: Nejdelší studená ulička, kterou jsme viděli, se podepsala na vyšší hlučnosti

TIER IV

Po naší otázce ohledem významu certifikace TIER IV a jejího potenciálního přínosu (datacentrum, které jsme viděli touto certifikací nedisponuje) jsme se dozvěděli, že jejich datacentra splňují všechny požadavky TIER IV, které ovlivňují spolehlivost. Protože to je to, co podle jejich zkušeností zákazníci chtějí. Ti dobře vědí, jaký (malý) je přínos certifikátu, a že samotná certifikace není levná a její cena by se nakonec musela promítnout do cen pro zákazníky.

Serverové versus počítačové disky

Ze zkušeností personálu datacentra mnohem víc než již zmíněná teplotní (ne)závislost životnosti komponent se kterými pracují, je vidět rozdíl disků v závislosti na jaký účel byly vyrobeny. Běžné počítačové disky, které někteří zákazníci využívají kvůli nižší ceně, se většinou v prostředí datacentra v nonstop provozu dožívají zhruba 1 rok. Naproti tomu serverové disky vydrží běžně 3-5 krát déle. Proto náš průvodce využívá serverové disky i doma na svém soukromém počítači.

Klec

Pokud vás náhodou zajímá, k čemu slouží klec, kterou jste viděli na obrázcích č. 1 a č. 4, tak je to pro dodatečné fyzické zabezpečení serverů jednoho ze zákazníků, který si takové opatření vyžádal. Samozřejmě, že všechny serverovny a racky jsou fyzicky zabezpečeny proti vniknutí a přístup do datacentra má pouze autorizovaný personál a zákazníci v jeho doprovodu. V Masteru jsou ale připraveni vyjít vstříc i nestandardním požadavkům jako je třeba takovéto zaklecování technologií a zvýšený bezpečnostní režim. Ať už má zákazník důvod jakýkoliv.

Závěr

Jsme velice rádi a děkujeme za vstřícnost personálu firmy Master Internet, že jsme se mohli podívat do jejich datacentra. Jak jste z délky článku jistě poznali, byli jsme nadšeni. Ale mnohem víc jsme rádi, že také naše ryze domácí firmy a nejen pobočky zahraničních firem zde vytvářejí vysokou přidanou hodnotu a pracují se špičkovými technologiemi.

A co vy? Využili jste možnost podívat se do jejich pražského datacentra nebo někam jinam? Neváhejte a napište nám o tom v komentářích.

Newsletter

Získej novinky jako první!

Přihlášení bylo úspěšné.

Něco se pokazilo. Zkuste se přihlásit znovu.

(1 hlasů, průměr: 5,00 z 5)
Loading...

Napsat komentář

Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *

Tato stránka používá Akismet k omezení spamu. Podívejte se, jak vaše data z komentářů zpracováváme..