Dnes sleva 50% na webhosting NoLimit

OBRAZEM: Blade servery v akci

Nedávno jsme přinesli první fotografie blade serverů, nyní se na celý systém podíváme zblízka, popíšeme si jeho komponenty, jak to celé funguje a komunikuje atd.

Datum: 18.10.2010


Po našem velmi dlouhém rozhodování, zda pro naše potřeby, webhosting, databáze, e-mailové servery a další pořídíme samostatné 1U servery nebo blade servery, nakonec padlo rozhodnutí pro to druhé. Důvody vysvětlíme na konci článku.

Všechny prvky bladového systému mají svůj management - webové rozhraní, podpora IPMI protokolu, SNMP atd. To budeme rozebírat v některém z dalších článků.

Blade skříň

Základem celého systému je skříň (odborně blade chassis neboli "šasi"). V podstatě je to plechová krabice, do které se vše zapojuje a která současně vše propojuje. Uprostřed šasi je deska tištěných spojů a konektory, které nahrazují kabeláž (napájení, ethernet, ovládání, management a další). Šasi neobsahuje žádné aktivní prvky, takže předpokládáme, že se jen tak nerozbije a že na ní nic neodejte. Ale pro jistotu jsme tyto skříně pořídili 2 - druhá je nevyužitá, slouží jako rezerva pro případ poruchy.

Šasi má zepředu:

  • 18 pozic pro blade servery
  • vysouvací ovládací panel pro základní nastavení a diagnostiku (v podstatě obrazovka a klávesnice k management bladu)

Šasi má zezadu:

  • 2 pozice pro management moduly
  • 6 pozic pro napájecí zdroje
  • 8 pozic pro connection blady (switche)

Vše je hotswapové - vše můžeme vyndavat a zandavat za běhu, kvůli ničemu se nemusí šasi vypínat a neovlivní to běh ostatních zapojených zařízení.

Každý modul v šasi má svou identifikační diodu. Pokud totiž potřebujete v rackové skříni najít jedno konkrétní zařízení, ve kterém např. potřebujete něco vyměnit, můžete si přes webové rozhraní u něj zapnout identifikaci a pak v serverovně pátráte po zařízení s rozsvícenou modrou diodou. Nebo naopak tlačítkem tuto identifikaci zapnete na místě a pak v managementu přes webové rozhraní uvidíte, které z nich to je.

Switche

Blade servery mají standardně 4x 1 Gbps ethernetová rozhraní, která jsou zakončena v šasi. K tomu je potřeba ještě zapojit switche. Ethernetové switche, které používáme, mají na své přední straně 8 metalických 1 Gbps portů a 4 šachty pro SFP moduly pro optický 1 Gbps ethernet. Existují samozřejmě switche s 10 Gbps rozhraním. Na zadní straně, kterou jsou zapojeny do šasi, mají switche vyvedeno dalších 36 portů (2x 18), tedy 2 porty pro každý blade server. Ve výsledku jsou všechny první a třetí síťová rozhraní všech bladů propojena přes první switch a všechna druhá a čtvrtá rozhraní jsou propojena přes druhý switch.

Přidat lze další switche, ale nejen ethernetové. K dispozici je též Fibre Channel a Inifiniband, ale na to už blade servery potřebují rozšiřující karty (mezzanine card).

Management modul

Šasi může obsahovat až 2 management moduly, vždy je aktivní jeden z nich, druhý slouží jako záložní. Přes tento modul se celý systém řídí a spravuje. Management modul je s šasi a se všemi dalšími moduly v něm interně propojen a sleduje jejich stavy, teploty, otáčky všech ventilátorů, napětí, spotřebu energie atd.

Blade servery

Blade servery jsou takové trochu vykuchané běžné servery - obsahují základní desku, procesory, paměti, pevné disky a rozšiřující sloty pro mezzanine karty. Ale tím to končí. Nemají žádné chlazení, větráčky ani napájecí zdroj. To vše jim poskytuje šasi.

Na přední straně blade serverů je:

  • kontrolky stavu a aktivity
  • tlačítko pro vypnutí a zapnutí
  • tlačítko pro identifikaci
  • speciální konektor pro připojení kabelu, kterým si vyvedeme USB porty, VGA port a COM port
  • 2 pozice pro 2,5" disky

Na zadní straně najdeme jen velký konektor, kterým se propojuje s šasi a který nahrazuje veškerou kabeláž.

Naše blade servery mají následující konfiguraci:

  • 2x Intel Xeon L5630 (4 jádra, 8 vláken) 2.13 GHz, 12 MB cache, spotřeba 40W
  • 24 GB RAM DDR3 1333 MHz (stroje pro virtualizaci mají 72 GB RAM)
  • 2x HDD SATA 3G 160 GB, 5400 otáček, 2,5"

Disky jsou ty neobyčejnější, protože slouží jen k tomu, aby z nich nastartoval operační systém. Všechna další data budou umístěna na storage. Výjimkou jsou 2 databázové servery, které mají 2x HDD SAS 6G 146 GB 15k otáček. Všechny disky mají hardwarový RAID 1.

Napájecí zdroje

Napájecích zdrojů se do šasi vejde až 6, ale to my nevyužijeme. Každý zdroj má 3200 W a nám by na celé šasi při plném výkonu stačil jen 1 zdroj. Je to dané tím, že jsme volili velmi úspornou variantu serverů. Zapojeny však budeme mít 4 zdroje, protože 2 budou zapojeny do zálohované sítě (přes generátor a UPS) a druhé 2 do nezálohované sítě. Kterákoliv z napájecích větví může vypadnout a stále budeme mít zdroje v redundanci (kdyby současně ještě jeden zdroj odešel). Dokud bude mít alespoň jeden zdroj napětí, tak celý systém pojede.

I zdroje jsou samozřejmě hotswapové, lze je za běhu libovolně odebírat a přidávat. Při odebrání zbývající zdroje převezmou zátěž. Zdroje v sobě obsahují několik větráčků, které jsou samozřejmě také hotswapové a o jejich poruše se samozřejmě dozvíme z managementu.

Proč blade řešení?

Blady jsme si představili a teď proč jsme si je vlastně zvolili. Použili jsme matematiku ze základní školy a jednoduše si počítali TCO (oblíbený pojem manažerů, kteří se vám snaží vnutit svůj hardware - Total Cost of Ownership, celkové náklady na vlastnictví a provoz zařízení). Sečetli jsme si pořizovací a provozní náklady u varianty s bladovými servery a u varianty s klasickými samostatnými 1U servery a došli jsme k prostému závěru - blade servery vycházejí levněji.

Samotná blade skříň není nejlevnější záležitost (do toho spadá samotná skříň, napájecí zdroje a management modul), ale jednotlivé blade servery do ní jsou o něco levnější než stejné 1U stroje. A dopočítali jsme se k tomu, že při blade šasi, zaplněném z poloviny, se začíná vyplácet blade řešení.

Výhody blade řešení

  • do menšího prostoru v racku nacpete větší výpočetní výkon (18 dvousoketových strojů v 10 U pozicích)
  • netrápí vás žádná kabeláž - napájecí kabely a ethernetové kabely nepotřebujete, vše je prodrátováno v šasi
  • šetření energií - díky tomu, že servery používají sdílené napájení a chlazení, šetří se mnoho elektrické energie, a tedy je méně ztrátového tepla, a tedy potřebujete méně energie na chlazení (jinak by každý server potřeboval své chlazení a své vlastní 2 napájecí zdroje pro redundanci)

Nevýhody blade řešení

  • vše je proprietární, musíte vše mít od jednoho výrobce, do blade šasi Fujitsu nezapojíte server ani switch od jiného výrobce, není k nim alternativa (ale nepředpokládáme, že by nám to mělo vadit)

Proč tedy blade nepoužijeme i pro dedikované servery?

Protože u konfigurací, které jsme zvolili pro dedikované servery, se to nevyplatí. Blade servery jsou určeny a konstruovány pro vysoké výkony. Zatímco naše nejlevnější varianty dedikovaných serverů jsou obyčejnější.

Foto (24)

blade servery a ovládací panel

blade servery a ovládací panel

napájecí zdroje

napájecí zdroje

ethernetový switch

ethernetový switch

blade servery

blade servery

ovládací panel

ovládací panel

blade servery

blade servery

blade servery

blade servery

blade servery

blade servery

blade servery

blade servery

management modul

management modul

management modul

management modul

napájecí zdroj

napájecí zdroj

management modul zezadu

management modul zezadu

napájecí zdroj

napájecí zdroj

napájecí zdroj zezadu

napájecí zdroj zezadu

napájecí zdroj a hotswap větráky

napájecí zdroj a hotswap větráky

blade server

blade server

blade server

blade server

blade server

blade server

blade server, hotswap disky

blade server, hotswap disky

blade server, hotswap disky

blade server, hotswap disky

blade server, konektor do šasi

blade server, konektor do šasi

blade server - chladič procesoru

blade server - chladič procesoru

blade server - konektor do šasi

blade server - konektor do šasi

Diskuze k článku (5)

VPSq20.10.10 12:24
  Re: VPSPetr Šťastný, WEDOS20.10.10 12:40
    Re: VPSq20.10.10 13:56
      Re: VPSPetr Šťastný, WEDOS20.10.10 14:08
        Re: VPSq20.10.10 14:37