Tato stránka používá „cookies“. Soubory cookie nám pomáhají poskytovat, chránit a zlepšovat naše služby. Více informací zde. Přijmout cookies
Tato stránka používá „cookies“. Soubory cookie nám pomáhají poskytovat, chránit a zlepšovat naše služby. Více informací zde. Přijmout cookies
Dnes sleva 50% na webhosting NoLimit

Oficiální vyjádření k problémům ze dne 23. a 24. května 2014

Informační zpráva o technických problémech v našem datacentru v odpoledních hodinách dne 23 a v ranních hodinách dne 24. května 2014.

Datum: 26.05.2014


Všem našim zákazníkům se chceme nejdříve touto cestou omluvit za výpadek služeb, který nastal v pátek odpoledne 23. května a v sobotu dopoledne 24. května, kdy došlo k technickým problémům, které ve výsledku vedly k přerušení napájení serverů.

Přebíráme proto veškerou zodpovědnost a nebudeme se vymlouvat na nepřízeň počasí nebo vyšší moc či souhru náhod. Vina je plně na naší straně a měli jsme předpokládat, že i k takovéto situaci může dojít.

Zároveň se omlouváme za první páteční zprávu, která Vás mylně informovala o tom, že vše již máme pod kontrolou a problém je vyřešen. Nebyl v tom žádný zlý úmysl, nechtěli jsme nikomu lhát. První tříminutový výpadek se nám podařilo dostat pod kontrolu a ve chvíli, kdy jsme zprávu uveřejnili, fungovalo více než 95% všech našich služeb. Na ty ostatní nefunkční jsme přicházeli později. Omlouváme se za to.

Vše, čím naše firma tento pátek a sobotu prošla, je obrovským ponaučením. Záložní zdroje budeme mít nyní pod zostřeným dohledem. Okamžitě zvýšíme dobu testování záložních zdrojů, v pondělí objednáváme novou UPS a další potřebná opatření pro lepší zabezpečení chodu našich služeb budou následovat a my Vás o nich budeme, jako vždy, pravidelně informovat.

Ještě jednou se tedy velice omlouváme a nyní si dovolíme rozepsat podrobně celé dva dny, abyste měli přesnou představu o tom, co se u nás dělo. Popravdě řečeno došlo k neuvěřitelným shodám náhod, které vedly k poruše několika různých systémů a to i přes to, že se jedná o nová zařízení v zálohovaném (redundantním) provedení.

Celá situace vznikla shodou více navazujících problémů. Prvním důvodem bylo vedro, které bylo zdrojem bouřek a ty způsobily značné kolísání elektřiny v síti. Kvůli kolísání el. energie došlo po spuštění klimatizací k poškození jedné z klimatizací a tím k shození hlavního jističe celého datacentra. Tím, že bylo v síti přepětí, došlo k přehřátí tohoto hlavního jističe. Automaticky tedy naskočil dieselový generátor, který ovšem po 15 minutách přestal fungovat kvůli poruše chladícího systému motorgenerátoru (poslední kontrolu jsme prováděli ve čtvrtek, tedy den před tím - činíme tak pravidelně každý týden a při kontrole generátor nevykazoval žádné známky poruchy), naskočily tedy UPS, které držely servery v chodu dalších 33 minut. V této chvíli jsme již v kontaktu s dodavatelem elektřiny, který k nám posílá opraváře. Po celou dobu fungovala záložní klimatizace. Než jsme stačili poškozený jistič nahradit nouzovým řešením, došlo k vybití baterií, což způsobilo kompletní výpadek napájení na dobu 3 minut. Poté začalo fungovat téměř vše, ale jak jsme již uvedli výše, informovali jsme na našich stránkách o tom, že vše je pod kontrolou, ovšem jednalo se o mylnou informaci, protože malá část našich služeb ještě funkční nebyla.

Po cca hodině pokračovaly další výkyvy na elektrické síti, a proto došlo k poškození UPS na jedné napájecí větvi. A tím opět došlo ke zkratu v naší elektrické síti. Bylo nutné nahradit nouzové řešení hlavního jističe novým plně funkčním hlavním jističem, který jsme mezi tím zajistili. Bohužel UPS z jedné napájecí větve byla natolik poškozena, že nebylo možné ji použít a druhá UPS měla natolik vybité baterie z předcházejícího výpadku elektrické energie, že vše zkolabovalo podruhé. Tentokrát na 13 minut. Po této době se podařilo hlavní jistič vyměnit a tím obnovit dodávku elektřiny.

Většina serverů po tomto druhém výpadku okamžitě nastartovala a fungovala, pouze několik jednotek procent serverů (bohužel je to několik tisícovek zákazníků) mělo problémy delší dobu a jeden mailserver se nám podařilo obnovit až v sobotu nad ránem.

Celá firma od pátečního odpoledne intenzivně pracovala na odstranění následků výpadku. Bohužel celá situace byla o to komplikovanější, že v důsledku výpadku došlo k poškození primárního i záložního firewallu našich kanceláří a tím jsme neměli přístup k internetu z našich kanceláří a k serverům, ke kterým je z bezpečnostních důvodů povolen přístup pouze z počítačů v našich kancelářích. Tím se obnova zbývajících nefunkčních služeb Jednalo se o několik málo kusů sererů) velmi zpomalila a komplikovala. Museli jsme zajistit náhradní (třetí) firewall a po jeho zprovoznění jsme postupně všechny služby obnovili.

Vzhledem k poškození UPS na jedné napájecí větvi, byly servery napájeny pouze přes jednu napájecí větev, což je velmi riskantní, tak jsme se po dohodě s dodavatelem UPS domluvili na tom, že po nabití baterií funkční UPS, přepneme poškozenou UPS do režimu bypass a tím zajistíme serverům napájení i z druhé větve. Tato operace byla naplánována na 8 hodin ráno a mělo se jednat o rutinní operaci bez jakéhokoliv výpadku.

Ráno přišel technik na opravu UPS (ta byla přepnuta na bypass). Vše se zdálo být vyřešeno, ale oprava, ačkoliv se zdála v pořádku (dle veškerých dostupných měření), neproběhla dobře, resp. neodhalila vadnou součástku. Po přepnutí UPS do režimu bypass došlo ke zkratu a tím přerušení napájení. Bohužel baterie, které fungovaly jako záložní zdroj v pátek navečer, nebyly ještě zcela nabité, takže napájely servery 20 minut. Než stihl technik přemontovat nový hlavní jistič, nastal druhý výpadek a to na celých 15 minut. Po tomto výpadku naši technici všechny služby obnovili ve velmi krátké době.

Celý zbytek dne jsme pak řešili, jak podobné situaci jednou pro vždy předejít. Generátor byl ještě v sobotu opraven a věříme, že podobná souhra tolika nepravděpodobných událostí najednou, se již nebude opakovat. A i kdyby nastala, jsme na ni lépe připraveni. V pondělí také objednáváme úplně novou UPS. O dalších vylepšeních, která mají předejít podobným výpadkům, vás budeme průběžně informovat.

Věřte, že nikdo zde nezahálel a situaci jsme brali velmi vážně. Do práce přišli i kolegové, kteří neměli zrovna směnu a snažili se pomoci. Jakmile bylo možné zvedat telefony a odpovídat na Vaše dotazy, bylo zde k dispozici 10 administrátorů, kteří trpělivě odpovídali a vysvětlovali.

Jsme si vědomi toho, že ve chvíli, kdy u nás hostují desítky tisíc klientů musí vše fungovat na 100% a i ochranné mechanismy, které řeší výpadky elektriky, útoky atd., musí mít ještě záložní řešení a další možnosti, jak vše zvládnout tak, aby klient nemusel pociťovat nic jiného než spokojenost s našimi službami.

Všem zákazníkům, kterých se problémy dotkly, poskytneme automaticky kompenzaci v podobě služeb zdarma (budeme řešit v průběhu příštího měsíce). Zákazníci, kteří mají dle smluvních podmínek nárok na vyšší kompenzace, budou řešeni individuálně.

Z výše uvedených problémů se poučíme a ještě jednou se omlouváme všem našim klientům. Děkujeme zaměstnancům, dodavatelům a spolupracujícím firmám za řešení celé situace. A věříme, že je velmi nepravděpodobné, aby se podobná shoda náhod opakovala, protože došlo k poškození nejen primárních, ale i záložních zdrojů a tím k velkým komplikacím.

Další informace:

Aktuálně mohou mít stále problém zákazníci, kterým se VPS zastavila na výběru před zavedením OS (Grub, nástroj na opravu po pádu, ...). Řešení je KVM. V nejhorším případě provedeme obnovení ze zálohy zdarma. Dále mohou být poškozeny některé tabulky u databází webhostingu a je nutné nás kontaktovat, abychom s jejich opravou pomohli. Odhadujeme, že tyto problémy se dotýkají několika desítek zákazníků a bohužel není v našich silách zjistit, koho konkrétně se to týká a je tedy nutné, aby nás dotyční zákazníci sami oslovili.

Na závěr se ještě jednou všem zákazníkům omlouváme za problémy a zároveň za omezenou možnost komunikace v okamžiku výpadku. Již jsme u nás vyřešili náhradní způsoby komunikace v případě podobné krizové situace. Od pátečního odpoledne jsme se věnovali na 100% řešení celé situace a to až do dnešní 11 hodiny, kdy jsou již všechna poškozená zařízení plně funkční (s výjimkou jedné UPS, která bude nahrazena novou).

Diskuze k článku (205)

nefunkcni redirectyivo novak24.05.15 18:45
Je potřeba si ujasnit pojmyKarel Herma16.07.14 11:00
Výpadek a kompenzaceJiří Fencl15.07.14 10:48
PochopeníMartin Nevrlý02.06.14 23:52
K výpadkom dôjsť môže, ospravedlnili ste sa a teraz ste v tomto ohľade o niečo múdrejší.ML30.05.14 13:54
informovanostNikolas29.05.14 19:36
Jedna větší výtkaJiří Barouš29.05.14 16:14
Jeste ze to byl jenom vypadekMichal N.29.05.14 13:29
stále nefunkční službyEva Knirschová29.05.14 12:04
  Re: stále nefunkční službyZdeňka Grill, WEDOS30.05.14 00:24
Zrovna jsem zvažoval VPS:-)29.05.14 01:03
OdškodněníTS28.05.14 15:12
  Re: OdškodněníZdeňka Grill, WEDOS28.05.14 15:21
    Re: OdškodněníTS28.05.14 17:05
      Re: OdškodněníMichal29.05.14 12:42
    Re: OdškodněníMichal Suran31.05.14 17:42
  Re: OdškodněníOtik01.06.14 18:32
další náhoda..28.05.14 05:43
  Re: další náhoda..Neddy28.05.14 18:09
    Re: další náhoda..29.05.14 07:47
    Re: další náhoda..Radek29.05.14 13:37
KompenzaceMatony27.05.14 21:11
  Re: KompenzaceHonza Koukl27.05.14 23:22
    Re: KompenzaceMichal Šobr28.05.14 14:27
Co mne nezabije...Petr Bolek27.05.14 18:56
jede se dálDavid Kácha27.05.14 14:15
GJTomáš D.27.05.14 12:10
  Re: GJZdeňka Grill, WEDOS27.05.14 13:27
Totalni neschopnostJa Jsem27.05.14 11:19
  Re: Totalni neschopnostRadek27.05.14 11:42
    Re: Totalni neschopnostMichal27.05.14 13:18
      Re: Totalni neschopnostRadek28.05.14 14:09
  Re: Totalni neschopnostq27.05.14 12:37
  Re: Totalni neschopnostJakub V.27.05.14 12:55
  Re: Totalni neschopnostDaniel27.05.14 13:20
  Re: Totalni neschopnostZdeňka Grill, WEDOS27.05.14 13:26
  Re: Totalni neschopnostMartin Poljak09.06.14 12:49
    Re: Totalni neschopnostJiří Barouš09.06.14 14:46
Korektné vypnutieValér Romok27.05.14 00:34
  Re: Korektné vypnutieZdeňka Grill, WEDOS27.05.14 13:31
    Re: Korektné vypnutiePavel R.27.05.14 18:12
...Martin Hrkút26.05.14 23:21
  Re: ...Zdeňka Grill, WEDOS27.05.14 13:34
Ach joLukáš Elner26.05.14 23:20
  Re: Ach joZdeňka Grill, WEDOS27.05.14 13:36
Sdílecí tlačítkaJana26.05.14 22:20
  Re: Sdílecí tlačítkaZdeňka Grill, WEDOS26.05.14 22:38
Asi váš výpadek již někdo předpovědělPavel26.05.14 21:51
  Re: Asi váš výpadek již někdo předpovědělZdeňka Grill, WEDOS26.05.14 22:05
Selhalo toho vicJaroslav Tupy26.05.14 21:12
  Re: Selhalo toho vicAlenka v Říši divů26.05.14 21:20
  Re: Selhalo toho vicZdeňka Grill, WEDOS26.05.14 21:30
Výpadek? No a co...Viktor Friesz26.05.14 20:39
  Re: Výpadek? No a co...Zdeňka Grill, WEDOS26.05.14 21:24
  Re: Výpadek? No a co...Martin Hynek27.05.14 09:11
informovanost zákazníkapp26.05.14 20:36
  Re: informovanost zákazníkaZdeňka Grill, WEDOS26.05.14 21:28
vypadekJan26.05.14 19:23
  Re: vypadekMartin Janský26.05.14 19:36
    Re: vypadekJiří Kosek26.05.14 19:44
      Re: vypadekOLX26.05.14 20:04
Hlavní jistící prvekmajkl26.05.14 18:45
  Re: Hlavní jistící prvekZdeňka Grill, WEDOS26.05.14 20:24
    Re: Hlavní jistící prvekmajkl27.05.14 06:40
      Re: Hlavní jistící prvekZdeňka Grill, WEDOS27.05.14 13:51
  Re: Hlavní jistící prvekLibor27.05.14 03:55
TIER 3 tu skutečně jeMichal Charvát26.05.14 18:29
  Re: TIER 3 tu skutečně jeZdeňka Grill, WEDOS26.05.14 18:41
  Re: TIER 3 tu skutečně jeDavid27.05.14 09:05
Plánované vypnutí?Jan Angelovič26.05.14 18:09
  Re: Plánované vypnutí?Zdeňka Grill, WEDOS26.05.14 18:34
Odpověď rýpalaSlavomir PRIMAK26.05.14 17:56
  Re: Odpověď rýpalaZdeňka Grill, WEDOS26.05.14 18:22
    Re: Odpověď rýpalaIvan Dekan26.05.14 18:37
      Re: Odpověď rýpalaZdeňka Grill, WEDOS26.05.14 18:55
KompenzaceTomáš Horáček26.05.14 16:57
  Re: KompenzaceMichal Vorel26.05.14 17:40
  Re: KompenzaceMiroslav Navrátil26.05.14 17:42
  Re: KompenzaceZdeňka Grill, WEDOS26.05.14 18:23
    Re: KompenzacePetr Adlaf26.05.14 22:56
      Re: KompenzaceZdeňka Grill, WEDOS27.05.14 13:57
Fandímvěrný klient26.05.14 16:43
  Re: FandímJiří Kosek26.05.14 16:47
  Re: FandímZdeňka Grill, WEDOS26.05.14 18:27
Všem rýpalůmJiří Kosek26.05.14 15:55
  Re: Všem rýpalůmZdeňka Grill, WEDOS26.05.14 16:12
    Re: Všem rýpalůmJiří Kosek26.05.14 16:32
      Re: Všem rýpalůmTV26.05.14 17:27
        Re: Všem rýpalůmJiří Kosek26.05.14 17:49
          Re: Všem rýpalůmTV26.05.14 18:11
            Re: Všem rýpalůmJiří Kosek26.05.14 18:29
            Re: Všem rýpalůmRadek26.05.14 18:41
              Re: Všem rýpalůmJiří Kosek26.05.14 19:32
                Re: Všem rýpalůmJosef Vítů26.05.14 19:52
                  Re: Všem rýpalůmJosef Vítů26.05.14 19:53
                Re: Všem rýpalůmRadek26.05.14 20:01
                  Re: Všem rýpalůmJiří Kosek26.05.14 20:07
                    Re: Všem rýpalůmdoc. Skála27.05.14 10:25
                      Re: Všem rýpalůmJiří Kosek27.05.14 13:47
        Re: Všem rýpalůmLuKo26.05.14 19:16
    Re: Všem rýpalůmPavel Bláha, NiKO Trade26.05.14 20:04
  Re: Všem rýpalůmLuděk ZITA26.05.14 16:29
    Re: Všem rýpalůmJiří Kosek26.05.14 16:35
    Re: Všem rýpalůmAnonymní rýpal26.05.14 16:46
Děkuji Wedosu za rychlé vyřízení.Martin Janský26.05.14 15:06
  Re: Děkuji Wedosu za rychlé vyřízení.Zdeňka Grill, WEDOS26.05.14 15:14
Po bitvě je každý generál...Vláďa26.05.14 14:57
  Re: Po bitvě je každý generál...TV26.05.14 15:03
  Re: Po bitvě je každý generál...Zdeňka Grill, WEDOS26.05.14 15:05
řešení a přístup výpadkuKarel Salay26.05.14 14:50
  Re: řešení a přístup výpadkuZdeňka Grill, WEDOS26.05.14 14:52
záložní DCMichal26.05.14 13:10
  Re: záložní DCZdeňka Grill, WEDOS26.05.14 13:52
    Re: záložní DCMichal26.05.14 14:12
      Re: záložní DCZdeňka Grill, WEDOS26.05.14 14:24
        Re: záložní DCa26.05.14 20:14
          Re: záložní DCZdeňka Grill, WEDOS26.05.14 21:21
      Re: záložní DCPetr26.05.14 14:28
Tier 0Martin26.05.14 13:08
  Re: Tier 0Zdeňka Grill, WEDOS26.05.14 13:53
    Re: Tier 0TV26.05.14 13:59
      Re: Tier 0Zdeňka Grill, WEDOS26.05.14 14:18
        Re: Tier 0TV26.05.14 14:33
          Re: Tier 0JR26.05.14 14:54
    Re: Tier 0Petr26.05.14 14:13
Mě už tam chybíR.S.26.05.14 12:54
  Re: Mě už tam chybíZdeňka Grill, WEDOS26.05.14 13:54
WTF!!!???!!!Alenka v Říši divů26.05.14 12:53
  Re: WTF!!!???!!!Zdeňka Grill, WEDOS26.05.14 13:58
    Re: WTF!!!???!!!Alenka v Říši divů26.05.14 20:41
      Re: WTF!!!???!!!Alenka v Říši divů26.05.14 21:09
  Re: WTF!!!???!!!Petr26.05.14 14:10
    Re: WTF!!!???!!!Petr26.05.14 14:14
    Re: WTF!!!???!!!Zdeňka Grill, WEDOS26.05.14 14:28
Pro příštěBenda_1126.05.14 12:34
  Re: Pro příštěZdeňka Grill, WEDOS26.05.14 13:49
DNS serveryJiri Burval26.05.14 12:29
  Re: DNS serveryMarek26.05.14 13:02
    Re: DNS serveryJiri Burval26.05.14 13:53
      Re: DNS serveryMarek26.05.14 14:29
        Re: DNS serveryJiri Burval26.05.14 15:19
          Re: DNS serveryMarek26.05.14 15:41
            Re: DNS serveryJiri Burval26.05.14 15:52
    Re: DNS serveryJiri Burval26.05.14 13:55
      Re: DNS serveryMarek26.05.14 14:26
        Re: DNS serveryJiri Burval26.05.14 15:26
          Re: DNS serveryTV26.05.14 15:52
            Re: DNS serveryJiri Burval26.05.14 15:54
              Re: DNS serveryTV26.05.14 15:56
                Re: DNS serveryJiri Burval26.05.14 15:59
                  Re: DNS serveryTV26.05.14 16:03
  Re: DNS serveryZdeňka Grill, WEDOS26.05.14 14:00
    Re: DNS serveryPetr26.05.14 14:12
      Re: DNS serveryZdeňka Grill, WEDOS26.05.14 14:22
        Re: DNS serveryPetr26.05.14 14:33
        Re: DNS serveryJiri Burval26.05.14 15:23
    Re: DNS serveryJiri Burval26.05.14 15:28
      Re: DNS serveryMarek26.05.14 15:42
      Re: DNS serveryZdeňka Grill, WEDOS26.05.14 15:44
        Re: DNS serveryJiri Burval26.05.14 15:51
          Re: DNS serveryPetr Adlaf26.05.14 23:35
výpadkyxkazax26.05.14 12:28
  Re: výpadkyMartin Suchodol26.05.14 13:02
  Re: výpadkyZdeňka Grill, WEDOS26.05.14 14:01
  Re: výpadkyPetr26.05.14 14:15
    Re: výpadkyMichal26.05.14 14:20
Standard by mel byt mít i zalohu založního generatoru !!!Martin Bečka26.05.14 12:22
  Re: Standard by mel byt mít i zalohu založního generatoru !!!dfadasda26.05.14 12:23
  Re: Standard by mel byt mít i zalohu založního generatoru !!!Zákazník26.05.14 12:57
    Re: Standard by mel byt mít i zalohu založního generatoru !!!TV26.05.14 13:33
  Re: Standard by mel byt mít i zalohu založního generatoru !!!Zdeňka Grill, WEDOS26.05.14 13:47
    Re: Standard by mel byt mít i zalohu založního generatoru !!!Petr26.05.14 14:19
  Re: Standard by mel byt mít i zalohu založního generatoru !!!Zdeňka Grill, WEDOS26.05.14 14:05
    Re: Standard by mel byt mít i zalohu založního generatoru !!!TV26.05.14 14:10
      Re: Standard by mel byt mít i zalohu založního generatoru !!!Petr26.05.14 14:20
      Re: Standard by mel byt mít i zalohu založního generatoru !!!Zdeňka Grill, WEDOS26.05.14 14:46
  Re: Standard by mel byt mít i zalohu založního generatoru !!!Petr26.05.14 14:16
hoši hošiMarek26.05.14 12:04
  Re: hoši hošijano26.05.14 12:24
    Re: hoši hošiMarek26.05.14 12:53
tohle neni ale DCjano26.05.14 12:03
  Re: tohle neni ale DCAdam26.05.14 13:01
    Re: tohle neni ale DCPetr26.05.14 14:22
  Re: tohle neni ale DCZdeňka Grill, WEDOS26.05.14 13:40
    Re: tohle neni ale DCKarel Vopička26.05.14 13:46
      Re: tohle neni ale DCMarek26.05.14 13:51
        Re: tohle neni ale DCOLX26.05.14 14:53
          Re: tohle neni ale DCJan Soukup27.05.14 00:20
      Re: tohle neni ale DCZdeňka Grill, WEDOS26.05.14 14:16
      Re: tohle neni ale DCxind26.05.14 14:31
    Re: tohle neni ale DCTV26.05.14 13:48
    Re: tohle neni ale DCdfadasda26.05.14 14:06
      Re: tohle neni ale DCPetr26.05.14 14:24
TIER3+dfadasda26.05.14 11:53
mailové služby opraveny již v sobotu nad ránem?hračka26.05.14 11:43
  Re: mailové služby opraveny již v sobotu nad ránem?Michal26.05.14 13:40
    Re: mailové služby opraveny již v sobotu nad ránem?Zdeňka Grill, WEDOS26.05.14 14:34
      Re: mailové služby opraveny již v sobotu nad ránem?Martin Blatný27.05.14 14:35
  Re: mailové služby opraveny již v sobotu nad ránem?pd26.05.14 14:57
    Re: mailové služby opraveny již v sobotu nad ránem?David Cigánek, WEDOS26.05.14 15:05
    Re: mailové služby opraveny již v sobotu nad ránem?Alenka v Říši divů26.05.14 21:17
      Nefunkčí emailyHutla15.06.15 08:34
        Re: Nefunkčí emailymartin15.06.15 09:22
          Re: Nefunkčí emailyLuděk Janča, Wedos15.06.15 09:41
        Re: Nefunkčí emailyLuděk Janča, Wedos15.06.15 09:39