Dnes sleva 50% na webhosting NoLimit

100.000 DDoS útoků na WEDOS za necelých 10 měsíců nebo 50.000 za 7 měsíců

Posledních 14 měsíců jsme pod silnými DDoS útoky, ale průběžně jsme udělali hodně úprav sítě a vybudovali velmi robustní AntiDDoS ochranu.

Datum: 25.08.2015


Poznámka na úvod - níže uvedený článek byl rozepsaný na konci května 2015, ale nebyl zveřejněn. Nakonec byl dopsán v srpnu. Jen pro představu a vysvětlení. V květnu to bylo 7 měsíců od doby, kdy jsme nasadili DDoS ochranu a za 7 měsíců na nás bylo vedeno přes 50.000 útoků. V srpnu to bylo 10 měsíců a již jsme překonali 100.000 útoků. Je z toho jasně vidět rostoucí trend a nutnost nasazení DDoS ochrany.

Úvod do problematiky DDoS útoků na WEDOS

V říjnu 2014 jsme psali článek o tom, co se u nás děje s DDoS útoky. Zavzpomínejte si zde. Ten původní článek určitě stojí za připomenutí a za přečtení.

Posledních 14 měsíců bylo náročných. Extrémně náročných. Makali jsme a projevilo se to. Výsledkem je robustní DDoS ochrana, kterou nadále rozšiřujeme a vylepšujeme.

Co všechno jsme zažili...

Za 10 měsíců a 1 týden (od okamžiku, kdy máme nasazenou DDoS ochranu a počty útoků měříme) jsme zaznamenali přes 100.000 různých DDoS útoků (v okamžiku psaní článku to bylo 100.473 útoků). Obrovské číslo. Průměrně to vychází na 321 incidentů za den. To jsou čísla, kterým nemůžeme uvěřit ani my.

Za 7 měsíců to bylo 50.000 a nyní za další 3 měsíce také (dalších) 50.000. Počet útoků roste, jejich intenzita také. Zároveň je nutno přiznat, že útoky také lépe detekujeme.

Nejsilnější útoky byly kolem 30 Gbps a téměř 4 Mpps*. V té době to byly útoky, které patřily mezi jedny z největších (v daném dni) v Evropě.  Zcela běžně (a řekněme na denním pořádku) jsou útoky v řádu jednotek Gbps. Zrovna v době psaní článku někdo trápil web www.wedos.cz útoky přes 3 Gbps. Nikdo z klientů nic nepoznal.

* Hodnota Mpps (Million Packets Per Second) udává počet paketů za sekundu v milionech.    

Co všechno jsme udělali...

Testy, testy a testy

Testovali jsme několik řešení. Testovali jsme hardware, testovali jsme služby, testovali jsme různá softwarová řešení a nakonec jsme vybrali (v podstatě linuxové) řešení, které má největší variabilitu a výkon a v podstatě i svobodu nastavení.

Jednání a ceny

Ceny některých řešení jsou neuvěřitelné. Při našich kapacitách a potřebě redundantního řešení se bavíme o částkách, které mají 7 nul. Někdy jde DDoS ochrana koupit jako služba, ale při našich kapacitách to jsou ročně částky, které mají 6 nul. 

Naše řešení nás stálo hodně práce, kterou nepočítáme (jednalo by se o tisíce hodin) ve vývoji, ale jinak hardware jsme pořídili za jednotky milionů korun a výkon na filtraci a detekci máme mnohonásobně vyšší, než testovaná řešení. Takže vlastně nyní víte, na kolik nás celá DDoS ochrana přišla...

Výběr řešení a příprava

Celé vybírání, jednání s dodavateli a testování nám zabralo několik měsíců. Nakonec jsme si vybrali a s odstupem času víme, že správně.

Bohužel nemůžeme, alespoň prozatím, prozradit moc detailů o našem řešení, protože tím bychom mohli útočníkům usnadnit práci.

Nasazení neplánovaně

Vzhledem k důkladnému testování jsme mohli základ řešení nasadit prakticky okamžitě. Nakonec to tak bylo i nutné, protože probíhal silný útok, který nebylo možné řešit jinak. Tak jsme prostě museli loni v říjnu odpojit kabely a zapojit vše do testovacího řešení. Nebyla jiná možnost. Zkouška ohněm. Tak se to nazývá, ale vyšlo to a dnes víme, že to bylo dobré rozhodnutí.

Nekonečný příběh

Nasazením testovacího řešení to vše teprve začalo. Postupně jsme museli ladit chyby. Museli jsme měnit nastavení a postupně navyšovat kapacity a výkon. Dnes jsme ve stádiu, kdy jsme za posledních 5 týdnů už nic neměnili a vše funguje jak má. Jen sledujeme počty útoků, jejich intenzitu a shromažďujeme cenná data, která možná nejen nám poslouží do budoucna.  

Neusínáme na vavřínech. Pracujeme na dalších vylepšeních a rozšíření výkonu. Útočníci jsou vynalézaví a tak nesmíme zaspat.

Jak to nyní je? 

Celé řešení jsou silné linuxové servery a silné switche

Vše je postaveno na silných serverech, které mají buď hodně vláken (40) nebo naopak velmi vysokou frekvenci (3,5 a více GHz) procesorů a to podle toho, k čemu příslušný server má sloužit. Někdy je potřeba obsloužit strašně moc požadavků současně a jindy zase méně, ale co nejrychleji.

Dokonalá detekce

Vše je založené na dokonalé detekci síťového provozu. Máme k dispozici 4 online sondy, které sledují online (skutečně v reálném čase) veškerý síťový provoz a ten je okamžitě vyhodnocován.

Každá sonda může aktuálně detekovat 10 Gbps a tak můžeme bez problémů změřit a vyhodnotit 40 Gbps. Kdyby byl útok silnější, tak to nevadí, protože pro detekci a vyhodnocení je to naprosto dostačující a jen nebudeme mít tak přesné výsledky.

Každých 5 sekund jednotlivé sondy vyhodnocují, zda nejde o útok a tak máme teoereticky prodlevu 1,3 sekundy, než detekujeme útok. 

Dokonalý přehled o dění v síti

Kromě výše uvedených sond máme v síti další 4 sondy, které pracují na principu sFlow a sledují a zaznamenávají veškerý provoz v síti pro pokročilejší vyhodnocení a zpracování. 

Každá ze sond může zpracovat až desítky Gbps a tak kapacitně nemáme problém ani v době nejsilnějších útoků. 

Tyto sondy jsou následně používány pro zpracování různých statistik a hledání provozu v naší síti. Nepoužívají se přímo pro zpracování útoků, ale pro analýzy, protože jsou přesné a zaznamenávají historii, ale jsou o 30 sekund zpožděné. 

Dokonalá filtrace

Na každé optické trase do našeho datacentra máme několik filtrů, na které je přesměrován závadný provoz v případě útoku. Pokud je útok, tak je problematický (napadený) provoz přesměrován v reálném čase na filtry a veškerý provoz je podle určitých kritérií filtrován nebo nějak limitován. 

Umíme filtrovat, umíme omezovat, umíme různé věci. Vše probíhá dynamicky podle toho, co se zrovna děje.

Filtrace je extrémně náročná na výpočetní výkon a tak filtraci provádí několik paralelních filtrů.

Každý z filtrů má v sobě několik karet 10 Gbps.

Další stupně filtrace

Za hraničními routery máme další filtry, které používáme pro detailní vyčištění závadného toku. Tyto filtry jsou použity pro následné čištění tak, abychom do sítě nepouštěli "nepořádek".

Výkon filtrů jde škálovat přidáváním dalších filtrů buď paralelně, kdy se o zátěž dělí nebo seriově, kdy se každý specializuje na filtraci určitých parametrů provozu.

Filtrace odchozích útoků

Pro vylepšení celého systému jsme přidali i filtraci odchozích toků. Tím jsme předešli tomu, že od nás odcházely slabé útoky na jiné cíle v internetu po celém světě a nám se vracely zesílené jako odpověď. 

Routování

Udělali jsme hodně úprav v routování.  Umíme BGP blackholing a máme nastavený i selektivní BGP blackholing. Systém automaticky mění nastavení BGP routování podle toho, jaký je útok a jak je pro podobný útok nastaven. V případě silných útoků můžeme příslušnou IP adresu zcela vymazat z routovacích tabulek z celého světa nebo jen mimo sítě našich partnerských sítí a jejich přímých peeringových partnerů. Tohle používáme jen výjimečně a jen u silnějších útoků. Jinak se vždy snažíme filtrovat.

Výměna páteřních prvků

Vyměnili jsme páteřní routery a switche za jiné - výkonnější. Dnes máme obrovské rezervy a tím tak výhodu do budoucna. Můžeme se v poklidu rozšiřovat a nemusíme nic měnit.

Posílení páteřní infrastruktury

Vyměnili jsme celou naši páteřní síť a je plně optická a prohlédnout si ji můžete na Dnech otevřených dveří, které chystáme na začátek října 2015.

Všechny síťové prvky v našem datacentru budou připravené na 20 Gbps. Takže každý switch bude připojen 2 x 10 Gbps. Páteřní switche jsou plně desetigigové (všechny porty jsou 10 Gbps nebo 40 Gbps). 

Posílení konektivity

Posílili jsme konektvitu a aktuálně máme propoje 70 Gbps, které dokážeme nejen odroutovat, ale také hlavně odfiltrovat od závadného toku. V dalších dnech přidáme ještě další propoj 10 Gbps a potom chceme ještě přidat jednu další trasu 10 Gbps do Prahy.

Hrozně moc nastavení

Systém se vyvíjí a pracujeme na jeho vylepšeních. Je tam hodně nastavení a hodně různých "vychytávek", které používáme.  Hromady skriptů, hromady nastavení... Je to skutečně složité. Od detekce až po filtraci a přitom to ovládá i routování a switche a tok v síti.

Jak to dopadlo...

Poslední problém s DDoS útoky, který mohl pozorovat nějaký klient, jsme měli 29. prosince 2014. Od té doby jsme neměli žádné globální zaváhání. 

Posledních 6 měsíců máme dostupnost 100% a to jsme mezitím měnili celou páteřní síť. Takže i výměna páteřních routerů se povedla bez výpadků.

Neustále máme co zlepšovat a detekujeme i další hrozby. Jednak jsou nové hrozby a jednak jsou staré hrozby, které jsme doposud nedetekovali a tak neřešili. To vše vylepšujeme.

Pár zajímavostí o DDoS u WEDOS

Několik čísel a zajímavostí o tom, jak to u nás bylo...

Nejčastější útoky byly na 2 naše webhostingové servery a potom na 1 VPS. Počet útoků na každý z těchto "vítězů" dosáhl 4.000 za sledované období a vítěz má dokonce 4.773 útoků.

Nejsilnější útoky byly na náš web www.wedos.cz. Nejsilnější dosáhl více než 30 Gbps a více než 4 Mpps.

Něco málo mimo téma...

Letos ještě chystáme několik novinek. Jaké?

Placená DDoS ochrana

Klientům chceme nabídnout placenou DDoS ochranu, kdy budeme nabízet filtrování provozu až několik Gbps a ochranu proti útokům v různých kapacitách. Zatím zvažujeme všechny možnosti a testujeme. Zajímalo by nás, zda o to bude zájem. Bude to dražší služba, ale bude určena pro náročné klienty, kteří si nemohou dovolit výpadek.

Spuštění zcela nového mailserveru

V nejbližších dnech spustíme zcela nový mailserver. Postupně tam přesuneme všechny klienty. O celé změně napíšeme ještě vlastní článek a budeme informovat.

Slibujeme si od toho větší stabilitu mailového řešení, než doposud.

Zároveň nabídneme i možnost přiobjednat si samotné maily k VPS či webhostingu. 

Nová optická trasa

Chtěli bychom ještě jednu zcela oddělenou a nezávislou optickou trasu do Prahy.

Zahájení stavby zcela nového datacentra

Před několika dny jsme zakoupili pozemek a ještě letos chceme začít stavět dlouhodobě připravované datacentrum. Do budoucna chceme mít 2 datacentra, která budou dohromady tvořit jeden cloud a začneme nabízet i cloudové služby.

Od druhého datacentra si slibujeme nejvyšší možnou míru stabily a bezpečnosti.

Dny otevřených dveří 2015

V říjnu chystáme Dny otevřených dveří v Hluboké nad Vltavou. Již brzo přineseme detaily.

Několik technických novinek v nabídce

Chystáme několik novinek. Aktuálně jsme například spustili VPS 100% SSD Profi. 

Multihosting aneb managed VPS

Již dlouho slibujeme pořádný multihosting. Už se na tom pracuje. Dost nás zdržely DDoS útoky a tak nebyl čas... 

Nové koncovky domén a vlastní ICANN registrace

Nyní připravujeme registraci polských domén a chceme nabídnout i další koncovky. Pracujeme i na vlastní akreditaci pro generické domény.

Nové trhy

Ještě letos bychom chtěli nabízet naše služby například v Polsku a možná i v některé další zemi...

Dotazy

Pište je do diskuze a buď je odpovíme v diskuzi nebo uděláme samostatný článek.

Chcete novinky k tématu?

Zaregistrujte se a objednejte si odběr novinek e-mailem. Maximálně 1x týdně vám zašleme souhrn aktuálních informací.
Staňte se naším fanouškem na Facebooku, jehož prostřednictvím vám budeme přinášet ty nejdůležitější informace.
Staňte se naším fanouškem na Google+, jehož prostřednictvím vám budeme přinášet ty nejdůležitější informace.
Najdete nás i na Twitteru.
Všechny informace z tohoto webu můžete sledovat přidáním našeho RSS kanálu do vaší RSS čtečky.

Diskuze k článku (16)

VPS SSD Profi?Jan Angelovič01.09.15 21:43
  Re: VPS SSD Profi?Buri02.09.15 00:36
    Re: VPS SSD Profi?Josef Grill, WEDOS02.09.15 05:39
      Re: VPS SSD Profi?Jan Angelovič02.09.15 14:31
MultihostingPeter26.08.15 19:47
  Re: MultihostingJosef Grill, WEDOS02.09.15 05:40
MailBuri26.08.15 15:36
  Re: MailBuri26.08.15 16:27
    Re: MailJosef Grill, WEDOS02.09.15 05:41
      Re: MailBuri10.09.15 17:06
ktere VPS?xxx26.08.15 11:23
  Re: ktere VPS?Josef Grill, WEDOS02.09.15 05:43
  Re: ktere VPS?jan zak26.10.15 16:10
Datacentrum WEDOS 2Michal Vašíček25.08.15 23:48
  Re: Datacentrum WEDOS 2Josef Grill, WEDOS02.09.15 05:43
    Re: Datacentrum WEDOS 2Martin12.01.16 14:59