Vážení zákazníci,
jako jednatel společnosti, abych pravdu řekl, se mi vůbec tyto neveselé řádky nechce psát. Bohužel v období července, jak jste již všichni zaznamenali, se nám opravdu nevede, což jsem za celých 25 let, co děláme internet, nezažil. Nemáme výpadky kvůli tomu, že bychom měli na síti stará zařízení, že by jsme neinvestovali do sítě či byli kapacitně na hraně. Také celá síť a jejich zařízení se chovají standardně, ale i přesto se najednou problém objeví a je nelehké zjistit proč se tomu tak děje. Nyní se potýkáme s obří serií problémů, které nejsou ovšem na sobě návazné. Dovolím si říci, že mám z každého dalšího dne hrůzu, co se stane a přitom není nic, co by mělo být špatně.
Začnu kouzelnou televizí. Máme server, který ji řídí, který je ještě v záruce a za poslední měsíc a půl odešly již 3 pevné disky v ani ne půlce své životnosti. Používáme disky Micron, které jsou drahé, relativně pomalé, ale měly by mít největší životnost. Momentálně budou doplněny 4 dalšími disky s dobrou životností, podle výrobce 3 roky. Navíc odešel i jeden disk se systémem, tyto disky máme v serveru dva. Aby byl výpadek co nejkratší, když toto nastane, jsou tam dvě kopie systémů.
Pokud nám zítra doručí 4 objednané nové disky, tak zítra 28.7.2020 bude cca 20-30 minutový výpadek, abychom vše ihned jak to půjde osadili. Momentálně je tam jen jeden datový disk a v případě, že by odešel, tak by výpadek byl minimálně 24 hodin. Proto musíme jednat urychleně. Navíc se toto vždy děje o víkendu. Chápu, jsou to snadno diagnostikovatelné závady, něco odešlo. Počítáme s tím a máme k tomu náhradní materiál, jen se musí rychle nakonfigurovat, vyměnit, nahradit, což způsobí výpadek.
Stejně tak v Berouně odešlo trafo od spoje, máme tam náhradní spoj, na který se vše přepne. Sice internet nějakou dobu funguje hůř, ale funguje. V co nejkratší době se tam s náhradním materiálem zajede a vymění se, buď jako v tomto případě trafo nebo celý spoj, radia, switch.
Bohužel ale zbytek poruch je něco co nás momentálně trápí. V Plzni tento měsíc neodešlo nic na síti, ale přesto výpadek máme každý den. Zařízení stíhají s obří rezervou, jsou rok a půl stará, zvládají mnohem větší datový tok, než je. Switche to samé, celá páteřní síť se postavila nová a nejzatíženější prvky jedou na 40% výkonu. Přesto, jak jsem psal minule, došlo k celosíťovému výpadku. Nic neodešlo. Změnili jsme konfiguraci a postupně předěláváme – zjednodušujeme topologii tak, aby byla síť složena z co nejmenších segmentů. Což se osvědčilo, protože každý šotek postihuje čim dál méně zákazníků. Tento týden bychom rádi měli tyto práce hotové a doufám, že tím šotek bude eliminován. Touto přestavbou se vše oddělí.
Jen pro zajímavost, minulé úterý byla obří přeháňka jen nad části Bolevce. Nikde jinde nespadla ani kapka, ale spoj propouštěl data jen jedním směrem a protokol, který síť hlídá, aby když nějaký spoj vypadne síť okamžitě rekonfiguroval, využil kruh a výpadek byste téměř nezaznamenali, tak tentokrát nám povolil ručně zakázaný port a zkruhoval celou Plzeňskou síť – z toho je 20 minutový výpadek, než jsme se dostali do serverovny, zjistili co se stalo a vyndali kablík.
Hackerské útoky také občas zatěžují síť, že automatická detekce odepne kousek sítě – to se stalo v sobotu ráno. A tak každý výpadek nemá společného jmenovatele. V červenci se vše nakupilo bohužel do jednoho měsíce. Dle dostupných informací v tom nejsme sami, obří výpadek byl i v systému T-mobilu, od čtvrtka nejede celosvětová firma Garmin a jejich chytré produkty, tuším největší operátor v jižní Americe nejede už týden.
Děláme vše pro to, aby šotek nemohl úřadovat a když už úřaduje, aby postihl jen co nejmenší lokalitu a vše bylo opraveno téměř hned. Zlepšujeme dohledy, hlášení, zabezpečení v tryskovém tempu, většinu věcí bychom měli mít hotové do konce měsíce. Dále vylepšujeme detekci.
Myslím, že jsme na dobré cestě a po „smolném 7. měsíci v roce 2020“ bude zase pokoj. Investujeme velké finanční prostředky do sítě, což se projevilo v tom, že neodcházely věci na síti za předchozí 2 – 3 roky. Tento měsíc nás však potkalo moc smolných věcí nejadnou než za poslední 2 roky, ale pevně věřím, že je to již pryč.
Děkuji za shovívavost.
Ing. Jaroslav Rada
jednatel
Nejnovější komentáře