FinWX:n UPSin katastrofaalinen akkutestihäiriö - Koko infra putosi verkosta

[J.Jäntti]

FinWX:n koko järjestelmää ja sisäverkkoinfraa sähköhäiriöiltä suojaava UPS-laite on asetettu tekemään akkutesti kerran kahdessa viikossa.
Tänään, 29.11.2015, akkutesti suoritettiin 02:00, kuten aina, mutta nyt eivät asiat menneet sen enempää Strömsössä kuin oikeastaan missään muussakaan saariston saaressa.

Akkutesti alkoi 01:59. Akut olivatkin yllättäen niin totaalisen loppu, että UPS ei pystynyt aloittamaan testiäkään kunnolla, vaan avasi kontaktorin irrottaen itsensä sähköverkosta - ja kaatui spektaakkelimaisesti samalla resetoiden itsensä täysin. Kaatumisen seurauksena koko huushollin verkko- ja laiteinfrastruktuuri lähti alta kerralla ja virrattomiksi. UPSin käynnistysyritys epäonnistui kun laite ei suostunut virtanapista käynnistymään uudelleen, joten laitteelle jouduttiin tekemään vielä virtanapista erillinen käsky ajaa itsensä ensin alas, ennen kuin laite saatiin järkiinsä ja käyntiin.

ESXi Server ja virtuaalikoneet itsellensä ottanut NAS-purkki käynnistyivät automaattisesti virtojen palauduttua ja nousivat ylös onnistuneesti, mutta virtuaalikoneiden ylösajoon meni hetki ja NAS-purkilla olikin melkoinen ruuhka hetken aikaa. Foorumin tietokantatauluista kaksi ilmoitti olevansa Crashed-tilassa eikä foorumiin päässyt lainkaan kiinni. Suoritin korjaukset molemmille tauluille, jonka jälkeen foorumi heräsi uudelleen henkiin.

Serverit selvisivät katkoksesta käytännössä säikähdyksellä, eikä kriittistä dataa menetetty.
Sivusto oli pois toiminnasta 01:59 - 02:19 ja foorumi 01:59 - 02:39 välisen ajan.

Korvaava akkupaketti UPSille on laitettu tilaukseen. Sen aikaa sivusto ja verkkoinfra ovat alttiita sähköhäiriöille.
Ylläpito pahoittelee katkoksesta mahdollisesti aiheutunutta haittaa.