Levyjärjestelmän häiriö pudotti FinWX:n verkosta

[J.Jäntti]

Levyjärjestelmässä ollut häiriö aiheutti FinWX:n sivuston ja foorumin putoamisen verkosta 21.03.2016 kello 00:03.
Häiriö havaittiin vasta kello 15:38, kun ylläpito kiinnitti huomiota levyjärjestelmän kiintolevyvalon laiskaan vilkutukseen ja SAN-kytkimellä olevan liikenteen vähäisyyteen.

Lähempi tarkastelu paljasti, että kello 21:38 käynnistetty ja 23:50 päättynyt ZFS Scrub-toiminto levyjärjestelmän kunnon tarkistukseksi päättyi lopulta levyn tai sen ohjaimen häiriötilaan, josta se ei kyennyt palautumaan ja levy 0:n datasiirto katkesi, aiheuttaen kaskadi/dominoilmiön ja levyjärjestelmä kaatui. VMware-virtuaalialusta havaitsi levyjärjestelmän katoamisen kello 00:02. Se pystyi kuitenkin ajamaan ns. backlogia kolmen minuutin ajan ennen kuin virtuaalikoneet jumittuivat ja liikenne katkesi.

Levyjärjestelmä pakotettiin alas 15:41 ja järjestelmä nousi ylös 15:42. ESX Server havaitsi levyjärjestelmän palautumisen ja kytkeytyi takaisin kello 15:44.
FinWX:n sivusto palautui linjoille kello 15:45.

Kokonaisuutena sivusto oli pois verkosta 15 tuntia, 42 minuuttia.
Tarkistamme levyjärjestelmäohjelmiston toiminnan ja päivitämme sen jos uudempi versio ohjemistosta on saatavilla.
FinWX:n ylläpito pahoittelee syvästi katkoksesta aiheutunutta haittaa.