FinWX:n serverin huoltotyö ohi

[J.Jäntti]

FinWX:n serverin vuotuinen huoltotyö on nyt viimein ohi.
Tiedote tulee myöhässä, koska oli pakko nukkua pieni tovi. Kirjoittamisesta ei kello 08:30 aamulla tullut enää mitään, kun hereillä oltiin oltu jo 25h...

Huoltotyö alkoi 01.01.2013 kello 02:30, mutta päättyi vasta kello 07:09, hieman yli kolme tuntia takarajasta jäljessä.

Ensimmäinen haaste tuli jo alussa, kun sisäverkolle tehty muutos pillastutti kaikki sisäverkon koneet. Reitityksen muututtua äkisti jokainen päällä ollut kone tahmasi nettikäytössä niin paljon, että osa DNS-hakupyynnöistä jäi toteutumatta. Tilanne korjaantui, kun koneille suoritettiin ipconfig /RELEASE- ja ipconfig /RENEW-komennot ja vielä varmuudeksi tyhjennettiin kaikki reititystaulut kaikista laitteista nappaamalla aktiivilaitteet virrattomiksi. Koska ADSL-modeemi kuului tähän kööriin, samalla kertaa tapahtui Elisan ADSL-liittymässä IP-rotaatio ja FinWX:n sivuston IP-osoite muuttui.

Sitten tuli vuoro käyttöjärjestelmän tietoturvapäivityksien. Kokonaisuudessaan listalla asennusta odotti yhteensä 53 erilaista laastaria päälle liimattavaksi. Homma hidastui huolella siinä vaiheessa, kun .NET Frameworkin laastareita ajettiin sisään. Frameworkin laastarit olivat sen verran raskaita asennettavia, että koko paletin läpikäynti vei huomattavan ajan. Päivitysten kanssa ei ilmennyt muita ongelmia.

MySQL:n kanssa odottikin nippu yllätyksiä. Oracle on tehnyt Windowsille hienon automaattisen asennustyökalun, jolla päivitys sujuu varsin kivuttomasti - tai niin ainakin luulin. Asennus sujui kyllä hyvin ja kantamoottori päivittyi hyvin. Kopioin AMP-ympäristölle varsin tarpeellisen libmysql.dll-tiedoston oikeisiin osoitteisiinsa ja käynnistin Apache-palvelun. Kaikki PHP -> MySQL -liikenne kuoli siihen paikkaan. Foorumiin ei päässyt, PHPMyAdminiin ei päässyt - mihinkään ei ollut mitään pääsyä. Vain staattiset HTML-sivut pelasivat enää. Apachen error-lokiin pukkasi tasaisesti zend_mm_heap corrupted-ilmoitusta, Firefox paiskoi Connection Resetiä ja IE jäi vain pyörittämään peukaloitaan loputtomiin. Tarkistuksessa tuli todettua se itsestäänselvyys, että Apache:n ja PHP:n konfiguraatioihin ei koskettu missään välissä. Tähän tilanteeseen oltiin törmätty jo aikaisemmin, kun MySQL päivitettiin 5.1:stä 5.5:een. Sivusto saatiin pelaamaan palauttamalla vanha 5.1:n libmysql.dll-tiedosto takaisin paikalleen.

Sitten tapahtui jotain odottamatonta: Tietokantadumpit varmuuskopiointia varten eivät enää käynnistyneet, Foorumi ilmoitti pelkällä tekstillä, että foorumi on huoltotilassa ja PHPMyAdmin näytti keskisormea väittäen, että rootin salasana on väärä. Kävin Command Line-työkalulla kokeilemassa ja tulos oli sama: ei pääsyä, kun salasana oli väärin... Tässä kohtaa alkoi olemaan se kuuluisa kylmä rinki per**en alla, että nyt on sivusto vähän pahemmin solmussa. En ollut tehnyt päivityksessä mielestäni MySQL:n instanssin tietoturva-asetuksiin mitään muutoksia, joten loin Instace Configurerilla asetukset uusiksi. Jätin kuitenkin tietoturva-asetukset rauhaan. Lopputuloksena oli, etten päässyt mihinkään edelleenkään. Sitten olikin pakko ottaa radikaalimmat keinot käyttöön ja paiskasin Configurerilla myös rootin salasanan uusiksi. Jännät paikat tulivat kohdassa, jossa ohjelma kysyi vanhaa salasanaa. Mitä tuohon olisi voinut laittaa, kun ei ollut vanhasta salasanasta hajuakaan. Niinpä jätin vanhan salasanan tyhjäksi ja uudeksi salasanaksi laitoin aiemmin käytössä olleen salasanan. Ohjelma pureskeli hetken tietoja ja meni hämmästyksekseni läpi. Näin pääsin PHPMyAdminiin kiinni. Foorumi ei kuitenkaan edelleenkään toiminut, joten jouduin diagnosoimaan hetken aikaa, missä vika oli. Lopulta totuus paljastui: Kaikista tietokannoista olivat käyttäjätunnukset ja oikeudet kadonneet kokonaan. Ei siis ihme, ettei toiminut. Yritin Reload Privileges-toimintoa, mutta se tuli tyhjänä takaisin. Näin jouduin keräämään vanhat asennusdokumentit kiven alta pöydälle löytääkseni käyttäjätunnuksen ja salasanan, jotka sitten käsin lisäsin takaisin ja foorumi heräsi uudelleen eloon - onneksi.

Loput ajasta meni tarkistellessa mitä muuta tämä korkealentoinen ohjelma oli rikkonut ja viimeisin ilmoitettu takaraja, 06:30 ylittyi huomaamatta, mikä oli laitettavissa väsymyksen piikkiin.

Huomasin myös vakavan virheen, joka on ollut päällä luultavasti lähes koko FinWX:n foorumin olemassaolon ajan: Tietokantadumppien piti sisältää koko MySQL-kannan sisältö ja sisältö pakata tietokannan nimen mukaan, mutta skripti oli tehty virheellisesti niin, että kantadumpin .gz-paketoinnissa kirjoitettiin ensin foorumin tietokanta ja seuraava komento kirjoittikin .gz-paketin samalla nimellä yli, sisältönään toinen tietokanta. Käytännössä se tarkoitti sitä, että FinWX:n kanta ei ollut koskaan automaattisesti talteen otettu ennen tätä päivää.    Ja kuka tuon skriptin oli luonut? Minä. 

Sivustolla on saattanut esiintyä hitautta kello 07:09 jälkeen, sillä tietokantadumpit otettiin korjatulla skriptillä ja varmuuskopiointi suoritettiin viivästetysti (alunperin skripti ajaa itsensä kello 05:30). Tämän lisäksi sivuston toimintaa saattoi hidastaa datalevyn optimointi, jossa fragmentaatio oli "vain" 69%

Toivottavasti seuraava huoltotoimenpide ei tuo samanlaista päänsärkyä. Ainakin tilanteen pitäisi olla sellainen, että päivitettävää on kertaluokkaa vähemmän.
FinWX:n ylläpito toivottaa kaikille hyvää alkanutta vuotta 2013 ja pahoittelee syvästi huoltotoimen takarajan ylityksestä aiheutunutta mahdollista haittaa.

[weatherc]

Autch...
No onneksi sait herätettyä henkiin noinkin vähällä.

Tuo on juuri se suurin pelko kun päivittää serveriä ja buuttailee sitä, ettei enää tapahdukaan mitään. Ei ole yksi eikä kaksi kertaa kun tuota saksalaista dediä on buuttaillut että odottaa-odottaa-odottaa-eikä edelleenkään saa yhteyttä siihen SSH:lla. Siinä on oppinut että odottelee ainakin sen puoli tuntia ennen hermostumista jos se Linukka-prkl on lyönyt vaikka levy-testin kehiin tai jotain ja toivoo hartaasti ettei ole kernel-panic kyseessä. Siinä vaiheessa kun tarvitaan jo Hetznerin supporttia avuksi että käyvät painamassa nappia....