Huoltotyö ohi

[J.Jäntti]

FinWX:n virtualisointialustalle, SAN-infranstruktuurille ja keskitetylle levyjärjestelmälle suoritettu huoltotyö on saatu päätökseen.

Työ aloitettiin lauantai/sunnuntai-vuorokaudenvaihteessa tutusti siirtämällä foorumi huoltotilaan, jonka jälkeen aloitettiin operaation kriittisin vaihe, FinWX:n tuotannon serverin siirto iSCSI-levyjärjestelmältä NFS-levyjärjestelmälle. Siirtonopeus samassa SAN-verkossa olevan NFS-järjestelmän suuntaan alkoi loppuvaiheessa heittelehtimään huomattavasti, mutta heitto oli iSCSI:n päädyssä. Siinä, missä NFS raapusti Geom vinum:lla luotuun RAID1-pakkaan 200Mbit/sek tasaisesti, iSCSI jossa sentään oli ZFS RAID-Z1 SSD-cacheineen, ei tahtonut pysyä perässä vaikka levyltä luettiin. Latenssit sahasivat iSCSI:lla korkealla mutteivät vielä hälytysrajoissa.

Tuotannon serveri rantautui NFS:lle kahden ja puolen tunnin päästä siirron aloituksesta. Kun virtuaalikone todettiin käynnistyvän ja olevan stabiili uudella pakalla, ajettiin kaikki serverit sekä iSCSI-levypakka alas.
Kun alasajo oli suoritettu, suoritettiin SAN-infrastruktuurin kytkimen vaihto. TP-Link TL-SG1005D sai väistyä ja korvaajaksi tuli Cisco-Linksys SE2500.

Seuraavana tuli vuoroon VMware ESXi Server. Ajatuksena oli ensialkuun vain päivittää Hypervisor, mutta vanha vCenter-assosiaatio kummitteli yhä järjestelmässä, mikä ensialkuun aiheutti ihmetystä ja lopulta ärsytystä. Paikatakseni tilanteen, päätös koko ESXi Serverin uudelleenasennuksesta oli ns. "no-brainer" ja räjäytin koko ESXi:n hornan tuuttiin kerrasta, asentaen versio 6.0.0 Update 1:n koneeseen suoraan. Asennus ja konfiguraatio takaisin osaksi verkkoinfraa vei vajaa puoli tuntia, jonka jälkeen serverille esiteltiin NFS-levyjärjestelmä ja siellä lepäävät virtuaalikoneet.

Virtuaalikoneet lähtivät ilman taistelua ylös. Ainoa, jossa joutui tekemään vähän töitä ennen käynnistystä oli USB- ja RS232-kiinnitykset WxDA (Weather Data Acquisition)-virtuaalikoneella. Ne kuitenkin saatiin esiteltyä ja kone oli valmis käynnistykseen.

Koneisiin vielä päivitettiin VMware Tools-paketit, jonka jälkeen tarkistettiin että koneet käyvät stabiileina, jotta huoltotyö voidaan katsoa päättyneeksi.
Levypakan latenssi heittelehti korkeimmillaan 3000ms (eli kolmessa sekunnissa), mutta sekin oli hyvin hetkellistä. Keskimääräinen latenssi oli pahimmankin ruuhkan aikaan 150ms:n luokkaa, eli täysin erityyppistä, kuin iSCSI:lla.

Kun koneet katsottiin stabiileiksi, huoltotyö voitiin todeta päättyneeksi. Foorumin otettiin pois huoltotilasta kello 04:30 ja huoltotyö päättyi.
Takarajaksi asetettu kello 12:00 alittui 7.5 tunnilla. Tosin takaraja asetettiin tarkoituksella kauaksi, jos levyjärjestelmän kanssa hommat vaikeutuvat.

Seuraavaksi vuorossa on iSCSI-levyjärjestelmän purkaminen atomeiksi ja kasaaminen takaisin, sillä prosessorin jäähdytyksessä on havaittu puutteita (ytimien lämpötilaero on lähes 10°C, kun laitetta kuormitetaan). Tarkoituksena on myös harkita tarkoin minkälaisella konfiguraatiolla levyjärjestelmä nostetaan ylös. Vaihtoehtoja on tarjolla, mutta vanhaan RAID-Z1:een ei palata sen epäkäytännöllisyyden vuoksi. Kun levyjärjestelmä on saatu nostettua ylös ja stabiliteetti on testattu, huoltokatko on edessä. Tämä ei tosin ole tapahtumassa hetkeen, sillä katkokset ovat häirinneet FinWX:n toimintaa sen verran paljon että tällä konfiguraatiolla mennään nyt jonkin aikaa. Tällä hetkellä VMware ESXi ilmoittaa lukulatenssiksi keskimäärin 0.33ms ja kirjoituslatenssiksi keskimäärin 1.51ms ja korkeimmatkin piikit ovat olleet hieman yli 20ms luokkaa (koska muutkin virtuaalikonet kirjoittelevat levyille), joten tilanteesen ei voisi tässä kohtaa olla tyytyväisempi.

FinWX:n ylläpito pahoittelee katkoksesta aiheutunutta haittaa.