Dedi oikkuilee

[weatherc]

Dedi (ja siten mm EWN) on nurin tällä hetkellä.

Jostain syystä nousi loadit taivaisiin sekä se reboottasi koko purkin (ei pelkästään web-containerin jossa websivut). Pysyi pystyssä vartin, taas rebootti. Tässä kohtaa laitoin käyntiin tuoreen snapshotin teon sekä sammutin Apachen/Nginx:in (eli sammutin websivut) ajatuksena rauhoittaa tilannetta. Mutta tosin kävi. Pysyi pystyssä 20 min ja taas rebootti, kesken snapshotin teon tuloksena lukittu containeri.
Uusi yritys tapahtuu siten että web-containeri on sammuksissa. Kun on valmis uppaan ne turvaan toiselle purkille (Snapshotiti + uppaus tapahtuu myös ajastettuna joka toinen yö). Toivon mukaan pysyy pystyssä edes niin kauan. Snapshotin tekoon mennee tunnin verran.

Sen jälkeen kokeillaan käynnistää web-conatineri ja mietitään jatko-toimenpiteitä...

[weatherc]

Päivitystä...

Eilen:
Dedi reboottasi itsensä 3 kertaa tunnin sisään. Tässä kohtaa sammutin websivu-virtuaalin ja laitoin tulille tuoreen snapshotin teon. Tämän jälkeen uppasin sen toisaalle siten että kyseinen websivu-virtuaali oli edelleen sammuksissa jotta se uppaus menisi varmemmin perille.
Tämän noin 2 tunnin aikana itse palvelin sekä kartta-virtuaali toimivat OK mikä oli hyvä asia, se myös osoitti syyttävän sormen kohti juuri websivun virtuaalia.

Käynnistäessä websivu-virtuaalia lähti (kuten odotinkin) loadit raketoimaan välittömästi.
Sammutin Apachen => ei muutosta
Sammutin Mysqlin => loadit alkoi tippumaan - bingo
Käynnistin Apachen => loadit tippui edelleen
Mielenkiintoista tässä kohtaa oli se että mysql oli edelleen käynnissä prosessilistan mukaan, myös websivujen mysql-kyselyt toimis OK. Eli ihan kun myslejä olisi käynnistynyt 2 kpl.

Tässä kohtaa näytti kaikki OK:lta, sivut latautuivat OK sekä loaditkin olivta alle 1.

Aamulla kuitenkin olivat (ei mitenkään yllättäen) sivut nurin taas.
Uptime serverillä oli siinä vaiheessa noin 2 tuntia eli se oli yön/aamun aikana taas reebottannut itsensä.
Käynnistämällä Nginx/Apache-kombon uudestaan ja oikeassa järjestyksessä sai sivut henkiin taas.

Tässä ollaan nyt, uptimea ollut vajaat 7 tuntia ja kaikki päällisinpuolin OK.
Seurataan tilannetta.

Jos se edelleen jatkaa temppuilua laitan kyssäriä Hetznerin kavereille asiasta ja katsotaan mitä he ehdottavat (eli vaikuttaako oireet heidän mielestä rauta-ongelmalta vai ei).

[weatherc]

Murhyn lain mukaisesti just kun kaikki näyttää ihan OK:lta (7 tuntia uptimea) niin kaatushan se taas.
Tilattiin Hetznerin kavereilta hardware-check jonka ehdottivat kun selitin ongelmaa. Kestänee X tunteja.

Kahtena muuna vaihtoentona oli
- Uusi serveri mutta vanhat SSD:t
- Uusi serveri mukaankukien uudet SSD-lätyt

Hardware-check on (mikäli se ei ole levyt jotka hajalla) se "helpompi" kun ei (toivon mukaan) koko purkkia tarvi asentaa uudestaan.
Tosin, kun nykyinen dedi on 2 virtuaalia on se helpompi palautaa suoraan snapshotista kunhan host-serveri jossa mm Proxmox-softa + verkko ovat pystyssä.

[weatherc]

Rauta-testissä ei löytynyt mitään. Se oli sekä hyvä että huono asia. Huono siinä mielessä että se hankaloittaa syyllisen löytämistä.

Testin jälkeen on virtuaali pysynyt pystyssä huonoimillaan 8 minuuttia. Edellisen rebootin jälkeen nappasin zippiin kaikki access-logit ja latasin kotokonelle ja katselin läpi että onko jotain silmäänpistävää juuri ennen reboottia.
Ainakin 1 hyvä ehdokas löytyi, wxwuhistory.php. Sehän on tuottanut ongelmia ennenkin ja myös muille (lähinnä kun joku botti hakkaa sitä). Kokeeksi uudelleennimesin kaikki wxwuhistory.php:t mitä löytyi.
Se että auttoiko nähtäneen aika pian...

[weatherc]

Sarjasamme v-mäiset viat..

Palvelin kaatui viime yönä backupin teon yhteydessä noin 04:00, muutoin on pysynyt ylhäällä joten pientä edistystä tapahtunut.
Google kertoi että yksi syyllinen kaatumiseen Proxmox backupin teon yhteydessä voisi olla virtalähde. Hetznerin kaverit vikkelinä kavereina vaihtoi sen alta vartissa.

Koska viime öiset backupit epäonnituivat sekä ihan mielenkiinnosta että mitä tapahtuu saatan painaa backup-namiskaa manuuaaliseti muutoin odotellaan ensi yön backuppeja....

[weatherc]

Backup-koe:
Tulen ajamaan backupin teon manuaalisesti alkaen heti. Tämä jotta nähdään mitä se tekee vai tekeekö mitään...Ensimmäisenä tulille menee kartta-virtuaali joka on kooltaan pienempi

(1) Backupin teko siten että virtuaalit ovat käynnissä, eli kuten ajastuskin tekee öisin
(2) Jos se epäonnistuu niin uusi yritys siten että kartta-virtuaali on sammutettu
(3) jos sekin epäonnistuu niin siten että molemmat virtuaalit ovat sammutettu (tällöin ovat sivutkin pois pelistä)
(4) jos sekin epäonnistuu niin hmmmmmmm..... 

[weatherc]

Backup-koe:
Tulen ajamaan backupin teon manuaalisesti alkaen heti. Tämä jotta nähdään mitä se tekee vai tekeekö mitään...Ensimmäisenä tulille menee kartta-virtuaali joka on kooltaan pienempi

(1) Backupin teko siten että virtuaalit ovat käynnissä, eli kuten ajastuskin tekee öisin
(2) Jos se epäonnistuu niin uusi yritys siten että kartta-virtuaali on sammutettu
(3) jos sekin epäonnistuu niin siten että molemmat virtuaalit ovat sammutettu (tällöin ovat sivutkin pois pelistä)
(4) jos sekin epäonnistuu niin hmmmmmmm..... 

Molempien virtuaalien backupit onnistui (1)-vaihtoehdon mukaisesti.