Miten hauras internetti on

[weatherc]

Norjalainen Aftenposten uutisoi mittavista ongelmista internetissä menneenä viikonloppuna...

USA:n ukkoset...
Ukkoset sai Amazonin EC2-pilvipalvun osittain nurin koska yksi sen osista sijaitsee Virginassa jossa oli suuret sähkökatkokset. Tulos, satoja sivustoja nurin. Gneraattori anyone?

Sunnuntaina oli päivä 1 sekunti pidempi kuin normaalisti.
Menneenä suununtaina atomikellot lisäsi sekunnin vuorokauteen siten että 00:00:00 oli kahteen kertaan. Tämä sai taas monet serverit nurin. Nurin oli mm. Reddit, Mozilla, Linkedin, Foursquare, Yelp og Gawker-palvelut.

[systeemi]

Alkaa olemaan tuolla verkossa noita muuttujia niin paljon että yksi kyykkää menee muut perässä.

[J.Jäntti]

USA:n ukkoset...
Ukkoset sai Amazonin EC2-pilvipalvun osittain nurin koska yksi sen osista sijaitsee Virginassa jossa oli suuret sähkökatkokset. Tulos, satoja sivustoja nurin. Gneraattori anyone?

Tuossa herää minulla enemmän kysymys, että Redundancy, anyone?. Luulisi, että kun sitä tummaa pukkaa tuulettimeen noinkin tehokkaasti niin koko saitti siirretään vaikka toisen osavaltion konesaliin, jossa on vastaavat nodet juuri tällaista tilannetta varten. Luulisi Amazonilla olevan sen verran älliä ja käteisvarantoa, että systeemit saataisiin siirrettyä.

Tuollainen pilvipalveluita tarjoava serverisali on takuuvarmasti generaattorivarmistettu, mutta siinä tahtoo tulemaan pari muutakin mutkaa matkaan pitkässä sähkökatkoksessa, kuten ensimmäiseksi generaattorin käyntiaika, joka aika harvassa tapauksessa on päiviä. Tuntien katkokset se kyllä hoitaa ihan miten päin vain, mutta polttoaineen saanti voi olla vähän hankalalla tolalla tilanteessa jossa sähköt ovat suunnilleen osavaltiotasolla poikki ja homma melkoisen kaoottinen. Löpöä tuskin saadaan toisestakaan osavaltiosta ihan äkkisältään, kun omassa osavaltiossa säiliöiden pumput eivät toimi ja tankkiautoissa sillä hetkellä olevat reservit luultavasti ohjataan liittovaltion hallinnon käyttöön jollain poikkeustilamääräyksellä.

Toinen ongelma on jäähdytys. Vaikka salissa lämmitettäviä ilmakuutioita riittäisikin, eivät nekään ole loputtomia ja lämpötila salissa lähtee varmasti nousuun, ellei siellä ole erillisiä generaattoreita myös jäähdytykselle tai tehokkaalle ilmanvaihdolle. Tarpeeksi lämmintä kun alkaa olemaan, niin koneita on pakko alkaa ajamaan alas tai muuten alkaa laitteet vähitellen ottamaan siipeensä. Pahimmassa tapauksessa koko konesali pitää täräyttää alas, 

Tällaiseen tilanteeseen olin vanhassa työpaikassa joutunut kesäisin, kun talon toimistotilan ilmastointi oli kytketty jonkun aivopierun saattelemana serverihuoneen ilmastoinnin kanssa samaan ja lopputulos oli se, että katolla olevan kompressorin pysähdyttyä ylikuumenemisen takia alkoi lämpötila serverihuoneessa heilahtaa sinne +30°C paremmalle puolelle. Varalaitteina toimineet siirrettävät ilmastointikoneet joutuivat taistelemaan yksin serverihuoneen lämpöä tuottavia koneita vastaan ja lopulta niistä vähintään toinen joutui pätkintätilaan, jossa kompressori ylikuumeni ja se siirtyi vain siirtämään kuumaa ilmaa huoneeseen. Sitten pysähtyi seuraava kompressori samasta syystä ja soppa oli valmis - lämpötila nousi lähelle +40°C ja piti alkaa sammuttelemaan servereitä, joiden toiminta ei ollut talolle suoraan välttämätöntä. Serverihuoneen ovelle tuotiin helvatankokoinen lattiatuuletin joka pöhisi kuumaa ilmaa serverihuoneesta toimistotilaan.... +40°C läheisessä lämpötilassa ei serverihuoneessa enää oikein viihtynyt - mökä oli korviahuumaava kun kaikki servereiden puhaltimet huusivat täysillä kierroksilla, varoitusvalot vilkkuivat ja loistivat ja osa laitteista jopa piippaili varoitusta - tunnelma oli siis käsinkosketeltavan kaoottinen.

[weatherc]

Tuossa herää minulla enemmän kysymys, että Redundancy, anyone?. Luulisi, että kun sitä tummaa pukkaa tuulettimeen noinkin tehokkaasti niin koko saitti siirretään vaikka toisen osavaltion konesaliin, jossa on vastaavat nodet juuri tällaista tilannetta varten. Luulisi Amazonilla olevan sen verran älliä ja käteisvarantoa, että systeemit saataisiin siirrettyä.

Tuota kyllä isekkin ihmettelin...
Siis haloo, pilvipalvelu johon pusketaan sivustoa ja porukkaa lähes puolipakolla jossain tasolla mukaan, moni jaettu domain.com/jsfilu.js-filuhan tulee jostain tuollaisesta CDN-verukkeella, eikä tuon parempaa systeemiä ole pystyssä.

Serverihuoneen ovelle tuotiin helvatankokoinen lattiatuuletin joka pöhisi kuumaa ilmaa serverihuoneesta toimistotilaan.... +40°C läheisessä lämpötilassa ei serverihuoneessa enää oikein viihtynyt - mökä oli korviahuumaava kun kaikki servereiden puhaltimet huusivat täysillä kierroksilla, varoitusvalot vilkkuivat ja loistivat ja osa laitteista jopa piippaili varoitusta - tunnelma oli siis käsinkosketeltavan kaoottinen

[J.Jäntti]

Siis haloo, pilvipalvelu johon pusketaan sivustoa ja porukkaa lähes puolipakolla jossain tasolla mukaan, moni jaettu domain.com/jsfilu.js-filuhan tulee jostain tuollaisesta CDN-verukkeella, eikä tuon parempaa systeemiä ole pystyssä.

Tätä samaa ihmettelen vähän itsekin, miten tuo on voinut rakentua noin? Onko siellä menty oikeasti sieltä, mistä aita on matalin ja mikä maksaa vähiten? Jos pilvipalvelua lähtee rakentamaan, pitäisi palvelulla olla silloin infrastruktuuri kunnossa ja hätätilanteiden varalta jonkinlainen suunnitelma saitin siirrosta toiseen paikkaan. Voi olla, että Amazonilla ollaan ymmärretty pilvipalvelun kokonaiskonsepti vähän pieleen ja ajateltu vain läpinäkyvyyttä käyttäjälle, muttei itse konesalille.

Redundanssi maksaa paljon, mutta siinä vaiheessa, kun jotain tällaista sattuu, niin investointi on ollut sen arvoista, kun palvelut jatkuvat (lähes) keskeytyksettä. Isommin alkaa takkiin tulemaan siinä vaiheessa, kun asiakkaita alkaa katoamaan tai jonkinlaisia sanktiomaksuja joutuu maksamaan puhumattakaan sitten saadusta huonosta maineesta, jonka vaikutukset kestävät vielä kauan sähköjen palauduttua ja pilven kasauduttua takaisin toimintakykyiseksi kaikilta osiltaan.

Menneenä suununtaina atomikellot lisäsi sekunnin vuorokauteen siten että 00:00:00 oli kahteen kertaan. Tämä sai taas monet serverit nurin. Nurin oli mm. Reddit, Mozilla, Linkedin, Foursquare, Yelp og Gawker-palvelut.

Kuulostaisi äkkiä siltä, että noilla palveluilla oli isotöisiä ajastettuja ajoja listalla tuohon aikaan ja ne lähtivät sitten kahdesti sekunnin sisällä rullaamaan. Arvata saattaa, kuinka tuossa äkkiä käy.
Juuri tällaisten asioiden välttämiseksi ajastan tyypillisesti ajot tapahtumaan 00:30 ja jos on ajoja kello 03:00 aikaan niin ne yleensä siirrän ajettavaksi joko 02:00 tai 05:00 sillä muutoin esim. DST-muutos tekee saman tempun.

[weatherc]

Kuulostaisi äkkiä siltä, että noilla palveluilla oli isotöisiä ajastettuja ajoja listalla tuohon aikaan ja ne lähtivät sitten kahdesti sekunnin sisällä rullaamaan. Arvata saattaa, kuinka tuossa äkkiä käy.

Hassusti 
Kysyä voi tietenkin myöskin mitä niiden päässä on liikkunut jotka päättäneet sen lisäsekunnin 00:00:00-aikaan eikä vaikka 01:00.
Puoltaöihän on paljon ajettavaa systeemiä kuitenkin.

Juuri tällaisten asioiden välttämiseksi ajastan tyypillisesti ajot tapahtumaan 00:30 ja jos on ajoja kello 03:00 aikaan niin ne yleensä siirrän ajettavaksi joko 02:00 tai 05:00 sillä muutoin esim. DST-muutos tekee saman tempun.

Jos katselen dedin ajastuksia niin siellä on koko skaala minuutteja käytössä siten että jos suin mahdollista vältetään tasatunteja tyyliin 03,23,43

[weatherc]

Lisäsekunti saa jatkoa nimittäin Hetzeriltä tuli postia...
Ovat huomaanneet IT-sähkökulutuksen kasvaanen tämän yön jälkeen 1 MW:lla ().
Syy on Linukassa oleva bugi koskien tätä lisäsekuntia joka aiheuttaa pysyvän CPU-käytön nousemisen.
Koskee varsinkin Debbareita ja Mozilla-serveritä:

http://www.h-online.com/open/news/item/Leap-second-Linux-can-freeze-1629805.html