Halikko sujettiin serverin ylikuorimtuksen takia - uusia ongelmia

[weatherc]

Tere!

Mun host (EUKhost) sulki nordicweather.net-sivuston iltapäivällä koska sivusto ylikuormitti serveriä. Syykin selvis, mulla on sääennuste-osoiossa php-skripti joka Norjan IML (yr.no) jakaa jotta voi näyttää paikallisia sääennusteita omilla sivuillaan täysin laillisesti, löytyy myös melkein kaikki suomen paikkakunnat (Tästä vois Suomen IML otta "hiukan" oppia!!).
Jostain syystä tuo skripti tuotti virhesanomia EUKhostin lokiin tahtiin yli 300 kpl/sekunnissa ja ne sulki sen ymmärrettävistä syistä ja ilmoitti siitä minulle emaililla.
En ollut koneen äärellä ennenkun nyt illalla joten siiä johtui viivästys sekä sivuston alhaallaolo venyi noin 5 tuntiseksi. Kiitos että EUKhostilla on 24/7 toimiva live-support sain sivuston ylös takaisin alta 5:ssä minuutissa siitä kun aloitin asian purkaamisen (luin emailin) ja sain poistettua kyseisen skriptin serveriltä jatkotutkimuksia varten.
Oon ootanut yhteyttä yr.no-sivuston ylläpitoon jotta saisin asiaan selvityksen että mistä johtui.
Epäilen vahvasti että se oli jonkunlainen DOS-hyökkäys johonkin Norjalaiseen tai muuhun sivustoon kohti koska Nordic Networkin aemalla Berdal:lla on myös ollut ongelmia tänään sivuston kanssa.

Henkka

[Impivaaran isäntä]

...Norjan IML (yr.no) jakaa jotta voi näyttää paikallisia sääennusteita omilla sivuillaan täysin laillisesti, löytyy myös melkein kaikki suomen paikkakunnat (Tästä vois Suomen IML otta "hiukan" oppia!!).

Katselin noita Norskien sivuja ja en kyllä ymmärtänyt miten näitä ennusteita saa omille sivuille. (muuten kuin linkittämällä vaikka tuon Finlandin) Onkos sielä joku kohta mistä voi paikkoja valita ja scripti sen mukaan?

Edit: Löytyikin jo. Nyt pitää tutkia hieman tarkemmin... http://www.yr.no/place/Finland/Southern_Finland/Lohja/

[weatherc]

Tuosta löytyy kyseinen php-skripti: http://www.yr.no/verdata/1.5542682, siitä kohta "Last ned scriptet"

[meteorologi]

Jotain häikkää on jälleen: sivuille ei pääse, vain error 500 -ilmoitus.

[weatherc]

Juuh....

Odottelen tässä vastausta heidän supportilta, heidän live-chat ei osanut auttaa...
Jotain overload-häikkää siellä on jossain kuulemma...
Ja koska sääaseman automaattiset uploadit yritti tietenkin uploadata tavaraa vaikka ei ollut pääsyä niin heidän palomuuri on blokannut mun ip:n kunnes sallivat sen taas...

Olis kiva jos olis saatvilla jotain lokeja josta näkis mitä tapahtuu sivuilla, siis kaikki tapahtumat, normaaleilla webhotelli-tileillä ei vaan tahdo olla ne saatavilla..

Ei tietoa milloin tulee pystyyn taas...

Henkka

[weatherc]

Ovat ylhäällä taas ainakin seuraavat 24 tuntia, oon tässä yhteydessä supportiin että löydettäis pahat skriptit jotta saan ne korjattua.
Mikäli joku sivu/funktio häviää yks-kaks yllättäen johtuu se siitä että poistan sen tilapäisesti käytöstä kunnes korjattu..

[weatherc]

Hmph...

Väittävät että sääsivulla "liikaa käyttöä", aiheuttajina clientraw.txt ja NSRealtime.txt.
Eli molemmat pieniä tekstifiluja jotka lähinnä käytetään 2:lla sivulla (etusivu & tutka). Näitä filuja käyttää ajax-javascriptit jotka päivitti datansa joka 20:s (etusivu) ja joka 5:s sekunti (tutka).
Arvon nörtit siellä englannissa ehdotti että säädä päivitysväli vähintään 90:een sekuntiin. Vastasin tuohon että niin korkealle en voi niitä nostaa (sanoin että max 60 sek (ainakin kunnes rauhoittuvat )) koska silloin se ei ole enää reaaliaikainen joka on koko homman juju.

Katsotaan mitä vastaavat....

Sivusto ylhäällä mutta data ei päivity toistaiseksi kaikilta osin, sääverkon kartta hävis unexpected T_DEC-php-virheen takia jota en tahdo löytää sitten millään

[J.Jäntti]

Hmph...

Väittävät että sääsivulla "liikaa käyttöä", aiheuttajina clientraw.txt ja NSRealtime.txt.
Eli molemmat pieniä tekstifiluja jotka lähinnä käytetään 2:lla sivulla (etusivu & tutka). Näitä filuja käyttää ajax-javascriptit jotka päivitti datansa joka 20:s (etusivu) ja joka 5:s sekunti (tutka).
Arvon nörtit siellä englannissa ehdotti että säädä päivitysväli vähintään 90:een sekuntiin. Vastasin tuohon että niin korkealle en voi niitä nostaa (sanoin että max 60 sek (ainakin kunnes rauhoittuvat )) koska silloin se ei ole enää reaaliaikainen joka on koko homman juju.

Katsotaan mitä vastaavat....

Sivusto ylhäällä mutta data ei päivity toistaiseksi kaikilta osin, sääverkon kartta hävis unexpected T_DEC-php-virheen takia jota en tahdo löytää sitten millään

Aika hälyttävä tieto.
Eivät sitten viitsineet ne brittipirut vaivautua kertomaan, mitä tarkoittaa, että sivulla on "liikaa käyttöä". Tuosta olisi ymmärrettävissä, että joku lukee noita filuja ihan omiin tarkoituksiinsa sivuiltasi, eikä niin, että clientraw.txt ja NSRealtime.txt päivittyisivät liian tiuhaan. En tosin tajua, miten he luulevat vähentävän "liikakäyttöä" siten, että sinä harvennat päivitysväliä...

Jos sivuiltasi viedään reaaliaikaisuus, se ei välttämättä tarkoita sivujesi huonontuvan, mutta heidän väitteensä liikakäytöstä on ihan tuulesta tempaistu, väitän minä.

[meteorologi]

Jos palveluntarjoaja heittäytyy hankalaksi, ainoa keino on sen lopettaminen ja uuden hankkiminen.
Älä anna palveluntarjoajan kiusaavan Sinua.

[weatherc]

Eivät sitten viitsineet ne brittipirut vaivautua kertomaan, mitä tarkoittaa, että sivulla on "liikaa käyttöä". Tuosta olisi ymmärrettävissä, että joku lukee noita filuja ihan omiin tarkoituksiinsa sivuiltasi, eikä niin, että clientraw.txt ja NSRealtime.txt päivittyisivät liian tiuhaan. En tosin tajua, miten he luulevat vähentävän "liikakäyttöä" siten, että sinä harvennat päivitysväliä...

Sori jos kirjoitin epätarkasti, tuota ne juuri tarkoitti että clientrawta ja NSLogia luetaan tiuhaan, ei upload-välejä, onhan clientraw:t päivittynyt 20 sekunnin välein alusta asti enkä niihin ole koskenut.
Ja tilastoista näkyy kun niitä tutkailin että NSLogia on luettu hulppeat 1.2 miljoonaa kertaa sekä clientarw:ta 500000 kertaa ja tämä vain 4:ssä päivässä (Elokuussa).
Nuo kun jakaa tasaisesti jokaiselle tunnille 4 päivän ajaklle niin sadaan 12500 ja 5500 kertaa tunnissa keskimäärin.
Nuo luvut alkaa jo olemaan aika hurjia ja täytyy koittaa saada ne kuriin ja löytää syypää siihen.

Eilen kun olin moneen kertaan yhteydessä heihin maililla niin hyvin auttavaisa ja kertoi mitkä filut ovat syylliset ja ehdotti mitä tehdä. Tuo heidän ehdtus 90 sekunnin päivitysvälistä (siis ei upload vaan väli joka data päivittyy dynaamisesti sivulla) on siinä mielessä ymmärettävä ettei heillä ollut tietoa minkälaisesta sivusta on kyse ja miten noita filuja luetaan.
Tein laskelman että alkuviikosta kun oli ukkosta ja sivuilla liikennettä ja käyttäen tuota mun "visitors online"-skriptin tietoja niin NSLogia luettiin yli 200000 kertaa tunnissa parhaimmillaan joten siihen täytyy kyllä keksiä joku jekku.

Ja toinen seikka, harvat ovat webhotellit jossa tällaisia asioita voi hoitaa toimisto-ajan ulkopuolella ja lähes reaaliajassa (vastaukset tuli alta puolen tunnin) joten siinä nostan kyllä heille hattua.

Tosin kun kun katselin cPanelissa (webhotellin hallintapaneeli) olevaa server-statusta niin näkyy että serveri jossa majailen rupee tilaltaan olemaan aika täynnä sekä serverloadit jatkuvasti yli 1, välillä lähemmäs 3 (mulle on kerrottu että 1 on hälytysraja, 3 on jo kriittinen), ja siten veikkaan että ne yrittävät saada loadit alemmas kauttaaltaan, ei vaan multa.