GrADS - GFS-ennusteet

[wilei]

Kukakokan keksis laittaa gfs-servun pystyyn Euroopan mantereelle ettei tarvis tuolta rapakon takaa hakea niitä? 
Kokeilin juuri tehdä manuaalin ajon kartta-paketista, se otti äsken ainakin sellaisen vartin paussin kesken "cloud"-setin mutta jatkoi itse niiten teon sen jälkeen.

Lieneehän noita jo olemassakin. Mut tarviis vaan löytää ne ja toivoa, että niissä sit niitä paukkuja riittää tarppeeksi   Toisaalta. On kyllä itselläni moisen perustaminen käynyt mielessä, mutta toistaiseksi vain laitteistopuoli on ongelma...

Kun vielä oppis mten sen sais asennettua VPS:lle (SSH:n kautta/Ubuntu), kun oon aika vihreä sen Linuxin kanssa muuta kuin step-by-step-for-dummies-ohjeilla niin vois kokeilla sitä sillä, se olis Saksassa joten ainakin poistais muutaman mutkan matkasta täältä pohjolan perukoilta.

Voin katsella, josko joskus kerkeisin jotain ohjeita kasaamaan, ainakin perusasennukseen liittyvät. Varsinainen karttojen tekohan sit riippuu tavasta jolla ne haluaa tehdä. Itselläni siitä vastaa 2500 riviä PHP ja 40 riviä BASH -scriptejä sisältävä kokonaisuus, joita käytetään cron-ajastuksen kautta.

Offtopic: Itse olen myös pohtinut nykyisen VPS:ni siirtämistä Saksaan, ihan rahallisista syistä, mutta ongelmana täl hetkel sopivan maksutavan puute; ilman luottokorttia kun ei mitään tunnu mistään saavan ostettua, ja opiskelijana moisen kortin saanti on mahdotonta, grrh.

[weatherc]

Lieneehän noita jo olemassakin. Mut tarviis vaan löytää ne ja toivoa, että niissä sit niitä paukkuja riittää tarppeeksi Toisaalta. On kyllä itselläni moisen perustaminen käynyt mielessä, mutta toistaiseksi vain laitteistopuoli on ongelma...

Niinpä, sellaisenhan voi näköjääs itsekkin pistää pystyyn jos haluaa 
Kokeilin äsken että jos auttais jos vaihaa NOAA:n servua (Googlella löytyi ainakin 5 mistä valita, tosin kaikkien gfs-filusita ei näyttänyt olevan ihan kaikkia arvoja ja ainakin yhdessä oli joillakin arvoilla pikkasen eri nimi) ja ainakin nomad3-servu näyttää pelittävän nopeammin kun nomads-servu.

Ainakaan pienellä Google-haulla ei löytyt gfs-servua Euroopasta, ongelmahan siinä on että millä hakea, koska jos ymmärsin tuon GrADS-servun infon oikein voit aika vapaasti valita filujen/kansioiden nimet siinä.

Voin katsella, josko joskus kerkeisin jotain ohjeita kasaamaan, ainakin perusasennukseen liittyvät. Varsinainen karttojen tekohan sit riippuu tavasta jolla ne haluaa tehdä. Itselläni siitä vastaa 2500 riviä PHP ja 40 riviä BASH -scriptejä sisältävä kokonaisuus, joita käytetään cron-ajastuksen kautta.

Hmm...Saishan noita värejä lisää tähän .a5-versioonkin jos tekis väriskaala-funktiot jota käyttää tarvittaessa, silloin vois olla eri skaalat esim lämpötilakartalle ja sadekartalle ja silloin sais vaikka ne 99 väriä optimotua jokaiselle kartalle erikseen jos haluaa. Mulla ainakin syö tuo sininen skaala aika paljon värejä tällä hetkellä (noin 50 eri) eikä siten jää tilaa punaisenkeltaisille riittävästi nyt kun käyttää samaa skaalaa kaikkiin karttoihin..hmmm...

Jeps, olis ihan kiva. Itse en tarvis kun ne millä saa itse Grads:in asennettua, kyllä sitten loput onnistuu
Siinä mielessä olen vielä "vihreä" tuon Linukan kanssa että ohjelman asenatimsessa tarvii olla "for dummies"-ohje, ainakin jos se ei asennu apt-get update xxx-tyyppisellä käskyllä 
Nanot ym. menee sitten jo ihan ok.

Offtopic: Itse olen myös pohtinut nykyisen VPS:ni siirtämistä Saksaan, ihan rahallisista syistä, mutta ongelmana täl hetkel sopivan maksutavan puute; ilman luottokorttia kun ei mitään tunnu mistään saavan ostettua, ja opiskelijana moisen kortin saanti on mahdotonta, grrh.

Ainakin Host Europe jossa itse majailen ottaa vastaan ihan normi tilisiirto-maksujakin, sitä en nyt muista että vaatiiko se sen luottokortin hankintavaiheessa vai ei.

[wilei]

Niinpä, sellaisenhan voi näköjääs itsekkin pistää pystyyn jos haluaa 
Kokeilin äsken että jos auttais jos vaihaa NOAA:n servua (Googlella löytyi ainakin 5 mistä valita, tosin kaikkien gfs-filusita ei näyttänyt olevan ihan kaikkia arvoja ja ainakin yhdessä oli joillakin arvoilla pikkasen eri nimi) ja ainakin nomad3-servu näyttää pelittävän nopeammin kun nomads-servu.

NOAA:lla on juu noita nomad -servereitä useampia, mutta vain nomads -palvelimella oleva GFS -data on täydellistä. Osasta puuttuu osa tiedoista, esim. sade- tai pilvidata ja osassa GFS:ää ei laisinkaan ole Ja sitten kun juuri niitä puuttuvia tarvitsisi, niin eipäs se sit oikein onnistukkaan...

Ainakaan pienellä Google-haulla ei löytyt gfs-servua Euroopasta, ongelmahan siinä on että millä hakea, koska jos ymmärsin tuon GrADS-servun infon oikein voit aika vapaasti valita filujen/kansioiden nimet siinä.

Juu, ja voisipa GrADSilla aukoa myös tiedostoja omalta koneeltakin, mut GFS-dataa kun ei ole valmiiksi oikeassa muodossa saatavissa ja kokeilujeni perusteella se NOAA:n FTP-palvelin, jolta GFS-datat ne olisi ladattavissa, on vieläkin hitaampi kuin noi DODs -palvelimet. Huiput taisi olla tasoa 100kiloa/sekunti, siirtovauhdeissa, mutta normi oli enemmänkin 20-50   Siinäpä sitten lataa tolla vauhdilla sen noin 1-2gigaa (sitä dataa kun ei sit tossa vaiheessa voi vielä valikoida, että mitä lataa, vaan pitää ladata kaikki datat tietyltä alueelta).

Jeps, olis ihan kiva. Itse en tarvis kun ne millä saa itse Grads:in asennettua, kyllä sitten loput onnistuu
Siinä mielessä olen vielä "vihreä" tuon Linukan kanssa että ohjelman asenatimsessa tarvii olla "for dummies"-ohje, ainakin jos se ei asennu apt-get update xxx-tyyppisellä käskyllä 
Nanot ym. menee sitten jo ihan ok.

Täytyy katsella, jos tässä jossain vaiheessa kerkeisin jotain ohjeita väsäämään kasaan

Ainakin Host Europe jossa itse majailen ottaa vastaan ihan normi tilisiirto-maksujakin, sitä en nyt muista että vaatiiko se sen luottokortin hankintavaiheessa vai ei.

Juuri ko. firmalta viikko-pari sitten kyselin asiasta, ja ainut mitä suostuivat hyväksymään, on luottokortit. Et sillai.

[weatherc]

OpenGrADS on saanut ulos se meidän kaivattu a7-version, nyt uusin löytyvä on 2.0.a7.oga.1 
En ole vielä testannut sitä joten en osaa vielä sanoa mitään siitä.

Wilei, onks sulla joku hyvä jekku jolla saa sen sulkemaan itsensä jollei dataa löydy? Eli tulee se ilmo että file not found. Huomasin vaan että jollei dataa löydy niin CPU pompsahataa 100%:iin ja jaa sinne kunnes ohjelma suljetaan manuaalisesti. Sehän kyllä sulkee itsensä kun skripti ajettu mutta miten sen sais tarkistamaan tuon siinä sfopen-vaiheessa?

Ainakin Host Europe jossa itse majailen ottaa vastaan ihan normi tilisiirto-maksujakin, sitä en nyt muista että vaatiiko se sen luottokortin hankintavaiheessa vai ei.
Juuri ko. firmalta viikko-pari sitten kyselin asiasta, ja ainut mitä suostuivat hyväksymään, on luottokortit. Et sillai.

Niin joo se tais ollakkin että vaativat sen luottokortin hankintavaiheessa. Ovat muuten noin muutenkin HE:ssä vieneet turvallisuuden/miten tarkistetaan että todella olet sinä aivan uudelle tasolle. En ole vielä missään webhotellissa törmännyt näin tarkkaan systeemiin jossa mm. asiakaspaneelin salasana tuli etanapostissa koska sähköposti ei ole riittävän turvallinen sitä varten, mikä itse asiassa on ihan totta...

[wilei]

OpenGrADS on saanut ulos se meidän kaivattu a7-version, nyt uusin löytyvä on 2.0.a7.oga.1 
En ole vielä testannut sitä joten en osaa vielä sanoa mitään siitä.

Kappas. Itselläni ei ole aika riittänyt parina päivänä tuon seuraamiseen; huomasin vain eilen, että Helsingin yliopistolla löytyi maantieteenlaitoksen GIS labrojen koneilta OpenGrADS    Täytyykin tuota uutta kokeilla ensiksi omalla koneella ja sitten sopivan hetken tullen päivittää myös FLC:hen käytöön. Ja mitä olen GrADSin muutoslogia katsellut, niin pitäis tuon olla paljon parempi kuin entisen.

Wilei, onks sulla joku hyvä jekku jolla saa sen sulkemaan itsensä jollei dataa löydy? Eli tulee se ilmo että file not found. Huomasin vaan että jollei dataa löydy niin CPU pompsahataa 100%:iin ja jaa sinne kunnes ohjelma suljetaan manuaalisesti. Sehän kyllä sulkee itsensä kun skripti ajettu mutta miten sen sais tarkistamaan tuon siinä sfopen-vaiheessa?

Tuo voineis onnistua tavalla tai toisella käyttäen hyödyksi GrADSin omaa kieltä (eli että tekisi testin), mutta en ole siihen niin paljoa perehtynyt, että moista hallitsisin. Jos hommaa pyörittäisi esim. PHP:n kautta, niin silloinhan testi voisi olla mahdollinen... Mutta kuten aiemmin todettua, niin PHP tahmauttaa koneen tuossa tilanteessa malliikkaasti, joten täytynee kokeilla jotain muuta kieltä, eli varmaankin itselleni seuraavaksi tutuinta, eli Perliä. Mut täytyy ihmetellä tuota, kunhan kerkeeäpi paremmin; NOAAn datapalvelin epäluotettavuus on kyllä ollut viimeisen kahden viikon aikana jotain ihan käsittämätöntä.

Niin joo se tais ollakkin että vaativat sen luottokortin hankintavaiheessa. Ovat muuten noin muutenkin HE:ssä vieneet turvallisuuden/miten tarkistetaan että todella olet sinä aivan uudelle tasolle. En ole vielä missään webhotellissa törmännyt näin tarkkaan systeemiin jossa mm. asiakaspaneelin salasana tuli etanapostissa koska sähköposti ei ole riittävän turvallinen sitä varten, mikä itse asiassa on ihan totta...

No justiisa. Täytyy jollain keinolla koettaa saada tuota paketti itselle; hintaeroa uuden ja nykyisen välillä olis lähes 200e vuodes, joka on jo mieletön summa. Nyt kun viel nostiva liikenne"rajat" 5teraan kuukaudessa... Mutta etanapostiin todettakoon, että en kyllä itse pidä sitäkään järin turvallisena, kun kerran on laskukin kadonnut matkalla...

[weatherc]

No justiisa. Täytyy jollain keinolla koettaa saada tuota paketti itselle; hintaeroa uuden ja nykyisen välillä olis lähes 200e vuodes, joka on jo mieletön summa. Nyt kun viel nostiva liikenne"rajat" 5teraan kuukaudessa... Mutta etanapostiin todettakoon, että en kyllä itse pidä sitäkään järin turvallisena, kun kerran on laskukin kadonnut matkalla...

Juu, noi heidän uudet paketit ovat aika tapauksia, en ole tuollaisia VPS-paketteihin vielä törmännyt siihen hintaan. Itse odottelen että saisvat upgrade-systeemit kuntoon että vois päivittää 3.0:sta uuteen 4.0:seen jolloin RAM-muistikin tuplaantuisi vaikkei se nytkään mikään kovin pieni ole
Eihän niiden liikenne"rajoja" voi edes rajoiksi kutsua, eipä ole varaa että ihan heti tulisi vastaan 

Tuo voineis onnistua tavalla tai toisella käyttäen hyödyksi GrADSin omaa kieltä (eli että tekisi testin), mutta en ole siihen niin paljoa perehtynyt, että moista hallitsisin.

Tuota minäkin ajattelin että jonkunlainen testi tarvis tehdä siinä ihan aluksi...

NOAAn datapalvelin epäluotettavuus on kyllä ollut viimeisen kahden viikon aikana jotain ihan käsittämätöntä.

Totta, on kyllä viime päivinä ollut pikkasen pätkivää tuo datan saanti tuolta rapakon takaa. Itsellä alkaa karttojen teko tällä hetkellä xx.15 siitä seuraavalla tunnilla eikä sekään ihan mallikkaasti siltikään mene...

[weatherc]

Uutta 2.0.a7 kokeiltu,hmmm...ainakin mun while-looppi lakkas toimimasta, tekee vain yhden kartan ja tuuppaa jotain ihmeen erroria sen jälkeen...

Millä loopilla sä wilei teet nuo kartat niin että se tallentaa jokaisen eri nimellä?
Mulla tuollainen perus while-looppi jossa i:n arvo väännetään rautalangalla että on 1 enemmän kun viime kierroksella tyyliin i = i+1 ja sitten tehdään kartta a:sta ö:hön, looppi ("karttatyyppi", esim Lämpötila) kerrallaan. Ihan varmasti tuohonkin löytyy parempi systeemi mutten vielä ole löytänyt sitä... 

[wilei]

Uutta 2.0.a7 kokeiltu,hmmm...ainakin mun while-looppi lakkas toimimasta, tekee vain yhden kartan ja tuuppaa jotain ihmeen erroria sen jälkeen...

Millä loopilla sä wilei teet nuo kartat niin että se tallentaa jokaisen eri nimellä?
Mulla tuollainen perus while-looppi jossa i:n arvo väännetään rautalangalla että on 1 enemmän kun viime kierroksella tyyliin i = i+1 ja sitten tehdään kartta a:sta ö:hön, looppi ("karttatyyppi", esim Lämpötila) kerrallaan. Ihan varmasti tuohonkin löytyy parempi systeemi mutten vielä ole löytänyt sitä... 

Itsekkin kokeilin a7:aa omalla koneella, ja se bugaa viel kiitettävästi. Ohjelma kaatuu segmentation faultiin melkoisen useasti... Toivottavasti korjaantuu pian!

Mulla systeemi toimii siten, että PHP:lla tehdään valtaisa grads .gs -file, joka sisältää hyvin yksinkertaisesti kaikkien karttojen piirtokomennot sellaisinaan; eli ilman looppeja/tms. Ainoat loopit siis PHP:ssa, kun en ole jaksanut (vielä) opetella gradsin scriptauskieltä yhtään   Täällä pari screenshottia itse koodeista, mis näkyy millanen systeemi taustalla about on, vaikkakaan itse karttojen koodeja sisältävistä kohdista tuossa ei nyt ole shottia nähtävillä... (Koodit ovat siis puhdasta OOPHP:ta, kun en enää muuta hirveästi jaksa kirjoittaa )

[weatherc]

Palasin takas a5:sen pariin, en saanut a7 tekemään kun yhden kartan. No, kekkasin keinon miten saan karttakohtaiset värit jos haluan funktion avulla joten siinä milelssä saan vaikka sen noin 75 eri väriä jokaiselle kartalle jos haluan

Mulla koko tekosysteemi on väänneetty yhteen .gs-filuun jota .bat-filu käynnistää kun ensin on laskenut ajan että mitä ajoa sitä pitäisi hakea tuolta NOAA:lta. Pienen väsäämisen jälkeen sain sen niin että se osaa myös vähentää päivän alkupäivästä  
Perin simppeliähän se on loppujen lopuksi eikä koodia ole kun sen pari kymmentä riviä per setti (+ ne ladattavat funktiot)

Vielä  kun kekkaisi että miten sen sais tarkistamaan datan tulon/saannin jollain tapaa ettei se jää roikkumaan..hmm..


EDIT: Hmm...pitäisi varmaan jaksottaa tuon karttojen teon, lisäsin muutaman uuden kartan systeemiin (nyt 19) sekä lisäsin sekvenssien määrää 96 tuntiin niin 1.5 tuntia mennyt ja vasta pääsemässä niihin aikaa vieviin mutta veikkaan että se on ottanut "paussia" matkan varrella

[weatherc]

Kyllä nyt tökkii tuo nomads-servu NOAA:lla...alkupäivän ajot meni ihan vatturalle ja nyt menee varsinkin Deep Layer Shear-tyyppiset kartat ihan päin honkia...Eilen kun tuota Deep Layer Shear-karttaa tein niin toimis niin nätisti...