Norjan ihmeellä yr.no:llahan on myös GRIB-dataa jaossa ilmaiseksi eli samassa muodossa mistä GFS-kartat tehdään. Data kattaa lähinnä Pohjoismaat ja löytyy 48 tunnin ajalle.
Ollut jo jonkin aikaa mielessä jossain vaiheessa tutkia saisinko sen valjastettua tuonne dedin GDS-serverille jotta voisi tehdä kartat. Ja helppoahan se oli :)
Arvoja filusta ei löydy kuin 6 perusarvoa mutta reso on paljon parempaa mitä GFS-datassa, GFS:ssä reso on 0.5° ja yr.no:lla se on 0.1° latitudessa ja 0.2° longitudessa. Käytännössä se tarkoittaa noin 10 km resoa.
Alla vertailu saman ajankohdan lämpötila-kartoista, hiukkasen on eroa :)
Tuossa Suomeen zoomattu testikartta ;D
Ei voi muuta kuin ihastella tuota YR.no toimintaa.
Huomasin että OpenGrads osaa myös tehdä shapefiluja, eli noita jota tarvitaan kun tehdään kartta-tiilejä esmex. Leaflettiin. Tästähän heräs vaikka mitä utopista ideaa :)
Liitteenä ensimmäinen koeajo käyttäen NSD:n vaaleansinistä karttapohjaa sekä yr-ennusteesta 14-15 asteen alueet.
Tästä on tosin piiiitkä matka vielä jonkin toimivaan..... :P
Aihe karkaa taas pikkasen alkuperäisestä mutta mitäpä siitä...
Koekartta Mapnikillä (Leaflet-tiili-teko-ohjelma) jossa kaikki siinä olevat lämpötila-värit lisääty + muutama muu pikku tweekkaus :)
EDITTIÄ: Kuva vaihdettu
Vaihdettinpa otsikkoa :)
Dodiih, taas askel eteenpäin, 4 zoomitasolla oleva kartta: ;D ;D ;D
http://data.nordicweather.net/yr/scripts/leaf.html
Sitten onkin se kinkkinen jäljellä, miten sen saa looppatavaksi ja miten sen saa tehtyä näppärimmin dedillä koska ennusteitahan on (ainakin) toistakymmentä per arvo.... Mutta itse idea toimii :)
Jahas joku on taas liekeissä 8)
Lainaus käyttäjältä: systeemi - perjantai, 27.07.2012, 01:15
Jahas joku on taas liekeissä 8)
Kui niin? ;)
Löysin OpenGradsin dokista uuden ominaisuuden joka tullut uusimmissa versioissa ja pitihän sitä testata nyt kun tuo karttaohjelmakin on olemassa :P
Vielä on muutama pala rakottava ennenkun palapeliä voi alkaa kokoamaan joskin (ehkä) toimivaksikin...
Hiljaa hyvää tulee :)
Nyt on kaikki suunnitellut 28 ennustekarttaa kehissä, 6 yr.no-karttaa ja 22 GFS-karttaa :)
GFS-kartat kattaa alueen jossa länsireuna hipoo Grönlannin länsirannikkoa, itäraja on noin 1500 km Moskovasta itään. Eteläreuna kulkee Kanarian saarten eteläpuolella sekä pohjoisreuna 85°N:ssa :)
Vielä hienosäätöä itse skriptiin sekä monikielisyys uupuu.
Testisivu: http://data.nordicweather.net/yr/scripts/leaf.php
Karttojen data EI välttämättä ole tuoretta eikä synkassa keskenään, koeajoja kun on tehty matkan varrella jossa vain ajettu lisätty kartta.
Koeajoissa on tehty vain 00h ja 03h-ennusteet joten kun ajaa playeriä tulee "No mapdata".
Uutukaisina verrattuna nykyisiin staattisiin karttoihin ovat:
- ilmanpaineen voi lisätä kaikkiin "perusdata"-karttoihin kuten lämpötila ja tuuli (ei toimi noiden special-karttojen kanssa)
- lumikartta GFS-sadekartan kaverina (siirrä karttaa että Grönlanti näkyy ja valitse ensin "Precip" ja sitten "Snowfall")
- konvektiivinen GFS-sadekartan kaverina (valitse ensin "Precip" ja sitten "Convective precip")
- Significant Tornado Parameter-kartta
- Supercell Composite Parameter-kartta
Kahdesta viimeisestä kuuluu kiitos sääkeskus.fi:n Stefan Gofferje:lle joka laittanut niiden formulat jakoon :)
Skripti on tarkoitus tulla jakoon kaikille NWN-asemille siten että se on osa NWN-skriptiä siten että se on lisä-sivuna.
Ja ei, "karttapala-generaattoria" joka hyrrää koko hienoiden taustalla ja tekee karttapalat skritpille ei voi ajaa normi webhotellissa, vaatii raskaat OpenGrads sekä Mapnik-softat kartta-datoineen. Tarvittava tila mitä tuo vaatii lasketaan myös Gigatavuissa, esim pelkästään OpenGradsin tekemät shapefilet jossa wx-data vie 2.5 Gigaa :P
Koska Mapnik on todella raskas (ilman niceilyä hyppää dual-core AMD:n loadit 16:sta) sitä ei ainakaan voi ajaa nykyiellä dedillä vaan käynnistys jää odottamaan muutaman viikon uutta dediä tarkempia testauksia ajoitusten sun muiden suhteen :)
EDITTIÄ: Tuossa vielä linkki NOAA:n pdf:ään noista tornado- ja supercell-arvoista:
http://www.spc.noaa.gov/publications/thompson/stp_scp.pdf
Nyt uudella purkilla päästy pikkasen paremmin testailemaan systeemiä :)
Hirlam/yr-tiilet (tasot 3-7 ja 48 tuntia) generoituu vartissa mikä OK.
GFS-tiilet (tasot 3-7 ja 96 tuntia) kesti 3 tuntia generoitua ::)
Pitää koittaa keksiä pikkasen toimivampi taso/aika/mitkä kartat generoidaan/katettu alue-yhdistelmä tuohon....
Uudella purkilla ei loadit enää raketoi katosta läpi vaan pysyy ihan siedettävällä tasolla kun Mapnik käyttää 2 CPU-threadiä 8 mahdollisesta joten sen puolen on homma ihan OK :)
Nyt näyttää aika OK GFS-tiilien generointiajan suhteen, on nyt reilussa puolessa tunnissa :)
Muutin pikkasen alueita jota se generoi eri zoomitasoilla siten että tasot 6-7 tehdään vain Pohjoismaat kun tasot 3-4 tehdään koko Eurooppa. Noita tiiliä on aina 4 x enemmän jokaisella tasolla ylöspäin eli jos tasolla 1 on 4 tiiltä on tasolla 2 16 tiiltä samalle alueelle jne.
Uupuu vielä layeri jossa olisi paikkakunnat ja päätiet jonka voisi laittaa päälle jos haluaa helpotaakseen navigointia kartalla :)
Tuulen suunta-layeri ei toimi koska kesti ikuisuuden generoitua koska perustuu pistekohtaiseen dataan joten pitää keksiä joku parempi jutska siihen, samoin paremmat lumihiutale- ja konvektiivi-ikonit.
Ainut mitä tulee mieleen niin tuo animaatio kun se lataa ne kuvat järjestyksessä niin silloin se hyppii pahasti. Pitäiskö tehdä niin että kun playn painaa niin se lataa ensin ne karttapalat ja sen jälkeen vasta pyörittää siitä animaation.
Muuten hyvää jälkeä ja kielipitkällä odotetaan koska saadaan käyttöön.
Niin hyppii. Jos ajaa replayn se toimii OK.
En vaan tiedä miten sen saisi lataamaan ne "etukäteen" tahikka että onko se edes mahdollista.
Ja varsinkin se että kuinka monta megaa 32 layeriä karttaa X tekee. Koko alue/kaikki kartat/kaikki tehdyt tasot tekee noin 2 G. 15 KB:n keskikoolla laskettuna se tekee 140000 tiiltä.
Joka tapauksessa tuollainen etukäteislataus todennäköiesti "hajoaisi" siinä vaiheessa kun kävijä muuttaa kartan zoomitasoa/sijantia.
Testailin tuossa myös "staattista" kartantekoa, kuten sivuilla http://www.nordicweather.net/itameri.php?fi, http://www.nordicweather.net/ennuste.php?fi (sivun alasosassa), ja väkisin tuli mieleen että nuokin voisi toimia kunhan keksisi joku hyvän systeemin. Tekisi ainakin paaaaljon väemmän HTTP-requestejä jos pystyisi hakeen koko kartan kerralla.
Nuo generoituu myös paljon nopeammin, alta sekunnissa per kartta.
Lainaus käyttäjältä: weatherc - maanantai, 27.08.2012, 20:16
En vaan tiedän miten sen saisi lataamaan ne "etukäteen" tahikka että onko se edes mahdollista.
Ei kai sitä etukäteen tarvi ladata, vaan alussa pieni viive että ehtii latautua ja sen jälkeen vasta liikkeelle?
LainaaEi kai sitä etukäteen tarvi ladata, vaan alussa pieni viive että ehtii latautua ja sen jälkeen vasta liikkeelle?
Ei tarvikkaan, mutta ongelma on vaan se että miten saada selville tarvittavat x ja y:t eli tiilet.
Karttatyyppi ja zoomitaso on määriteltynä valmiiksi joten se ei ole ongelma.
Itse tiilien päivitysysteemi on käytännössä jo toiminnassa ja seurannassa on lähinnä se että miten paljon loadia se aiheuttaa serverille sekä kelloajan näyttö, sitä kun ei ole saatavilla mistään vaan pitää laskea. Vertailukohteena ovat vanhat GFS-kartat jossa kellonaika on.
Tyhmä kysymys voisiko tuon tehdä jotenkin niin että kun painaa tuon playn niin se lähettäisi zoom-level tiedon samalla. Onhan tuossa jokin tieto millä zoomi-levelillä kuva tällä hetkellä on?
LainaaTyhmä kysymys voisiko tuon tehdä jotenkin niin että kun painaa tuon playn niin se lähettäisi zoom-level tiedon samalla. Onhan tuossa jokin tieto millä zoomi-levelillä kuva tällä hetkellä on?
Skripti tietää globaalisti zoomlevelin sekä näkösällä olevan karttatyypin (esim taso 7 ja lämpötila/GFS jolla oma numero). Koko systeemi perustuu siihen että nuo 2 ovat tiedossa.
Se mitä ei tiedetä on mitkä tiilet niistä 200:sta juuri nyt on näkyvissä jota on olemassa tasolle 7 ja lämpötila/GFS, niillä lienee x ja y numerot jotka aina samat samassa kohtaa kartasta samalla zoomilevelillä.
Esim oletustason Lounais-Suomen tiili on ...../5/18/22.png eli 5 taso tiedetään, muttei muita kahta, ne laskee Leaflet kun se hakee ne.
Yks toinen asia joka tuli mieleen on IO. Nyt pitää muistaa että meillä on veivattavat 7200 rpm SATA2:set, ei SSD-levyt.(Veivin voi tilata erikseen :P)
Tuolla 140K:n tiilimäärällä niiden tekeminen syö aika reilusti IO:ta puhumattakaan kun niitä katselee.
Tämä *voisi* ainakin teoriassa aiheuttaa probleemaa kun liikennettä.
En, en ole kuoppaamassa ennustekartta-ideaa, en missään nimessä, se on aivan liian mielenkiitoinen hukattavaksi, varsinkin kun itse perusjuttu (kuten karttojen teko) toimii ja Mapnik tekee pirun hienoja karttoja, varsinkin jos vertaa OpenGradsin kyhelmiin. :)
Se sijaan pitäisi ehkä keksiä joku keskitie "staattisen ison kartan" ja tuon zoomattavan välillä jossa huomattavsti vähemmän yksittäisiä kuvia = vähemmän IO:ta/HTTP-requestejä.
Jos olis vaikka 1 tai 2 kuvaajotka kattaisi koko Suomen voisi helposti myös ladata ne taustalla kun tietäisi niiden nimet.
Yks jolla zoomattavan kartan tiilimäärää saisi tiputettua kevyesti puoleen on taso 7:an poistamisen. Tosin sekään ei poista ongelmaa "hyppiminen"...
Tuohon hyppimiseen *ehkä* löytyy jonkin sortin ratkaiu lähempää kun uskoinkaan, nimittäin playerissä on hienoinen timeout sen välillä kun se ensin "hakee" uutta layeriä ennenkuin se poistaa edellisen. Toinen timeout on siinä että kuinka nopeasti se alkaa hakemaan seuraavavaa layeriä.
Näitä ruuvaamalla ylöspäin, ja laittamalla siten että replayssä ovat pienemmät, niin saisi enemmän aikaa palikan hakuun ennenkuin se poistaa sen edellisen.
Ainakin testissä näytti toimivan suht hyvin (on nyt venytetty aika pitkäksi tuo timeout).
Huomattavasti parempi.
Sain hyppimisen loppumaan :)
Tosin systeemin koodi vielä vähän vaiheessa koska nyt kun pystyi kokeajamaan pikkasen iski seuraava ongelma. Tämä pätenee myös NSD:hen.
Prossu huutaa liki kuolemaa kun ajaa playerin, ei siinä vielä mitään mutta yhden GFS-kartan ajo söi 250M RAMia Palemoon/Firefoxissa, ja jokainen seuraava kartta lisäsi sitä 200M+:llä eikä ensimmäistäkään MB:ä vähentynyt siinä välissä. Muutamaa karttaa kun selailee läpi ja sulla selain joka napsinut koko koneesi RAMin kun alkupalaksi.
Sitäpaitsi, miten h-tissä vajaan 1 MB verran karttatiiliä/kuvia voi tarvita 250MB RAMia vaikka ne sinne menisikin ??? :o ??? ::)
Ei näin.
Idea zoomattavasta kartasta jossa voi ajaa timelapsea on kiva mutta...Selaimet eivät näytä olevan valmiita niihin vielä (siksi NSD:ssäkin löytyy se vanhanmallinen staattinen kuva yhdessä tabissa), niin kauan kun eivät tajua palauttaa RAM:ia ei hommasta kertakaikkiaan tule mitään toimivaa. Sama pätee muihinkin animaatio-häkkyröihin.
Hep.
Pientä edistystä tehty asian tiimoilta..Ja jopa toimii :)
Juju on että lataa koko timelapsen groupina, tällöin se lataa kaikki tarvittavat 300 kpl/35MB tiiltä kerralla, asettaa niiden opacity nollaan (eli piilotettu) ja playeri käyttää opacityä näyttääkseen tiilet. Näin näyttää myös RAM-käyttö pysyän kurissa.
Tällä hetkellä kestää sivun lataus kotvasen koska se hakee oletuksena GFS-lämpötilan tiilet automaattisesti, tohon pitää keksiä jotain..Samoin kuin siihen lataushetkeen kun tulee kun vaihtaa karttaa...
Nuo "lisäkartat" mennee uusinta-designiin koska eivät toimineet joten ovat omina karttoina, näinollen lumisade/konvektiivinen pitää saada maanrajat sekä itse sadealueet pohjalle.
:)
Nyt alkaa löytymään nopeuttakin latauksessa :)
- Uusin Palemoon/Firefox 15-selain -> tuntuva parannus javascript-häkkyrä parsimiseen
- Tiilet ramdiskiltä
Aaavot. :)
BETA-sivu julkaistu nyt myös sivuilla eikä vain suorana linkkinä :)
Aika lähellä aletaan kyllä nyt olemaan että saadaan zippi aikaseksi ku sain nuo kivikautiset radio-buttonit hävitettyä :)
EDIT: Käsi ylös jos joku haluaa testi-asentaa karttaa. Tarvittais pari testi-asennusta ennen zipin julkaisua :)
Mää muuten voisin, mutta nyt on sen verta isompi show menossa ettei kyllä kykene tähän hätään. Mutta jos menis putkeen niin huutelen sitten kun ehdon tekemään.
Itsekin voisin ottaa testikäyttöön :). Pientä hommaa nyt viikonloppuna, mutta ei mitään kummempia, joten kerkeisin sitä testatakin ihan hyvin.
Yksi pikku fiba on tuulikartoissa, jostain kumman syystä väri ei vaihdu 17 m/s:ssä vaan 14-25 m/s on samaa väriä. Katoviiva kyllä näkyy.
Se on OpenGrads joka ei tallenna 17 m/s-dataa lainkaan poly-filuun vaikka line-filuun se tallentaa sen...
Nyt on vaan myrskyt sen verran vähissä ettei paljoa ole voinut ihmetellä sitä.
GFS-kartat eivät päivity, pitää ajaa parit testit jossa tarviin tyhjää aika-rakoa koska en tiedä vielä kuin kauan testin ajo kestää :P
Kartat sai uuden BETA-version jossa mukana myös 8 km resolla olevan WRF-ennustemallin. :)
Mukana mm. sadetutkaennuste. Sadetutkaennusteen skaalassa kannattaa huomioida että siinä on muualla yleisesti käytössä oleva 5-70 dBZ-skaala FMI:n käyttämän 8-50 dBZ sijaan ja skaala on lineaarinen mitä esim Testbedin ei ole..
Jotkut kartat ovat vielä pikkasen vaiheessa WRF:ssa.
WRF-malli ajetaan dedillä 4 kertaa päivässä.
http://www.nordicweather.net/ennustekartat.php?fi
Iltapäivän päivitys saattaa venyä tai jopa uupua kokonaan. Nyt kun itse WRF-systeemi toimii niin testissä eri asetuksia ja ne vaikuttaa paljonkin ajoaikoihin, kuten myös tuloksiin.
Myös alakulmassa oleva aikaleima saattaa puhua ihan palturia koska se nojaa karttatiilen filetimeen jonka perusteella se valitsee sopivan alkuajan josta häkkyrä laskee ajat.
Jotta ei tarvis tiirustella kiikarin kanssa karttaa niin nyt toimii fullscreen kartassa 8) ;D
Se on se uusi kolmas namiska siinä zoominamiskoiden alapuolella ;)
Playeri ei vielä toimi fullscreenillä.
Ja kyllä, ensimmäisenä tuon palikan kanssa tuli mieleen ukkostutka..... ;D
Uusia karttoja tulossa zommattavaan karttaan :)
Ainakin toistaiseksi tulevat WRF-ennusteelle:
- SWEAT (Severe weather threat index)
- K Index (Konvektiivinen potentiaali)
- Ukkosriski prosenteissa
- Sadekartalle ukkos, jäätävän sateen, rae ja lumi-ikonit
Ukkosriski-parametriin törmäsin sattumalta Googaltessa. Docsi josta sen löysin on kotoisin U.S. Army Research Laboratory:lta:
http://www.dtic.mil/cgi-bin/GetTRDoc?AD=ADA365754 :)
SWEAT oli itse asiassa saatavilla ihan GrADS:in skripti-kirjastosta joskin se ja KI tuli siinä samalla tuon ukkos-parametrin kanssa koska se tarvii niitä.
Ja juu, se docsi on luokiteltu "Approved for public release; distribution is unlimited".
Koeajossa yhdistelmä jossa resoluutio napsittu 5 km:iin ja käyttökelpoisen ennusteen pituus vajaat 48h. :)
Tämä tekee hulppeat 123K datapistettä.
On aika monimutkainen yhdistelmä saada kasaan.
1. GFS-data ja sen julkaisuaika joka noin 5h "ennusteen 0h"-lukemasta, esim. ennuste 00z, ladattuna 05z
2. Ennusteiden pituudet WRF:ssä aina 3h jaksoissa tyyliin 45h,48h,51h jne.
2. WRF:ssä pystyy suoraan ajamaan 0.5° GFS-datan 12km resoluutiolle, näin kertos viisaat WRF-foorumilla :) Näinollen on käytössä "nested" ennuste jonka ratio on aina 1:3 eli esim resot 15km ja 5km. Tuon tiheämmän reson voi startata myöhemmin, joko +6h tai +12h-kohdasta ja siten sitä ei tarvi raksutetella turhaan. Esimerkki-resot kun kestävät raksuttaa 30 sek/tunti 15km resolle ja 10 minuuttia/tunti 5 km resolle.
3. Jos käyttää +12h niin ensimmäinen käyttökelpoinen ennuste on 13z tunnille koska ensimmäinen ennustetunti on aina tyhjä joillakin arvoilla ja tyhjää karttaahan on nyt ihan turha näytellä. Näinollen siinä olisi 8h "takoamisaikaa" jos haluaa valmistumisajakohdan osumaan suht samaan kohtaan jossa ensimmäinen käyttökelpoinen ennustekartta (05z jolloin GFS-data ladattu - 13z ensimmäinen käyttökelpoinen ennuste).
4. Shapefilesien sekä karttatiilien tekoon voi laskea pyöreästi reilut 1h.
5. Jäljellä siis 7h WRF:lle, 48h ennusteella se tekee noin 9min/tunti.
6. Näin olisi 47h ennustetta katseltavana teoriassa. Käytännössä siitä tulisi jotain tyyliin 45-46h ennustetta koska esimerkin 5km resohan kesti 10min/tunti joka tekee 8h takoamisaikaa ja myös GrADS kestää kauemmin kun enemmän datapisteitä.
Saiko joku jotain tuosta selvää?? ;D
Kartta-zippi julkaistu, ladattavissa NWN:än jäsenalueen kautta :)
Sopiviksi asetuksiksi näyttää asettuvan 7km resoluutio + 45h valmista ennustekarttaa.
Tällöin WRF:in ajo ei kestä puoltapäivää eikä serverin loadit nouse taivaisiin (ne kun käveli käsi kädessä).
Ennustedatahan on tunnetusti suurta (192 h koko maailman GFS-ennuste 50 km resolla on luokkaa 6.5 GB), ja 7 km resolla WRF takoo noin 16 GB raakadataa Skandinaaviasta.
- 7 km reso on tarkempi mitä esim virallinen Hirlam-malli yr.no:lta jonka reso on 10 km
- 45h siksi että ajon valmistus-ajankohta osuu suunnilleen kahden 6 tunnin jakson väliin
- päivitys ainakin näin aluksi 3 kertaa päivässä, noin 06, 12 ja 18 Suomen kesäaikaa. Ilta-ajon jätin pois paristakin syystä, öisin vähän liikennettä sekä että jää "tyhjää tilaa" muuhun. WRF on aika I/O-intensiivinen ja esim. jotkut cpanelin softat eivät sovi kavereeraamaan sen kanssa samaan aikaan.
EDIT:
- Aina niin , aah, ylioptimistinen TT-index sai kaverikseen SWEAT-indexin (Severe weather threat) sekä K Indexin, molemmat vaikuttaa pikkasen vähemmän ylioptimistiselta :)
Niissä kuten tornado-, supercell- ja rae-kartoissa, jos ei numeerinen skaala sano mitään niin perusväritys on että mitä punaisempi sitä todennäköisempi :)