Mistä Suomen SYNOP-sanomat?

[djmake]

Tuottaa tuo google hieman huonosti mitään järkevää, niin kysytään viisaammilta...

Eli useammasta paikasta löytyvät SYNOP-sanomat raakadatana, mutta lähinnä lentokenttien osalta. Kuitenkin esimerkiksi tuolla http://ogimet.com/synopsc.phtml.en on huomattavasti kattavampi tarjonta Suomen asemia. Tuo on kuitenkin yksittäisen harrastajan sivusto, joten joku varmempi taho olisi hakusessa. Eli onko mitään vinkkiä?

Edittinä lisäys... Onhan noita meikäläisiä havaintoja vaikka tuolla: http://clima.meteored.com/clima-en-Europa-Finlandia-FI.html
Eli kyllä niitä voisi parsia sieltä ja täältä, mutta jotenkin kuvittelisi jonkun tahon jakavan ihan raakadatana. Suomesta suoraan ei tietenkään kannata kuvitella, eikä varsinkaan jokaisen paikkakunnan dataa.

[J.Laiho]

Tuottaa tuo google hieman huonosti mitään järkevää, niin kysytään viisaammilta...

Eli useammasta paikasta löytyvät SYNOP-sanomat raakadatana, mutta lähinnä lentokenttien osalta. Kuitenkin esimerkiksi tuolla http://ogimet.com/synopsc.phtml.en on huomattavasti kattavampi tarjonta Suomen asemia. Tuo on kuitenkin yksittäisen harrastajan sivusto, joten joku varmempi taho olisi hakusessa. Eli onko mitään vinkkiä?

Edittinä lisäys... Onhan noita meikäläisiä havaintoja vaikka tuolla: http://clima.meteored.com/clima-en-Europa-Finlandia-FI.html
Eli kyllä niitä voisi parsia sieltä ja täältä, mutta jotenkin kuvittelisi jonkun tahon jakavan ihan raakadatana. Suomesta suoraan ei tietenkään kannata kuvitella, eikä varsinkaan jokaisen paikkakunnan dataa.

Tulee kyllä todella villi veikkaus, mutta ettei olisi siten, että esimerkkeinä antamasi sivustot saavat dataa esim. EUMETNET:stä jotain privaattia kautta, kun Suomessa olevat havaintoasemat kirjaavat dataa Ilmatieteen laitokselle ja he lähettävät datan sinne ja sitten joku parseri muuntaa noilla sivuilla saadut tiedot SYNOP-sanomaksi.

Olisihan se tavattoman hienoa, jos suomen havaintoasemien lähettämä data olisi suoraan saatavilla isossa nipussa esimerkiksi Ilmatieteen laitokselta, vaan kun ei niin ei.
Itselläni ei ole tiedossa mitään sellaista paikkaa, jossa nuo tiedot olisivat raakadatana suoraan saatavilla, mutta arvostaisin, jos sellainen löytyisi ja josta sitä dataa saisi suoraan käyttää ilman (todella kallista) maksua.

[djmake]

Tulee kyllä todella villi veikkaus, mutta ettei olisi siten, että esimerkkeinä antamasi sivustot saavat dataa esim. EUMETNET:stä jotain privaattia kautta, kun Suomessa olevat havaintoasemat kirjaavat dataa Ilmatieteen laitokselle ja he lähettävät datan sinne ja sitten joku parseri muuntaa noilla sivuilla saadut tiedot SYNOP-sanomaksi.

Samaa mietein myös itse. Tuon toisen sivuston ylläpitäjä on ilmeisesti kuitenkin meteorologi.
Laitoin maililla kysymystä, että mistä ottaa Suomen datat. Näkee sitten, että tuleeko vastausta.

Olisihan se tavattoman hienoa, jos suomen havaintoasemien lähettämä data olisi suoraan saatavilla isossa nipussa esimerkiksi Ilmatieteen laitokselta, vaan kun ei niin ei.
Itselläni ei ole tiedossa mitään sellaista paikkaa, jossa nuo tiedot olisivat raakadatana suoraan saatavilla, mutta arvostaisin, jos sellainen löytyisi ja josta sitä dataa saisi suoraan käyttää ilman (todella kallista) maksua.

Veronmaksajien rahoilla tuotakin laitosta osin pyöritetään, mutta eipä sille vastinetta saa muiden maiden mallilla. Monesta maasta saa lähes kaiken kuviteltavissa olevan, mutta eipä täältä.

Mutta jollei kerran valmista ole, niin sitten on pakko tehdä itse. Tuossa jo mietein alulle softaa, joka parsii useamman paikan tiedoista Synop tai METAR-muotoista dataa jne. Saa omaan käyttöön sen, mitä tarvitsee. Muutenhan tuollaista dataa voisi vaikka jakaa eteenpäin, mutta tulee sanomista kuitenkin siitäkin.

[weatherc]

METAR-data ainakin on vapaata riistaa, sitä saa käyttää vapaasti, SYNOPista en tiedä 
Ongelmahan on juuri tuo että mistä SYNOP-asemia saisi, METAR-datahan on helposti saatavilla, mm. NWN käyttää niitä..hmm..osaisko nuo gurut tuolla ww-foorumiissa vastata siihen?

Jos katsoo esim. weather.comia ja wundergroundia niin samat asemat niissä molemmissa on suomesta (METAR)

[weatherc]

Hmm...niin joo...sama pää kesät talvet...hrm...
WXSIMin datahakuohjelmahan hakee myös SYNOP-dataa  

Sivu josta niitä löytää:
SYNOP: http://weather.cod.edu/digatmos/syn/
METAR: http://weather.noaa.gov/pub/data/observations/metar/stations/

 

[djmake]

Jeps... METARit on hanskassa ja niitä parissa paikassa käytänkin. Mukaanlukien luonnollisesti myös WD. Joskin NOAA:n osalta kannattaa katsoa pykälää linkkaamasi "alempaa" http://weather.noaa.gov/pub/data/observations/metar/
Löytyy useampi esitystapa ja valmiiksi "avattuakin" on tarjolla.

Ja SYNOP-tarjontaa on kyllä monesta lähteestä. Eli se ei ole ongelma, jos tyytyy noin pariinkymmeneen asemaan. Niiden osalta on tarjontaa monessa osoitteessa. Mutta asemiahan on paljon enemmän. Liitteeksi tekstifilu, missä on listaa noista SYNOP-asemista. Ei kaikkein selkeimmässä formaatissa ja kaksi eri listaa, joista toinen on täydellisempi.

Sitten ne hyvät uutiset!! Dataa on kuin onkin tarjolla.
Liitteenä on myös tuo testipätkä. Näyttäää jo varsin hyvältä. Vaatii vaan koodaamista, ennenkuin pääsee järkevään lopputulokseen.
Ratkaisun avaimet tarjotaan tuolla: http://weather.noaa.gov/pub/SL.us008001/DF.an/DC.sflnd/DS.synop/
Filuja on 301 ja aina vanhin korvataan uudella. Noista harsimalla saa tiedot, mutta mitään järjestystä ei ole. Tiedot ovat siinä filussa, minkä kohdalla ovat tulleet. Eli ei mikään reaaliaikaisesti ja nopeasti vaikkapa php:lla karsittava asia. Ja ennenkuin tällaista alkaa edes miettiä, niin tuolla on sitten rajoituksia käytön suhteen. Liikaa hakuja liian lyhyessä ajassa ja ip on blokissa. Eli lisää haastetta koodaamiselle.

Mietin vielä toteutusmallia, mutta joku järkevä tapa on kehitettävä vaikkapa pari kertaa vuorokaudessa päivittyvään datan keruuseen. Ja jos homma toimii, eikä kukaan näppärämpi ole jo toteuttanut kymmentä hienoa graafista käyriä piirtävää systeemiä, niin pitää harkita raakadatan laittamista vaikka vuorokauden paketteina jakoon. Jos hakuja haluaa tehdä tai muuta, niin käyttäkää ihmeessä tuota ensimmäisessä postauksessa mainitsemaani Ogimetin sivua.

[weatherc]

Jeps, nuo linkit jotka heitin pimin suoraan tuon WXSIMin datankeruuohjelmasta joten en tutkinut niitä sen enempää

Se on totta että SYNOP-asemia on takuulla paljon enemmänkin kun mainitsemasi parikymmentä, nuohan ovat ne "tavalliset" jotka löytyy miltei joka paikasta kuten WU ja weather.com:stakin.

Totta, että moni datatarjoaja vihastuu jos heidän dataa rupee hakemaan liian usein, siihen on helppo ratkaisu php:llä. 
Kun ajaa skriptin php:llä niin tallentaa ensimmäisellä kerralla paikallisen kopion siitä omalle serverille ja sitten vain tarkistaa sen iän joka kerta ja jos se on vaikkapa vanhempi kun 12 tuntia hakee uuden kopion ja muutoin käyttää sitä omaa paikallista kopiota. Tuolloin ei datan tarjoajan liikenne kasva.

Tätä käyttää kaikki ww-foorumilla tehdyt datankeruuskriptitkin, itse käytän sitä kaikissa skripteissä jotka hakee dataa jostakin muualta, kuten esim. Meteoalarmin varoitukset, yr.no:n ennuste. Yleisesti minulla on 3600 sekuntia (1 tunti) käytössä ikärajoituksena jolloin se hakee tuoreen kopion.

Mitään valmista parseria en tiedä kun en ole noitten kanssa pelaillut pahemmin.

[djmake]

Se on totta että SYNOP-asemia on takuulla paljon enemmänkin kun mainitsemasi parikymmentä, nuohan ovat ne "tavalliset" jotka löytyy miltei joka paikasta kuten WU ja weather.com:stakin.

Totta, että moni datatarjoaja vihastuu jos heidän dataa rupee hakemaan liian usein, siihen on helppo ratkaisu php:llä. 
Kun ajaa skriptin php:llä niin tallentaa ensimmäisellä kerralla paikallisen kopion siitä omalle serverille ja sitten vain tarkistaa sen iän joka kerta ja jos se on vaikkapa vanhempi kun 12 tuntia hakee uuden kopion ja muutoin käyttää sitä omaa paikallista kopiota. Tuolloin ei datan tarjoajan liikenne kasva.

Mitään valmista parseria en tiedä kun en ole noitten kanssa pelaillut pahemmin.

php ei ole liian hyvin hanskassa, joten kaikkea en sillä ala synnyttämään. Menee aikaa ja jos polttaisi, niin tupakkaakin ja vielä hermotkin.

Mutta tuota jo senverran purin, että debbarikoneelle croniin scripti, joka hakee wgetillä muuttuneet ja catilla jokaisella ajolla yksi filu koko kasasta. Testimielessä tuo on kotiservulla, mutta jos joku kokee tarpeelliseksi, niin voisihan tuon laittaa paksumpaan letkuun jakoon vaikka 3h välein päivittyvänä. Tulee kuitenkin kymmenen megan tekstifilu ja jos sen pakkaa, niin tulee jatkokäytössä yksi välivaihe lisää. Pelkkä Suomen osuus ei toki iso ole, mutta se pitäisi tuosta sitten harsia erilleen.

Seuraavaksi mietitään tosiaan, että miten jälkikäsitellään tuota. Mutta pienellä viilauksella pitäisi onnistua koko filun suoraan DA:han ja siitä taas pulauteltua karttoja ulos. Siis pitäisi, mutta mikä nyt helppoa joskus olisi? Pitää kuitenkin vähintäänkin jotenkin selvittää se, että onko noissa filuissa miten METAR-asemien tiedot vai saako ne ajantasaisemmin tai useammin muuta kautta. Mutta hiljalleen miettien...

[weatherc]

WXSIM tallentaa hakemansa synopit ja muut filuun josta ne ainakin teoriassa voisi hakea. Koitin Googlata pikkasen että löytyiskö Synop-parseria edes jonkinlaista mistä voisi muuttaa se php:ksi, mutta eipä löytynyt. Joten, onko joku bongannut koodia sitä varten?

Ajatuksena on lähinnä että kun/jos/mikäli saisi onnistumaan voisi parsia ulos esim sään noilla meriasemilla esim. ukkostutkat-sivulle

[J.Laiho]

WXSIM tallentaa hakemansa synopit ja muut filuun josta ne ainakin teoriassa voisi hakea. Koitin Googlata pikkasen että löytyiskö Synop-parseria edes jonkinlaista mistä voisi muuttaa se php:ksi, mutta eipä löytynyt. Joten, onko joku bongannut koodia sitä varten?

Ajatuksena on lähinnä että kun/jos/mikäli saisi onnistumaan voisi parsia ulos esim sään noilla meriasemilla esim. ukkostutkat-sivulle

En ainakaan itse ole törmännyt SYNOP-parseriin missään, joten omalta osalta ei voi oikein auttaa.
On tietenkin mahdollista lähteä purkamaan tuota koodia ja rakentaa parseri kotikonstein, jos jostain saa dataa ja jonkinlaiset tiedot siitä, miten tuo data on eroteltu ja mitä dataa se sisältää.

Onnistuin kerran rakentamaan parserin APRS-säädatalle. SYNOP:n ei pitäisi sen kummallisempi olla, jos se koostuu koko ajan samoista palikoista sisällön suhteen.