Ilmatieteen laitoksen data avoimeksi ?

[weatherc]

Törmäsin FMIBeta nimisee naamakirjasivuun: https://www.facebook.com/fmibeta

Siellä on myös pikkasen infoa vapatuvan datan muodosta:

Kiireistä aikaa Ilmatieteen laitoksella! Olemme alkaneet toteuttaa Inspire-direktiivin mukaista WFS2.0-palvelua, jolla on tarkoitus jakaa myös avautuvat tietoaineistot.

WFS-palvelun kautta käyttäjä saa haettua pistemäisen datan GML- (Geog
raphy Markup Language) muodossa ja hilamaisen datan (kuten tutka- ja mallidatan) datatyypille sopivassa binääri-formaatissa. Tarkempia tietoja tarjottavasta GML-formaatista löytyy Inspiren tietotuotteiden määrittelystä (http://inspire.jrc.ec.europa.eu/documents/Data_Specifications/INSPIRE_DataSpecification_AC-MF_v3.0rc2.pdf).

Työ alkaa toteuttamalla WFS2.0-palvelin ennalta määrättyjen kyselyiden ('storedQueries') avulla. Tämän jälkeen pääsemme toivottavasti myös monimutkaisempien kyselyiden pariin ja voimme tukea Filter Encoding -kieltä.

[J.Jäntti]

Törmäsin FMIBeta nimisee naamakirjasivuun: https://www.facebook.com/fmibeta

Heh... Käväisin tuossa katsomassa kyseistä sivua ja suhteellisen hauska yhteensattuma noin historiallisesta perspektiivistä, nimittäin kun FMI:ltä jotain on joskus tullut kysyneeksi, tietoa ei ole saatu.
Web-serverillä on tälle oma koodinsa: HTTP 404 (Not Found)... Kuin varkain myös sama lukema on tykkääjien lukumäärässä. Sattumaa, kenties?

[weatherc]

Lisää infoa tihkuu mitä FMI:ltä tulossa avoimeksi. Näyttää aika hyvältä itse asiassa.

Ovat rakentamassa verkkopalvelua josta datan voi ladata rajapinnan kautta ja ensimmäiset data tulee tänä vuonna.

- sää-, meri- ja ilmastohavainnot
- tutka- ja salamahavainnot
- kansallisen sääennustemallin tiedot.

Reaaliaikaista:
- Asemakohtaiset havainnot (esim. tuuli-, lämpötila-, kosteus-, ilmanpaine-, sade-, vedenkorkeus- ja aallokkohavainnot)
- Tutkakuvia ja –dataa, salamoiden paikannustiedot Suomen alueelta

Lähde: FMI - avoin data

[teutari]

Nyt on kalvoja näytillä mitä on tulossa.

http://www.slideshare.net/tervo/aaltoes-opendata-20130206

[J.Jäntti]

Aika hyvä nippu dataa luvataan aukeavaksi tänä kesänä. Toivottavasti toteutuu.
Teutarin postaaman linkin takaa paljastui kyllä paljon tietoa, mutta yksi kohta pisti hieman silmään tuossa kokonaisuudessa, nimittäin kalvo 9 ja 10.

Limiittejä on tarjontatyypistä riippuen, hintalapun maksamalla käyttö on rajatonta. Sinällään toki ymmärrettävää koska ei se laitteistojen pyörittäminenkään ilmaista puuhaa ole, mutta mitään tarkempaa tuosta ei noissa kalvoissa asiasta selitetty, joten heti nousi kysymys, että onko tämä nyt sitten se Akilleen kantapää, johon homma jollain asteella voi tökätä? Mitä tarkoitetaan käsitteellä "Loose limit" esim. datan serverille hakemisessa (esim. EWN:n serverin suhteen)?

Jos kerran halutaan palautetta, niin sitä annetaan, jos homma alkaa näyttämään valtionpuljulta liiaksi. Kyllähän toki sillä saadaan vaatimus täytettyä eli data on avointa, mutta jatkohyödyntämisen suhteen asia onkin toista maata äkkiä.

[weatherc]

Ihan hatusta vedetty arvaus:

Limitti on todennäköisesti se ettet voi rakentaa palvelua joka nojaa FMI:n palvelimiin vaan sinun täytyy hostata data itse.
Mutta "datan re-produseeraajana" voit hakea tuoreen datan ainakin kerran ilman ongelmia. Käytännössä raja lienee korkeampi mutta perusidea olisi tämä.

Norjalaisella yr.no:lla on ollut vastaavia ongelmia xml-ennusteidensa kanssa sen jälkeen kun mobiilit valtasivat alaa ja alkoivat päivittää ennusteitaan heti kun sijanti muuttui 0.0001°. Nyttemmin on vaatimus että jos käyttää xml-ennustetta skriptissä/ohjelmassa niin on skriptin/ohjelman välivarastoitava xml:ät skriptin omalla palvelimella ja käyttää sitä kunnes liian vanha (120/180min en muista kumpi).
Heillä nykyään nippu Varnish-purkkeja pitämässä järjestystä systeemissään.

Toinen mikä ymmärtääkseni on tulossa sinne on API-avain eli kirjautuminen, mikä on ihan hyvä asia. Näin pystyvät heti näkemään väärinkäytökset ja sulkemaan ne ulos. YR:llä oli tämä yhtenä vaihtoehtona noiden xml-filujen rajoittamiseen mutta ainakaan ei ole vielä tullut.

[J.Jäntti]

Tuohon samaan näkemykseen päädyin itsekin, että data haetaan ja käytetään omalta serveriltä. Se tosin vaatii kovasti sitä kaistaa, että dataa voidaan hakea niin paljon, että siitä saadaan hyötyäkin.
Tuo API-avain on ratkaisuna OK, kunhan niitä ei vedetä niin tiukalle, että hyöty katoaa. Asiassa pitäisi kuitenkin löytää kunnollinen tasapaino käytettävyyden ja rajoitteiden välillä. Alussa saattaa tulla päänsärkyä, kun saatavilla olevan datan määrä on älytön ja sopivia suureita joutuu hakemaan.

Se olisi suuri sääli, jos API-avaimelta suljetaan pääsy sen pohjalta, että testiliikenne katsotaan väärinkäytöksi. Tuskin kukaan kuitenkaan dataa FMI:ltä 1:1 käy hakemassa pelkkää testiä varten; Ei taida kapasiteetti riittää kotikoneen levyssäkään.

[weatherc]

Vaatii kyllä, se on totta. Mutta jos katsotaan esim EWN-serveriä niin lasketaan kuukausirajat teroissa, tarkemmin sanottuna 10:ssa terassa kuukaudessa. Se tekee yli 31 Mbit/s jatkuvaa liikennettä koko kuukauden. Ja siihen lasketaan vain ulosmenevä kaista, eli datahaut eivät edes kartoita kyseistä laskuria
Samoin tila, sitäkin on yli teran verran. Kertaa kaksi koska ovat RAIDissa

Ymmärrän hyvin FMI:tä ja muita siinä että datahaku on pakko saada rajoitettua ja että dataa käytetään omalta palvelimelta. Siinä on myös se etu että liikenne esim. FMI:lle on tasaisempaa kun esim. ajastuksella hakee tasaisen väliajoin datan. Näin voidaan myös paremmin säätää purnukat sopiviksi.

Toisaalta ymmärrän myös sitä että API-avaimen kautta halutaan saada seurattua että kuka käyttää kuinkakin paljoa kaistaa. Näissä hommissa kun ei saa olla naiivi ja uskoa että "kaikki käyttäytyy hyvin". Se kun ei ole laita valitettavasti vaan järkevällä on keinot valmiina jolla sulkea ulos käyttäjän tarvittaessa.
Alussa varmaan tulee olemaan hakemista puolin jos toisin että löydetään toimivat rajat ja systeemit enkä usko että normi testikäyttö poikkea tästä mitenkään. Vasta jatkuvampi pommittaminen lienee syy josta suljetaan pääsy. Ja silloin ihan syystä. API-aivamessahan on juuri se etu että voivat ottaa yhteyttä avaimen haltijaan.

Toisaalta, jos puhutaan NetCDF/GRIB-filuista niin eiväthän ne ole käyttökelvollisia sellaisenaan vaan tarvitsevat jatkojalostusta joka tapauksessa käyttäjän serverillä esim kartta-tiiliksi.
Niiden koossa vaikuttaa paljon käytetty resoluutio, eli siinä on se tasapainon löytmäninen reson ja koon välillä, riittävän tarkka reso että datasta on jotain hyötyä muttei liian tarkka että koko kasvaa älyttömäksi.
Esmex NetCDF-filu 4 km resolla, jonka haen 2 krt/pvä met.no:n Thredds-purkilta, josta teen nuo met.no-ennustetiilet, on kooltaan 1.3 G jollen väärin muista.