Teksti lainattu MTV3:n websivustolta: http://www.mtv3.fi/uutiset/kotimaa.shtml/2012/08/1592671/urpilainen-ilmatieteen-laitoksen-data-avoimeksi
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
Urpilainen: Ilmatieteen laitoksen data avoimeksi:
Valtiovarainministeri Jutta Urpilainen (sd.) on juuri esitellyt valtiovarainministeriön budjettiriihen tuloksia.
Tietotekniikka-alan rakennemuutoksesta puhuessaan Urpilainen kertoi, että valtio varaa vuoden 2013 budjetissaan rahaa avatakseen Ilmatieteen laitoksen säätiedot avoimeen ja maksuttomaan käyttöön.
Avoimeksi muuttuvat Ilmatieteen laitoksen reaaliaikaiset sää- ja ilmastohavainnot, tutka- ja salamadata ja kansallinen sääennustedata.
Urpilaisen mukaan ministeriöitä pyydetään lisäksi selvittämään, miten julkisten tietovarantojen avaamista voidaan edelleen edistää.
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
Antaas kattoa kuin tuossa käy ?
Lainaus käyttäjältä: Hemmo - tiistai, 07.08.2012, 17:18
Teksti lainattu MTV3:n websivustolta: http://www.mtv3.fi/uutiset/kotimaa.shtml/2012/08/1592671/urpilainen-ilmatieteen-laitoksen-data-avoimeksi
Oispa kova juttu, mutta en usko ennenkuin tämän näen! ;D
LainaaAvoimeksi muuttuvat Ilmatieteen laitoksen reaaliaikaiset sää- ja ilmastohavainnot, tutka- ja salamadata ja kansallinen sääennustedata.
Näin! ;D
Sitä se EU-direktiivi teettää :P
Ruotsin SMHI:han teki samaisen päätöksen jonkin aikaa sitten.
Jutta pisti oliko se tuossa lopputalvesta oman ministeriönsä virkamiehet ruotuun kun ne yritti torpedoida Maanmittauslaitoksen datan avaamisen. Hyvä että linja pitää. Julkishallinnon datan avaamisesta taitaa olla maininta hallitusohjelmassakin.
Avoimesta datasta kiinnostuneiden kannattaa käydä tsekkaamassa Apps4Finland-kisan sivut http://apps4finland.fi/ (http://apps4finland.fi/). Pientä menestystä on tuolla osunut omalle kohdallenikin.
Nyt on syytä vain toivoa sitä, että saatava data olisi myös helposti käyttöön otettavissa ja laadultaan käyttökelpoista.
Jos Dynamicumin kööristä vastaavat tahot ovat yhtä ovelia, kuin ovat joiltakin osin seipäännieleitä, he kyllä keksivät tavat, joilla aineisto saadaan kyllä, kuten käsky käy, avoimeksi, mutta resoluutio, laajuus ja saatavuus ovatkin sitten heidän päätettävissä.
Koska olen oppinut olemaan FMI:n suhteen vähän kaikessa skeptinen, ihan YR.no-tyyppiseksi ei varmasti datan kanssa mennä - omat intressit painavat sen verran kuitenkin, puhumattakaan siitä, että he tietävät teknisesti edistyneiden kovakuoristen harrastajien odottavan tuon rautaesiripun puhkiruostu(tta)mista datan edestä.
Kuten systeemi asian jo totesikin, uskon sen vasta, kun itse näen. ;D
Juu, mielenkkiinnolla jäädään odottamaan sitä rautaesiriipun purkua Jutan käskystä ja että mitä sieltä tulee ja missä muodossa.
Jospa FMI kerrankin yllättäis positiivisesti Laihon määritteleän mukaisia "kovakouraisia harrastajia"? ;D
Lainaus käyttäjältä: J.Laiho - tiistai, 07.08.2012, 23:35
Jos Dynamicumin kööristä vastaavat tahot ovat yhtä ovelia, kuin ovat joiltakin osin seipäännieleitä, he kyllä keksivät tavat, joilla aineisto saadaan kyllä, kuten käsky käy, avoimeksi, mutta resoluutio, laajuus ja saatavuus ovatkin sitten heidän päätettävissä.
Tuo onkin suuri ero Maanmittauslaitoksen tapaukseen, ne kun olivat itse innolla ajamassa datan vapauttamista mutta Valtionvarainministeriön jäärät yritti estää. Mutta kun jopa Tilastokeskuksen vastarinta on saatu ainakin osin murrettua on FMI:nkin osalta tiettyä toivoa.
Napattu LVM:än budjettiehdotuksesta:
Lainaa
Määrärahan mitoituksessa on otettu huomioon lisäyksenä 2,356 milj. euroa sää-, ilmasto- ja meridatan, keskeisten tutka- ja salamatuotteiden sekä kansallisen sääennustemallin datan muuttamiseksi maksuttomaksi 1.1.2013 lukien.
Ja löytyipä tulostavoiteettkin :)
(Luvut 2012 tavoite ja 2013 tavoite)
LainaaLämpötilaennusteiden osuvuus, 1 vrk, % 83 83,5
Lämpötilaennusteiden osuvuus, 2—5 vrk, % 70,5 71
Sateen ennustettavuus etukäteen, tuntia 98 100
Tuulivaroitusten osuvuus 1—2 vrk, % 78 78
Lainaus käyttäjältä: weatherc - tiistai, 07.08.2012, 18:22
Ruotsin SMHI:han teki samaisen päätöksen jonkin aikaa sitten.
Onko tietoa onko ruotsalaiset tehnyt vielä mitään asian eteen? Saas nähdä, minkälaista sutta ja sekundaa Ilmatieteenlaitos saa reilulla 2 milj. eurolla aikaan.
LainaaOnko tietoa onko ruotsalaiset tehnyt vielä mitään asian eteen?
Ei mitään vielä tietääkseni, muuta kun että "kaikki data" avataan.
LainaaValtiovarainministeriön ensi vuoden talousarvioehdotuksen mukaan Ilmatieteen laitoksen reaaliaikaiset sää- ja ilmastohavainnot, tutka- ja salamadata, kansallinen sääennustedata sekä lentokenttähavaintojen data vapautetaan yleiseen käyttöön kahdessa vaiheessa.
Hieman positiivisempaa asennetta ;) ;)
Ei kannata aina haukkua ennalta, odotellaan mitä tulee :) :) :)
Titon kanssa samaa mieltä. Eikä vain siksi, että me ollaan kohtuullisen hyviä tuttuja keskenämme.
Suomen Ilmatieteen laitos ei voi laahata kansainvälisessä vertailussa muiden maiden perässä loputtomiin. Pakko sillä on avautua, kuten jossain muussa ketjussa taittiin ennakoida jo joskus kevättalvella, kun Maanmittauslaitos alkoi kaivautua ulos kuorestaan.
Tämä asia jos mikä on sellainen, johon voi tässä vaiheessa suhtautua pelkästään positiivisella mielellä. Ja jopa niin, että pidellä sillat kunnossa tulevaisuutta ajatellen. Ja saattaahan sitä jossain välissä päästä heittämään vaikka toivomuslantin tai -luun Ilmatieteen laitoksen suuntaan... ;) ;D
Täällä ollaan kyllä ihan positiivisella asenteella asian suhteen, pikemmin on ensimmäinen aatos että "vihdoinkin".
Kuten Ukka sanoi, FMI, aivan kuten SMHI, ei kertakaikkaan voi olla kivikaudella ikuisuutta. Niiden on pakko avautua ja jo EU-direktiivikin siihen pakottaa.
Nyt en muista mistä kohtaa sen luin tuossa oliko toissapäivänä mutta FMI:kin halutaan että hiedään ennusteet/data näkyisi mahdollisimman laajasti ja että toivovat että heidän datan ympärille kehittyisi uusia aplikaatioita. Jo tuo on erittäin hyvä asia.
LainaaJa jopa niin, että pidellä sillat kunnossa tulevaisuutta ajatellen. Ja saattaahan sitä jossain välissä päästä heittämään vaikka toivomuslantin tai -luun Ilmatieteen laitoksen suuntaan..
Täältä lähtee jossain vaiheessa "toivomuskirje" menemään FMI:n suuntaan mm. ennusteiden muodosta että olisi saatavilla kuten yr.no:lla xml- tai json- muodossa ja haku mielllään kordinaateilla jotta voisi tehdä omat ennusteet helposti.
Kova sana olisi myös jos data olisi saatvilla GRIB-muodossa, silloin voisi tehdä vaikka tämän tapaista: http://data.nordicweather.net/yr/scripts/leaf.php :)
Pitää vain suunnitella kirje hyvin...;)
Tänään tuli radiosta Ajantasa ohjelmassa juttua tästä. Linkki (http://areena.yle.fi/radio/1635619)
http://yle.fi/uutiset/avoin_saadata_auttaa_maanviljelijaa_ja_golfaria/6249330?origin=rss
Vähän tulee semmoinen fiilis että fmi olisi jokin edelläkävijä ja jos kysyy dataa niin he antavat sen tuosta noin vaan. ;D
jamo
Ei se edelläkävijä ole missään nimessä.
Jenkeissähän, kuten jutussakin mainitaan, on kaikki säädata "public domainilla" eli vapaasti käytettävissä ja esim. meitin WASP2:een saa reaaliaikasen sadetutkakuvan. Myös jenkki-sääsivuilla on monella sadetutka. En nyt muista softan nimeä joka "tekee" sen.
Tutumpi GFS-data on myös sellaista.
WXSIM-softalla on myös Jenkeissä useampi malli käytettävissä mitä meillä.
jne.
Mitä muualla Euroopassa on tapahtumassa säädatan suhteen en tiedä mutta arvelisin että jollain aikavälillä kaikki tulevat perässä, kiitos tuon EU-direktiivin ja siinä saattaa FMI olla ensimäisten joukossa. Ainut tieto joka tänne asti on kantautunut on naaurimaan SMHI joka myös avaa "kaiken datan", siellä ei edes eritelty avattavaa dataa kuten suomen uutisissa on FMI:n kohdalla.
Yksi asia josta ei jostain syystä ole mainittu tai huomattu kun juttu on datan avaamisesta on se että se voi myös tuoda säästöä datan tarjoajalle. Ajatelkaa tilanne jossa yksi kaikkille avoin "virallinen tutka", eli vastaava kun Suomessa nyt, kun iskee tilanne jossa suuri määrä haluaa tarkistaa sen niin siihen tarvitaan aika lailla palvelintehoa jo pelkästään sen näyttämiseen.
Kun taas jos samainen tutkakuva löytyy usealta sivutolta se jakaa sen tarvittavan palvelintehon.
Pauli Jokisen Sääbriefingissä (http://saabriefing.com/2012/09/16/saadata-avautuu/) juttua asian tiimoilta.
Lainaus käyttäjältä: Leka - tiistai, 18.09.2012, 20:21
Pauli Jokisen Sääbriefingissä (http://saabriefing.com/2012/09/16/saadata-avautuu/) juttua asian tiimoilta.
Suomen kattava Hirlam-data 10 km resolla on ollut saatavilla jo pitkään yr.no:lta grib1-muodossa. Siitä tosin uupuu tasot esim tuulitiedoissa sekä esim capet sun muut jotta saisi ukkosaiheisia karttoja tehtyä.
Aamu-uutisissa tuntui ainakin Forecan edustaja olevan tyytyväinen. Pääsevät kiinni säädataan, joka tähän asti on ollut hankalasti hankittavissa (kallista?). Uutisissa myös epäiltiin uusien kilpailijoiden tuloa sää-alalle. Varmasti näin on, ja kuluttaja hyrisee onnesta valikoidessaan hänelle sopivaa säätä!
Jahka se data ensin vapautuu ja nähdään missä muodossa, mitä ja miten niin varmaa on että sitä tullaan tutkimaan että mitä hyödyllistä ja hubaa siitä voisi tehdä :)
Muutama juttu tietty löytyy jo valmiina toivelistalta joskin se jää nähtäväksi että toteutuvatko ne....
Törmäsin FMIBeta nimisee naamakirjasivuun: https://www.facebook.com/fmibeta
Siellä on myös pikkasen infoa vapatuvan datan muodosta:
LainaaKiireistä aikaa Ilmatieteen laitoksella! Olemme alkaneet toteuttaa Inspire-direktiivin mukaista WFS2.0-palvelua, jolla on tarkoitus jakaa myös avautuvat tietoaineistot.
WFS-palvelun kautta käyttäjä saa haettua pistemäisen datan GML- (Geog
raphy Markup Language) muodossa ja hilamaisen datan (kuten tutka- ja mallidatan) datatyypille sopivassa binääri-formaatissa. Tarkempia tietoja tarjottavasta GML-formaatista löytyy Inspiren tietotuotteiden määrittelystä (http://inspire.jrc.ec.europa.eu/documents/Data_Specifications/INSPIRE_DataSpecification_AC-MF_v3.0rc2.pdf).
Työ alkaa toteuttamalla WFS2.0-palvelin ennalta määrättyjen kyselyiden ('storedQueries') avulla. Tämän jälkeen pääsemme toivottavasti myös monimutkaisempien kyselyiden pariin ja voimme tukea Filter Encoding -kieltä.
Lainaus käyttäjältä: weatherc - sunnuntai, 09.12.2012, 14:02
Törmäsin FMIBeta nimisee naamakirjasivuun: https://www.facebook.com/fmibeta
Heh... Käväisin tuossa katsomassa kyseistä sivua ja suhteellisen hauska yhteensattuma noin historiallisesta perspektiivistä, nimittäin kun FMI:ltä jotain on joskus tullut kysyneeksi, tietoa ei ole saatu.
Web-serverillä on tälle oma koodinsa: HTTP 404 (Not Found)... Kuin varkain myös sama lukema on tykkääjien lukumäärässä. Sattumaa, kenties? ;D
Lisää infoa tihkuu mitä FMI:ltä tulossa avoimeksi. Näyttää aika hyvältä itse asiassa. :)
Ovat rakentamassa verkkopalvelua josta datan voi ladata rajapinnan kautta ja ensimmäiset data tulee tänä vuonna.
- sää-, meri- ja ilmastohavainnot
- tutka- ja salamahavainnot
- kansallisen sääennustemallin tiedot.
Reaaliaikaista:
- Asemakohtaiset havainnot (esim. tuuli-, lämpötila-, kosteus-, ilmanpaine-, sade-, vedenkorkeus- ja aallokkohavainnot)
- Tutkakuvia ja –dataa, salamoiden paikannustiedot Suomen alueelta
Lähde: FMI - avoin data (http://ilmatieteenlaitos.fi/avoin-data)
Nyt on kalvoja näytillä mitä on tulossa.
http://www.slideshare.net/tervo/aaltoes-opendata-20130206
Aika hyvä nippu dataa luvataan aukeavaksi tänä kesänä. Toivottavasti toteutuu.
Teutarin postaaman linkin takaa paljastui kyllä paljon tietoa, mutta yksi kohta pisti hieman silmään tuossa kokonaisuudessa, nimittäin kalvo 9 ja 10.
Limiittejä on tarjontatyypistä riippuen, hintalapun maksamalla käyttö on rajatonta. Sinällään toki ymmärrettävää koska ei se laitteistojen pyörittäminenkään ilmaista puuhaa ole, mutta mitään tarkempaa tuosta ei noissa kalvoissa asiasta selitetty, joten heti nousi kysymys, että onko tämä nyt sitten se Akilleen kantapää, johon homma jollain asteella voi tökätä? Mitä tarkoitetaan käsitteellä "Loose limit" esim. datan serverille hakemisessa (esim. EWN:n serverin suhteen)?
Jos kerran halutaan palautetta, niin sitä annetaan, jos homma alkaa näyttämään valtionpuljulta liiaksi. Kyllähän toki sillä saadaan vaatimus täytettyä eli data on avointa, mutta jatkohyödyntämisen suhteen asia onkin toista maata äkkiä.
Ihan hatusta vedetty arvaus:
Limitti on todennäköisesti se ettet voi rakentaa palvelua joka nojaa FMI:n palvelimiin vaan sinun täytyy hostata data itse.
Mutta "datan re-produseeraajana" voit hakea tuoreen datan ainakin kerran ilman ongelmia. Käytännössä raja lienee korkeampi mutta perusidea olisi tämä.
Norjalaisella yr.no:lla on ollut vastaavia ongelmia xml-ennusteidensa kanssa sen jälkeen kun mobiilit valtasivat alaa ja alkoivat päivittää ennusteitaan heti kun sijanti muuttui 0.0001°. Nyttemmin on vaatimus että jos käyttää xml-ennustetta skriptissä/ohjelmassa niin on skriptin/ohjelman välivarastoitava xml:ät skriptin omalla palvelimella ja käyttää sitä kunnes liian vanha (120/180min en muista kumpi).
Heillä nykyään nippu Varnish-purkkeja pitämässä järjestystä systeemissään.
Toinen mikä ymmärtääkseni on tulossa sinne on API-avain eli kirjautuminen, mikä on ihan hyvä asia. Näin pystyvät heti näkemään väärinkäytökset ja sulkemaan ne ulos. YR:llä oli tämä yhtenä vaihtoehtona noiden xml-filujen rajoittamiseen mutta ainakaan ei ole vielä tullut.
Tuohon samaan näkemykseen päädyin itsekin, että data haetaan ja käytetään omalta serveriltä. Se tosin vaatii kovasti sitä kaistaa, että dataa voidaan hakea niin paljon, että siitä saadaan hyötyäkin.
Tuo API-avain on ratkaisuna OK, kunhan niitä ei vedetä niin tiukalle, että hyöty katoaa. Asiassa pitäisi kuitenkin löytää kunnollinen tasapaino käytettävyyden ja rajoitteiden välillä. Alussa saattaa tulla päänsärkyä, kun saatavilla olevan datan määrä on älytön ja sopivia suureita joutuu hakemaan.
Se olisi suuri sääli, jos API-avaimelta suljetaan pääsy sen pohjalta, että testiliikenne katsotaan väärinkäytöksi. Tuskin kukaan kuitenkaan dataa FMI:ltä 1:1 käy hakemassa pelkkää testiä varten; Ei taida kapasiteetti riittää kotikoneen levyssäkään. ;D
Vaatii kyllä, se on totta. Mutta jos katsotaan esim EWN-serveriä niin lasketaan kuukausirajat teroissa, tarkemmin sanottuna 10:ssa terassa kuukaudessa. Se tekee yli 31 Mbit/s jatkuvaa liikennettä koko kuukauden. Ja siihen lasketaan vain ulosmenevä kaista, eli datahaut eivät edes kartoita kyseistä laskuria :)
Samoin tila, sitäkin on yli teran verran. Kertaa kaksi koska ovat RAIDissa :P
Ymmärrän hyvin FMI:tä ja muita siinä että datahaku on pakko saada rajoitettua ja että dataa käytetään omalta palvelimelta. Siinä on myös se etu että liikenne esim. FMI:lle on tasaisempaa kun esim. ajastuksella hakee tasaisen väliajoin datan. Näin voidaan myös paremmin säätää purnukat sopiviksi.
Toisaalta ymmärrän myös sitä että API-avaimen kautta halutaan saada seurattua että kuka käyttää kuinkakin paljoa kaistaa. Näissä hommissa kun ei saa olla naiivi ja uskoa että "kaikki käyttäytyy hyvin". Se kun ei ole laita valitettavasti vaan järkevällä on keinot valmiina jolla sulkea ulos käyttäjän tarvittaessa.
Alussa varmaan tulee olemaan hakemista puolin jos toisin että löydetään toimivat rajat ja systeemit enkä usko että normi testikäyttö poikkea tästä mitenkään. Vasta jatkuvampi pommittaminen lienee syy josta suljetaan pääsy. Ja silloin ihan syystä. API-aivamessahan on juuri se etu että voivat ottaa yhteyttä avaimen haltijaan.
Toisaalta, jos puhutaan NetCDF/GRIB-filuista niin eiväthän ne ole käyttökelvollisia sellaisenaan vaan tarvitsevat jatkojalostusta joka tapauksessa käyttäjän serverillä esim kartta-tiiliksi.
Niiden koossa vaikuttaa paljon käytetty resoluutio, eli siinä on se tasapainon löytmäninen reson ja koon välillä, riittävän tarkka reso että datasta on jotain hyötyä muttei liian tarkka että koko kasvaa älyttömäksi.
Esmex NetCDF-filu 4 km resolla, jonka haen 2 krt/pvä met.no:n Thredds-purkilta, josta teen nuo met.no-ennustetiilet, on kooltaan 1.3 G jollen väärin muista.