FinWX Foorumi

Yleiset keskustelualueet => Yleistä keskustelua => Aiheen aloitti: weatherc - Torstai, 28.02.2013, 15:25

Otsikko: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 28.02.2013, 15:25
FMI:n avoin data beta on AUKI  ;D

http://ilmatieteenlaitos.fi/avoin-data-beta
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 28.02.2013, 16:50
Ja ihka ensimmäinen kokeilu on tässä  ;D

Palvelussa on käytössä API-avain. Tässä vaiheessa se on sama kaikille mutta muuttuu jossain vaiheessa rekisteröitymisen taakse.

Dataa löytyy tässä vaiheessa havainnot sekä Hirlam piste-ennuste. Lisää tulossa.
Pientä hakuilua koska mitään dokumentaatiota ei ole vielä, beta kun on.

Tässä se kokeilun tulos:

Lämpötila"ennuste" Saloon:
Salo
2013-02-28T10:00:00: 3.240816
2013-02-28T11:00:00: 3.414790
2013-02-28T12:00:00: 3.510423
2013-02-28T13:00:00: 2.919032

Ennusteessa näyttää olevan yhteenä 30 arvoa, mukaanlukien KI-Index ja Ukkosen todennäköisyys.

 ;D

EDIT: Ja koko lista:

Koodia: [Valitse]
[times] => Array
        (
            [0] => 2013-02-28T10:00:00
            [1] => 2013-02-28T11:00:00
            [2] => 2013-02-28T12:00:00
            [3] => 2013-02-28T13:00:00
        )

    [Salo] => Array
        (
            [mts-Temperature] => Array
                (
                    [0] => 3.240816
                    [1] => 3.414790
                    [2] => 3.510423
                    [3] => 2.919032
                )

            [mts-Pressure] => Array
                (
                    [0] => 1006.625793
                    [1] => 1005.473328
                    [2] => 1003.909180
                    [3] => 1002.196716
                )

            [mts-Humidity] => Array
                (
                    [0] => 71.995979
                    [1] => 72.058296
                    [2] => 72.521797
                    [3] => 78.223709
                )

            [mts-PrecipitationConv] => Array
                (
                    [0] => 0.000000
                    [1] => 0.000000
                    [2] => 0.000000
                    [3] => 0.000000
                )

            [mts-PrecipitationLarge] => Array
                (
                    [0] => 0.000000
                    [1] => 0.000000
                    [2] => 0.002312
                    [3] => 0.054624
                )

            [mts-KIndex] => Array
                (
                    [0] => 12.334578
                    [1] => 12.948599
                    [2] => 14.081673
                    [3] => 15.469868
                )

            [mts-DewPoint] => Array
                (
                    [0] => -1.320240
                    [1] => -1.143304
                    [2] => -0.963980
                    [3] => -0.489549
                )

            [mts-RadiationLW] => Array
                (
                    [0] => 267.152832
                    [1] => 280.013397
                    [2] => 291.879974
                    [3] => 313.152344
                )

            [mts-RadiationGlobal] => Array
                (
                    [0] => 276.271576
                    [1] => 253.902206
                    [2] => 200.019653
                    [3] => 102.193398
                )

            [mts-CloudSymbol] => Array
                (
                    [0] => 2307.000000
                    [1] => 3604.000000
                    [2] => 3604.000000
                    [3] => 3604.000000
                )

            [mts-Visibility] => Array
                (
                    [0] => 26367.728516
                    [1] => 23325.773438
                    [2] => 20984.746094
                    [3] => 15998.487305
                )

            [mts-RadiationNetTopAtmLW] => Array
                (
                    [0] => -185.566345
                    [1] => -166.220917
                    [2] => -165.091187
                    [3] => -167.302872
                )

            [mts-WindSpeedMS] => Array
                (
                    [0] => 3.570293
                    [1] => 3.370293
                    [2] => 3.467455
                    [3] => 3.822966
                )

            [mts-WindDirection] => Array
                (
                    [0] => 260.000000
                    [1] => 251.848129
                    [2] => 250.000000
                    [3] => 251.848129
                )

            [mts-WindVectorMS] => Array
                (
                    [0] => 426.000000
                    [1] => 425.000000
                    [2] => 425.000000
                    [3] => 425.000000
                )

            [mts-HourlyMaximumGust] => Array
                (
                    [0] => 8.173285
                    [1] => 7.628797
                    [2] => 7.793568
                    [3] => 8.404591
                )

            [mts-WindUMS] => Array
                (
                    [0] => 3.516052
                    [1] => 3.190446
                    [2] => 3.258342
                    [3] => 3.619164
                )

            [mts-WindVMS] => Array
                (
                    [0] => 0.619975
                    [1] => 1.065352
                    [2] => 1.185939
                    [3] => 1.207696
                )

            [mts-TotalCloudCover] => Array
                (
                    [0] => 70.000000
                    [1] => 90.000000
                    [2] => 90.000000
                    [3] => 100.000000
                )

            [mts-LowCloudCover] => Array
                (
                    [0] => 2.595878
                    [1] => 15.834955
                    [2] => 40.283794
                    [3] => 56.760921
                )

            [mts-MediumCloudCover] => Array
                (
                    [0] => 30.000000
                    [1] => 67.329536
                    [2] => 42.595879
                    [3] => 100.000000
                )

            [mts-HighCloudCover] => Array
                (
                    [0] => 50.000000
                    [1] => 90.000000
                    [2] => 61.669910
                    [3] => 30.000000
                )

            [mts-MiddleAndLowCloudCover] => Array
                (
                    [0] => 30.000000
                    [1] => 70.000000
                    [2] => 40.000000
                    [3] => 100.000000
                )

            [mts-Precipitation1h] => Array
                (
                    [0] => 0.000000
                    [1] => 0.000000
                    [2] => 0.000000
                    [3] => 0.050658
                )

            [mts-PrecipitationForm] => Array
                (
                    [0] => NaN
                    [1] => NaN
                    [2] => NaN
                    [3] => 1.000000
                )

            [mts-PrecipitationType] => Array
                (
                    [0] => NaN
                    [1] => NaN
                    [2] => NaN
                    [3] => 1.000000
                )

            [mts-ProbabilityThunderstorm] => Array
                (
                    [0] => 0.000000
                    [1] => 0.000000
                    [2] => 0.000000
                    [3] => 0.000000
                )

            [mts-FogIntensity] => Array
                (
                    [0] => 0.000000
                    [1] => 0.000000
                    [2] => 0.000000
                    [3] => 0.000000
                )

            [mts-WeatherSymbol3] => Array
                (
                    [0] => 2.000000
                    [1] => 3.000000
                    [2] => 3.000000
                    [3] => 31.000000
                )

            [mts-WeatherSymbol1] => Array
                (
                    [0] => 0.000000
                    [1] => 0.000000
                    [2] => 0.000000
                    [3] => 60.000000
                )

        )
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 28.02.2013, 18:40
Ja luettavammassa taulukomuodossa: http://www.nordicweather.net/fmiennuste.php?fi

Ei tarvinne olla kovin suuri ennustaja että keksii mihin tämä tähtää aikanaan?  ;D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 28.02.2013, 22:28
Laitetaanpa samaan sysyyn kun kerran häkkyrät tuossa hollilla kehiin FMI:n Salon havainnot:
http://www.nordicweather.net/index.php?fi
Löytyy sieltä omien mittareiden alapuolelta  ;D

EDIT: Ja kyllä, voin tehdä molemmista jaettavat häkkyrät ettei jokainen tarvi keksiä pyörää uudestaan, kunhan nähdään mihin muotoon tuo data tulee (beta-vaiheessa se voi muuttua ilman erillistä ilmoitusta) ja saadaan kaikki nippelit kehiin (kuten uupuvat ikonit ja monipaikkakunta-funktio ennusteessa).  ;D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Perjantai, 01.03.2013, 23:11
Ennusteeseen saatu säätilaikonit, kunhan saan oikean malliset koordinaatit xml:stä niin saadaan myös yö/päivävaihto toimimaan.

Tosin niitä ei tarvita tällä hetkellä, mutta KIndex ja TS-probability katosi, pitääpi kysäistä että minne...
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Lauantai, 02.03.2013, 11:30
Jos joku haluaa kokeilla niin tässä tämän hetkinen hakuhäkkyrä sääasemien dataan.

Pari huomautusta:
- Koska beta-vaiheessa niin voi lakata toimimasta ihan milloin tahansa
- Jossain vaiheessa vaatii API-avaimen, toimii nytten FMI:n antamalla beta-avaimella
- Tässä säädetty 30 min haarukalle eli data joka tulee on :00 tai :30 päivitetty riippuen haun ajankohdasta
- Kuten kaikki external data jota haetaan sivuille hidastaaa se sivun latausta, siksi tämä on suunniteltu käyettäväksi cronjobilla, 05 ja 35 minuutit näyttää saavan nuo :00 ja :30 datat. Se tallentaa sen fmi.json nimiseen filuun josta sitten voi hakea sen sivulle.
- Häkkyrässä olevassa haku-urlissa löytyy place=salo, se on paikkakunta jota se hakee, ei hajuakaan mitkä kaikki paikkakunnat löytyvät mutta että niitä olisi saatavailla 20000 vilahti ohi jossain kohtaa..
- Paikkakunnat ovat numeroina, esim 100955, samat numerot löytyvät FMI:n websivujen ennusteiden urleissa joten sieltä saa haettua, toistaiseksi en ole löytänyt nimeä kaikille paikkakunnille tuosta datasta (kerrottu FMI:lle siitä)
- Tietoa ei ole vielä millaiset krediitit FMI haluaa näkösälle mutta suosittelen jos sivuille laittaa että jonkin sortin krediitit laittaa

Ja HUOM tämä on kaikkea muuta kun valmis häkkyrä ainakin tässä vaiheessa.

Ja miten tuon fmi.jsonin parsii sivuilla:

Koodia: [Valitse]
$GMfilename = 'cache/fmi.json';
$fp = file_get_contents($GMfilename);
$wxdata = json_decode($fp,true);

for($i=1;$i<count($wxdata)+1;$i++){
  $time = $wxdata[$i][time];
  $id = $wxdata[$i][id];
  $nimi = getfminame($id);
  $temp = $wxdata[$i][t2m];
  $wind = $wxdata[$i][ws_10min];
  $wdir = windDir($wxdata[$i][wd_10min]);
  $hum = $wxdata[$i][rh];
  $dew = $wxdata[$i][td];
  $prec = sprintf("%01.1f", $wxdata[$i][r_1h]);
  if($prec>-0.1){$prec=$prec.' mm';}else{$prec='';}
  $sno = $wxdata[$i][snow_aws];
  if($sno<>"NaN"){$sno=round($sno).' cm';}else{$sno='';}
  $baro = $wxdata[$i][p_sea];
  if($baro<>"NaN"){$baro=$baro.' hPa';}else{$baro='';}
}

Tuosta voi sitten tehdä mitä haluaa $variaableiden kanssa.

Lisäinfoa mahdollisita urli-yhdistelmistä löytyy: http://ilmatieteenlaitos.fi/avoin-data-beta
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Lauantai, 02.03.2013, 13:27
Ensimmäinen kokeilu moni-paikkaunta-ennusteesta, eli samanlainen haku kuin YR-ennusteessa: http://www.nordicweather.net/fmiennuste.php?fi  ;D

Rakenne suurilta osin kopio YR-ennusteesta joten fillaria ei keksitty uudestaan vaan parit polut ja nimet vaihdettiin sekä sisälle tuo xml-parsija joka osaa FMI-dataa :)

Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: kapo - Lauantai, 02.03.2013, 15:43
Tuo on hieno!!!
Kunpa sais nuo vanhat punksuneeraamaan, niin tämä ennuste on saatava sitten omille sivuille ....
Pts: Tällä vauhdilla vuonna 2098.... ;D ;D

-kapo-
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: systeemi - Lauantai, 02.03.2013, 18:37
Tässä on kyllä yksi vaihtoehto WXSIM tilalle (tai kun sitä ei ole). Jos tästä nyt liikenisi aikaa tehdä uusiksi sääasema sivusto niin tämä voisi olla sääennustuksien lähtökohta!?
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Snowi - Lauantai, 02.03.2013, 19:25
Erittäin hyvältä näyttää  ;D.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Lauantai, 02.03.2013, 19:43
Hyvin näyttää myös data tulevan, sillä saralla ei ole valittamista.
Nyt ei pidä laskea miinuksena jos se lakkaa toimimasta kun/jos FMI muuttaa jotain jota aiheuttaa häkkyrän failaamisen. Muutokset kun ovat mahdolliset näin beta-vaiheessa.  ;D

Propsit menee myös FMI:lle siitä että olevat todella "kuulevana korvana" feedbackille/ideoille.
Esimerkkinä, pari asiaa jota huomasin torstaina ja josta pistin palutetta oli perjantaina fixattu  ;D
Tässä kerännyt lisää feedback/kysymys-aiheita jotka laitan menemään huomisella.

Mitä ennuste-sivuun tulee niin käppyrä/meteogrammi olisi tarkoitus vielä saada rakennettua sinne. :)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Sunnuntai, 03.03.2013, 00:16
Käppyrä kehissä  ;D

Sademäärästä käppyrässä pitää kysäistä FMI:ltä että onko se edellisen vai seuraavan tunnin lukema jotta saadaan se työnnettyä oikeaan kohtaan..
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Sunnuntai, 03.03.2013, 17:56
Pitäisi keksiä joku hjuva keino saada tuo haku toimimaan myös toiselta palvelimelta jos siitä tekee puketin josta laittaa sivulle, hmmm.... ;)

Muutama vastaus FMI:ltä:
- Ennusteen pituus tulee olemaan 55 tuntia
- Ukkosarvot ennusteissa ovat tutkinnan alla että ovatko tarpeeksi luotettavat julkistettavaksi
- 1h sade on ennusteissa edellisen tunnin sade, eli esim. klo 12 tarkoittaa 11-12
- Havaintoihin tulossa max/min-lukemat sekä päivän sademäärä
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: systeemi - Sunnuntai, 03.03.2013, 20:06
Onko siinä sellaista ennustetta irti otettavissa, missä olisi tämä päivä, huominen ja ylihuominen.

tyyliin:

tänään:                     Huomenna                     Ylihuomenna
+7 sadetta 5m/s          +9 aurinkoista 0m/s        -9 puolipilvinen 15m/s
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Sunnuntai, 03.03.2013, 20:47
Lainaus
Onko siinä sellaista ennustetta irti otettavissa, missä olisi tämä päivä, huominen ja ylihuominen.

Ei ole. Tuo mullakin kävi mielessä esim. etusivun pikaennusteeksi. Tällä hetkellä on aika ristiriitaiset ajatukset oman etsivun pikaennusteesta että kumpi (WXSIM vai FMI) siihen laittais, nimittäin totuus lienee se että FMI voittaa kyllä paikkansapitävyydessä varsinkin kun Perttelin "karttapiste" on aivan lähellä.

Data on tunti-tunnilta-periaatteella. Nyt en ole kokeillut että kuinka tiheällä resolla ennustetta löytyy mutta ainakin 30 min välein.

Sinänsä, näppärä parsis tuosta numeerisesta datasta tuollasen kyllä, tarvittava datahan on olemassa (aikaleima, lämpötila, tuuli ja säätilaikoni numerona). Siinä tarvii vaan ensin löytää ääripäät x aikajaksolle josta sitten tekee ulosannin.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Tiistai, 05.03.2013, 00:10
Ennustehäkkyrä alkaa olemaan aika lailla siinä :)
Pitää vielä muutama päivä seurata sitä ennenkun laittaa puketin siitä sekä siivota sitä pikkasen sekä myös säätää cache-ajat sopiviksi :)
Niin, tuo käppyrä kaipaisi jonkin sortin päiväjakoa/päivän nimeä, pitää katsoa onnistuuko se.

Tuli mieleen tuosta systeemin kysymyksestä että WXSIMin 3in1 tekee periatteessa tuon mutta siten että tuloksena 3 tunnin jaksot tuonne tunti-tunnilta taulukkoon. Sen data on numeerinen taulukko 30 min jaksoissa. Eli se hakee mm. "rajuimman" säätilan, laskee yhteen sateet jne.
Arvoja josta laskea on WXSIMillä enemmän mitä FMI-datassa mutta kyllä noilla jota on saisi ihan OK "pikaennusteen" aikaseksi vaikkapa tyyliin se mikä mun etusivulla on WXSIMistä vaikka se WXSIMin tuleekin "valmiina" WXSIMistä (yksi datafilu on juuri päivä + yö tyylillä tekstimuodossa).
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: systeemi - Tiistai, 05.03.2013, 10:25

Olisiko se päivältä minimi ja maksimiläpötila. Kokonais sademäärä ja tuulesta maksimi arvo.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Tiistai, 05.03.2013, 13:10
Olisiko se päivältä minimi ja maksimiläpötila. Kokonais sademäärä ja tuulesta maksimi arvo.
Mitään noista ei löydy valmiiksi mutta nehän ovat helppoja laskea loopissa halutulle aikajaksolle, php-arrayhin data ja kun aikaleima on sopiva ottaa talteen max($array) tai min($array) siitä ja tyhjentää arrayn seuraavaa jaksoa varten.
Data joka löytyy ennusteissa on arvo juuri "nyt" (1h sade on edellisen tunnin sademäärä) eli periaatteessa tavallaan raakadata.
Ei wxsiminkaan tunti-tunnilta-datassa niitä löyty vaan ne on laskettava.

Muistettava on toki että jollei mikään ukkosarvo ole FMI:n mielestä riittävän luotettava että pääsis mukaan dataan niin FMI-ennuste ei ennusta ukkosia jollei sitten säätila-ikoni sitä tee (pitääpi kysästä sitä), jota taas wxsim tekee. Laitoin viestiä että joku ukkos-arvo kyllä kaivattais, vaikkapa lisäinfolla että viitteellinen tai jotain... ;)

Pitääpi kokeilla tehdä tuo jossain kohtaa :)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: systeemi - Tiistai, 05.03.2013, 14:46

Pitääpi kokeilla tehdä tuo jossain kohtaa :)

Olisi todella hienoa jos tuollainen saataisiin. Itsellä on "tilausta" tuommoiselle. Meinaan muutenkin yksinkertaistaa koko sivustoni ja kaikki numeerinen on nyt "POP" ;D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Tiistai, 05.03.2013, 19:29
Olisi todella hienoa jos tuollainen saataisiin. Itsellä on "tilausta" tuommoiselle. Meinaan muutenkin yksinkertaistaa koko sivustoni ja kaikki numeerinen on nyt "POP" ;D

Pikainen kokeilu yö/päivä-jaolla (18-06/06-18):

Koodia: [Valitse]
(
    [0] => Array
        (
            [maxtemp] => 1.045005
            [mintemp] => 0.469274
            [maxwind] => 4.612423
            [maxgust] => 9.866414
            [icon] => cloudy
         )
    [1] => Array (
            [maxtemp] => 3.507377
            [mintemp] => 0.287489
            [maxwind] => 5.537728
            [maxgust] => 11.736080
            [icon] => cloudy
         )
    [2] => Array(
            [maxtemp] => 2.314888
            [mintemp] => -12.129974
            [maxwind] => 6.570556
            [maxgust] => 13.301930
            [icon] => partlycloudy
        )
)

 ;D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: systeemi - Tiistai, 05.03.2013, 20:00

 ;D

Oujee hyvältä näyttää
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Tiistai, 05.03.2013, 20:56
Pikku ongelma on se että jos ottaa vain "rajuimman" säätilan saattaa tulla tapauksia jossa esim. kaikki muut jakson ikonit sanoisi selkeätä ja yksi puolipilvistä, tällöin se antaa puolipilvisen säätilaksi kun oikeampi tapa tekstinä olisi "selkeätä tai puolipilvistä"...Näin kävi tuossa...Hmmm...
Tuo "rajuimman" säätilan löytäminen on sinänsä helppoa koska ovat numeeriset siten että mitä isompi numero sitä "rajumpi".
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Keskiviikko, 06.03.2013, 14:41
Tässä ihan raaka versio siitä (ei ole suunnitteilla mitään varsinaista pukettia siitä tässä vaiheessa). :)

- Hakee ennusteen parsii sen päivä ja yö jakoon (18-06 ja 06-18) sekä tallentaa sen fmishort.json-filuun.
- Data jota se hakee on 30 min jaksoissa.
- Koska kaikki data joka haetaan muualta sivulatauksen yhteydessä saattaa hidastaa sivun latausta suosittelen sen ajamista cronjobilla(esim kerran tunnissa) ja sivulla parsii tuon fmishort.json-filun. Tietenkin voi myös vain hakea itse xml FMI:ltä cronilla jotta se on valmiina serverillä ja sitten parsia se sivuilla tuon häkkyrän kanssa.
- API-avain pitää jossain vaiheessa hakea FMI:ltä kunhan saavat sen osan käyttöön.
- Ikonin nimi viittaa siihen css-spriten class-nimeen joka mulla aika globaalisti käytössä (3in1,yr,ewn...)

Ulosainti on tämän tapainen:
Koodia: [Valitse]
   [1] => Array
        (
            [time] => night
            [maxtemp] => 2.662377
            [mintemp] => -11.064939
            [maxwind] => 8.930602
            [maxgust] => 18.244831
            [icon] => cloudy
            [desc] => selkeää tai puolipilvistä
        )

desc on erittäin koemielessä tehty yritys saada ulos pää-säätilat tekstimuotoon. Tämä ottaa 2 eniten esiintyvää säätilaa ja laittaa ne tekstinä. Paitsi jos ovat sadetta jolloin näytetään vain yksi (ei ole mitään ideaa näyttää tyyliin "voimakasta sadetta tai kohtalaista sadetta").
Tosin tulos voi olla kuten yllä, ikoni joka tulee rajuimman mukaan näyttää pilvistä ja teksti selkeää koska selkeitä oli eniten :P
Tätä pystyisi tietenkin viilaamaan vaikka huru ja paljon jos haluaa...
Sitä se myös vaatisi jos haluaa siitä hienoistumemman että se myös ottaisi huomioon miten montaa esim sadekuuroja on jotta tulos voisi olla tyyliin "selkeää tai puolipilvistä, sadekuuroja" samoin kuin ikonipuolella, jos vain yksi pilvinen ja loput selkeitä/puolipilvisiä pitäisi kai ikoni olla puolipilvinen. Samaan aikaan sen pitäisi kuitenkin osata pitää silmällä raiuimpia säätiloja jotta se aina saisi esim "ukkoskuuroja" napattua.

Sitten pikainen vertailu tämän hetken vastaavaan WXSIM:istä:
- maxlämpötilat ovat liki samat
- minlämpötiloissa on FMI kylmempi, näin oli su-ma-yönäkin, WXSIM lupasi -16, FMI -19 ja toteutunut oli -22...
- Puuskissa WXSIM on liian varovainen (WXSIM 12 m/s, FMI 18 m/s), tuulen nopeuksissa taas ovat suht samoissa.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 07.03.2013, 14:58
Laitetaanpa kehiin, zippi FMI-ennusteesta :)
Samalla sai myös YR ennuste pikku päivityksen.

Molemmat toimii samalla periaatteella, keskitetyllä paikkakunta- ja data-haulla. Näin saadaan tuo paikkakunta-tietokanta käyttöön sekä samalla myös datahaut FMI/YR:ltä vähennettyä.

Huomautus FMI-ennusteesta: FMI:n data on edelleen beta-vaiheessa ja siten voi ennustekkin lakata toimimasta milloin tahansa. Joten pidetään sitä pikkasen silmällä...

Lyhyen kaavan asennus:
Mikäli Saratogan template käytössä, uppaa wxxxxx.php sekä yr/fmi-kansiot serverille ja se on siinä, mitään asetuksia ei tarvi oletuksena muuttaa  ;D
Jollei Saratogaa niin laitto omalle sivulle on täysin sama molemmille ja sama mitä vanhassa YR ennusteessa, $yrhead a $yrtable sopiviin kohtiin ja eikun menoksi :)

Rajoitetut lataukset löytyy täältä:
http://www.nordicweather.net/scripts.php?fi|wxfun (tuo häntä siinä urlissa on tärkeä :P).


Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: systeemi - Torstai, 07.03.2013, 15:15
parseri poistettu
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: systeemi - Torstai, 07.03.2013, 16:45
Etusivulle töräytetty ilmatieteenlaitoksen ennuste!


http://www.kemiweather.fi/ (http://www.kemiweather.fi/)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: kapo - Sunnuntai, 10.03.2013, 17:53
Tervehdys

Ei liene mikään yllätys, mutta en saanut kumpaakaan ennustetta toimimaan.... ;D ;D ???
Vika ei ole ohjelmissa, sen tiedän... Käyttäjää epäillään... ::) ::)
Mikäköhän avuksi
YR ennuste näyttää blanco sivun?
FMI ennuste ei avaa karttaa, eikä hakunapit toimi?
Nimim. olis kiva taas kikkailla uusilla sääkikkareilla ;)

-kapo-
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: kapo - Keskiviikko, 13.03.2013, 20:32
No niin... Suncomet oli polvillaan suurimman osan päivää, joten oli aikaa tehdä noita ennustuksia.. Hyvin pelittää FMI-ennuste ja YR-ennuste... Ainut kitinä löytyy, kun ei kartan oikeasta yläkulmasta löydy sitä ruksia, millä sammuttaa kartta.... Mitenköhän sen sais sinne? Sammuuhan ne kartat muutenkin (=vetää töpselin irti seinästä ja vetää PC:tä kaks kierrosta talon ympäri vastapäivään  johdosta kiinnipitäen... ;D :D...) Mutta kait siihen helpompikin tapa olisi? ??? ???

-kapo-
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Keskiviikko, 13.03.2013, 22:04
Lainaus
Hyvin pelittää FMI-ennuste ja YR-ennuste... Ainut kitinä löytyy, kun ei kartan oikeasta yläkulmasta löydy sitä ruksia, millä sammuttaa kartta

Nyt en muista mistä tuo ruski siihen tulee mutta klikkaamalla karttaa se katoaa myöskin ;)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: kapo - Keskiviikko, 13.03.2013, 22:26
Lainaus
Hyvin pelittää FMI-ennuste ja YR-ennuste... Ainut kitinä löytyy, kun ei kartan oikeasta yläkulmasta löydy sitä ruksia, millä sammuttaa kartta

Nyt en muista mistä tuo ruski siihen tulee mutta klikkaamalla karttaa se katoaa myöskin ;)
Joo sen huomasin kyllä, mutta jos tulee mieleen tuo krusifiksi, niin olisitko ystävällinen ja kirjoottelisit sen mulle? :)

-kapo-
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Perjantai, 22.03.2013, 18:25
Nyt on päivittäiset ja kuukausittaiset asemakohtaiset maksimi/minimiarvot saatavilla avoimesta datasta. :)
Tuostahan voisi kehitellä jotain hubaa ;D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Lauantai, 23.03.2013, 12:06
Maksimi/minimi-lämpötilat lisätty etusivulle nuille FMI:n asemille.  :)
Nyt ei ole tietoa miten ne päivittyvät saatikka mikä on aika-jakso jota käyttävät mutta jos jotain voisi päätellä xml-tageista niin 06-06. Pitääpi kysästä asiasta.

Jahka keksin miten sen toteuttaa niin voipi olla että tulee sivu jossa voi hakea paikkakunnalla nuo maksimi/minimit. :P
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Lauantai, 23.03.2013, 21:36
Lainaus
Nyt ei ole tietoa miten ne päivittyvät saatikka mikä on aika-jakso jota käyttävät mutta jos jotain voisi päätellä xml-tageista niin 06-06. Pitääpi kysästä asiasta.
Mutu-tuntumalta havainto on että arvo A on 18-06 päivittyen 06 jälkeen ja B vastaavasti 06-18 päivittyen 18 jälkeen.
Jos hakee päivällä päivän maksimia etsimällä max(Amax, Bmax) on vastaus edellisen yön korkein koska päivän ylin saapuu vasta klo 18 jälkeen ja siihen asti on Bmax NaN.

Pitää vielä varmistaa se FMI:ltä.


Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Maanantai, 25.03.2013, 11:30
Kokeilu taulukosta jossa kaikki, tai ainakin valikoima niistä, FMI-asemat listattuna aina Utsjoelta Utö:seen maksimi- että minimilämpötiloineen ;D
Pikkasen vaiheessa vielä mutta toimii. Päivittyy tällä hetkellä 30 min välein.
http://www.nordicweather.net/fmisaa.php

EDITTIÄ: Taulukon paikkakuntanimet ovat suoraan parsittu FMI-datasta. Siellä löytyy nippu paikkoja jossa näkyy vain "Kirkonkylä" ::) Pitää koittaa löytää niille oikea nimikin....
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Tiistai, 26.03.2013, 22:03
Mainittakoon tässä samassa, Alex Ruotsin maalta kysyi tilannetta SMHI:lta ja vastaus oli että viimestään 01.01.2014 on data vapaata, betaa tulossa jo aikasemmin.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut - sadetutka
Kirjoitti: weatherc - Tiistai, 09.04.2013, 21:32
Ihka ensimmäinen koeajo FMI sadetutkasta  ;D
Skaala vielä hakusessa  ;D

EDIT: Tutkakuvia näyttää löytyvän 5 minuutin välein  8)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Keskiviikko, 10.04.2013, 19:55
Lounais-Suomen sadetutka

Kuulusi yhtä hyvin tuonne Salo-36:n alle mutta laitetaan nyt tähän  ;)

Eli kehissä on sadetutkakuva joka kattaa Lounais-Suomen. :)
Päivittyy tällä hetkellä 20 min välein mutta jahka saan testattua ja löydettyä sopivat päivitys-minuutit niin alkanee päivittymään 10 min välein.

http://www.nordicweather.net/sadetutka.php?fi
(Jos joku asema kaipaa oman karttakuvan niin se onnistunee myös...)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 11.04.2013, 13:11
Zoomattava koko Suomen sadetutka

Koeajossa zoomattava Esri-kartta-tutka 2 h timelapsella  ;D

Vielä pikkasen hakusessa oikeat päivitysminuutit mutta tällä hetkellä ajossa 5 minuuttia "tutka-ajan" jälkeen sekä 10 minuutin päivitystahdilla  :)
Väriskaala on tarkoitus saada vastaavaksi kun FMI:llä, sain heitin skaalan tuossa kun kyselin  :)

http://www.nordicweather.net/sadetutka.php?fi
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Perjantai, 12.04.2013, 15:15
Mitä ei Google löytäis

KNMI:n muuntoskaala "raaka lukema" => dbz : http://www.knmi.nl/~beekhuis/tables/rad_tab_dbz.txt  ;D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Maanantai, 29.04.2013, 15:11
FMI:n ennuste-GRIBit ovat jakelussa  ;D

Ovat samankaltaiset mitä tuo met.no:n mitä olen kättänyt,
- arvoja löytyy 9 kpl: Temperature,DewPoint, Humidity,WindUMS,WindVMS,Pressure,Precipitation1h,TotalCloudCover,GeopHeight
- pituus 55h 1 tunnin hyppelyin
- kattaa alueen 19.1 - 31.7 E, 59.7 - 70.1 N
- resoluutio aika valittavissa, ainakin 4 km toimii :)

EDIT: FMI-kartta testissä: http://www.nordicweather.net/ennustekartat.php?fi  ;D
(Pikainen copy/paste met.no-häkkyröistä ;D)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Tiistai, 30.04.2013, 16:11
FMI salamadata koeajossa

Nyt kun vihdoinin on muutama räpsy ollut on pääsyt kokeilemaan myös salamadatan hakua  ;D
Vielä pikkasen hakusessa miten pitkään nuo iskut löytyvät filusta sekä päivitys-tiheys...

Nyt iltapäivällä ollut räpsyt Laatokan kaakkoispuolella sekä yksi Ruotsin rannikolla Vaasan korkeudella.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Tuffe - Maanantai, 06.05.2013, 20:58
Lounais-Suomen sadetutka

Kuulusi yhtä hyvin tuonne Salo-36:n alle mutta laitetaan nyt tähän  ;)

Eli kehissä on sadetutkakuva joka kattaa Lounais-Suomen. :)
Päivittyy tällä hetkellä 20 min välein mutta jahka saan testattua ja löydettyä sopivat päivitys-minuutit niin alkanee päivittymään 10 min välein.

http://www.nordicweather.net/sadetutka.php?fi
(Jos joku asema kaipaa oman karttakuvan niin se onnistunee myös...)

Mistä tutkakuvan voi ladata ?
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Maanantai, 06.05.2013, 22:21
Mistä tutkakuvan voi ladata ?

Tuolla infoa: http://ilmatieteenlaitos.fi/latauspalvelun-beta
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Tuffe - Maanantai, 06.05.2013, 22:36
Mistä tutkakuvan voi ladata ?

Tuolla infoa: http://ilmatieteenlaitos.fi/latauspalvelun-beta
entä tuon karttakuvan..?
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Maanantai, 06.05.2013, 23:18
entä tuon karttakuvan..?
Ei sellaista ole valmiina ;)

Selvennetään pikkasen...
Sadetutkadata joka on saatavilla FMI:ltä on geotiff-muodossa. Siitä voi sitten "jatko-jalostaa" karttakuvan sopivalla softalla, kuten Linukalla Mapnikilla ja asettaa halutut väritykset sun muut.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Lauantai, 01.06.2013, 18:52
Useampi on kysynyt että minne FMI:n salamdata katosi.
Tänään sain vastauksen että on ongelmia ja että korjataan mahdollisimman pian.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 06.06.2013, 15:53
FMI:n avoin data on sitten viralliseti julkistettu  ;D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: meteorologi - Tiistai, 09.07.2013, 13:19
Ovatko muut huomanneet FMI:n ennustedataa tutkiessaan, että numero 61 (eli ukkoskuuroja)  Weathersymbol3-arvona esiintyy epärealistisen usein? Esim. ennuste Helsinkiin 15:n minuutin aika-askeleella:
Koodia: [Valitse]
12:30 09-07-2013            61.0
12:45 09-07-2013            61.0
13:00 09-07-2013            1.0
13:15 09-07-2013            61.0
13:30 09-07-2013            61.0
13:45 09-07-2013            61.0
14:00 09-07-2013            1.0
14:15 09-07-2013            61.0
14:30 09-07-2013            61.0
14:45 09-07-2013            61.0
15:00 09-07-2013            1.0
15:15 09-07-2013            61.0
15:30 09-07-2013            61.0
15:45 09-07-2013            61.0
16:00 09-07-2013            1.0
16:15 09-07-2013            61.0
16:30 09-07-2013            61.0
16:45 09-07-2013            61.0
17:00 09-07-2013            1.0
17:15 09-07-2013            61.0
17:30 09-07-2013            61.0
17:45 09-07-2013            61.0
18:00 09-07-2013            1.0
18:15 09-07-2013            61.0
18:30 09-07-2013            61.0
18:45 09-07-2013            61.0
19:00 09-07-2013            1.0
19:15 09-07-2013            61.0
19:30 09-07-2013            61.0
19:45 09-07-2013            61.0
20:00 09-07-2013            1.0
20:15 09-07-2013            61.0
20:30 09-07-2013            61.0
20:45 09-07-2013            61.0
21:00 09-07-2013            1.0
21:15 09-07-2013            61.0
21:30 09-07-2013            61.0
21:45 09-07-2013            61.0
22:00 09-07-2013            1.0
22:15 09-07-2013            61.0
22:30 09-07-2013            61.0
22:45 09-07-2013            61.0
23:00 09-07-2013            1.0
23:15 09-07-2013            61.0
23:30 09-07-2013            61.0
23:45 09-07-2013            61.0
00:00 10-07-2013            1.0
00:15 10-07-2013            61.0
00:30 10-07-2013            61.0
00:45 10-07-2013            61.0
01:00 10-07-2013            2.0
01:15 10-07-2013            61.0
01:30 10-07-2013            61.0
01:45 10-07-2013            61.0
02:00 10-07-2013            1.0
02:15 10-07-2013            61.0
02:30 10-07-2013            61.0
02:45 10-07-2013            61.0
03:00 10-07-2013            1.0
03:15 10-07-2013            61.0
03:30 10-07-2013            61.0
03:45 10-07-2013            61.0
04:00 10-07-2013            3.0
04:15 10-07-2013            61.0
04:30 10-07-2013            61.0
04:45 10-07-2013            61.0
05:00 10-07-2013            31.0
05:15 10-07-2013            61.0
05:30 10-07-2013            61.0
05:45 10-07-2013            61.0
06:00 10-07-2013            31.0
06:15 10-07-2013            61.0
06:30 10-07-2013            61.0
06:45 10-07-2013            61.0
07:00 10-07-2013            31.0
07:15 10-07-2013            61.0
07:30 10-07-2013            61.0
07:45 10-07-2013            61.0
08:00 10-07-2013            31.0
08:15 10-07-2013            61.0
08:30 10-07-2013            61.0
08:45 10-07-2013            61.0
09:00 10-07-2013            32.0
09:15 10-07-2013            61.0
09:30 10-07-2013            61.0
09:45 10-07-2013            61.0
10:00 10-07-2013            32.0
10:15 10-07-2013            61.0
10:30 10-07-2013            61.0
10:45 10-07-2013            61.0
11:00 10-07-2013            31.0
11:15 10-07-2013            61.0
11:30 10-07-2013            61.0
11:45 10-07-2013            61.0
12:00 10-07-2013            31.0
12:15 10-07-2013            61.0
12:30 10-07-2013            61.0
12:45 10-07-2013            61.0
13:00 10-07-2013            31.0
13:15 10-07-2013            61.0
13:30 10-07-2013            61.0
13:45 10-07-2013            61.0
14:00 10-07-2013            32.0
14:15 10-07-2013            61.0
14:30 10-07-2013            61.0
14:45 10-07-2013            61.0
15:00 10-07-2013            61.0
15:15 10-07-2013            61.0
15:30 10-07-2013            61.0
15:45 10-07-2013            61.0
16:00 10-07-2013            61.0
16:15 10-07-2013            61.0
16:30 10-07-2013            61.0
16:45 10-07-2013            61.0
17:00 10-07-2013            61.0
17:15 10-07-2013            61.0
17:30 10-07-2013            61.0
17:45 10-07-2013            61.0
18:00 10-07-2013            61.0
18:15 10-07-2013            61.0
18:30 10-07-2013            61.0
18:45 10-07-2013            61.0
19:00 10-07-2013            61.0
19:15 10-07-2013            61.0
19:30 10-07-2013            61.0
19:45 10-07-2013            61.0
20:00 10-07-2013            3.0
20:15 10-07-2013            61.0
20:30 10-07-2013            61.0
20:45 10-07-2013            61.0
21:00 10-07-2013            3.0
21:15 10-07-2013            61.0
21:30 10-07-2013            61.0
21:45 10-07-2013            61.0
22:00 10-07-2013            3.0
22:15 10-07-2013            61.0

22:30 10-07-2013            61.0
22:45 10-07-2013            61.0
23:00 10-07-2013            31.0
23:15 10-07-2013            61.0
23:30 10-07-2013            61.0
23:45 10-07-2013            61.0
00:00 11-07-2013            31.0
00:15 11-07-2013            61.0

Onko FMI:llä jotakin sekaisin? Samoja "symboleita" saa pitkin koko maata, vaikkei ukkosriskiä juuri ole.
Vaikuttaa siis bugilta, koska tasatunnein ei vikaa esiinny.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Tiistai, 09.07.2013, 19:58
Juup, siksi käytänkin itse vain tasatunti-arvoja, enkä oikeastaan sen tiheämpää travitsekkaan mihinkään.
Taitaa olla tuo 61 myös jonkin sortin "empty"-arvo.
Hatusta vedetty veikkaus kun on että sääsymbolia ei generoida kun kerran tunnissa tasatunti-arvoon.
Jos noin on niin olisivat nyt voineet laitaa "empty"-arvoksi edes jonkun numeron joka ei ole käytössä....
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: meteorologi - Tiistai, 09.07.2013, 21:15
Jotain tuon tapaista itsekin ounastelin.

Asiasta kolmanteen: onko sinulla sattumoisin tietoa, mistä saisi vapaaseen käyttöön tarkoitettuja sääikoneja? Oletko itse tehnyt nuo nykyiset FMI-ennusteessa olevat vai ovatko ne jostain muualta? Kattavatko ne kaikki FMI:n "koodit"? 
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Tiistai, 09.07.2013, 23:10
Asiasta kolmanteen: onko sinulla sattumoisin tietoa, mistä saisi vapaaseen käyttöön tarkoitettuja sääikoneja? Oletko itse tehnyt nuo nykyiset FMI-ennusteessa olevat vai ovatko ne jostain muualta? Kattavatko ne kaikki FMI:n "koodit"? 

Ei oikeastaan. Googlella hakuun vaan :)
Nuo nykyiset ovat rehellisesti hrmm... "lainattu", en muista mistä.  :P
Juu, ne kattaa kaikki koodit, oon tehnyt muutaman lisää niitä lähinnä WXSIM 3in1:a varten mutta sama setti on käytössä kaikissa skripteissä.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Maanantai, 15.07.2013, 12:00
Sadetutkakuva juntturassa sitten lauantain (ainakin)...

Kuva on mukamas olemassa mutta vastauksena tulee kuvan sijaan XML-tiedostoa...
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Tiistai, 16.07.2013, 15:54
FMI sai sadetutakuvansa korjattua  ;D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: meteorologi - Tiistai, 06.08.2013, 23:06
Onko tietoa, mitkä ovat parametrit, joilla saadaan tämänhetkinen pilvisyys ja maanpinnan alin lämpötila? Pilvisyydelle on kaksi parametria n ja totalcloudcover, joista kumpikaan ei taida toimia (palauttaa vain pari asemaa, vaikka pilvisyyttä mittaa varmaan toista kymmentä). Maanpinnan alin lämpötila pitäisi olla jossakin päivittäisissä havainnoissa, vaan eipä löydy.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Keskiviikko, 07.08.2013, 00:15
Ei hajuakaan.
Pilvisyys pitäisi löytyä siitä juoksevasta kyselystä mutta kuten sanoit, osa parametreistä on enemmän tai vähemmän toimimattomia.

Maksimi/minimi-arvot on tehty todella hankalaksi erilliseen kyselyyn ja mitä niitä kokeilin hakea niin oli data muistaakseni 2 vuorokauden minimi/maksimi ja tulee vielä vasta tyyliin seuraavana päivänä. Siksi teinkin niin että omissa listoissa olevat max/min-lukemat ovat seurattuja live-datasta eikä FMI:ltä.

Sade on sitten oma ongelmansa, livedatassa on vain 1 tunnin sade ja päivän sade pitäsi hakea siitä samasta max/min-hausta.

Jotenkin jää mieleen että tuossa koko systeemissä jäätiin osittain puoleentiehen ja käyttäjä-ystävällisyys on totaalisesti unohdettu. Ja jos siitä kysyy niin piiloudaan sen INSPIRE-standardin taakse. Mutta miksi saa SMHI ulos samaa standardia käyttäen simppeliä csv-muotoista feediä ulos muttei FMI?
Esim: http://opendata-download-ocobs.smhi.se/feed/1/1_3_feed.xml

SMHI:lla vasta ensimmäisiä datoja jaossa jossa ei vielä ennustetta tahikka sääasema-datoja, tulossa viimestään Tammikuussa 2014. Mutta JOS ennustedata kattaa saman alueen mitä noissa ensimmäisissä analyysidatoissa niin lupaavalta näyttää, kattaa meinaan koko Pohjolan toisin kun FMI:n ennustedata joka rajattu tiukasti Suomen rajoille....
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: meteorologi - Keskiviikko, 07.08.2013, 13:42
Ei hajuakaan.
Pilvisyys pitäisi löytyä siitä juoksevasta kyselystä mutta kuten sanoit, osa parametreistä on enemmän tai vähemmän toimimattomia.

Maksimi/minimi-arvot on tehty todella hankalaksi erilliseen kyselyyn ja mitä niitä kokeilin hakea niin oli data muistaakseni 2 vuorokauden minimi/maksimi ja tulee vielä vasta tyyliin seuraavana päivänä. Siksi teinkin niin että omissa listoissa olevat max/min-lukemat ovat seurattuja live-datasta eikä FMI:ltä.

Sade on sitten oma ongelmansa, livedatassa on vain 1 tunnin sade ja päivän sade pitäsi hakea siitä samasta max/min-hausta.

Jotenkin jää mieleen että tuossa koko systeemissä jäätiin osittain puoleentiehen ja käyttäjä-ystävällisyys on totaalisesti unohdettu. Ja jos siitä kysyy niin piiloudaan sen INSPIRE-standardin taakse. Mutta miksi saa SMHI ulos samaa standardia käyttäen simppeliä csv-muotoista feediä ulos muttei FMI?
Esim: http://opendata-download-ocobs.smhi.se/feed/1/1_3_feed.xml

SMHI:lla vasta ensimmäisiä datoja jaossa jossa ei vielä ennustetta tahikka sääasema-datoja, tulossa viimestään Tammikuussa 2014. Mutta JOS ennustedata kattaa saman alueen mitä noissa ensimmäisissä analyysidatoissa niin lupaavalta näyttää, kattaa meinaan koko Pohjolan toisin kun FMI:n ennustedata joka rajattu tiukasti Suomen rajoille....

Pitääpä katsoa, jos laittaisi FMI:lle kyselyä noista parametreista. Aika erikoinen on nimittäin tämänhetkinen neuvo saatavilla oleville parametreille
Lainaus
parameters (esim. &parameters=temperature,windspeedms, katso mahdolliset parametrit hakemalla tallennetun kysely ilman rajausta)
Itse löysin vahingossa parametriluettelon osoitteesta http://data.fmi.fi/fmi-apikey/avain/meta?observableProperty=observation& mutta listassa ei ole mitään mainintaa maanpinnan lämpötiloista.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Keskiviikko, 07.08.2013, 14:34
Ei taida olla maapinta-lämpötilaa saatavilla ei, tuossa kaikki:

{"id":"100908","name":"Parainen Utö","lat":"59.78423","lon":"21.36783","t2m":"19.7","ws_10min":"NaN",
"wg_10min":"NaN","wd_10min":"NaN","rh":"90.0","r_1h":"0.0","snow_aws":"NaN","p_sea":"1013.8"}
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: meteorologi - Keskiviikko, 07.08.2013, 15:42
Ei taida olla maapinta-lämpötilaa saatavilla ei, tuossa kaikki:

{"id":"100908","name":"Parainen Utö","lat":"59.78423","lon":"21.36783","t2m":"19.7","ws_10min":"NaN",
"wg_10min":"NaN","wd_10min":"NaN","rh":"90.0","r_1h":"0.0","snow_aws":"NaN","p_sea":"1013.8"}


Sen pitäisi löytyä jostain päivittäisistä tilastoista: "Säähavaintojen vuorokausiarvot -aineisto sisältää säähavaintoasemien vuorokausiarvoja vuodesta 1959 tähän päivään. Ilman lämpötilan vuorokausikeskiarvo on laskennallinen arvo. Mitattuja arvoja ovat ilman minimi- ja maksimilämpötila, maanpinnan minimilämpötila ja lumensyvyys."

Sinulla on ilmeisesti tuossa reaaliaikaisten havaintojen parametreja ja siellä hämmästyttää nimenomaan pilvisyystietojen vajaavaisuus. Kun hakee koko Suomen kattavalla bbox:lla (ainoana parametrina n/totalcloudcover), palautetaan ainoastaan Rovaniemen lentoaseman ja Muonion Alamuonion pilvisyyshavainnot...
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: angle - Torstai, 17.10.2013, 11:46
Laitetaanpa kehiin, zippi FMI-ennusteesta :)
Samalla sai myös YR ennuste pikku päivityksen.

Molemmat toimii samalla periaatteella, keskitetyllä paikkakunta- ja data-haulla. Näin saadaan tuo paikkakunta-tietokanta käyttöön sekä samalla myös datahaut FMI/YR:ltä vähennettyä.

Huomautus FMI-ennusteesta: FMI:n data on edelleen beta-vaiheessa ja siten voi ennustekkin lakata toimimasta milloin tahansa. Joten pidetään sitä pikkasen silmällä...

Lyhyen kaavan asennus:
Mikäli Saratogan template käytössä, uppaa wxxxxx.php sekä yr/fmi-kansiot serverille ja se on siinä, mitään asetuksia ei tarvi oletuksena muuttaa  ;D
Jollei Saratogaa niin laitto omalle sivulle on täysin sama molemmille ja sama mitä vanhassa YR ennusteessa, $yrhead a $yrtable sopiviin kohtiin ja eikun menoksi :)

Rajoitetut lataukset löytyy täältä:
http://www.nordicweather.net/scripts.php?fi|wxfun (tuo häntä siinä urlissa on tärkeä :P).

Koitinpa tätä laittaa, mutta ei onnistunut. Asetuksiin muutettu ainoastaan sitä fmiennuste.php polkua
Lainaus
$yrpath = 'http://'.$_SERVER["SERVER_NAME"].'/test/fmiennuste.php';
Lokiin tulee seuraavaa herjaa.
Lainaus
[17-Oct-2013 11:33:02 Europe/Helsinki] PHP Warning:  require_once(Settings.php) [<a href='function.require-once'>function.require-once</a>]: failed to open stream: No such file or directory in ***/test/wxfmiennuste.php on line 30
[17-Oct-2013 11:33:02 Europe/Helsinki] PHP Fatal error:  require_once() [<a href='function.require'>function.require</a>]: Failed opening required 'Settings.php' (include_path='.:/usr/lib/php:/usr/local/lib/php') in ***/saa/test/wxfmiennuste.php on line 30
Testi osoite http://hovilaweather.talismaani.fi/test/
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 17.10.2013, 16:17
Tuo wxfmiennuste.php kuuluu Saratoga-templateen ja se herjaa sen takia.
Nappaa nuo fmi- ja $yr* tapaiset siitä omaan templateesi niin pääset eteenpäin (ota vaikka wrf-kansiosta mallia, rakenne noissa ennusteissa on kaikissa sama) :)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: angle - Torstai, 17.10.2013, 16:46
Kiitoksia, taas. ;D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Tuffe - Sunnuntai, 30.03.2014, 11:22
hei!
onko fmicurr.php toiminta kunnossa?
fmi.json filun  haku sisältö 'null'
http://www.finwx.net/forum/index.php/topic,3583.0.html
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: RHead - Maanantai, 04.08.2014, 12:37
Saako tuola avoimesta datasta jotenkin 2.8.2014 päivän tietoja asemasta Liperi Joensuu lentoasema. Kun oli yksi tapahtuma ja kiinnostaa nuo tuulilukemat ajalle 13:00-17:30
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Maanantai, 04.08.2014, 13:48
Saako tuola avoimesta datasta jotenkin 2.8.2014 päivän tietoja asemasta Liperi Joensuu lentoasema. Kun oli yksi tapahtuma ja kiinnostaa nuo tuulilukemat ajalle 13:00-17:30


Saa. Löytyy havainnot 10 min välein vuodesta 2010
http://ilmatieteenlaitos.fi/avoin-data-avattavat-aineistot
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: RHead - Keskiviikko, 06.08.2014, 10:08
Ei tuolta kyllä saa mitään selkoa miten jonkun tietyn päivän saapi irti. Jos jolla kulla olisi valmis rivi millä seuraavan tiedon sais olisin erittäin kiitollinen

päivä 2.8.2014 klo 15, lämpötila, tuulennopeus, asema efjo
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: angle - Keskiviikko, 06.08.2014, 11:56
Oletko etsinyt WU (http://www.wunderground.com/history/airport/EFJO/2014/8/2/DailyHistory.html?req_city=NA&req_state=NA&req_statename=NA):n sivulta?
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Keskiviikko, 06.08.2014, 13:15
Tässä tuli esiin se ongelman ydin FMI:n sivuilla, heillä ei ole minkäänlaista arkisto-hakua datalleen.
Luulevat vissiin että ihmisiä ei kiinnosta mitä on tapahtunut paikkakunnalla X ajankohtana Y.
Eivätkä edes viimeisen päivityksen yhteydessä saaneet sellaista aikaseksi.
(Jos olisivat ottaneet meikäläisen töihin sinne se olisi ollut kehissä jo aikoja sitten koska se on kuitenkin yks perusasia tuollaisella sivulla... ;))
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Leka - Keskiviikko, 06.08.2014, 13:21
päivä 2.8.2014 klo 15, lämpötila, tuulennopeus, asema efjo

Liperi Joensuu lentoasema 02.08.2014 klo.15:00
+24,9°, tuuli 3,1m/s, puuska 7,2m/s, suunta 280°
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: systeemi - Keskiviikko, 06.08.2014, 14:49

(Jos olisivat ottaneet meikäläisen töihin sinne se olisi ollut kehissä jo aikoja sitten koska se on kuitenkin yks perusasia tuollaisella sivulla... ;))


Eivät ymmärrä hyvän päälle!
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: RHead - Keskiviikko, 06.08.2014, 15:42
Löysin kyllä nyt rimpsut mutta en vielä löytänyt miten saa oikean aseman , kun tuo hakee paikkakunnan perusteella..
http://data.fmi.fi/fmi-apikey/avain/wfs?request=getFeature&storedquery_id=fmi::observations::weather::timevaluepair&place=liperi&timestep=30&starttime=2014-08-02T13:00:00Z&endtime=2014-08-02T17:30:00Z&
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: RHead - Keskiviikko, 06.08.2014, 15:48
Oletko etsinyt WU (http://www.wunderground.com/history/airport/EFJO/2014/8/2/DailyHistory.html?req_city=NA&req_state=NA&req_statename=NA):n sivulta?

Kiitos tuopa avitti en muistanukkaan et siellä olikin vaikka aikasemmin hakenut jotain :)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Keskiviikko, 06.08.2014, 16:18
Löysin kyllä nyt rimpsut mutta en vielä löytänyt miten saa oikean aseman , kun tuo hakee paikkakunnan perusteella..
http://data.fmi.fi/fmi-apikey/avain/wfs?request=getFeature&storedquery_id=fmi::observations::weather::timevaluepair&place=liperi&timestep=30&starttime=2014-08-02T13:00:00Z&endtime=2014-08-02T17:30:00Z&

1. Sulla pitää olla se API-avain, ilman sitä sieltä ei tuu mitään.
2. Liperi:llä pitäisi tulla kaikki asemat jotka täsmäävät siihen.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: RHead - Torstai, 07.08.2014, 08:16
Joo api avain on mutta tuolla queryllä tulee vain Liperi Tuiskavanluoto ei Liperi Joensuu Lentoasema.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 07.08.2014, 12:11
Koita hakea aluehaulla:

wfs?request=getFeature&storedquery_id=fmi::observations::weather::timevaluepair&bbox=21,62,32,66&timestep=30&starttime=2014-08-02T13:00:00Z&endtime=2014-08-02T17:30:00Z

Muuta nuo punaiset koordinatit siten että sopii siihen alueelle.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Keskiviikko, 03.09.2014, 21:09
Kokeilua tutkakuvan sateen olomuoto-kuvalla...

Se on saatavilla vain yksittäisistä tutkista Ikaalinen, Kouvola, Kuopio, Korppoo ja Vantaa.
Ensimäisessä testissä bongasin vissiin aika "perusongelman" kun kyseessä on raakadata, mitä kauemmaksi mennään tutkasta sitä lumisemmaksi muuttuu sade koska asutaan pallolla, liitteen kuva Ikaalisen tutkasta reilut tunti sitten  ;D
"Sade" lienee heijastus/virhe jota esiintyy noissa kuvissa aina silloin tällöin mutta sen muoto tekee siitä helpon koekohteen...
Hmmm.....

EDIT: Pientä tutkailua FMI:n infosivulla antaa kertoa että tutkat "rajoitettu" 250 km etäisyyteen tutkasta koska siinä vaiheessa  0,3° korkeuskulmalla ollaan pallon kaartevuudesta johtuen jo 5 km korkeudessa.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 04.09.2014, 23:43
Laitetaan tännekkin pikku "varoituksen sana". Ei saa kysellä FMI:ltä liian monimutkaisia kysymyksiä heitin avoimen datan kaavakkeen kautta. Tulee vastauksena että menee konsultoinnin puolelle a 125€/h.

Se mitä kysyin ei mielestäni ollut edes kysymys vaan pikemmin virheilmoitus, kun koitin hakea hitusen vanhempaa tutkadataa (kyseessä tais olla 2014-08-07) päivältä jolloin varmasti satoi vettä että saisin koekuvan niin tulee vastauksena vain tyhjä kuva....

Ei sen puolen, ongelma on jo ratkaistu koska Lapissa satoi aika sopivasti silleen että kyseiseseen kuvaan ilmeni dataa jotta pystyin vertailemaan legend-kuvan + väritetyn kuvan avulla että generoidussa kuvassa meni värit oikein.
Tuloksesta lisää kun päivitän sadetutkasivun ;)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: J.Jäntti - Perjantai, 05.09.2014, 19:07
Laitetaan tännekkin pikku "varoituksen sana". Ei saa kysellä FMI:ltä liian monimutkaisia kysymyksiä heitin avoimen datan kaavakkeen kautta. Tulee vastauksena että menee konsultoinnin puolelle a 125€/h.

<SARKASMI> Loistavaa! </SARKASMI>
125€/tunti... Siinä on kyllä pojilla katteet kohdillaan, varsinkin kun omaa tuntiliksaa palkkakuitista katsoo. :P  Ilmeisesti FMI vetää linjan siihen, jos joutuvat kaivamaan vanhempaa kuvadataa serveriltä.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: djmake - Lauantai, 06.09.2014, 14:43
Laitetaan tännekkin pikku "varoituksen sana". Ei saa kysellä FMI:ltä liian monimutkaisia kysymyksiä heitin avoimen datan kaavakkeen kautta. Tulee vastauksena että menee konsultoinnin puolelle a 125€/h.

<SARKASMI> Loistavaa! </SARKASMI>
125€/tunti... Siinä on kyllä pojilla katteet kohdillaan, varsinkin kun omaa tuntiliksaa palkkakuitista katsoo. :P  Ilmeisesti FMI vetää linjan siihen, jos joutuvat kaivamaan vanhempaa kuvadataa serveriltä.

Mitä nykyään saa alle sadan euron tunti? Ei valitettavasti juuri mitään. Normaali autohuoltokin maksaa työn osalta tuota luokkaa. Tietokoneen huollon hinnoittelee eräs taho 2e/min jne. Eikä varmasti näy palkkakuitissa noissakaan tapauksissa.

Jos puhutaan konsultaatiosta, niin pääsääntöisesti kyse on yrityksille suunnatusta palvelusta. Ei siellä tuollainen hintataso ole vielä erityisen kova. Eli sitä taustaa vasten en pidä tuota FMI:n hinnoittelua mitenkään poikkeavana. Yksityistä se ei palvele, se on totta. Mutta eipä palvele moni muukaan vastaava taho.

Kokonaan oma lukunsa on, pitäisikö avoimen datan osalta tarjota millainen tuki, kenelle ja millaisin hinnoin. Mitä laajemmin palvelevat, sitä enemmän tarvitaan resursseja ja aiheutuneet kulut pitää toki korvata jotenkin. Ja jos eriytetään yksityisille ja yrityksille tarjottava tuki, niin miten vedetään raja niin, ettei siitä aiheudu ylimääräistä keskustelua ja kukaan koe tulleensa kohdelluksi väärin? Vai pitäisikö hinnoittelu sitoa datan käyttöön? Esimerkiksi weatherc käyttää tietoja yksityisenä, mutta varsin laajassa mittakaavassa. Samoin voi olettaa, että jossakin kohdassa kysymykset voivat olla oikeasti haasteellisia ja selvitystyötä vaativia. Minkä hinnoittelun mukaan mennään?

Valitettavasti melko tiukka linjaus ja yksityisen näkökulmasta kohtuuton veloitus on varmasti helpoin tapa edetä. Toisaalta hinnoittelusta voisi olla hyvä herättää keskustelua rakentavien ehdotusten kera. FMI ei varmuudella jää viimeiseksi tuollaista yksityiselle kestämätöntä hinnoittelua ylläpitäväksi. Ei, ellei avoimen datan osalta tule jotain yleistä linjausta siitä, millaista tukea on tarjottava ja millaisin kustannuksin.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Lauantai, 06.09.2014, 18:44
Tuo hinnoittelu käyttää todennäköisesti samaa periaatetta mitä Ahvenanmaan yhteysalukset ainakin aikoinas harrasti asuntoautoille/vaunuille. Hinta oli hinattu taivaisiin siitä syystä että niitä ei yksikertaisesti haluttu mukaan koska olivat hankalia. Hinta kun oli tyyliin henkilöauto 20 ja asuntoauto 1000.

Lainaus
Ei, ellei avoimen datan osalta tule jotain yleistä linjausta siitä, millaista tukea on tarjottava ja millaisin kustannuksin.

Tuo todennäköisesti löytyy siitä samasta "käskystä" joka velvoitti heidät avaamaan datansa tahikka siitä EU-direktiivistä johon koko homma nojaa.

Datahan on kustannettu verovaroin jolloin se on jo kertaalleen maksettu. Näinollen pitäisi myös ainakin perus-luonteinen kyselykaavake/foorumi olla päivänselvä asia ja sellainenhan löytyy, ainakin teoriassa. Kustannuksista se ei voi olla kiinni jos joku Jaska vastaa pariin mailiin päivässä. Ruhkaa sieillä tuskin on koska mailien otsikossa on jonkin sortin laskuri joka tähän mennessä päässyt lukemaan 890 kun se vuosi sitten oli lukemassa 145.

Vaikka tuo heitin kaavakesysteemi on sinänsä ihan OK olisin itse nähnyt sen jonkin sortin foorumitapaisena jossa myös muut käyttäjät pystyisi auttamaan (SMHI:lla on tämän tapainen systeemi). Sillä lailla sinne myös kasvaisi ajan mittaan tietopankki ja siten myös kysymykset FMI:n suuntaan vähenisi. Tuon datan parsiminenhan tahikka sen oikean datan ulos-saaminen ei välttämättä ole siitä helpommasta päästä kun ensimmäisen kerran siihen ryhtyy. Toisaalta, tekemällä se "hankalaksi" taataan myös se ettei datan käyttö kasva liikaa..

Lainaus
Esimerkiksi weatherc käyttää tietoja yksityisenä, mutta varsin laajassa mittakaavassa. Samoin voi olettaa, että jossakin kohdassa kysymykset voivat olla oikeasti haasteellisia ja selvitystyötä vaativia.

Veikkaan etten ole läheskään suurin käyttäjä heidän datassa vaikka sitä reilusti käytänkin. Se on totta että muutama kyssäri on voinut olla hitusen selvitystyötä vaativa mutta tuskin läheskään kaikki. Ennemmin ovat yhteydenotot olleet ehdotus-tyyppisiä kuten "olisko mahdollista saada salamadata päivittymään useammin kuin 5 min välein?" Vastaus siihen oli muuten että "ei ole"...

Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: J.Jäntti - Lauantai, 06.09.2014, 19:18
Jos puhutaan konsultaatiosta, niin pääsääntöisesti kyse on yrityksille suunnatusta palvelusta. Ei siellä tuollainen hintataso ole vielä erityisen kova. Eli sitä taustaa vasten en pidä tuota FMI:n hinnoittelua mitenkään poikkeavana. Yksityistä se ei palvele, se on totta. Mutta eipä palvele moni muukaan vastaava taho.

Kokonaan oma lukunsa on, pitäisikö avoimen datan osalta tarjota millainen tuki, kenelle ja millaisin hinnoin. Mitä laajemmin palvelevat, sitä enemmän tarvitaan resursseja ja aiheutuneet kulut pitää toki korvata jotenkin. Ja jos eriytetään yksityisille ja yrityksille tarjottava tuki, niin miten vedetään raja niin, ettei siitä aiheudu ylimääräistä keskustelua ja kukaan koe tulleensa kohdelluksi väärin? Vai pitäisikö hinnoittelu sitoa datan käyttöön? Esimerkiksi weatherc käyttää tietoja yksityisenä, mutta varsin laajassa mittakaavassa. Samoin voi olettaa, että jossakin kohdassa kysymykset voivat olla oikeasti haasteellisia ja selvitystyötä vaativia. Minkä hinnoittelun mukaan mennään?

Yritykselle tuota hintaa ei todennäköisesti tarjota, vaan sitten mennään htp:llä (henkilötyöpäivillä), jotka yleensä tuppaavat sitten olemaankin luokkaa 1k€+/pv - ja kyse on yhtälailla konsultaatiosta.
Mielestäni tosin datan tarjoaja saisi kertoa ne rajat selvästi ja kertoa sähköpostilla jos raja alkaa olemaan lähellä, eikä tuolla tavalla vain yllättää tylysti "maksullinen konsultaatio"-kortilla, kun kyseessä on täysin triviaali kysymys, kuten avoimen datan käyttöä koskeva tiedustelu kuvasta, jota järjestelmä ei pyynnöstä huolimatta toimittanutkaan. Olisin ymmärtänyt, jos weatherc olisi saanut läpikryptisen herjan järjestelmältä tai vaikkapa alkanut pyytämään saatavilla olevan datan laajentamista.

Jos avointa dataa tarjotaan, käyttäjät sitä käyttää ja sille on asetettu (ainakin tietääkseni) jonkinlainen käyttölimiitti, ei datan käytön laajuudella pitäisi olla mitään merkitystä. Itselleni jäi sellainen tunne tuosta ainakin, että jos heidän järjestelmä bugaa niin ettei saatavilla olevaa, pyydettyä spesifistä dataa saa ulos, sellaisen tilanteen korjaaminen maksaa 120€/h ilmoituksen tehneelle käyttäjälle. Joku tuossa yhtälössä ei vain toimi.

Lähin vertaus olisi, että ilmoittaisin rokottavani 120€/tunti siitä, että joku haluaisi sähköpostitse sääasematietojansa korjattavan FinWX:llä.

Valitettavasti melko tiukka linjaus ja yksityisen näkökulmasta kohtuuton veloitus on varmasti helpoin tapa edetä. Toisaalta hinnoittelusta voisi olla hyvä herättää keskustelua rakentavien ehdotusten kera. FMI ei varmuudella jää viimeiseksi tuollaista yksityiselle kestämätöntä hinnoittelua ylläpitäväksi. Ei, ellei avoimen datan osalta tule jotain yleistä linjausta siitä, millaista tukea on tarjottava ja millaisin kustannuksin.

Totta kyllä, tosin weatherc:n kokema vastaus kyllä tuntuu jo rimanalitukselta.
Jos asiasta halutaan herättää keskustelua, se saatiin nyt aikaan. Tässä herää vain kysymys, että jos data on avointa, miksi rajanvedot ja hinnat eivät ole? Niin pitkään, kun tuollaisia hintoja randomina heitellään sähköpostivastauksina takaisin tarkoituksena saada kysyjä hiljaiseksi, on varmaa ettei keskustelun sävy voi olla datan tarjoajan suuntaan välittömästi positiivista.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: systeemi - Lauantai, 06.09.2014, 21:27
Liikenne ja viestintäministerille pitäisi lähettää viestiä. Ilmaisesta ja avoimesta palvelusta josta veloitetaan 125€/h. Ihan että vaan tietää että tämmöistä tapahtuu.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Lauantai, 06.09.2014, 21:36
Lainaus
Jos avointa dataa tarjotaan, käyttäjät sitä käyttää ja sille on asetettu (ainakin tietääkseni) jonkinlainen käyttölimiitti,

Siellä on limiitit datan käytölle olemassa ja ihan ymmärrettävästä syystä, YR:llä oli aiaksemmin ongelmia siinä että eräät Appsit pommittivat XML-hakuja kun päivittelivät paikannusta alvariinsa. 20K kyselyä/vrk tai 600 kyselyä/5 min. Meikäläisellä menee tyyliin 100 kyselyä tunnissa (tutkakuvat jotka ovat saatavilla vain per yksittäinen tutka kasvattaa tuota aika lailla).

Lainaus
Jos avointa dataa tarjotaan, käyttäjät sitä käyttää ja sille on asetettu (ainakin tietääkseni) jonkinlainen käyttölimiitti, ei datan käytön laajuudella pitäisi olla mitään merkitystä. Itselleni jäi sellainen tunne tuosta ainakin, että jos heidän järjestelmä bugaa niin ettei saatavilla olevaa, pyydettyä spesifistä dataa saa ulos, sellaisen tilanteen korjaaminen maksaa 120€/h ilmoituksen tehneelle käyttäjälle. Joku tuossa yhtälössä ei vain toimi.

Totta. Tuo juuri muakin ihmetytti. Olisin ymmärtänyt asian edes etäisesti siinä vaiheessa jos olisin kysellyt jotain todella nörttimäistä heiltä mutta tässä kohtaa sitä ei kyllä löydy tippaakaan koska viestini oli lähinnä virheen ilmoitus koska heitin serveri ei saanut ulos haluttua dataa vaikka kuinka pitäisi.

Lainaus
Liikenne ja viestintäministerille pitäisi lähettää viestiä. Ilmaisesta ja avoimesta palvelusta josta veloitetaan 125€/h. Ihan että vaan tietää että tämmöistä tapahtuu.

Tuon voisi muuten tehdä :)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 11.09.2014, 14:15
Kirjelmä lvm:än suuntaan lähti sunnuntaina. Sieltä tosin ei vastausta ole herunnut.
Mutta, FMI:n kaavakkeeseen tuli tänään jatkomailia, "oli jäänyt huomaamatta" tuo kysymys koskien vanhempia tutkakuvia...Anna mun epäillä edes hitusen...

Joka tapauksesa, tärkein on kuitenkin se itse vastaus, vastaus selitti täysin miksei vanhemmissa kuvissa ole dataa, niitä ei toistaiseksi ole kuin edelliset 5 päivää saatavilla. Tulossa on kyllä jossain vaiheessa että voisi hakea myös vanhempia kuvia...
Varsinainen ongelma tuli tosin ratkottua aika pitkälle jo muutama päivä sitten etelä-suomen yli pyyhkineen sade-alueen avulla....

Ok. Tämänkin olisi voinut välttää jos (a) olisi foorumin tapainen jonne kertyisi tehdyt kysymykset vastauksineen tai (b) tuo dokementaatiopuoli avoimesta datasta olisi parempi...
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: systeemi - Perjantai, 12.09.2014, 12:27
Olen joskus aikonaan ollut suoraan ministeriöön yhteydessä sähköpostitse. Omalla nimellä, osoite ja yhteystiedoilla allekirjoitettuna.  Hämmästykseksesi yhtenä iltana huomasin että ministeri otti haastattelussa kantaa juuri kyseiseen asiaan. Kyllä ne lukevat kaikki asialliset viestit mitä sinne lähettää. Tai no anakin suhteellisen varma olen siitä että lukevat.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Perjantai, 12.09.2014, 13:20
Olen joskus aikonaan ollut suoraan ministeriöön yhteydessä sähköpostitse. Omalla nimellä, osoite ja yhteystiedoilla allekirjoitettuna.  Hämmästykseksesi yhtenä iltana huomasin että ministeri otti haastattelussa kantaa juuri kyseiseen asiaan. Kyllä ne lukevat kaikki asialliset viestit mitä sinne lähettää. Tai no anakin suhteellisen varma olen siitä että lukevat.

Juu, sama mielikuva täälläkin on enkä edes odottanut että sieltä vastausta tulisi heti maanantaina. En muista mistä joskus laitoin johonkin ministeriöön viestiä niin vastaus tuli jonkn ajan päästä itse ministeriltä  :)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: ahpe - Lauantai, 25.07.2015, 05:44
Minulta on kysytty että pystynkö selvittään kuinka kova oli max tuulenpuuska 9.7.2015, omalla asemalla se oli 7.2 m/s, (mittaus on 2 m:n korkeudella), eikä siten anna oikeaa kuvaa mitä se oli FMI: n asemalla n. 1 km päässä.

Olen yrittänyt sitä tulkita FMI: n avoimen datan kyselyn tuloksista, mutta en kyllä pysty siitä tulkitsemaan mikä arvo niissä on tuulilukema?

Onko kysely oikeasta paikasta, josta sen saisin selville?

Kyselyllä:

Lainaus
http://data.fmi.fi/fmi-apikey/xxx-xxx-xxx-xxx-xxx/wfs?request=getFeature&storedquery_id=fmi::observations::weather::timevaluepair&place=pello&timestep=30&starttime=2015-07-08T17:00:00Z&endtime=2015-07-09T18:30:00Z&

tulee monta sivua seuraavanlaista: Mitähän sitten tarkoittavatkin?
Lainaus
<gml:Point gml:id="point-1-1-t2m" srsName="http://www.opengis.net/def/crs/EPSG/0/4258" srsDimension="2">
<gml:name>Pello kk Museotie</gml:name>
<gml:pos>66.77278 23.96303</gml:pos>
<wml2:MeasurementTimeseries gml:id="obs-obs-1-1-t2m">
<wml2:point>
<wml2:MeasurementTVP>
<wml2:time>2015-07-08T17:00:00Z</wml2:time>
<wml2:value>14.7</wml2:value>
</wml2:MeasurementTVP>
</wml2:point>
<wml2:point>
<wml2:MeasurementTVP>
<wml2:time>2015-07-08T17:30:00Z</wml2:time>
<wml2:value>14.8</wml2:value>
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Lauantai, 25.07.2015, 11:23
Ihan oikea paikka tuo on havainnoille :)
Tuollaista xml-sontaa tuo data on. Tosin xml2array PHP-funktio saa sen hitusen järkevämpään muotoon.

Tuulen nopeuden "id" on ws_10min ja puuskien "wg_10min":
<wml2:MeasurementTimeseries gml:id="obs-obs-1-1-wg_10min">

Pikainen selailu antoi max puuskaksi 11.8 m/s, mutta, oletuksena ainakin on tuo data 30 min jaksoissa joten sieltä uupuu 20 min joka puol tunti. Muuta timestep-kohta urlissa asentoon 10 niin saat datat 10 min jaksoissa.

xml2array.php
Koodia: [Valitse]
function xml2array($contents, $get_attributes=1, $priority = 'tag') {
    if(!$contents) return array();

    if(!function_exists('xml_parser_create')) {
        //print "'xml_parser_create()' function not found!";
        return array();
    }

    //Get the XML parser of PHP - PHP must have this module for the parser to work
    $parser = xml_parser_create('');
    xml_parser_set_option($parser, XML_OPTION_TARGET_ENCODING, "UTF-8"); # http://minutillo.com/steve/weblog/2004/6/17/php-xml-and-character-encodings-a-tale-of-sadness-rage-and-data-loss
    xml_parser_set_option($parser, XML_OPTION_CASE_FOLDING, 0);
    xml_parser_set_option($parser, XML_OPTION_SKIP_WHITE, 1);
    xml_parse_into_struct($parser, trim($contents), $xml_values);
    xml_parser_free($parser);

    if(!$xml_values) return;//Hmm...

    //Initializations
    $xml_array = array();
    $parents = array();
    $opened_tags = array();
    $arr = array();

    $current = &$xml_array; //Refference

    //Go through the tags.
    $repeated_tag_index = array();//Multiple tags with same name will be turned into an array
    foreach($xml_values as $data) {
        unset($attributes,$value);//Remove existing values, or there will be trouble

        //This command will extract these variables into the foreach scope
        // tag(string), type(string), level(int), attributes(array).
        extract($data);//We could use the array by itself, but this cooler.

        $result = array();
        $attributes_data = array();
       
        if(isset($value)) {
            if($priority == 'tag') $result = $value;
            else $result['value'] = $value; //Put the value in a assoc array if we are in the 'Attribute' mode
        }

        //Set the attributes too.
        if(isset($attributes) and $get_attributes) {
            foreach($attributes as $attr => $val) {
                if($priority == 'tag') $attributes_data[$attr] = $val;
                else $result['attr'][$attr] = $val; //Set all the attributes in a array called 'attr'
            }
        }

        //See tag status and do the needed.
        if($type == "open") {//The starting of the tag '<tag>'
            $parent[$level-1] = &$current;
            if(!is_array($current) or (!in_array($tag, array_keys($current)))) { //Insert New tag
                $current[$tag] = $result;
                if($attributes_data) $current[$tag. '_attr'] = $attributes_data;
                $repeated_tag_index[$tag.'_'.$level] = 1;

                $current = &$current[$tag];

            } else { //There was another element with the same tag name

                if(isset($current[$tag][0])) {//If there is a 0th element it is already an array
                    $current[$tag][$repeated_tag_index[$tag.'_'.$level]] = $result;
                    $repeated_tag_index[$tag.'_'.$level]++;
                } else {//This section will make the value an array if multiple tags with the same name appear together
                    $current[$tag] = array($current[$tag],$result);//This will combine the existing item and the new item together to make an array
                    $repeated_tag_index[$tag.'_'.$level] = 2;
                   
                    if(isset($current[$tag.'_attr'])) { //The attribute of the last(0th) tag must be moved as well
                        $current[$tag]['0_attr'] = $current[$tag.'_attr'];
                        unset($current[$tag.'_attr']);
                    }

                }
                $last_item_index = $repeated_tag_index[$tag.'_'.$level]-1;
                $current = &$current[$tag][$last_item_index];
            }

        } elseif($type == "complete") { //Tags that ends in 1 line '<tag />'
            //See if the key is already taken.
            if(!isset($current[$tag])) { //New Key
                $current[$tag] = $result;
                $repeated_tag_index[$tag.'_'.$level] = 1;
                if($priority == 'tag' and $attributes_data) $current[$tag. '_attr'] = $attributes_data;

            } else { //If taken, put all things inside a list(array)
                if(isset($current[$tag][0]) and is_array($current[$tag])) {//If it is already an array...

                    // ...push the new element into that array.
                    $current[$tag][$repeated_tag_index[$tag.'_'.$level]] = $result;
                   
                    if($priority == 'tag' and $get_attributes and $attributes_data) {
                        $current[$tag][$repeated_tag_index[$tag.'_'.$level] . '_attr'] = $attributes_data;
                    }
                    $repeated_tag_index[$tag.'_'.$level]++;

                } else { //If it is not an array...
                    $current[$tag] = array($current[$tag],$result); //...Make it an array using using the existing value and the new value
                    $repeated_tag_index[$tag.'_'.$level] = 1;
                    if($priority == 'tag' and $get_attributes) {
                        if(isset($current[$tag.'_attr'])) { //The attribute of the last(0th) tag must be moved as well
                           
                            $current[$tag]['0_attr'] = $current[$tag.'_attr'];
                            unset($current[$tag.'_attr']);
                        }
                       
                        if($attributes_data) {
                            $current[$tag][$repeated_tag_index[$tag.'_'.$level] . '_attr'] = $attributes_data;
                        }
                    }
                    $repeated_tag_index[$tag.'_'.$level]++; //0 and 1 index is already taken
                }
            }

        } elseif($type == 'close') { //End of tag '</tag>'
            $current = &$parent[$level-1];
        }
    }
   
    return($xml_array);
}   
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: ahpe - Lauantai, 25.07.2015, 18:18
Kiitos tiedoista, mielenkiintoista luettavaa. ???

Tein haun:

http://data.fmi.fi/fmi-apikey/xxx-xxx-xxx-xxx-xxx/wfs?request=getFeature&storedquery_id=fmi::observations::weather::timevaluepair&place=pello&timestep=10&starttime=2015-02-07T00:10:00Z&endtime=2015-02-08T23:30:00Z&

Lainaus
<wml2:MeasurementTimeseries gml:id="obs-obs-1-1-wg_10min">

ja sain seuravaa:

[quotewml2:point>
<wml2:MeasurementTVP>
<wml2:time>2015-02-07T23:40:00Z</wml2:time>
<wml2:value>22.5</wml2:value>
</wml2:MeasurementTVP>
</wml2:point>
<wml2:point>
<wml2:MeasurementTVP>
<wml2:time>2015-02-07T23:50:00Z</wml2:time>
<wml2:value>18.1</wml2:value>
</wml2:MeasurementTVP>
</wml2:point>
<wml2:point>
<wml2:MeasurementTVP>
<wml2:time>2015-02-08T00:00:00Z</wml2:time>
<wml2:value>23.0</wml2:value>
</wml2:MeasurementTVP>
</wml2:point>][/quote]

tuon mukaan kovin puuska 10 min olisi ollut 23 m/s ?

Tulkitsenko tuon oikein?
Jostain vielä löytyisi myös tuulen suunta?
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Lauantai, 25.07.2015, 18:40
Juup. Tuon mukaan se olisi ollut 23 m/s.

Tuulen suunta on wd_10min.

Tuossa koko lista jota itse käytän jossa id:n alusta siivottu pois "point-point-1-" tai "obs-obs-1-" tai mikä se alku onkaan. Tuosta uupuu muutama parametri jota löytyy xml-filusta.

wd_10min = tuulen suunta
wawa = säätila
ws_10min = tuulen nopeus
wg_10min = puuskatuuli
p_sea = ilmanpaine
rh = ilmankosteus
t2m = lämpötila
r_1h = 1h sademäärä
ri_10min = sateen rankkuus
snow_aws = lumen syvyys niiltä asemilta jossa se on
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: sm3 - Tiistai, 08.11.2016, 10:42
Sähköpostiin tuli tämmöstä:

Ilmatieteen laitos julkaisee ohjelmistojaan avoimena lähdekoodina
http://ilmatieteenlaitos.fi/tiedote/269599753

Itse en aio hyödyntää, mutta ajattelin että jotakuta täällä voisi kiinnostaa.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Tiistai, 08.11.2016, 21:10
Pitääpi seurailla mitä tuonne Githubiin ilmestyy ;D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Jouzer - Maanantai, 05.06.2017, 10:46
Tervehdys! Ajattelin kysyä täältä neuvoa enkä hakata päätä puuhun enää pidempään tän asian kanssa.

Eli tarkoitus olisi tehdä serverille pyörimään ohjelma, joka hakee lämpötilaennustuksen Ilmatieteen Laitoksen avoin data palvelusta x ajan päähän, parsii siitä sen tarvittavan tiedon ja tallentaa sen arvon ASCIIna esim. tekstitiedostoon.

Onko jotain ehdotuksia miten tää toteutus menisi? Löytyisikö noista GitHubin resursseista joku melko valmis ratkaisu? Katselin tuota edellä jaettua php scriptiä ja GitHubissa näytti olevan muutama C++ kirjoitettu ohjelma, mutta kun en niistä oikein tiedä mikä on se resurssi mitä kannattaisi käyttää tähän hommaan.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Maanantai, 05.06.2017, 16:11
Tervehdys, ja tervetuloa foorumille!

Ihan ensimmäiseksi, kuinka pitkän ajan päähän haluat ennustetta?
FMI:n avoimessa datassa ei ole kuin 48h (52h max riippuen ajankohdasta). Sitä pidemmälle mentäessä on melkein turvauduttava YR.no:n XML-tiedostoihin:
http://api.yr.no/weatherapi/locationforecast/1.9/?lat=61&lon=24
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Jouzer - Tiistai, 06.06.2017, 16:22
Kiitti!

48h riittää mainiosti. Data on kyllä varmasti sopivaa, pitäisi vaan saada kone automaattisesti hakemaan ja parsimaan ja tallentamaan  tarpeellinen data asciiksi.  Oisko antaa vinkkejä?
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Keskiviikko, 07.06.2017, 14:14
Ei oikeen muuta kun koittaa löytää xml-parseri haluamalle kielelle. Tuossa pikainen PHP:lle joka palauttaa kaikki arvot $yrfr-arrayssä:

Koodia: [Valitse]
<?php
$cit
="Paikkakunta";
URL 'http://data.fmi.fi/fmi-apikey/API-AVAIN-TÄHÄN/wfs?request=getFeature&storedquery_id=fmi::forecast::hirlam::surface::point::timevaluepair&timestep=60&crs=EPSG::4326&place='.fixurl($cit);
$root "/fmi/cache/";
$cacheName $root.'fmifrcst_'.md5($cit).'.txt';  // prototype for path/filename for cache file
$fetchSeconds 3600;  // refresh every hour

if (file_exists($cacheName) and filemtime($cacheName) + $fetchSeconds time()) {
  
$html file_get_contents($cacheName);
} else {
  
$html file_get_contents($URL);
  
file_put_contents($cacheName,$html);;
}

$xml=xml2array($html);
//print_r($xml);
$xml $xml["wfs:FeatureCollection"]["wfs:member"]; 
  
for(
$i=0;$i<count($xml);$i++){
  if(
$i==0){
    
$place $xml[$i]["omso:PointTimeSeriesObservation"]["om:featureOfInterest"]["sams:SF_SpatialSamplingFeature"]["sams:shape"]["gml:MultiPoint"]["gml:pointMembers"]["gml:Point"][1]["gml:name"];
    
$coords $xml[$i]["omso:PointTimeSeriesObservation"]["om:featureOfInterest"]["sams:SF_SpatialSamplingFeature"]["sams:shape"]["gml:MultiPoint"]["gml:pointMembers"]["gml:Point"]["gml:pos"];
    
$frctime $xml[$i]["omso:PointTimeSeriesObservation"]["om:resultTime"]["gml:TimeInstant"]["gml:timePosition"];
  }
    
  
$id $xml[$i]["omso:PointTimeSeriesObservation"]["om:result"]["wml2:MeasurementTimeseries_attr"]["gml:id"];
  
$id str_replace("1-1-","",$id);
  
$vals $xml[$i]["omso:PointTimeSeriesObservation"]["om:result"]["wml2:MeasurementTimeseries"]["wml2:point"];
  for(
$t=0;$t<count($vals);$t++) {
    
$line $vals[$t];
    if(
$i==0){$yrfr[times][] = strtotime($line["wml2:MeasurementTVP"]["wml2:time"]);}
    
$yrfr[$id][] = $line["wml2:MeasurementTVP"]["wml2:value"];
  }
}
//print_r($yrfr);

function xml2array($contents$get_attributes=1$priority 'tag') {
    if(!
$contents) return array();

    if(!
function_exists('xml_parser_create')) {
        
//print "'xml_parser_create()' function not found!";
        
return array();
    }

    
//Get the XML parser of PHP - PHP must have this module for the parser to work
    
$parser xml_parser_create('');
    
xml_parser_set_option($parserXML_OPTION_TARGET_ENCODING"UTF-8"); # http://minutillo.com/steve/weblog/2004/6/17/php-xml-and-character-encodings-a-tale-of-sadness-rage-and-data-loss
    
xml_parser_set_option($parserXML_OPTION_CASE_FOLDING0);
    
xml_parser_set_option($parserXML_OPTION_SKIP_WHITE1);
    
xml_parse_into_struct($parsertrim($contents), $xml_values);
    
xml_parser_free($parser);

    if(!
$xml_values) return;//Hmm...

    //Initializations
    
$xml_array = array();
    
$parents = array();
    
$opened_tags = array();
    
$arr = array();

    
$current = &$xml_array//Refference

    //Go through the tags.
    
$repeated_tag_index = array();//Multiple tags with same name will be turned into an array
    
foreach($xml_values as $data) {
        unset(
$attributes,$value);//Remove existing values, or there will be trouble

        //This command will extract these variables into the foreach scope
        // tag(string), type(string), level(int), attributes(array).
        
extract($data);//We could use the array by itself, but this cooler.

        
$result = array();
        
$attributes_data = array();
        
        if(isset(
$value)) {
            if(
$priority == 'tag'$result $value;
            else 
$result['value'] = $value//Put the value in a assoc array if we are in the 'Attribute' mode
        
}

        
//Set the attributes too.
        
if(isset($attributes) and $get_attributes) {
            foreach(
$attributes as $attr => $val) {
                if(
$priority == 'tag'$attributes_data[$attr] = $val;
                else 
$result['attr'][$attr] = $val//Set all the attributes in a array called 'attr'
            
}
        }

        
//See tag status and do the needed.
        
if($type == "open") {//The starting of the tag '<tag>'
            
$parent[$level-1] = &$current;
            if(!
is_array($current) or (!in_array($tagarray_keys($current)))) { //Insert New tag
                
$current[$tag] = $result;
                if(
$attributes_data$current[$tag'_attr'] = $attributes_data;
                
$repeated_tag_index[$tag.'_'.$level] = 1;

                
$current = &$current[$tag];

            } else { 
//There was another element with the same tag name

                
if(isset($current[$tag][0])) {//If there is a 0th element it is already an array
                    
$current[$tag][$repeated_tag_index[$tag.'_'.$level]] = $result;
                    
$repeated_tag_index[$tag.'_'.$level]++;
                } else {
//This section will make the value an array if multiple tags with the same name appear together
                    
$current[$tag] = array($current[$tag],$result);//This will combine the existing item and the new item together to make an array
                    
$repeated_tag_index[$tag.'_'.$level] = 2;
                    
                    if(isset(
$current[$tag.'_attr'])) { //The attribute of the last(0th) tag must be moved as well
                        
$current[$tag]['0_attr'] = $current[$tag.'_attr'];
                        unset(
$current[$tag.'_attr']);
                    }

                }
                
$last_item_index $repeated_tag_index[$tag.'_'.$level]-1;
                
$current = &$current[$tag][$last_item_index];
            }

        } elseif(
$type == "complete") { //Tags that ends in 1 line '<tag />'
            //See if the key is already taken.
            
if(!isset($current[$tag])) { //New Key
                
$current[$tag] = $result;
                
$repeated_tag_index[$tag.'_'.$level] = 1;
                if(
$priority == 'tag' and $attributes_data$current[$tag'_attr'] = $attributes_data;

            } else { 
//If taken, put all things inside a list(array)
                
if(isset($current[$tag][0]) and is_array($current[$tag])) {//If it is already an array...

                    // ...push the new element into that array.
                    
$current[$tag][$repeated_tag_index[$tag.'_'.$level]] = $result;
                    
                    if(
$priority == 'tag' and $get_attributes and $attributes_data) {
                        
$current[$tag][$repeated_tag_index[$tag.'_'.$level] . '_attr'] = $attributes_data;
                    }
                    
$repeated_tag_index[$tag.'_'.$level]++;

                } else { 
//If it is not an array...
                    
$current[$tag] = array($current[$tag],$result); //...Make it an array using using the existing value and the new value
                    
$repeated_tag_index[$tag.'_'.$level] = 1;
                    if(
$priority == 'tag' and $get_attributes) {
                        if(isset(
$current[$tag.'_attr'])) { //The attribute of the last(0th) tag must be moved as well
                            
                            
$current[$tag]['0_attr'] = $current[$tag.'_attr'];
                            unset(
$current[$tag.'_attr']);
                        }
                        
                        if(
$attributes_data) {
                            
$current[$tag][$repeated_tag_index[$tag.'_'.$level] . '_attr'] = $attributes_data;
                        }
                    }
                    
$repeated_tag_index[$tag.'_'.$level]++; //0 and 1 index is already taken
                
}
            }

        } elseif(
$type == 'close') { //End of tag '</tag>'
            
$current = &$parent[$level-1];
        }
    }
    
    return(
$xml_array);
}
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Jouzer - Keskiviikko, 07.06.2017, 15:47
Vau, no kiitos. Pitää tutustua ajan kanssa. Onko toi ihan toimiva pätkä vai enemmänki periaate?
XML parseri mul itseasias on jo sille kohdekielelle, et yks vaihtoehto olisi se että parsis siellä purkissa minne data on tarkoitus saada. No, nää ratkee kyllä, lähinnä ajattelin miten tuo data haetaan automaattisesti kun kaikki web-koodaus on aika tuntematonta mulle mutta aika näppärästi se näyttäs menevän jos tollasella pätkällä selviää. Kiitos!
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Keskiviikko, 07.06.2017, 22:02
Vau, no kiitos. Pitää tutustua ajan kanssa. Onko toi ihan toimiva pätkä vai enemmänki periaate?

Ihan toimiva, nappasin sen skripistä joka raksuttaa tuota FMIennuste-sivua nordicweatherissä. :)

Jos koordinaatit ovat helpompia eikä jaksa metsästää sopivaa paikkakuntaa niin sen ennusteen voi myös hakea niillä:

http://data.fmi.fi/fmi-apikey/API-AVAIN-TÄHÄN/wfs?request=getFeature&storedquery_id=fmi::forecast::hirlam::surface::point::timevaluepair&timestep=60&&crs=EPSG::4326&latlon=$lat,$lon
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Jouzer - Torstai, 17.08.2017, 09:16
Tervehdys taas! Nyt saatiin aikaiseksi tehdä tuo ohjelma mikä lataa ja parsii tuon xml:än ja sain sen jopa toimimaan.

Ongelma on nyt vaan, kun en sääennustuksista juuri mitään tiedä, on ymmärtää mitä mikäkin arvo tarkoittaa. Jos joku tietäväinen viittisi tähän vastata niin varmaan hyödyttäisi kaikkia ilmatieteen laitoksen dataa käyttäviä koska en tunnin googletuksella saanut näihin selvyyttä. :D Täytän tähän ne mitkä itse tiedän.

Selite (yksikkö)

Temperature = Lämpötila (celcius)
Pressure = Ilmanpaine (pa)
Humidity = Ilmankosteus (%)
WindDirection = Tuulen suunta. (Onkohan tässä toi numero asteluku jossa pohjoinen on 0 astetta..?)
WindSpeedMS = Tuulen nopeus (m/s)
WindUMS = U-component of wind vector (Voidaan laskea tuulen nopeus ja suunta)
WindVMS = V-component of wind vector  ^
MaximumWind = Maksimituuli (m/s)
WindGust = Puuskatuuli (m/s)
DewPoint = Kastepiste-lämpötila (celcius)
TotalCloudCover = Pilvien peittävyys (%)
WeatherSymbol3 = Tähän tulee http://ilmatieteenlaitos.fi/latauspalvelun-pikaohje tuolta taulukosta löytyvä sääikonia vastaava numero
LowCloudCover = Pilvien peittävyys matalalla (%?)
MediumCloudCover = Pilvien peittävyys keskivaiheilla (%?)
HighCloudCover = Pilvien peittävyys korkealla (%?)   ^  Ei tietoa korkeuksista
Precipitation1h = Sateen määrä tunnissa ("mm" eli l/m2 ?)
PrecipitationAmount = Sademäärä, ei tietoa aikajaksosta
RadiationGlobalAccumulation = (J/m2/1s)
RadiationLWAccumulation = Pitkäaaltoinen kumuloitu säteily (J/m2/1s)
RadiationNetSurfaceLWAccumulation = Pitkäaaltoinen (Infrapuna, "lämpö") maanpinnan kumuloitu netto (J/m2/1s) http://www.earthonlinemedia.com/ebooks/tpe_3e/energy/longwave_radiation.html
RadiationNetSurfaceSWAccumulation = Lyhytaaltoinen (valo, UV) maanpinnan kumuloitu netto (J/m2/1s)
RadiationDiffuseAccumulation = "Taittunut säteily" tjsp. https://en.wikipedia.org/wiki/Diffuse_sky_radiation

No, te varmaan tiedätte nämä, täytin vaan ne mistä olin olevinaan varma.
Muokkaan tän postin kuntoon sitte jos saadaan taulukkoon täytettä. Kiitos!
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 17.08.2017, 14:45
XML-filussa löytyy osoitteet selityksiin jokaisen parametrin kohdalla, esim WindUMS:
<om:observedProperty xlink:href="http://data.fmi.fi/fmi-apikey/API-AVAIN/meta?observableProperty=forecast&param=WindUMS&language=eng"/>
joka kertoo että : U-component of wind vector

WindUMS:lla + WindVMS:llä saa laskettua sekä tulen nopeuden että suunnan.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Jouzer - Perjantai, 18.08.2017, 12:33
Näköjään! Tosin ilman tuota viimeistä lausettasi asia ei olisi auennut (minulle). Yritin katsella kaikkia mitä tuossa HIRLAM(?) xml:ssä on, mutta esimerkiksi noi Radiation hommia ei ole juurikaan selitellyt. Tarvisi siis itse tietää näistä vastaako joku Forecan "Auringon säteilyn vaikutus w/m2" arvoa, mutta olisi varmaan hyvä myös jos internetissä olisi lista asian kanssa puuhaaville.

Katselin myös muita ja selitteet on kyllä sen verran lyhytsanaisia että ei-harrastajalle ei varmaan aukene. Ajattelin, että tämä voisi olla hyvä paikka kasata lista myös tuleville tiedonetsijöille.
No kiitos nyt kuitenkin neuvosta!
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Perjantai, 18.08.2017, 13:20
Se on totta että nuo selitykset ovat lyhyen puoleisia ja monesti oon itsekkin laittanut selityksen Googleen ja katsonut että antaisko se enemmän tietoa siitä. Pätee myös GRIB-filujen .ctl-filun selityksiin...

Ei mullakaan ole oikeen hajua noista radiation-parametreistä. Kokeilemalla varmaan löytäis sen mikä parhaiten vastaa sitä "Auringon säteilyn vaikutus w/m2".

Noista muista niin
 
MaximumWind = Maksimi tuuli
WindGust = Puuskatuuli

LowCloudCover = Matalat pilvet
MediumCloudCover = Keskitason pilvet
HighCloudCover =  Korkeat pilvet
En nyt tähän hätään muista mitkä nuo tasojen rajat ovat mutta pilvet ovat jaoteltu kolmeen tasoon korkeuden mukaan.

Precipitation1h = Sateen määrä tunnissa ("mm" eli l/m2 ?) - jep
PrecipitationAmount = Sademäärä, ei tietoa aikajaksosta


Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Jouzer - Perjantai, 18.08.2017, 13:59
Jes kiitti, listahan saatiin täyteen toki jos joku tietäväinen näitä lukee ja haluaa kirjoittaa tarkempaa tietoa noista epämääräisistä selityksistä, niin päivitän niitä.

Säteilyt selvisi, valitettavasti (mun kannalta) kaikki säteilyarvot on kumuloituja (ei hajua ajanjaksoista tässäkään). Vähentelemällä aikaisemmasta tuloksesta olisi mahdollista saada niitä itselle hyödynnettäväksi datasta, mutta se jääköön odottamaan toistaiseksi.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Perjantai, 18.08.2017, 14:52
Säteilyt selvisi, valitettavasti (mun kannalta) kaikki säteilyarvot on kumuloituja (ei hajua ajanjaksoista tässäkään). Vähentelemällä aikaisemmasta tuloksesta olisi mahdollista saada niitä itselle hyödynnettäväksi datasta, mutta se jääköön odottamaan toistaiseksi.

Yleensä ovat nuo kumuloivien aikajakso sama mitä datan väli ellei parametrin nimi/selitys muuta kerro, eli jos dataa on tunnin välein niin on jaksokin tunti, eli uusi - edellinen = arvo.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Joppe - Maanantai, 15.01.2018, 11:26
Hieman jo näköjään unholaan painunut ketju, mutta kokeillaanpa herätellä henkiin..

Olen tuon FMI:n API:n kanssa itsekin hieman leikkinyt. Tausta omalta osalta on siinä, että rakentelen omaan eteiseen pientä infonäyttöä näyttämään lähimpien bussipysäkkien tilannetta (HSL:n api:sta kun saa nykyään pelkän aikatauluinfon lisäksi myös gps-perusteista dataa ihan oikeista ohitusajoista). Näyttöön jäi tyhjää tilaa, joten säätilahan siihen piti saada ja nälkä kasvaa syödessä, joten seuraavaksi ennusteet.. Tämä FMI:n api vaikutti alunperin sen verran mutkikkaalta, että ensin toteutin nuo openweathermap.org:n api:n avulla, mutta siinä varsinkin ennusteet osuvat niin huonosti, että FMI palasi takaisin tapetille.. yr.no:takin kokeilin, mutta en saanut sitä python2:lla toimimaan, joten se jäi siltä osin. No nyt kyllä "konvertoin" skriptinikin jo python3:lle ja nopsasti testasin, että nyt toimii jonkun muun tekemä python-kirjastokin ihan suoraan, joten sekin on kyllä vaihtoehto, mutta kyllähän Ilmatieteenlaitos kuulostaa silti luotettavimmalta taholta kertomaan Suomen sää.

Kovasti myös helpotti, kun löysin jonkun tekemän valmiin Python-skriptin periaatteessa samasta aiheesta:
https://wiki.helsinki.fi/display/SMEAR/FMI+data?preview=/243959959/243960512/getfmidata.py

Tuosta apinoin itselleni suoraan nuo parserointiosuudet, joten kiitoksia vaan jos vaikka tekijän silmiin viesti päätyy. :) Myös tämä ketju on luettu pariinkin kertaan kannesta kanteen, joten kiitoksia myös ketjun osallistujille, apua on jo ollut tästäkin.

Pari kysymystä tuosta FMI:n rajapinnasta kuitenkin:
-Eikö noille reaaliaikahavainnoille tosiaan ole tuota WeatherSymbol3:sta saatavilla? Se on ilmeisesti pelkän ennusteen puolella, en ole vielä FMI:n ennusteisiin paneutunut ollenkaan, tuosta reaaliaikaisesta minulla on tuossa versio joka suurinpiirtein muut tarvittavat tiedot kaivaa
-Mistä FMI:llä saa kuikuiltua auringon nousua/laskua, vai saako? Kyllä se ainakin Ilmatieteenlaitoksen omalla paikallisennustesivulla näkyy
-Mikä nyt on järjellisin "stored query" tuollaisen yksinkertaisen ennustetaulukon tekoon? Menee vähän sormi suuhun noiden kaikkien Hiramien ja hienojen termien kanssa. :)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Maanantai, 15.01.2018, 17:31
-Eikö noille reaaliaikahavainnoille tosiaan ole tuota WeatherSymbol3:sta saatavilla? Se on ilmeisesti pelkän ennusteen puolella, en ole vielä FMI:n ennusteisiin paneutunut ollenkaan, tuosta reaaliaikaisesta minulla on tuossa versio joka suurinpiirtein muut tarvittavat tiedot kaivaa

Ei taida olla muuta kun nuo numeeriset arvot saatavilla. Tietenkin niistä joissa esim. pilvisyys ja sateen intensiteetti pystyy kikkailemaan jonkun sortin ikonin jos haluaa.


-Mistä FMI:llä saa kuikuiltua auringon nousua/laskua, vai saako? Kyllä se ainakin Ilmatieteenlaitoksen omalla paikallisennustesivulla näkyy

Ei taida olla sitäkään. Mutta jos purkilla PHP asennettuna niin se osaa sen puolen varsin helpolla.
Koodia: [Valitse]
$sunri = date_sunrise(time(), SUNFUNCS_RET_STRING, $lat, $long, $zenith, $offset);
$sunse = date_sunset(time(), SUNFUNCS_RET_STRING, $lat, $long, $zenith, $offset);

-Mikä nyt on järjellisin "stored query" tuollaisen yksinkertaisen ennustetaulukon tekoon? Menee vähän sormi suuhun noiden kaikkien Hiramien ja hienojen termien kanssa. :)

Esim piste-ennusteella:
http://data.fmi.fi/fmi-apikey/API-AVAIN/wfs?request=getFeature&storedquery_id=fmi::forecast::hirlam::surface::point::timevaluepair&timestep=60&crs=EPSG::4326&latlon=61,23
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Joppe - Maanantai, 15.01.2018, 22:31
-Eikö noille reaaliaikahavainnoille tosiaan ole tuota WeatherSymbol3:sta saatavilla? Se on ilmeisesti pelkän ennusteen puolella, en ole vielä FMI:n ennusteisiin paneutunut ollenkaan, tuosta reaaliaikaisesta minulla on tuossa versio joka suurinpiirtein muut tarvittavat tiedot kaivaa

Ei taida olla muuta kun nuo numeeriset arvot saatavilla. Tietenkin niistä joissa esim. pilvisyys ja sateen intensiteetti pystyy kikkailemaan jonkun sortin ikonin jos haluaa.


-Ok, kiitos, sitten en taistele tuon asian kanssa enempää. :)

-Mistä FMI:llä saa kuikuiltua auringon nousua/laskua, vai saako? Kyllä se ainakin Ilmatieteenlaitoksen omalla paikallisennustesivulla näkyy

Ei taida olla sitäkään. Mutta jos purkilla PHP asennettuna niin se osaa sen puolen varsin helpolla.
Koodia: [Valitse]
$sunri = date_sunrise(time(), SUNFUNCS_RET_STRING, $lat, $long, $zenith, $offset);
$sunse = date_sunset(time(), SUNFUNCS_RET_STRING, $lat, $long, $zenith, $offset);

-Tuo kaipasikin näköjään vähän vain oikeanlaista lähestymistapaa. Purkki on Raspberry Pi ja kyllähän sinne asentuu mitä vaan, mutta löytyi tuohon tarkoitukseen näköjään pyyttonillekin valmis library ( https://github.com/jebeaudet/SunriseSunsetCalculator ), joka nyt jo ensiyrittämälläkin jotain aikoja tulosteli, joten sen saanee toimimaan kyllä. Tuolla asialla ei tosiaan tainnutkaan olla ennustamisen kanssa tekemistä, se olikin ihan laskettavissa oleva asia. :)

-Mikä nyt on järjellisin "stored query" tuollaisen yksinkertaisen ennustetaulukon tekoon? Menee vähän sormi suuhun noiden kaikkien Hiramien ja hienojen termien kanssa. :)

Esim piste-ennusteella:
http://data.fmi.fi/fmi-apikey/API-AVAIN/wfs?request=getFeature&storedquery_id=fmi::forecast::hirlam::surface::point::timevaluepair&timestep=60&crs=EPSG::4326&latlon=61,23

-Kiitos, tämä pitää testailla paremman ajan kanssa.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: huuhaa - Tiistai, 27.02.2018, 13:07
Voisko joku vastata typerään kysymykseen.. Eli koska itse en ole javascriptiin ym juuri perehtynyt, niin mitenkäs tuolta FMI Avoimesta Datasta saa tuotua sivuiille esimerkiksi tietyn paikkakunnan 5 vuorokauden sääennusteen?

https://github.com/fmidev/metoclient-ui  (tätä käyttäen??)

Siitä vaan en päässyt esimerkkejäkään katsoessani yhtään kärylle, että miten tuossa paikkakuntaa määriteltäisiin ja esimerkeissä ei myöskään api avainta ollut..

Tuon linkin siis sain kun asiaa fmi-betalta kyselin, että olisiko tuollaiseen esimerkkiä aloittelijalle...

Edit: Todettakoon sen verran, että yr.no tiedot sai ongelmitta javascriptillä ilman kokemustakin, mutta katson tänne jossain vaiheessa josko on tullut tietoa asiaan / viittausta oikeaan suuntaan.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: J.Jäntti - Lauantai, 03.03.2018, 18:36
Ensimmäiseksi, jotta dataa saa ulos avoimesta rajapinnasta, pitää hankkia API-avain, muutoin homma tyssää aika lailla siihen. Sellaisen saa, kun rekisteröityy avoimen datan käyttäjäksi. Alla oleva linkki vie sinut kyseiselle rekisteröintisivulle:
https://ilmatieteenlaitos.fi/rekisteroityminen-avoimen-datan-kayttajaksi

Se, mitenkä kysymässäsi paikassa määritellään "aloittelija" niin onkin sitten vähän toinen homma. Koska FMI:llä on avoimessa rajapinnassa dataa lievästi sanottuna huikea määrä, kannattaa tutustua ainakin ensin pikaohjeisiin, alla olevasta linkistä. Siitä saa selville miten kysely muodostetaan.
http://ilmatieteenlaitos.fi/latauspalvelun-pikaohje

Paikkakuntaa itsessään ei minun oman, huteran osaamiseni mukaan tuolta saa noudettua, vaan kaikki kyselyt kohdistetaan karttakoordinaateilla. Maanmittauslaitoksen palvelu [urlhttps://asiointi.maanmittauslaitos.fi/karttapaikka/]Karttapaikka[/url], auttaa koordinaattien hakemisessa.
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Sunnuntai, 04.03.2018, 10:46
Paikkakuntaa itsessään ei minun oman, huteran osaamiseni mukaan tuolta saa noudettua, vaan kaikki kyselyt kohdistetaan karttakoordinaateilla. Maanmittauslaitoksen palvelu [urlhttps://asiointi.maanmittauslaitos.fi/karttapaikka/]Karttapaikka[/url], auttaa koordinaattien hakemisessa.

Ainakin ennen on myös pystynyt hakemaan paikkakunnan nimellä noita datoja, en tiedä toimiiko enään. Itse käytän koordinaatteja jo senkin takia että silloin saa varmasti sen haluamansa pisteen datan, sitä kun ei koskaan tiedä mihin jonkun paikkakunnan "keskipiste" on määritelty jos hakee nimellä.
Toinen helppo keino löytää jonkun paikan koodinaatit on Google Mapsista, zoomaa riittävän lähelle => oikealla hiirinamiskalla avautuvasta valikosta "Mitä täällä on?". :)
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Jouzer - Torstai, 11.10.2018, 10:22
Tervehdys jälleen. Sääpalvelin on rokannut jo pidemmän aikaa ilman ongelmia, mutta nyt on alkanut merkillinen käyttäytyminen parin päivän sisällä.

Ohjelmani joka hakee sääennustukset on alkanut hälyyttelemään epäonnistuneista webgetfile yrityksistä. Ajattelin, että ehkä fmidata on laittanut jonkun DDos tyylisen eston kun mulla 12 hakua pamahtaa samalla sekunnilla joka tunti. No, ei auttanut vaikka jaksotin haun. Sitten kun painan ohjelmani hae manuaalisesti nappulaa, yleensä lataus onnistuu.

24 x 12 = jotain kolmensadan luokkaa eli tuo ilmatieteen laitoksen sivuilla mainittu 10 000 (? joku valtava luku se oli) maksimihakua vuorokaudessa ei täyty lähimainkaan API-avaimelle

Onko muilla ollut ongelmia nyt viimepäivinä?

Täytyy palata vanhan sorvin ääreen, nuo sähköpostihälytykset alkaa vähän jurnia. :D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: weatherc - Torstai, 11.10.2018, 22:14
En ole kyllä huomannut mitään. Mutta jaksottaisin kyllä tuollaiset bulkkihaut niin että ainakin sekunti väliä. Ihan "just in case" ettei tuu bannia...
Se että saa hakea vaikkapa 10k hakua tunnissa ei tarkoita että ne sais hakea samalla sekunnilla kerralla pommina.  ;D
Otsikko: Vs: FMI avoin data beta ja sen kokeilut
Kirjoitti: Jouzer - Maanantai, 15.10.2018, 10:03
Jep, päivitin eka minuutin jaksot jokaiselle ja nyt laitoin vielä niin, että jos lataus epäonnistuu niin sitä yritetään kerran minuutissa uudelleen ja 45 yrityksen jälkeen tulee vasta tuo hälytys. Juuri testailen ja hyvin näytti toimivan, huonoimmillaan neljä virheyritystä tuli ennen kuin sai ladattua.

Eteenpäin.  8)

EDIT: Jäi seuraavassa päivitysloopissa taas junnaamaan pari hakua, kokeilin selaimellakin tuota hakulinkkiä niin kyllä se ainakin minun yhteydellä välilä tuntuisi jäävän jumiin ihan selaimellakin kun hakee fileä. Sitten kun refreshas niin tuli taas. Viiden yrityksen jälkeen oman ohjelman automaattinen hakukin onnistui ne taas hakemaan. Toisin sanoen, varmaan kannattaa jotkin tämmöset error handlerit tehä omiin ohjelmiin, ettei mene pakka sekaisin jos joku haku jää tulematta.