FinWX Foorumi

Koodaus- ja rakentelunurkka => Sivustojen koodaaminen (HTML, PHP, MySQL, jne.) => Aiheen aloitti: khyron - maanantai, 09.01.2012, 18:49

Otsikko: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: khyron - maanantai, 09.01.2012, 18:49
Mistähän löytyis noitten yleisesti datan siirtoon käyttyjen fileitten dokumentit? Harkinnassa on siis josko oman sääaseman dataa vois jossain vaiheessa johonkin verkoon julkaista, ni tarttis generoida generoida joku noista. Onko kellään mitään komenttie onko jokin formaatti järkevämpi mitä joku toinen? Esim. käyttää celsius asteikkoa ja muutenkin järkeviä yksiköitä, eikä muutu kovin usein, ainakaan niin että yhtensopivuus menee rikki.

Ja mullahan ei siis tällä hetkellä ole käytössä mitään yleisesti käytössä olevaa sääsoftaa, vaan owfs ja vähän omia scriptejä.
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: djmake - maanantai, 09.01.2012, 19:51
Nyt ollaan muuten asian ytimessä... Siis joku järkevä, yhteinen formaatti olisi todella mukava olemassa. Mutta sitä tuskin koskaan saadaan, niin silloin omien juttujen kanssa on pakko käyttää jotain olemassaolevaa ainakin ulospäin lähtevän osalta. Eikä ole oikein mieltäylentävää kirjoittaa scriptejä jatkuvasti uudestaan, joten joku sellainen tiedostomuoto pitäisi olla, mikä ei muutu joka toinen viikko.

Siihen en osaa vastata, löytyykö mistään mitään järkevää dokumenttia. Ehkäpä jollakin on sellaisia linkata, kiinnostaa nimittäin itseäkin. On jokseenkin rasittavaa mennä jälleen kerran sinne puuhun väärin päin ja selvitellä itse filujen rakennetta sensijaan, että se olisi jotenkin dokumentoitu.

Nii joo... Samaa ketjua ja asiaa lainatakseni. Tekeekö mikään sääohjelma suoraan esimerkiksi metaria tai synoppia? En sano järkevimmäksi, mutta ainakin synoppiin saa jos jonkinlaista dataa ja sen rakenne ei varmasti tule ihan heti muuttumaan.
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: weatherc - maanantai, 09.01.2012, 20:02
LainaaMistähän löytyis noitten yleisesti datan siirtoon käyttyjen fileitten dokumentit?
Kyllähän nuo clientraw.txt (WD) ja realtime.txt (Cumulus) dokkarit löytyy joko ohjelman mukana tai kyseiseltä sivulta. Niiden rakenne kun on vakio eikä muutu juuri sen takia että niitä vois käyttääkin. Jos jotain uutta tulee niin se tuupataan molemmissa tapauksissa aina sinne loppuun. Esim. NWN:ssä on useampikin asema jolla ei ole WD:tä mutta datatiedoston pohjana on tuo WD:n clientraw.txt. Jollei jotain dataa löydy niin laittaa vaan etukäteen sovitun merkin tilalle, kuten "-". Niissä kun se tärkeä on että arvot ovat aina samassa kohtaa tiedostoa ja välimerkit samat.
Jos rakentaa "custom-asemaa" niin helpoiten saa verkkoihin kun käyttää jotain sellaista pohjana.

LainaaTekeekö mikään sääohjelma suoraan esimerkiksi metaria tai synoppia?
WD tekee. :) En nyt muista kumpaa se on mitä sen saa puskemaan ulos jos haluaa.  
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: khyron - maanantai, 09.01.2012, 20:15
Pistetääs tähän semmosia dokumenttejä mitä kuitenkin löysin.

Cumulus realtime.txt http://wiki.sandaysoft.com/a/Realtime.txt (http://wiki.sandaysoft.com/a/Realtime.txt)
Mutta toi jättää ainakin seuravia kysymyksiä, wind speed (average) keskiarvo miltä ajalta? wind run (today)? Paineen ja lämpötilan trendi, ilmeisesti muutos joltakin ajalta? current rain rate (per hour) ja rainfall last hour, mikä ero? Mitä tyhjile kentille laitetaan?

WD clientraw.txt http://www.tnetweather.com/nb-0100.php (http://www.tnetweather.com/nb-0100.php) Ulkopuolisen dokumentaatio, luotettavuus? Ainakin osa aikakenttien formaatista riippuu wd:n asetuksista? Trendi miltä ajalta? Useista arvoista on useita kenttiä 01, 02, 03 jne.

Pywws:n formaatin sais varmaan varmimmin kun siitä saa lähdekoodin, mutta mieluummin joku järkevä dokumentti.
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: angle - maanantai, 09.01.2012, 20:18
Tuo pywwsdata.txt ei taida olla niin kovin yleinen ja muotokin tuli Laihon kanssa sovittua ihan keskenään. Tässä viimeisin pywwsdata.txt (http://hovilaweather.talismaani.fi/pywwsdata.txt) ennekuin siirryin clientraw.txt malliin. Tätä TNET:n (http://www.tnetweather.com/wd-parser.php) sivua käytin apuna kun hioin omaa pywws clientraw.txt mallia.
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: weatherc - maanantai, 09.01.2012, 20:41
LainaaWD clientraw.txt http://www.tnetweather.com/nb-0100.php Ulkopuolisen dokumentaatio, luotettavuus? Ainakin osa aikakenttien formaatista riippuu wd:n asetuksista? Trendi miltä ajalta? Useista arvoista on useita kenttiä 01, 02, 03 jne.
On luotettava, yksi aktiivisimmista WD-käyttäjistä sen takana. Tosin näyttää olevan mallia 10.37f eli on jo pikkasen ikää siinä mutta noin pitkälle se pätee 100%:sesti.
Aikamuoto pp/kk/vvvv taitaa tosiaan riippua käyttäjän koneesta mutta sitä ei ole clientraw:ssa montaa, clientrawn ajat kun ovat yleisesti menossa olevan päivän aikoja hh:mm
Trendit riippuu arvosta.
01,02,03-tyyliset ovat sama arvo useammalta ajalta, eli tunti sitten, 2 tuntia sitten jne. (en ole varma että päivttyvätkö kuinka usein)
Kannattaa muistaa että vaikka tuossa lukee "Optional" tms niin ne on oltava mukana vaikka 0.0-arvona muuten menee parserit sekaisin.
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: khyron - maanantai, 09.01.2012, 20:50
Lainaus käyttäjältä: weatherc - maanantai, 09.01.2012, 20:41

Kannattaa muistaa että vaikka tuossa lukee "Optional" tms niin ne on oltava mukana vaikka 0.0-arvona muuten menee parserit sekaisin.


Onko yleistä että täytyy käyttää jotain magic-arvoa? Kun 0.0 on kuitenkin täysin validi arvo vaikka lämpötilalle, järkevämpä olisi käyttää vaikka tyhjää, tietty jos parserit hyväksyy erottimeksi yhden tai useamman välilyönnin toi ei toimi.

Yleisesti ottaen csv-tyyppiset siirtotiedostot on vähän harmillisia, varsinkin laajennettavuuden kannalta.
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: weatherc - maanantai, 09.01.2012, 21:08
Lainaa
Onko yleistä että täytyy käyttää jotain magic-arvoa? Kun 0.0 on kuitenkin täysin validi arvo vaikka lämpötilalle, järkevämpä olisi käyttää vaikka tyhjää, tietty jos parserit hyväksyy erottimeksi yhden tai useamman välilyönnin toi ei toimi.
WD taitaa käyttää 100 tai -100 noissa. Noita "valiideja virhelukuja" on muutenkin useampi (lue: liikaa) jotka oikeastaan pitää laittaa roskiin jossain verkossa (kuten 0.0 ja -20.0). Välilyönti ei toimi koska clientraw käyttää välilyöntiä erottajana eikä parserit osaa erottaa niitä.

LainaaYleisesti ottaen csv-tyyppiset siirtotiedostot on vähän harmillisia, varsinkin laajennettavuuden kannalta.
Sekä realtime.txt että clientraw.txt ovat perus txt-tiedostoja eikä csv:tä nähneetkään joten ei ole onglmia lisätä mitään sinne loppuun. Clinetrawssa on AINA lopussa se
LainaaRecord End (WD Ver)             Label (Exampe: !!C10.37f!! )
Eli mahdolliset uudet arvot tulevat aina sen yläpuolelle
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: angle - maanantai, 09.01.2012, 21:18
Lainaus käyttäjältä: khyron - maanantai, 09.01.2012, 20:50
Lainaus käyttäjältä: weatherc - maanantai, 09.01.2012, 20:41

Kannattaa muistaa että vaikka tuossa lukee "Optional" tms niin ne on oltava mukana vaikka 0.0-arvona muuten menee parserit sekaisin.


Onko yleistä että täytyy käyttää jotain magic-arvoa? Kun 0.0 on kuitenkin täysin validi arvo vaikka lämpötilalle, järkevämpä olisi käyttää vaikka tyhjää, tietty jos parserit hyväksyy erottimeksi yhden tai useamman välilyönnin toi ei toimi.

Yleisesti ottaen csv-tyyppiset siirtotiedostot on vähän harmillisia, varsinkin laajennettavuuden kannalta.


Minulla on käytössä  - merkki "tyhjissä" kohdissa, joita riittääkin eniten. ;D
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: khyron - maanantai, 09.01.2012, 21:19
Lainaus käyttäjältä: weatherc - maanantai, 09.01.2012, 21:08
Lainaa
Onko yleistä että täytyy käyttää jotain magic-arvoa? Kun 0.0 on kuitenkin täysin validi arvo vaikka lämpötilalle, järkevämpä olisi käyttää vaikka tyhjää, tietty jos parserit hyväksyy erottimeksi yhden tai useamman välilyönnin toi ei toimi.
WD taitaa käyttää 100 tai -100 noissa. Noita "valiideja virhelukuja" on muutenkin useampi (lue: liikaa) jotka oikeastaan pitää laittaa roskiin jossain verkossa (kuten 0.0 ja -20.0). Välilyönti ei toimi koska clientraw käyttää välilyöntiä erottajana eikä parserit osaa erottaa niitä.

Puhuinkin tyhjästä enkä välilyönnistä, siis esim. 1<välilyönti>-10<välilyönti><välilyönti> tossa kolmas arvo on tyhjä. Olettaa toki että parseri ei tulkitse useampaa välilyöntiä yhdeksi, mikä ei ole mitenkään sanottu.

Mutta noi validit virheluvut on kuitenkin dokumentoitu ja löytyy wd:n asennuspaketista?

Lainaus käyttäjältä: weatherc - maanantai, 09.01.2012, 21:08
LainaaYleisesti ottaen csv-tyyppiset siirtotiedostot on vähän harmillisia, varsinkin laajennettavuuden kannalta.
Sekä realtime.txt että clientraw.txt ovat perus txt-tiedostoja eikä csv:tä nähneetkään joten ei ole onglmia lisätä mitään sinne loppuun. Clinetrawssa on AINA lopussa se
LainaaRecord End (WD Ver)             Label (Exampe: !!C10.37f!! )
Eli mahdolliset uudet arvot tulevat aina sen yläpuolelle

Csv-tyyppiset, ts. tiedostot jossa on yksi tietue per rivi ja jollain erotinmerkillä erotettuina. Ongelma tuleekin siitä että niitä arvoja pitää kuitenkin olla tietty määrä, tietyssä järjestyksessä ja niille arvoille joita ei ole pitää keksiä joku merkitsemään tyhjää.

Niin, just tämmösten takia ajattelinkin kysyä mikä olis simppelein formaatti:)
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: khyron - maanantai, 09.01.2012, 21:21
Lainaus käyttäjältä: angle - maanantai, 09.01.2012, 21:18
Lainaus käyttäjältä: khyron - maanantai, 09.01.2012, 20:50
Lainaus käyttäjältä: weatherc - maanantai, 09.01.2012, 20:41

Kannattaa muistaa että vaikka tuossa lukee "Optional" tms niin ne on oltava mukana vaikka 0.0-arvona muuten menee parserit sekaisin.


Onko yleistä että täytyy käyttää jotain magic-arvoa? Kun 0.0 on kuitenkin täysin validi arvo vaikka lämpötilalle, järkevämpä olisi käyttää vaikka tyhjää, tietty jos parserit hyväksyy erottimeksi yhden tai useamman välilyönnin toi ei toimi.

Yleisesti ottaen csv-tyyppiset siirtotiedostot on vähän harmillisia, varsinkin laajennettavuuden kannalta.


Minulla on käytössä  - merkki "tyhjissä" kohdissa, joita riittääkin eniten. ;D

Niin sää generoit ite ton siirtotiedoston? Onko siitä koodit saatavissa? Tai nykysillä tiedoilla käyttäisitkö jotain muuta formaattia mitä nyt?
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: weatherc - maanantai, 09.01.2012, 21:32
LainaaMutta noi validit virheluvut on kuitenkin dokumentoitu ja löytyy wd:n asennuspaketista?
Ja pah, sehän olisi liian helppoa ;)

LainaaOngelma tuleekin siitä että niitä arvoja pitää kuitenkin olla tietty määrä, tietyssä järjestyksessä ja niille arvoille joita ei ole pitää keksiä joku merkitsemään tyhjää.
Totta, laittaa vaan "tyhjän" arvon jota ei ole saatavilla tilalle esim anglen mainitsema - merkki jotta niitä on AINA se tietty määrä, virhelukuna voi sitten käyttää vaikka -100:sta tms.

Kannattaa muuten muistaamyös se että clientraw/realtime:ssä ovat kaikki arvot yhdella rivillä eikä yksi per rivi,tyyliin: (pätkitty otos omasta clientrawsta)
Lainaa12345 0.0 0.0 325 -8.2 93 1013.4 0.0 29.2 29.2 0.000 0.000 22.8 23 3.1 1 0.0 0 0 0.0 3.1 255.0 2.7 -67.2 -1 jne...
Toinen huomioitava on se että ainakin clientraw käyttää aina pilkkua eikä kommaa desimaaliluvuissa.
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: angle - maanantai, 09.01.2012, 21:33
No toi on vaan pywws template eli ei sisällä muuta kuin halutut datat. Malli on tuolla PyWWS (http://www.finwx.net/forum/index.php/board,164.0.html) ketjussa. Eikä nyt ole ollut harkinassa vaihtaakkaan. Toimivaa ei korjata. :D
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: Snowi - maanantai, 09.01.2012, 21:47
Lainaus käyttäjältä: khyron - maanantai, 09.01.2012, 20:15
WD clientraw.txt http://www.tnetweather.com/nb-0100.php (http://www.tnetweather.com/nb-0100.php) Ulkopuolisen dokumentaatio, luotettavuus?

WD:n käyttäjille aivan loistava apuväline. Voi luottaa täysin tuohon sivustoon.
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: khyron - perjantai, 13.01.2012, 09:00
Voikohan noita testata jossain? Siis niin et tuuppasee urlin jonnekin ja sieltä tulis ilmotus et data on ok tai siinä on jotain virhettä?
Otsikko: Vs: Re: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: angle - perjantai, 13.01.2012, 09:10
Lainaus käyttäjältä: khyron - perjantai, 13.01.2012, 09:00
Voikohan noita testata jossain? Siis niin et tuuppasee urlin jonnekin ja sieltä tulis ilmotus et data on ok tai siinä on jotain virhettä?


Lainaus käyttäjältä: angle - maanantai, 09.01.2012, 20:18
Tuo pywwsdata.txt ei taida olla niin kovin yleinen ja muotokin tuli Laihon kanssa sovittua ihan keskenään. Tässä viimeisin pywwsdata.txt (http://hovilaweather.talismaani.fi/pywwsdata.txt) ennekuin siirryin clientraw.txt malliin. Tätä TNET:n (http://www.tnetweather.com/wd-parser.php) sivua käytin apuna kun hioin omaa pywws clientraw.txt mallia.
Tuolla TNET linkissä onnistuu clientraw.txt ym WD filut
Sent from my HTC Desire using Tapatalk
Otsikko: Vs: Re: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: khyron - perjantai, 13.01.2012, 09:37
Lainaus käyttäjältä: angle - perjantai, 13.01.2012, 09:10
Lainaus käyttäjältä: khyron - perjantai, 13.01.2012, 09:00
Voikohan noita testata jossain? Siis niin et tuuppasee urlin jonnekin ja sieltä tulis ilmotus et data on ok tai siinä on jotain virhettä?


Lainaus käyttäjältä: angle - maanantai, 09.01.2012, 20:18
Tuo pywwsdata.txt ei taida olla niin kovin yleinen ja muotokin tuli Laihon kanssa sovittua ihan keskenään. Tässä viimeisin pywwsdata.txt (http://hovilaweather.talismaani.fi/pywwsdata.txt) ennekuin siirryin clientraw.txt malliin. Tätä TNET:n (http://www.tnetweather.com/wd-parser.php) sivua käytin apuna kun hioin omaa pywws clientraw.txt mallia.
Tuolla TNET linkissä onnistuu clientraw.txt ym WD filut
Sent from my HTC Desire using Tapatalk

Kiitos, pitäsköhän sitä sittenkin koittaa väsätä tommonen clientraw, siinä vaan oli niin tolkuttomasti turhaa tietoa, ja laiskottais.
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: khyron - perjantai, 13.01.2012, 12:08
Muutama kysymys noista realtime.txt:n clientraw.txt:n arvoista.

010 Rain Rate, onko toi tunnissa?
011 Max Rain Rate, ilmeisesti suurin noista rain rate arvoista, mutta miltä ajalta? Tämä päivä? Viikko? Kuukausi?
050 Baro Trend, miltä ajalta?
051 Windspeed Hour 01 ja 080 Hr Windspeed 01, mitä eroa?
117 Wind Avg Dir, miltä ajalta?
142   THSWS ?
143   Temp Trend (Loggic) Loogisia arvoja? True/false?
144   Humidity Trend (Logic)
145   Humidex Trend (Logic)
Otsikko: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: khyron - perjantai, 13.01.2012, 12:42
Oisko jollain urlia tohon clientrawdescription.txt tiedostoon johon parissa paikkaa viitataan, sitä ei näkyny linux versiossa ja noi muut on ajettavia asennuspaketteja enkä rupee mitään asentelemaan pelkästään ton tiedoston takia. Siis jos siinä on paremmin dokumentoitu toi formaatti.
Otsikko: Vs: Re: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: angle - perjantai, 13.01.2012, 13:09
Lainaus käyttäjältä: khyron - perjantai, 13.01.2012, 12:08
Muutama kysymys noista realtime.txt:n arvoista.
Vai oisko clientraw.txt kyseessä. Ainakin arvot muistuttaa sitä.

Sent from my HTC Desire using Tapatalk
Otsikko: Vs: Re: Vs: Sääohjelmien datatiedostojen formaatit? (realtime.txt, pywwsdata.txt, etc.)
Kirjoitti: khyron - perjantai, 13.01.2012, 13:31
Lainaus käyttäjältä: angle - perjantai, 13.01.2012, 13:09
Lainaus käyttäjältä: khyron - perjantai, 13.01.2012, 12:08
Muutama kysymys noista realtime.txt:n arvoista.
Vai oisko clientraw.txt kyseessä. Ainakin arvot muistuttaa sitä.

Sent from my HTC Desire using Tapatalk

Juu siis weather displayn clientraw.txt tarkotin.