Filtteröinti käyttöön

Aloittaja weatherc, lauantai, 02.06.2018, 16:10

« edellinen - seuraava »

0 Jäsenet ja 1 Vieras katselee tätä aihetta.

weatherc

Nordicweatherissä jo jokusen viikon käytössä ollut kartan filtteröinti on otettu käyttöön myös euweatherin kartalla. Samoin myös pws-taulukossa (suomen taulukossa tippui testihetkellä näkyvillä oleva asemien määrä 234 => 107). Namiskuukkelit jolla saa kaikki näkyviin tullee myöhemmin. Filtteri joka käytössä on 2-osainen, < 15 minuuttia ja > 95% "luotettavuus" => OK.

Tuo luotettavuus - eli käytönnössä "tähtiluokitus" lasketaan kylmästi "huonot datat / kaikki datat". Pikainen vilkaisu missä tuo prosentti yleensä liikkuu niin FMI 98-100%, PWS:ät (ilman Netatmoja) 95-100%..

einari

Kovin autioksi veti kartan ja yksityiset sääasemat oli alimmillaan kun vilkaisin 81 kpl. Minua askarruttaa pari asiaa, ensinnäkin onko menty perse edellä puuhun.. eikö olisi parempi niinsanotusti kaikkien asemien kukkia ja siihen sitten ne namiskuukkelit jos haluaa karsia..
vai onko kyse josain ahdasmielisestä ajattelusta ;D

tuolla yksityisissä sääasemissa evijärvi1 (ja kartalla) miettii ollakko vai ei olla.. evijärvi2 ei mieti mitään ei näy.. joten seuraava kysymys, mikä ja minkä suhteen tuo 95% on? jos se on sitä mitä oletan, silloin pitäisi huomattavasti enemmän kartoilta poistua asemia..

toivottavasti tuo vertailu ja se mihin käppyrät tulee pikkukarttoineen ja lähellä olevien asemien kera, säilyy sellaisenaan...

weatherc

#2
Ei, ei ole kyse mistään ahdasmielisestä ajattelusta vaan kahdesta asiasta:

1. Karatalle halutaan "sää juuri nyt", ei tunnin vanhaa dataa. Nämä vanhat datat teki myös kartan palleroista aika kirjavat kun välillä vierekkäisten asemien erot ovat aika suuret vaikkei näkyvää syytä kuten meri, vuoristo tms. Eli lyhyesti, Netatmo korjatkoon API:nsa.

2. Itsehän te halusitte tähtiluokituksen ;D Tässä vaan hyödynetään sen (tulevaa) dataa ;D Eli parempi luokitus = parempi näkyvyys. Tuon laskentatapa on simppeli: Huono data = päivityskerrat jossa jäänyt EWN:än haaviin. Kaikki data = kaikki päivityskerrat jossa data jossa ollut dataa.

Mielenkiintoinen huomio on toki se että suurin osa ellei liki kaikki piiloontunnet ovat Netatmoja...

Ja kyllä, pikkukartat, käppyrät yms jää kuten nytkin.

Se, onko nuo rajat juuri nuo 15 min ja 95%, vai esim 20 min ja 95% vai joku muu niin pitää tutkia/seurata.

einari

Olihan se sinulla tiedossa, että tippuu joten ei kuitenkaan mikään suuri yllätys.. mitä jos kokeilisit laittaa sen "rain" ehdoksi, tai sitten laitat hakuväliksi 30 min.. niin jäisi se turha 20 min pois suurimmassa osassa.. toki voi tulla sitten joskus satunnaisesti pitempi katkos??

toisaalta jos voi laittaa näille suomen koordinaateille 15 min, niin ainakin puolen tunnin välein päivittyisi.. jos ei rajat pauku?
toimisiko.....

weatherc

#4
Toki oli tiedossa, oonhan mä katsonut esmeks taulukosta ;D
Ja onhan mulla ollut sama filtteri käytössä pikkukartalla nordicweatherin etusivulla jo muutaman viikon, hyvin tuloksin.  ;D
Kyse kun ei ole asemien määrästä, eikä asemien merkistä, eikä mistään sellaisesta vaan ensisijaisesti datan iästä ja osin datan paikkansapitävyydestä - tosin mitä katselin dataa niin "tähtiluokistus-prosentilla" on huomattavasti pienempi vaikutus kuin iällä. Esim nordicin pikkukartan datasta, PWS: yhteensä 30, tähtiprosenttifiltteriin jäi 8, ikäfiltteriin 23, joista suurin osa > 20 min - met/tiesää: yhyeensä 60, filttereihin jäi 0.
Mielenkiintoista siinä on se, ettei suinkaan kaikki Netatmot kadonnut vaan esim tuossa nordicin kartalla on suunnilleen samat pysyneet näkösällä koko ajan.

Eli potkippa sitä Paaspranttia persuksille ja sano sille että korjaa API:nsa. Siinä vaiheessa kun kaikilta Netatmoilta tulee tuoretta dataa niin suurin osa myös palaa kartalle sillä sekunnilla.
Sun täytyy katsoa asiaa kartan ylläpitäjän näkövinkkelistä, jos tavoite on tuore ja paikkansapitävä data niin silloin suodatetaan ulos vanhat ja huonot datat, riippumatta mistä se tulee. Se ei kato sitä onko se Netatmo, Davis, met-laitos vaiko tiesääasema. Simppeliä, eikö?

Jos tuota hakuväliä venyttää esim 30 minuuttiin niin käy äkkiä niin että tulee tuntienkin katkoksia koska se ajankohta milloin data on tuoretta vaihtelee...

einari

Niin.. siinä 30 minuutin haussa pitäisi ensi tutkia aika milloin päivittyy ja sitten ajoittaa.. mutta jos lyhentää hakua 15 minuuttiin niin se 50 min lyhenee lähelle puolta tuntia... vaikka ei joka kerta antaisikaan mitään... oletan mä.... ::)

et siis aio kokeilla sitä tai rain-hakua?  Potkin kyllä, potkin jo toissapäivänä.. vastaus tullee alkuviikosta.. penäsin edelleen sitä että pitäisi voida hakea yksinkertaisesti data, eikä rajoittaa siihen puoleen tuntiin, tai sellainen hakuehto että oli se sitten rain, wind tai temperature.. niin voisi antaa viimeisimmän datan mikä on muuttunut.. semmoisella tai..logiikalla.. ;D

einari

Toisaalta.. vaikken ohjelmoinnista juuri tiedäkkään, voisiko ajatella että ennen varsinaista hakuprosessia voisi jollain pienellä haulla hakea se vaihtoehto missä time_utc on lähimpänä time_server aikaa.. sitten hakea koko lössi sillä hakuehdolla?

vai tuleeko siinäkin vastaan se puoli tuntia.. itse kun olen vaihdellut ehtoa niin on tullut eri aikoja.. mutta ehtokohtaisesti ei ole saanut haettua uutta kuin puolen tunnin päästä, eli jos on temp, rain, wind, pressure.. niin voisiko toimia?  
puhuit tiesääasemista.. kaikki ei näy.. onko sille muukin syy kun ei ole näkynyt aikoihin esim. evijärvi

weatherc

Lainaus käyttäjältä: einari - lauantai, 02.06.2018, 20:48
Niin.. siinä 30 minuutin haussa pitäisi ensi tutkia aika milloin päivittyy ja sitten ajoittaa.. mutta jos lyhentää hakua 15 minuuttiin niin se 50 min lyhenee lähelle puolta tuntia... vaikka ei joka kerta antaisikaan mitään... oletan mä.... ::)

Niin, jos muutan haun 30 minuuttiin niin häviää loputkin Netatmot kartalta, tai käyvät vaan näyttäytymässä. Nyttenhan päivittyy osa ihan OK koska ovat koko ajan näkösällä.

Lainaus käyttäjältä: einari - lauantai, 02.06.2018, 20:48
et siis aio kokeilla sitä tai rain-hakua?  Potkin kyllä, potkin jo toissapäivänä.. vastaus tullee alkuviikosta.. penäsin edelleen sitä että pitäisi voida hakea yksinkertaisesti data, eikä rajoittaa siihen puoleen tuntiin, tai sellainen hakuehto että oli se sitten rain, wind tai temperature.. niin voisi antaa viimeisimmän datan mikä on muuttunut.. semmoisella tai..logiikalla.. ;D

Ainahan voi kokeilla.

LainaaToisaalta.. vaikken ohjelmoinnista juuri tiedäkkään, voisiko ajatella että ennen varsinaista hakuprosessia voisi jollain pienellä haulla hakea se vaihtoehto missä time_utc on lähimpänä time_server aikaa.. sitten hakea koko lössi sillä hakuehdolla?

Kun ei tiedä miten tuo on ohjelmoitu serveripuolella niin menee spekulaatioksi. Jokainen ehto mennee siihen 30 min cacheen, eli jos hakee ne vuorotellen niin päivittyy jokainen vuorollas 30 min päästä. Näin siis loogisesti ajateltuna. Se, toimiiko se noin käytännössä on ihan eri asia.

Lainaapuhuit tiesääasemista.. kaikki ei näy.. onko sille muukin syy kun ei ole näkynyt aikoihin esim. evijärvi

Harvemmin kaikki näkyy samaan aikaan, ovat pois linjoilta (jakelusta) milloin mistäkin syystä. Niitä myös huolletaan/vaihdetaan kesäsin koska nehän ovat talvikunnossapitoa varten, ei meitä nörttejä ;D Ei siitä ole kovin kauan siitä kun esim lähes koko Tku-Hki-välin asemat oli pimeinä vaikka kuinka kauan. Liikenneviraston uusi api on kyllä toiminut ihan OK sen suhteen, uudet/palaavat ovat tupsahtaneet takasin linjoille ihan hyvin.

einari

tein testin.. aamulla jouduin keskeyttämään kun tuli yllättävää menoa..
hain niitä time_utc aikoja 2 eri tunnuksella ja temperature, rain ja wind-hauilla ja sain aikoja jotka olivat 5-20 minuuttia toisistaan.. kyseessä oli minun 1-aseman lpt-arvojen timestamp.. ne vaihtelivat tällä systeemillä mutta jos hakee vuorotellen kahdella acces_token.. eli käyttäjätunnuksella vaikkapa 15 minuutin välein niin kerta siellä näyttäisi dataa olevan, niin voisi saada pelkällä perushaulla  aikaa lhennettyä puoleen?

laitan tuoon kaappauksen utc-ajoista

weatherc

Lainaus käyttäjältä: einari - sunnuntai, 03.06.2018, 12:28
tein testin.. aamulla jouduin keskeyttämään kun tuli yllättävää menoa..
hain niitä time_utc aikoja 2 eri tunnuksella ja temperature, rain ja wind-hauilla ja sain aikoja jotka olivat 5-20 minuuttia toisistaan.. kyseessä oli minun 1-aseman lpt-arvojen timestamp.. ne vaihtelivat tällä systeemillä mutta jos hakee vuorotellen kahdella acces_token.. eli käyttäjätunnuksella vaikkapa 15 minuutin välein niin kerta siellä näyttäisi dataa olevan, niin voisi saada pelkällä perushaulla  aikaa lhennettyä puoleen?

Siinä on vaan yksi mutta. Yleensä tuollaiset porsaanreiät tukitaan jos niitä alkaa käyttämään, tyyliin yksi access_token/ip-numero.