Kirjoittaja Aihe: Netatmot EWN:ään  (Luettu 46436 kertaa)

0 jäsentä ja 8 Vierasta katselee tätä aihetta.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8096
Vs: Netatmot EWN:ään
« Vastaus #190 : Perjantai, 11.05.2018, 20:57 »
Herää kysymys mistä on kysmys?  ;D
Mietin tuossa aamun varhaisina tunteina noita aikoja.... siis että kun EWN häkkyrä hakee tietoja, niin eikö se aika pitäisi näkyä oli data sitten uutta tai muuttumatonta.. kun se kerää sitä aikaa niin asia taitaa olla niin että antaa sen ajan sillä perusteella että muuttumatonta.. tai sitten ei..

sehän riippuu mistä sen aikaleiman ottaa.. ja antaa..  mutta voisiko asia olla niin että kun hakee niin antaa sen hakuajan.. jos tässä on jotenkin ajat sekaisin.. niinsanotusti kello edistää tai jätättää?  ::)

Noh, ensinnäkin, API:ssa on oma aikaleima jokaiselle anturille ja EWN käyttää tällä hetkellä aikaleimana lämpötila/kosteus-anturin aikaleimaa.

En ole varma että ymmärsitkö mitä tarkoitain tuolla arvon muuttumisella. Tarkoitin sitä, että voisko olla niin että API antaa ulos vain x minuutin sisään muuttuneet arvot ja/tai että anturin aikaleimana on ajankohta jolloin arvo on muuttunut viimeksi? Se voisi myös selittää sen miksi asemat pomppii edes takaisin siinä API:n ulostulossa. EWN:llähän on aika vaikeata päivittää asema x:n datat mikäli ne uupuu API:n datasta.

Kellojen jättämiseen en oikeen usko. Esmex Linukassahan on vakiona "pidä-kello-ajassa"-softa... Sitä en tietenkkän tiedä onko Netatmossa itsessään joku kello jonka mukaan dataa lähetettään pääkallopaikalle, ja jos on, kuinka hyvin ne ovat ajassa....

einari

  • Vieras
Vs: Netatmot EWN:ään
« Vastaus #191 : Perjantai, 11.05.2018, 22:14 »
Yritän ymmärtää..  ;D
netatmo lähettää serverille dataa 5 min. välein joka näkyy muunmuassa myös omassa dashboardissa sekä puhelimessa..

Palaan  tuohon timestamp-asteikkoon jonka laitoin tuolla aiemmin.. ehkä sieltä löytyisi vastaus tai vaihtoehtoisesti tuosta kuvasta jonka liitän tähän...
Jotenkin muistojen kätköissä on selainen muistikuva että aannoin tiedot päivittyivät 10 min. välein, onko 15 min liian pitkä väli häkkyrälle ja siksi menee osa datasta ohi kun ei mahdu skaalaan.. kuin satunnaisesti jossakin aikavälissä??

otan nyt uudelleen tämän timestampjutun
Finally, the real_time flag enables to remove the timestamp offset in scales higher than 'max'. As a matter of fact, since data are aggregated timestamps are offset by + scale/2 by default.

ja sitten mitä ja miten dataa lukee>>

einari

  • Vieras
Vs: Netatmot EWN:ään
« Vastaus #192 : Lauantai, 12.05.2018, 07:32 »
Stations returned might be located outside of the requested coordinates, due to a 30 minutes cache system. This cache system is the same as the one
used by the Netatmo Weathermap...
Ei tällaisen muistin lukeneeni ja sitten menin katsomaan weathermappiin niin pääsääntoisesti 10min(plus1-2) se päivittyy, paitsi yhden poikkeuksen löysin, se oli Ukan Kallela, jossa päivittyi vasta 17 min päästä, kuitenkin ukan dashboadissa oli aikaisemmat luennat 5 min. välein..
eli periaatteessa sitä dataa pitäisi löytyä jos kerta sama välimuisjärjestelmä molemmissa, getpublicdatassa ja kartalla.. (teveisiä Ukalle kun linjoilla samaan aikaan :) )

vielä ihmettelemisiin... samaan aikaan myös se meteoware päivittää.. siis aikaleima on sama kuin weathermapissa evijärvi1 osalta...

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8096
Vs: Netatmot EWN:ään
« Vastaus #193 : Lauantai, 12.05.2018, 11:27 »
Julkisessa API:ssa ei ole mitään real_time-flagia, ei ainakaan ollut kun viimeksi sitä tutkailin. Voisin myös olettaa että dashboardit ym asemille / pelkästään yhden aseman jutut saavat tuoreempaa dataa mitä julkinen, bulkkina kaikkia asemia syöttävä API saa. Tai että julkisella (ilmaisella) API:lla on pidempi cache-aika. Niin minäkin sen tekisin jos ylläpitäisin tuollasta. Ihan jo sen takia että ison tietokannan pureskeleminen syö tehoja ja valmiiksi pureskeltua dataa on kevyempi/helpompi/nopeampi puskea ulos.

Niin tekee EWN:än ennusteetkin. Niillä on muistaakseni tunnin cache-aika, joskin ennuste-data päivittyy muutenkin hitaammin. Eli samoille koordinaateille tehdään uusi ennuste max kerran tunnissa. Sama voi pädetä Netatmoonkin, kun tehdään haku parameterillä X niin
pusketaan ulos tuota valmiiksi pureskeltua mikäli tulee samanlainen haku Y minuutin aikana.
 

einari

  • Vieras
Vs: Netatmot EWN:ään
« Vastaus #194 : Lauantai, 12.05.2018, 21:32 »
Olen olettanut että getpublicdatan ohella voi käyttää myös getmeasurea, sellaista luin joskus jossain netatmon sivuilla ja kun en nyt sitä löytänyt niin päädyin linkin mukaiseen paikkaan jossa myös on public-osion alla molemmat edellämainitut metodit.. sieltä löytyy myös nuo aiemmin mainitsemani asiat.
Toivottavasti tämä antaa jotain toivoa.. ::)

https://cbornet.github.io/netatmo-swagger-decl/#tag/public

kuten olen sanonut ennenkin, en oikein hallitse tuota ohjelmointipuolta niin voin olla tässä asiassa väärässä.. mutta jokin kutenkin nyt mättää jossain.. tai jokin on muuuttunut. Sentään niin huono muisti minulla omasta mielestä ole, huomiokykykin lienee vielä kohtalainen.. joten uskallan väittää ettei tällaisia viiveitä ja ongelmia ole  aiemmin ollut.. joskus vuodenvaihteen jälkeen seurasin aika tarkkaan sekä käppyroitä kuin yksityiset asemat-osioa.. mutta jos sittenkin on jotenkin protonit ja neutronit sekaisin sen slaakin jälkeen.. tai paremminkin iskemian ;D

getmeasuren osalta siellä on myös partner-osio, en äkkipäätä osaa sanoa mitä siinä on erilaista.... ollut pitkä päivä niin en jaksa nyt katsella ja pohdiskella ???
« Viimeksi muokattu: Lauantai, 12.05.2018, 21:41 kirjoittanut einari »

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8096
Vs: Netatmot EWN:ään
« Vastaus #195 : Lauantai, 12.05.2018, 23:54 »
Niin, getpublicdatan ja getmeasuren ero on siinä että getpublicdata antaa "kaikki" asemat halutun laatikon sisältä kun taas getmeasure antaa id:n perusteella yhden aseman datat. Tuo selviää ihan pikaisellakin vilkaisulla tuolta linkaamaltasi sivulta.

Getmeasure:ssa pitää myös tietää aseman id ennenkuin voi hakea mitään.

Vaikka se olisi teoriassa mahdollista (a) kerätä id:t getpublicdatalla ja (b) hakea datat getmeasurella, niin siinä sen lisäksi että siihen menisi tovi jos toinenkin yhteen päivitykseen koska jokainen asema pitäisi hakea erikseen niin siinä paukkuisi kaikki mahdolliset limitit koska hakuja per päivityskerta tulisi liki 10000.
Tarkistus: Netatmon omien limittejä hipoen yhteen kertaan menisi 5 tuntia (2000 hakua/tunti).

Lainaus
joten uskallan väittää ettei tällaisia viiveitä ja ongelmia ole  aiemmin ollut.. joskus vuodenvaihteen jälkeen seurasin aika tarkkaan sekä käppyroitä kuin yksityiset asemat-osioa..

Eikä tuona aikana ole tapahtunut mitään sellaisia muutoksia EWN:än häkkyräänkään.
« Viimeksi muokattu: Sunnuntai, 13.05.2018, 00:00 kirjoittanut weatherc »

einari

  • Vieras
Vs: Netatmot EWN:ään
« Vastaus #196 : Sunnuntai, 13.05.2018, 08:25 »
jaa,a.. mietin tuossa että olisiko mahdollista että rate limits rajoittaisi nyt jostain syystä hakua kerran tuntiin..  ovatko rajat paukkuneet.. tai hakualueella enemmän kuin 1000 ulkoyksikköä.. kun ei käy tuo getmeasurekaan ;D

ei kai auta kuin odottaa arkea ja kysyä suoraan netatmolta asiaa...

edit/ voihan sillä minun tunnuksella tehdä uuden apin ja hakea pienemmän alueen.. esim. vaasa- joensuu linjan pohjoispuoli lappiin nin näkisi miten käyttäytyy pienempi haku??
edit/ käppyröihin ei ole 00.45 jälkeen päivittynyt, joissakin 00,35 jälkeen
« Viimeksi muokattu: Sunnuntai, 13.05.2018, 10:19 kirjoittanut einari »

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8096
Vs: Netatmot EWN:ään
« Vastaus #197 : Sunnuntai, 13.05.2018, 10:42 »
Pikku seuranta aamukaffen ääreltä  ;D

Ruudukkoon mahtuu myös ruutuja jossa on vain vähän asemia. Sen lisäksi haetaan esim Grönlannit, Islannit ja Madeirat erikseen koska ovat "ison ruudun" ulkopuolella. Niistä nappasin 2 pienintä joissa molemmissa vain 1 asema. Vilkaisu myös suomen taulukkoon.

klo 10:01 tehty haku => OK => antoi aikoja tyyliin 9:55-10:01
klo 10:11 => ei uutta paitsi muutama suomalainen sai ajaksi 10:05
klo 10:21 => ei uutta
klo 10:31 => ei uutta
klo 10:41 => madeiralainen ja islantilainen sai ajaksi 10:33
klo 10:51 => suomalaiset sai ajaksi tyyliin 10:40-10:50 eli suht OK

Muuten se miksi nuo aikaleimat näytti aikasemmin paremmalta johtunee ainakin osittain myös siitä että aluksi käytin time_server-arvoa siihen, eli se aika jolloin vastaus on generoitu Netatmon palvelimella. Jo tämän ja noiden antureiden aikaleimojen ero kertoo sen että "ongelma" on heidän palvelimella koska vastaus on tuore mutta data ei. Esim islantilaisen anturin aikaliema on tällä hetkellä 10:34 kun time_server on 11:01.

Ei kovin reaaliaikasta tietoa siis vaikka kuinka muuta koittaa väittää...Jos ei tuon paremmin toimi tuo Netatmon API niin alkaa pikkuhiljaa hiipimään ajatus että ne EWN:ssä ainakin piilotetaan oletus-näkymistä...EWN:än (ent NWN:än) pääideahan on näyttää säätiedot "juuri nyt" (eli alle 15 min vanhaa), ei 30+ min vanhoja tietoja koska se sää meni jo...
« Viimeksi muokattu: Sunnuntai, 13.05.2018, 11:17 kirjoittanut weatherc »

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8096
Vs: Netatmot EWN:ään
« Vastaus #198 : Sunnuntai, 13.05.2018, 21:59 »
Nordicweatherin asema-sivujen pikkukartoilla (siellä sivun alapäässä) testissä filtteri joka näyttää vain tuoreimmat < 20 min datat. Nuo kartat ovat hyviä testialustoja koska ovat simppeleitä.

Tuossa kun miettisin filttereitä noihin listauksiin, johonhan on yhtenä ideana tullut se että Netatmot merkittäisiin erikseen niin tuli mietittyä asiaa "satunnaisen vierailijan" kannalta. Sillä onko datan syöttävä härpäke Netatmo, Davis, FMI vai tiesääasema ei liene kovin suurta merkitystä jos haluaa katsoa tämän hetken tiedot vaan se että data on tuoretta ja paikkansapitävää.

Tämän saavuttamisessa yhtenä osana on jo impletoitu lämpötilan tarkistus joka samalla toimii "tähti-laskurina".
Toisena olisi tuo aikaleima että data on tuoretta.
Kolmantena olisivat nuo tähdet.

Oletuksena voisi olla vaikka < 20 min ja 5 tähteä, mutta namiskuukkelilla saisi näkyviin myös vanhemmat/vähemmät tähdet.

einari

  • Vieras
Vs: Netatmot EWN:ään
« Vastaus #199 : Sunnuntai, 13.05.2018, 22:54 »
pitää selvittää sieltä netatmon päästä mikä on homman nimi.. kuitenkin tässä ihmetyttää moni asia joista huomenna lisää, nyt ei ajatus kulje kun  peräti neljät synttärit on tänään juhlittu ;D

yksi kuitenkin se että käppyrät ei päivity laisinkaan...