Netatmot EWN:ään

[weatherc]

Otin yhden noista jsoneista mikä EWN lataa Netatmolta (sopivan kokoisen, näytti olevan Norjalaisia aikavyöhykkeen perusteella.) ja otin sattumalta kymmenkunta lämpötila/kosteus-palikkaa ja niiden aikaleimat...Viivettä näyttää kyllä olevan aikamoisesti...

EWN latasi jsonin 18:56
Aikaleimat vaihteli 18:06 ja 18:28 välillä.....

btw. EWN lataa vaivalloiset 192 kpl jsoneita tuolta Netatmolta...Kerpele kun ei osata tehdä API:a joka antais kaikki tavarat kerralla...

[weatherc]

Laitoin menemään lämpötila/kosteus-anturin aikaleiman Netatmojen aikaleimaksi.
Samalla tippui iso kasa Netamoja EWN:än linjoilta koska "liian vanhaa dataa".

Data haettu n 20:25 ja molemmat Evijärvien datat yli 20 minuuttia vanhat jo hakuvaiheessa (20:00 ja 20:02).
Joko nyt uskot datan olevan vanhaa?

[einari]

Uskonhan minä kun niin sanot.. vaikka tuo seuraava väittää että 10 min välein päivittyy..
The limits of the API are set to let you develop apps without reaching those limits. However, if you reach them, here are some simple improvements/tricks:
Weather Station
       Do not try to pull data every minute. Netatmo Weather Station sends its measures to the server every ten minutes.
       Get the last measures from all the devices of one user with the Getstationsdata method.

Tuo juttu oli kylläkin smart home osiossa..
Katsoin tuota omien sivujen dashboardia.. siellä oli tällaista, eli hakee vissiin vähän eri paikasta..
<script type="text/javascript">
(function () {
    angular.module("naConfigService", []).
            constant('NAConfig', {

Muuten, jossain yhteydessä mainitsit että tulee hakualueen ukopuolisia asemia.. siellä luki nyt että johtuu siitä välimuistista.. ei ole ennen lukenut muistaakseni....
                                                  countryCode: "FI",
                continentCode: "EU",
                prodMode: true,
                preProdMode: false,
                provisionningMode: false,
                csrf_name: "ci_csrf_netatmo",
                csrf_value: "45cb89f70e79326d8457d79529cfeab1",
                baseUrl: "/",
                myUrl: "https://my.netatmo.com/",
                wmUrl: "https://weathermap.netatmo.com/",
                authUrl: "https://auth.netatmo.com/",
                wwwUrl: "https://www.netatmo.com/",
                proviUrl: "https://www.provisionning.netatmo.com/",
                devUrl: "https://dev.netatmo.com/",
                checkUrl: "https://check.netatmo.com/",
                adminUrl: "https://admin.netatmo.com/",
                staticUrl: "https://static.netatmo.com/",
                filesUrl: "https://s3-eu-west-1.amazonaws.com/common-data-files/",
                                    apiUrl: "https://app.netatmo.net/api/",
                                 loginUrl: "https://auth.netatmo.com/access/checklogin",
                shopUrl: "https://shop.netatmo.com/",
                webPusherUrl: "https://my.netatmo.com/",
                webSocketUrl: "wss://app.netatmo.net/ws/",
                WEBVERSION: "5af2c674758f5",
                cookieDomain: ".netatmo.com",
                cookiePrefix: "netatmocom",
                checkLoginAndRedirect: false,
                thmCountry: true,
                                                                           accessToken: "59378787a467a3b8998baeb0|ba8715fbcb6170f5dcdf1da3cbf7cbcc",
                                     isDemoMode: false,
                                 mobileType: {'ios': false, 'android': false},
                nativeApp: false ,
                nativeAppVersion: 0,
                nativeAppType: "",
                                 permittedUriChars: "a-z 0-9~%.:_\-",
                fbApiKey: "292716490799017",
                force_installer: null,
                currentApp: "station"

[weatherc]

Tietämättä miten se on heidän päässä rakennettu niin hatusta vedetty arvaus on että tuon julkisen API:n datat pusketaan ulos tyyilillä "pikkuhiljaa ja kevyesti" niin että välimuistit ovat ahkerassa käytössä jotta siihen tarvittais mahdollisimman vähän tehoa, ja että esim dashboardit ym saavat "suorempaa" ja tuoreempaa dataa mitä API puskee ulos koska niiden data on "helpompi käsitellä".

Tuon API:n datan ikä näyttää vaihtelevan aika rajusti. Oon nyt illan aikana muutaman kerran tarkistanut Evijärvien iät ja ovat vaihdelleet 10 ja 45 min välillä. Sekin pistää silmään että Evijärvi 1 ja 2 välinen ikäero on pahimillaan ollut yli 10 minuuttia vaikka data on päivitetty samalla kertaa.

[einari]

tänä iltana on ollut jostain syystä hidasta, jossain välissä oli että 53 inuuttia sitten.. kuitenkin käppyrässä oli tuoreempi lukema ja aika...
noista aikaleimoista oli jotain kun tein haun app.netatmo.net:llä..
For more details regarding its allowed values, please take a glance at https://dev.netatmo.com/doc/getmeasure. Set the optimized flag to true, if you need the json response to be lighter but a little trickier to parse : you'll only have the beginning timestamp provided, and you'll have to compute the others using the scale. Finally, the real_time flag enables to remove the timestamp offset in scales higher than 'max'. As a matter of fact, since data are aggregated timestamps are offset by + scale/2 by default. ??

[einari]

Pitää huomenna asentaa weather display koneeseen ja kasoa miten se päivittyy.. niiden ohjelma tekee kolmannen osapuolen apin, siinä annetaan oma käyttäjätunnus ja salasana.. ilmeisesti silloin päivittyy 5 min. Välein kuten puhelimessakin.. tai 10... ja pitää odottaa mitä se prashanth vastaa..

[einari]

En allkanut säätämään weather displayta. kun näkyi näyttävän vain sisälp.. vamaan jossain väärässä paikassa rasti ruudussa viimekertaisen kokeilun jäljiltä
mutta katsoin toisesta ohjelmasta:
Meteoware plus päivittyy 10 min välein, mutta sillä on oma app, pari kuvaa siitä..

[einari]

Hieman ulalla olen, miksi EWN päivittyy noin hitaasti, edellisestä päivityksestä meni about 50 min.. joskus ennen ne päivittyi 10 min välein?
Myös WU päivittyy 10 min välein ja siellä näkyy 3-asemakin joka on 5 siellä
https://www.wunderground.com/personal-weather-station/dashboard?ID=IKATTILA3
https://www.wunderground.com/personal-weather-station/dashboard?ID=IKATTILA4
https://www.wunderground.com/personal-weather-station/dashboard?ID=IKATTILA5

[weatherc]

Hieman ulalla olen, miksi EWN päivittyy noin hitaasti, edellisestä päivityksestä meni about 50 min.. joskus ennen ne päivittyi 10 min välein?
Myös WU päivittyy 10 min välein ja siellä näkyy 3-asemakin joka on 5 siellä

Niinpä. EWN:än Netatmo-häkkyrä ajetaan 15 min välein eli datan pitäisi olla alle puol tuntia vanhaa koko ajan.
Yksi mikä tulee mieleen on että oliskos niin että koska nuo hauthan ovat aina samat niin API:n välimuisti puskis saman filun tyyliin kahteen kertaan peräkkäin? En tiedä, koska en ole niin tarkkaan seurannut/tutkinut. Mutta teoriassa se olisi mahdollista. Välimuistit kun ovat siitä vekkuleita (ja sehän on niiden tarkoituskin) että saman nimistä filua/hakua voidaan puskea ulos päivittämättä vaikka maailman tappiin asti jos niin on säädetty.
Vai olisko se niin että - kuten aikasemminkin todettu - tuo API laittaa edelleen randomilla nuo asemat siihen ulostuloon ja se on ihan sattumankauppaa että tuleeko asema X mukaan vai ei.

[einari]

Herää kysymys mistä on kysmys? 
Mietin tuossa aamun varhaisina tunteina noita aikoja.... siis että kun EWN häkkyrä hakee tietoja, niin eikö se aika pitäisi näkyä oli data sitten uutta tai muuttumatonta.. kun se kerää sitä aikaa niin asia taitaa olla niin että antaa sen ajan sillä perusteella että muuttumatonta.. tai sitten ei..

sehän riippuu mistä sen aikaleiman ottaa.. ja antaa..  mutta voisiko asia olla niin että kun hakee niin antaa sen hakuajan.. jos tässä on jotenkin ajat sekaisin.. niinsanotusti kello edistää tai jätättää?