Kirjoittaja Aihe: Netatmot EWN:ään  (Luettu 107493 kertaa)

0 jäsentä ja 1 Vieras katselee tätä aihetta.

Poissa einari

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1414
Vs: Netatmot EWN:ään
« Vastaus #510 : Perjantai, 23.11.2018, 08:10 »
Kyllä se oli se Utc.. 23 aikoihin alkoi palaamaan linjoille....  mutta paljon on vielä tulematta..

Itsellä oli justiin silloin anturien vaihto meneillään kun katkos tuli,  niinpä palasin linjoille vasta vähän ennen kuutta.. valmistelen yhden aseman siirtoa sinne alajärvelle.. nyt on kohta valmis.. kunhan saisin sen yhden sademittarin pois kummittelemasta..  ::)
Ilmeisesti se evijärven isompitasoinenkin tiili pyörii siellä.. oikeastaan se oli hyvä.. koska tein yhden havainnon jollaista ei taatusti ennen ole ollut..

Sitä se minun  aamuöinen uni tiesi.. weatherc ilmoitti että nyt pääsin sinne cacheen sisälle ja tiedän mien se toimii.. ;D

Minulla oli sattumalta lähellä olevat asemat esillä ja havahduin että päivittyi tiuhaan, niimpä menin taulukoihin ja aloin seuraamaan..
Tällaista tuli >>
ensin vastaus, sitten milloin päivitin taulukkonkymän:

6.58/7.02 ; 7.03/7.07; 7.08/7.13; 7.13/7.18; .... 7.23 tuli vain kerran... 7.33/7.38; 7.38/7.43 ja viimeisin 7.43/7.51; taas ei hakenut uutta
ilmeisesti jossain ehdoissa ei ollut sitä uutta tarjolla..  mutta pääsääntöisesti dataa sai 5 min. välein, joten ilmeisesti ruuvasivat sitä cachea ja toivotaan että vaikutus olisi pysyvää.. voi olla että muutkin kuin me ovat asiasta huomautelleet..  ;D

tämä viimeisin päivittyi taas 5 min. välillä ja viimeisin aika 8.04 ja haettu 8.09...

« Viimeksi muokattu: Perjantai, 23.11.2018, 08:37 kirjoittanut einari2 »

Poissa einari

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1414
Vs: Netatmot EWN:ään
« Vastaus #511 : Perjantai, 23.11.2018, 10:24 »
Ilmeisesti Netatmo on siirtynyt sellaiseen malliin että säädata menee 5 min välein (noin) suoraan cacheen.. eli mitä purkki lähettää niin se on sitten haettavissa sieltä..  vielä ainakin omat apit ja meteoware päivittyy entiseen malliin..

Taustalla voi olla eilinen Netatmon fuusioituminen Legrandiin.. https://www.legrand.com/en/news/acquisition-netatmo-french-leading-smart-home-company

Jos yritetään rakentaa tuota älykäs koti järjestelmää niin säätiedoillakin on siinä iso rooli ja ilmeisesti ovat vaatineet tiivistämään tahtia ;D

Oletan että tiedän mistä tuo ettei joka erta tule dataa.. kun weatherc kertoi että varsinaisen hakutiilen ja evijärven tiilen välillä menee noin 4 min. niin ei aina varmaan ole ehtinyt päivittyä uutta dataa jos edellinen haku on sama tai lähellä kuin on päivittynyt..

toinen seikka on se tasojuttu.. jos 4-tason tiili ei anna dataa kun ne asemat vaeltelee miten sattuu pikkuisen eri tasoilla, sitten tämä, oliko se 8-tason tiili antaa..  niin silloin ei tule tietoa 5 min välein..

Nyt voisi toimia se 10 min häkkyräkin... pienellä varauksella.. jos eivät ole muuttaneet hakuehtoja.. jolleivät niin osaan sanoa suoralta kädeltä miksi toimii näin..  tuossa aiemmin kun etsittiin keinoja hakea dataa, niin se hakuruudun koon muuttaminen antoi ohi netatmon hakuehtojen ;D

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8843
Vs: Netatmot EWN:ään
« Vastaus #512 : Perjantai, 23.11.2018, 22:26 »
Edelleenkin, sillä ei ole mitään merkitystä kuinka usein asema lähettää dataa Netatmon suuntaan tai kuinka usein dashboardisi saa dataa, vaan sillä kuinka usein getpublicdatasta saa tuoretta dataa.

Noh, nykyinen näyttää toimivan "ihan hyvin", 163 asemaa < 45 min ikäistä ja 21 asemaa 45-90 min ikäistä eli 88% ovat < 45 min.
Tämä siis ottaen huomioon sen miten tuo heidän systeemi on toteutettu. Eri tavalla kun olis niin laskettais 30 min jo vanhaksi ja ulos saisi halutun alueen yhdellä haulla vaikkapa 10 min välein aina tuoreimmalla saatavilla olevalla datalla eikä hakuun menisi 5 minuuttia...

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8843
Vs: Netatmot EWN:ään
« Vastaus #513 : Perjantai, 23.11.2018, 22:40 »
Lainaus
Taustalla voi olla eilinen Netatmon fuusioituminen Legrandiin.. https://www.legrand.com/en/news/acquisition-netatmo-french-leading-smart-home-company

Tuskinpa näin nopeasti vaikuttaa. Mutta Netatmon edelliset omistajat lienee nauraneen matkalla pankkiin.
Kun katsoo Legrandin "solutions"-listaa niin voinee hyvin käydä niin että varsinaiset sää-jutut ja varsinkin koko-sääasemat jää taka-alalle, joskin ne määrätyissä asioissa ovatkin tärkeitä IoT:ssä.

Poissa einari

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1414
Vs: Netatmot EWN:ään
« Vastaus #514 : Lauantai, 24.11.2018, 11:58 »
Edelleenkin, sillä ei ole mitään merkitystä kuinka usein asema lähettää dataa Netatmon suuntaan tai kuinka usein dashboardisi saa dataa, vaan sillä kuinka usein getpublicdatasta saa tuoretta dataa.

Noh, nykyinen näyttää toimivan "ihan hyvin", 163 asemaa < 45 min ikäistä ja 21 asemaa 45-90 min ikäistä eli 88% ovat < 45 min.
Tämä siis ottaen huomioon sen miten tuo heidän systeemi on toteutettu. Eri tavalla kun olis niin laskettais 30 min jo vanhaksi ja ulos saisi halutun alueen yhdellä haulla vaikkapa 10 min välein aina tuoreimmalla saatavilla olevalla datalla eikä hakuun menisi 5 minuuttia...

Getpublicdatasta saa vaikka 5 min ikäistä dataa.. kunhan hakuehdot ovat kohdillaan.. olen laskeskellut ja katsellut kuinka taulukko päivittyy.. 0-5 min. 59 asemaa, 5-10 min. 50 asemaa, 10-20 min. 44 asemaa ja 4 sitten vanhempaa..  siillä kertaa eli aamulla joskus 7 jälkeen,  laitan kuvan 10.22 tilanteesta jossa näkee että se evijärven tiili antaa tuoreempaa dataa siinä päähaun jälkeen..

Noiden vanhempien osalta.. jotka ei päivity edes 36 välein syy lienee ettei ole 4-tasolla... niinkuin inari, sevettijärvi.. oli äsken tasolla 5 eikä härpäkkeitä..

veisikö tuo paljon hakuaikaa lisää jos evijärven tiilestä tekisi 5-tason tiilen, napapiiriltä tampereen yläpuolelle ja katsoisi vaikutusta..

voin sanoa varmasti että ainakin aikaleiman osalta se antaa uuden tiedon.. miksei muunkin jos muuttunutta dataa on..  se näkyy kuvasta ja jos päivittelee taulukkoa vaikkapa 3 min. hakuajasta ja sitten vaikka 7-8 min hakuajasta.. niin ja laittaa aikajärjestykseen taulukon.. tuossa kuvassa on kyllä 10 min edellisestä hausta päivitetty taulukko.. kunhan ennen sen 12 min. täyttymistä päivittää ;D

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8843
Vs: Netatmot EWN:ään
« Vastaus #515 : Lauantai, 24.11.2018, 12:28 »
Lainaus
Getpublicdatasta saa vaikka 5 min ikäistä dataa.. kunhan hakuehdot ovat kohdillaan.

Puhutaan nyt nähän eri asiasta. Tottakai saa, kyse onkin että kuinka usein saa getpublicdatasta uutta dataa samoilla ehdoilla.

Poissa einari

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1414
Vs: Netatmot EWN:ään
« Vastaus #516 : Lauantai, 24.11.2018, 16:54 »
No, onhan se ollut tiedossa melkein alusta asti..  se miksi ovat sellaisen systeemin valinneet, niin sitä ei voi tietää.. ehkä ovat ennakoineet suurta asema- ja datamäärää, kai tuollainen on resussiystävällisempi. nyt kun itselläkin toimii tuo manuaalihaku niin voisi tutkia onko siihen tulllut muutoksia.. ennen ei saanut kuin sen reilun 10 min jäkeen ehtoja vaihtelemalla.. onko se yhä sama..

Toisaalta ei se pitäisi olla ongelma.. jäljet  vievät Online SAS:iin, joka on sitten viimeisen päälle toteutettu datakeskus, omistaja on Porterin kaveri jo France telecomin ajoilta, ja Porterin edellinen firma Cirpack, jonka möi Nokialle, oli myös Online Sassin kanssa kimpassa ja omistaja on Biljonääri, ettei taida olla rahasta puutetta..

Tuo LeGrand on ollut jo 2015 Netatmon kumppani ja osaomistaja.. tuskipa heitillä on intressejä sääasemiakaan mitenkään painaa taka-alalle.. niillä on sellainenkin firma kuin Brief ja eikös se api-firma ollut jokin brief.. jotain..

Ja eikös tuollainen bulkkihaku ole hidas jo luonnostaan.. otetaan vaikka toplistat, muutama sata asemaa maksimissaan ja aikaa kuluu noin 5-6 sekuntia.. sitten kahlataan vaikkapa 10- kertainen määrä läpi... eikö siinä mene suurinpiirtein se 10x aika, jos on 100x määrä joka cachessa on käytävä läpi ja kuljetettava saksaan ja sieltä meitin näytölle osa siitä, eikös siihen mene pakosta hieman aikaa ???

Ollaan nyt tyytyväisiä mitä saadaan, vaikka eihän ihminen ole tyytyvänen koskaan  ;D

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8843
Vs: Netatmot EWN:ään
« Vastaus #517 : Lauantai, 24.11.2018, 19:09 »
Lainaus
Ja eikös tuollainen bulkkihaku ole hidas jo luonnostaan.. otetaan vaikka toplistat, muutama sata asemaa maksimissaan ja aikaa kuluu noin 5-6 sekuntia.. sitten kahlataan vaikkapa 10- kertainen määrä läpi... eikö siinä mene suurinpiirtein se 10x aika, jos on 100x määrä joka cachessa on käytävä läpi ja kuljetettava saksaan ja sieltä meitin näytölle osa siitä, eikös siihen mene pakosta hieman aikaa

Ei välttämättä. Riippuu ihan miten sen toteuttaa. Mitä suurempi/monipuolisempi haku, sitä suuremman roolin pelaa totetustapa.
Mitä tulee toplistan hitauteen niin siinä ei itse haku ole se hitain vaan javascriptin toteutus, eli suurin ongelma siinä on selainpäässä/javascriptin koodissa. ;) Verrataan EuroBlitziin jossa hain sitä nopeutta, tämä parsii ja piirtää kartalle parhammillaan yli 20000 iskua, jota se lukee simppelistä JSON-filusta. Siinä on käytössä kikkakutosta jos toistakin käytössä, alkaen että lukeeko loopin etuperin vai takaperin - takaperin on nopeampi :o ......
Toinen eroavuus on "tausta-tietokanta", EB käsittelee sesonkina pitkäli yli 100k iskua samaan aikaan. Ero on siinä että EWN käyttää Mysql:ä (MariaDB) joka on tunnetusti raskas möhköfantti, EB:n tietokanta on taas palvelimen RAM:issa ja sen ohjema on nimenomaan RAM-tietokannalle suunniteltu.

Poissa einari

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1414
Vs: Netatmot EWN:ään
« Vastaus #518 : Lauantai, 24.11.2018, 19:54 »
Kiitoksia selvennyksestä.. tosin kun emme tiedä-vai tiedämmekö-- mitä tietokantaohjelmaa käyttävät.
mutta on se toista kuin 90-luvun alun magneettinauhakoneet, isokoneiksi niitä sanottiin.. sellaisia ne olikin, siinä alkoi pikkuhiljaa sitten tulla palvelimia raid-levyillä, muttei nekään mitään huippuja olleet.. magneettinauhan vaihtoprosessissa meni nopealtakin tovi ja hitaalta se toinenkin :D

Tuon 19.24 haun laskeskelin.. noin 180 asemaa ja 120 oli saanut uuden ajan edellisestä hausta.. eli 66% ja kahdenkymmenen minuutin sisään oli päivittynyt 83% eli 150 asemaa..
pikkuisen nuo vaihtelevat eri ehdoilla haettaessa ymmärrettävistä syistä..

Minusta tuo on hyvin, ei ikinä ole näin hyvin toiminut.. pitää oikein koputtaa puuta ::)

Edit// tuo asemamäärä on < 45 min. ja mukana on nuo lähekkäin olevat asemat, tuo 45-90 min. antaa nyt 208 asemaa, joten pikaisella päässälaskulla on vajaa 30 asemaa ilman härpäkkeitä (tai ei päivity  muutkaan haut aina) jotka eivät joka kerta humidityllä tule...
« Viimeksi muokattu: Lauantai, 24.11.2018, 20:19 kirjoittanut einari2 »

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8843
Vs: Netatmot EWN:ään
« Vastaus #519 : Lauantai, 24.11.2018, 21:00 »
Lainaus
Kiitoksia selvennyksestä.. tosin kun emme tiedä-vai tiedämmekö-- mitä tietokantaohjelmaa käyttävät.

Juu ei tiedetä. Tuo mun esimerkki on nimenomaan dediltä ja se miten 2 eri tietokanta-totuetusta voi erota toisistaan. Tietenkin, eri tarpeeseen eri toteutus. Tuossa RAM-kannassa kun on se kompsatuskivi että jos kone tilttaa tai rebootataan niin lähtee datat taivaan tuuliin (ellei sitä erikseen tallenna kovalevylle). Mutta EB:n tapauksessa se onkin tarkoitettu pitämään vain max 2h datat.

Lainaus
Minusta tuo on hyvin, ei ikinä ole näin hyvin toiminut.. pitää oikein koputtaa puuta

Juu, tällä hetkellä se toimii ihan suht hyvin  ;D