Uutiset:

Ei uusia uutisia.

Main Menu

Netatmot EWN:ään

Aloittaja weatherc, perjantai, 29.09.2017, 23:20

« edellinen - seuraava »

0 Jäsenet ja 3 Vieraat katselee tätä aihetta.

weatherc

#330
Ei ole kaukaa että Netatmon API saa leiman "KÄYTTÖKELVOTON" otsaansa.
Ainakin sellaiseen tarkoitukseen jossa halutaan että asemalta x tulisi suht tasaisesti dataa. Esim käppyräthän ja toplistat vaatii että dataa tulisi tasaiseen tahtiin, muuten niistä ei ole mitään hyötyä.

Tein häkkyrän ja kannan ja laitoin raksuttamaan. Ehdot samat kuin EWN:än 9° ruuduilla ja hakuehtoina kaikki 4, niin että jokaista ehtoa käytetään kerta per tunti.

Ensin asemien lisäys:
- jokaista hakuehtoa ajettiin ensin kerran ja tuloksena Eurooppaan noin 3000 asemaa joista 150 Suomeen. OK. Ihan hyvä alku.
- datakeruu häkkyrä lisää aseman kantaan jollei sitä sieltä löydy.
- raksutettuaan pari kolme tuntia ajastuksella asemia onkin jo 6500 joista Suomeen 250. Eh.
- Tuorempaa kun 2h vanhaa dataa löytyy noista Suomen 250:sta asemasta noin 170:llä asemalla.
- Noista on kolmen tunnin jälkeen noin 25% ilman ensimmäistäkään data-päivitystä mutta asemien määrä kannassa kasvaa jokaisella päivityskerralla

Tässä esimerkki homman järjettömyydestä
Äkäslompoloon on kantaan tullut yhteensä 5 asemaa noin 1 km säteellä.
Päivitysten määrät per asema on 0,3,2,3,3.

25273 NETATMO Kolari, Äkäslompolo:
- Kolari, Äkäslompolo NETATMO 0.42462117458323967 km
- Kolari, Äkäslompolo NETATMO 0.43145287559861184 km
- Kolari, Äkäslompolo NETATMO 0.8388408632234076 km
- Kolari, Äkäslompolo NETATMO 1.00900171294295 km








einari

katselin itsekkin vähän.. yritin jo eilen sanoa että 4 hakuehtoa ei nyt toimi.. esim. huomasin että jos hakee sillä humidityllä niin antaa vain sen ajan jonka saa temperaturella, wind ja rain antoi lähes saman ajan jos haki peräkkäin.. sitten siinä on sekin pointti että kun hakee ajalla x ehdon, niin noin menee
+/- puoli tuntia ennenkuin saa uutta dataa, eli 2x tunnissa ei silloin hyödytä mitään..  kokeile sitä temp/rain hakua 20 in välein.. mitä sanoo.. itsellä toimi parhaiten temp-haku tasan ja puolelta, wind-haku 20 yli ja 10 vaille.. mietin myös sitä mitä tuossa seuraavassa pohdin.. mitä jos hakee kahdella ehdolla vaikka 5X tunnissa.. 2-3 voisi osua kohdalle ja pari olisi turhaa/ asema.. mutta kun data päivittyy eri asemille eri aikaan niin antaisiko se sitten paremmin??

Mietin myös sitä että omassa app-sovelluksessa saa uuden datan joka 10 min. sitten kun on näitä asemia tuhottomasti niin ei saa samalla aikaleimalla kaikkien asemien dataa.. sehän olisi silkka mahdottomuus. kun tein 23-24/62/63° haun niin aikaleima vaihteli siinäkin liki 10 min. Jos kaikki netatmot ovat samassa cachessa, 2-4 moduulia per asema.. niin aikamoinen raksutus siellä ranskanmaallakin käy..

En tiedä olisiko ajatusta kertoaa heille.. että jakaa maantieteellisesti 4-5 alueeeseen ja jokaiselle oma cache... voisi toimia paremmin... kai sen niiden mapinkin saisi hakemaan eri paikasta datansa?

einari

ON se vissiin heitillä etusijalla omat systeemit, sitten vasta muut..  Otin äsken pois weathermapista oheisen kuvan mukaisen lukeman.. noin vajaa sekuntti meni kun häipyi kartalta..

Edit// kuvasta myös huomaa sen että 6 min. aikaisemmin oli kaappaushetkellä päivittunyt ja yleensä 10 min päästä uusi.. kun hakee cvs-dataa niin 5 min välein arvot..

weatherc

No, heidän oma ideansahan se on tehdä asema joka puskee datat yhteen paikkaan ja että se jaetaan julkisella apilla joten luulis jopa ranskiksen pää raksuttavan sen verran että silloin tarvitaan tehoakin perään. Tai pikemmin järkevää koodia....

Idea 4 ehdon takana on juuri tuon 30 min cachen kiertäminen eli jokaista ehtoa käyttää kerran tunnissa ja parhaiten toimii itse asiassa juuri tuo humidity (joka toki puskee ison kasan sellaisia jossa ei ole tuuliarvoa) sekä wind.

Ei se useata cacheta tarvi vaan järkevää koodia, eli tyyliin jos on ruutu A x B johon pitää karsia asemien määrää että mahtuisi niin pyrkimys pitäisi olla että ulos pusketaan aina ne samat asemat eikä heitetä niitä sinne randomilla. Tällä hetkellä tulos on se että 25-30% asemista tulee dataa suht tasaiseen tahtiin ja lopuilla milloin sattuu ja jokaisella päivityskierroksella on pari sataa sellaista asemaa jota ei löydy kannasta. 

einari

Nopystyisikö siihen rakentamaan järkevää koodia joka ottaisi vain ne parhaat päältä..  tuolla getpublicdatan sivuilla oli näitä esimerkkejä, voisiko niistä muokata sopiva.. esim.timestamp >  C°,m/s,mm... voi olla että on jo käytössä... ;D

weatherc

#335
Tuo aikasemmin mainitsemasi 20 yli / 10 vaille ei toimi.
Kun otti ensin 10 vaille niin ei 20 yli tullut käytännössä mitään uutta.
Mielenkiintoista tosin on se että parit hassut asemat saa kyllä tuoretta dataa jopa vartin välein mutta 98% jää ilman.

Lisää järjettömyyksiä:
Pikkuiselta Karjalohjalta tuupattiin kyllä dataa 4 aseman voimin mutta esim kaikki Sallalaiset uupuvat tyystin datasta.
Huomannut aikasemminkin että jostain syystä se tyykkää pukata dataa niin että useasti on usea ihan lähekkäin olevat asemat ja sitten voi olla isoja läänejä totaalisesti ilman dataa.

Lainaus käyttäjältä: einari - lauantai, 04.08.2018, 22:11
Nopystyisikö siihen rakentamaan järkevää koodia joka ottaisi vain ne parhaat päältä..  tuolla getpublicdatan sivuilla oli näitä esimerkkejä, voisiko niistä muokata sopiva.. esim.timestamp >  C°,m/s,mm... voi olla että on jo käytössä... ;D

Tuohan on vain mitä siinä vastauksessa on, eli nuo timestampit ovat ne milloin data kyseiseltä anturilta on luettu.

weatherc

rain ja wind parametrien jälkeen oli "Lapissa" (eli se mitä taulukko laskee pohjoisesksi) n 16 asemaa "linjoilla" ( tässä vaiheessa ilman mitään karsintaa "samalla tontilla" olevista asemista). Esim Enontekiöläiset ja Sallalaiset loistivat poissaolollaan, eikä Inaristakaan ollut kun 1 asema.
Lisäsin ehdon että lisää asemia humidity parametrillä siten että "vain jos lähimpään kannasta löytyvään Netatmoon on yli 50 km. Tadaa, Asemia tuli ensimmäisellä kierroksella 15 lisää, mukaanlukien mainitut Enontekiöläiset ja Sallalaiset.
Tätä voisi viilata siten että tyyliin "yli 25 km, ja etäisyyttä laskettaessa lasketaan vain asemat jolta tullut dataa". Ideana nimenomaan einarinkin peräänkuuluttamaa "aukkojen täyttöä"...

einari

Tuo kuulostaa jo hyvältä  jos saa vain toimimaan ok.. tarkoitin niillä vastausparametreilla että siivoasi sitten kannasta pois.. pysähdyttiin 5 v. Synttäreille Raaheen, kohta jatketaan kohti Kurthakkoa ja Luosukangasta..

weatherc

#338
Voisko sanoa kohtalaisen hyvin toimii 4 kertaa tunnissa ja eri hakuehto jokaisella.
Tein pikku testin (helppo tehdä nyt kun eivät ole "näkösällä"). Pari tuntia samalla hakuehdolla ajatuksena nähdä noin suurinpiirtein miten monen aseman tiedot päivittyvät milläkin ehdolla. Suomen osalta: rain 120, wind 70, humidity 60, temperature 18. Takajatuksena myös että löytäis optimaalisen järjestyksen noille - ottaen huomioon myös sen että joiden asemien tiedot tulevat vain humidity + temperature:lla.

Hyppimisen ja pomppimisen vähentämiseksi tuli ajatus että taulukon aika-filtteriä voisi muokata 45 minuuttiin tai ehkä jopa 1 tuntiin (sallien maksimi-ajaksi 2 tuntia). Tällöin pysyisi ne jotka päivittyvät "2 krt tunnissa" näkösällä sillä pienemmällä aikavalinnalla. Tai sit ei :P

Käppyrien suhteen tuli idea että ne päivitetään keskitysti kerran tunnissa niin että se päivittyy kaikille asemille joiden viime data on tuoreempi kun 60 min. Näin ei olisi väliä miltä hakuehdolta ja mihin aikaan tunnista asema saisi datansa. Lisäksi tuo on helppo ja failsafe toteuttaa.  ;D

Täysin automaattinen asema-lisäys ei tuossa toimi ainakaan ilman kohtalaisen tiukkaa seulaa. Se johtaisi todennäköisesti siihen että ajan mittaan kannassa olisi 100000 asemaa. Sen verran leviävää sorttia näyttää tää netatmo-tartunta olevan että uusia tupsahtaa ihan jatkuvalla syötöllä ;D Mutta samalla pitäisi myös pysytä siivoamaan ulos poistippuvia ja sallimaan uusien tulo tilalle. Tuolla asemamäärällä kun voi olettaa että vaihtuvuus on suhteellisen suurta. Kaikki kun eivät ole tällaisia 10+ v nörttejä kun me.  ;D Tai sitten niihin purasee sääasemakärpänen ja ne ostaa hetken päästä kunnon pelit lelujen tilalle, who knows  :P
Sama koskee jos/kun tulee asemia alueelle jossa ei aikasemmin ole asemaa. Tältä osin se lienee helppo toteuttaa tarkistamalla etäisyys lähimpään aktiiviseen asemaan. Tyyliin jos > 25 km niin sisälle vaan.  ;D

Toinen ratkaistava on se että 25% kaikista asemista on < 2 km toisistaan ja yli 50% lähempänä kuin 10 km toisistaan. Varsinaista "netatmon paras kaveri on toinen netatmo"-meinikiä siis ;D Jep. Pientä karsintaa tarvitaan vaikkakin tuo 9° ruudukko pitää lukumäärän suht aisoissa. Mutta, on asemia joilta tulee dataa "ihan hyvin" ja asemia joilta tulee dataa "joskus satunnaisesti" (syy voi tietty olla sekä asemassa tai sitten apissa). Tässä kohtaa tietenkin suosisin niitä joilta tulee dataa "hyvin".
Jokaiselle asemalle annetaan "added"-päivämäärä sekä päivitys-laskuri joiden mukaan asiaa voi tarkastella. Päivämäärä lisättiin ja laskuri nollattiin tänään.


weatherc

Noin 24h saldoa 8900 asemalle:
- vain 15% saanut dataa > 24 kertaa eli kerran tunnissa tai useammin
- n 47% saanut dataa > 12 kertaa eli kerran 2 tunnissa tai useammin
- n 8% ei ole saanut dataa ainuttakaan kertaa