Netatmot EWN:ään

einari · maanantai, 09.04.2018, 22:03

erottimena pilkku wind, rain ?

weatherc · maanantai, 09.04.2018, 22:04

Lainaus käyttäjältä: einari - maanantai, 09.04.2018, 21:13
kai sen voi valita mitä haluaa filtteröidä, vaikka wind or rain... tai jotain sellaista..

Voi, ja silloin kun tuon tein niin niistä valikoitui tuo tuuli. Tosin, ainakin niillä kokeiluilla mitä tein kun tuota EWN:än häkkyrää väsäsin niin tuo &required_data=wind ei takaa mitään. Vastauksena tulee myös asemia ilman tuuli-anturia / tuuli-arvoja. Sen takia tarkistaa tuo EWN:än häkkyrä sen vielä erikseen mutta sallien asemat ilman tuulta jos pohjoisempana kun 64°N.

Se, mitä Netatmo pitäisi ihan ensimmäiseksi tehdä, ja olisi pitänyt olla päivänselvä asia ennenkuin API:a edes julkaistaan, on että saisi tuon API:n oikeasti toimimaan sen mukaan mitä parametrejä sille syötetään eikä syöttäis joukkoon omiaan.
Esimerkiksi vaikka EWN:än haut rajoittuu -11°E (eli Islannin länsipuolelle) ja 40°N (eli Välimerelle) niin dataa tulee esim. niin Kanadasta kun Dubaista. Muutenkin vaikuttaa varsinkin nuo kordinaatti-rajaukset olevan vain näön vuoksi. On asemia jotka tulevat vastaan kuudessakin eri haussa vaikka haut ovat kaikki eri alueille. Tuo kävi ilmi kun tuota tähtilaskuria väsäsin ja aloin ihmettelmään miksi joidenkin Netatmojen laskurit laukkaa nopeammin kun muut. Ei ole siis kovin vakaallaa / luotettavalla pohjalla...

einari · tiistai, 10.04.2018, 07:26

Jaa'a.. mitenkäs tuo koordinaattihaku noin käyttäytyy, mikäli minä ymmärrän oikein niin sieltä voi hakea alueita kahdellakin eri tavalla, lounais, koilliskulmilla tai joka kulma erikseen?

Tuohon datan laatuun en osaa sanoa sen kummempaa kuin että metsä vastaa niinkuin sinne huudetaan

Tai.. sellaisen huomion olen tehnyt, kun asentaa uutta asemaa.. saattaa sijainniksi tulla Espoo tai Vantaa ja joskus Turkukin..johtuen Telian 4G-sijaintitiedon vajavaisuuksista.. saattaapi ollla että osittain on kyse siitä siinä kanada-dubai ongelmassa.. eli virheellisestä sijaintitiedosta. toisaalta voihan siellä aseman asetuksissa vaikka laittaa sijainniksi Timbuktunkin.. jos niin haluaa sen sinne pakottaa

Tuosta 64°N voisi tiputtaa asteen alemmaksi, Vaasa-joensuu-akselille suurinpiirtein.. ja voisi myös hakuun laittaa &required_data=wind, rain .. niinkuin kokeeksi.. saisi tänne kylmään, pimeään pohjoiseen enemmän PWS-asemia.
On siellä varmaan hyvin sijoitettuja asemia enimmäkseen joilla ei ole tarvetta sijainnin tai olosuhteiden mukaan hintavalle tuulimittarille.. esim metsän keskellä ei oikein mitään sillä tee.. ja enemmän varmaan ihmiset ovat kiinnostuneita sademääristä.. ma oletan

en tiedä sanooko tällainen sinulle mitään, minulle ei paljoakaan mutta siivouksesta kirjoitti

http://community.wolfram.com/groups/-/m/t/344241

weatherc · tiistai, 10.04.2018, 10:50

LainaaJaa'a.. mitenkäs tuo koordinaattihaku noin käyttäytyy, mikäli minä ymmärrän oikein niin sieltä voi hakea alueita kahdellakin eri tavalla, lounais, koilliskulmilla tai joka kulma erikseen?

Mulla käytössä sw ja ne-kulmat noissa hauissa. Niin, datassa on kyllä edustettuina kaikki pohjois-Afrikankin maat sekä Israelit ja Syyriatkin vaikka ovat kaikki hakujen ulkopuolella. Ja, jep, lämpötilojen osalta ovat kyllä ihan paikkansapitäviä kordinaattien mukaan, eli eivät ole mitään "pakotettuja sijanteja". Itäänpäin mentäessä taitaa itäisin osuma olla liki Siperiasta vaikka se on rajoitettu 34°E eli Murmanskin huudeille. Eli kyllä se on heitin API joka failaa ei mikään muu.

Lainaa
Tuosta 64°N voisi tiputtaa asteen alemmaksi, Vaasa-joensuu-akselille suurinpiirtein.. ja voisi myös hakuun laittaa &required_data=wind, rain .. niinkuin kokeeksi.. saisi tänne kylmään, pimeään pohjoiseen enemmän PWS-asemia.

Kokeilin tuota wind,rain ja silloin taisi lakata toimimasta kokonaan eli se ei hyväksy kun yhden...

einari · tiistai, 10.04.2018, 11:46

löytyisiköhän täältä vastauksia..??
https://nobodyinperson.gitlab.io/python3-patatmo/whatsthis.html

weatherc · tiistai, 10.04.2018, 14:16

Lainaus käyttäjältä: einari - tiistai, 10.04.2018, 11:46
löytyisiköhän täältä vastauksia..??
https://nobodyinperson.gitlab.io/python3-patatmo/whatsthis.html

Tuskinpa. Kun kerran samaa julkista APi:a käyttää niin samaa sontaa sekin sekin saa. Se mitä tuossa on että se pilkkoo haetut alueet pienempiin osiin. Siihen se hyöty sitten loppuikin.

Tuota tutkailessa löytyi sellainen kohta jossa kerrottiin että jotta saisi varmasti KAIKKI asemat niin pitäisi ruudukon koko olla 0.06°.
Se tekisi EWN:n kokoiselle alueelle (-11°E => 34°E ja 40°N => 71.5°N) vaivaiset 393750 kyselyä per päivitys eli 10 min päivitysvälillä noin 56.7 miljoonaa kyselyä per päivä. Helpommallakin päässee banniin....

Jujuhan on siinä että, jos on API jossa kordinaattirajaus, ja minä haen vaikkapa 20°E,60°N => 30°E,62°N, niin vastauksen asemat pitää olla kyseisen laatikon sisältä, eikä siältää asemia sen ulkopuolelta. Yksinkertaista. Paitsi näköjään ranskalaisille....

einari · tiistai, 10.04.2018, 17:54

Jos me vaan ei ymmärretä ranskalaisia..

Etsiskelin tuossa netistä taas että löytyisikö mitään, vaikken mitään ymmärräkkään.. ainakaan kovin paljon!
Löysin tuollaisen, jonka mukaan se rain ja wind ovat haettavia suureita siinä required_data:ssa, se sitten onkin eri asia miten se haetaan, pitääkö niillä olla eri rivit, osiot tai kenties eri haut ??

https://cbornet.github.io/netatmo-swagger-decl/swagger.json

siellä oli muutakin asiaa.. sitä phython-juttua voisi varmaan hyödyntää pienelle alueelle vaikka kotisivulle.. jos joskus saa aikaiseksi

EDIT// Voisihan sitä kokeilla että hakee temperaturella tai humitidyllä ja sitten suodattaa pois sellaiset joissa ei ole sade tai tuulimittaria EWN toimesta, siis vain pohjoisessa haussa?

weatherc · tiistai, 10.04.2018, 22:55

LainaaJos me vaan ei ymmärretä ranskalaisia..

No, sen olen oppinut EWN:än matkan varrella että mitä etelämmäksi mennään sitä "ei se niin justiinsa ole" on meininki. Yksi syy miksi EWN:ään liittyminen menee tarkistuksen kautta.

Ei eri hakusysteemit paljoa auta jos se ongelma on siinä API-serverillä mistä se data haetaan. Ongelman ydin on oikeastaan kaksi asiaa
- antaa asemia haetun ruudun ulkopuolelta - esim. mainintani että jotkut asemat tulee vastaan jopa kuudessa eri haussa + sitten nuo Afrikkalaiset ja muut ei vastukseen kuuluvat
- vastauksena tulevat asemat näyttävät valikoituvan aika randomilla - EWN:än kannassa on paljon Netatmoja joille dataa tullut vain harvakseltaan tai jopa vaan kerran joten eivät näy. Kannassa on yhteensä 6743 Netatmoa, mutta vain 4000:llä on tuorempaa dataa kuin 2018-04-01 00:00:00.

einari · keskiviikko, 11.04.2018, 06:49

Lähden lopusta alkuun..

Ehkäpä tässä on nyt on näiden asemien määrän suhteen montakin tekijää, ensinnäkin se tuuliehto joka karsii osan pois, ehkä myös sellainen juttu että jos aseman omistaja on määritellyt myöhemmin, ettei näy weathermapissa niin tieto on jäänyt muttei enää päivity.. käsittääkseni van ne asemat jotka näkyy netatmon kartalla on julkisia?

Voisiko ajatellla ettei hae jos tieto ei päivity jollain aikaviiveellä?

Tuohon eri hakujutuissa samojen asemien esiintymiseen on olemassa ratkaisuja, mutta ensin tarvitaan aseman id, jonka saa vaikka getuser-kyselyllä, jollei sitä ole jo aiemmin tullut hakujen mukana..sitten hakee alueen 1 jonka jälkeen alueen 2 haku tarkistaa alueen 1.. onko jo haettu mac-osoite, alueen 3 haku 1 ja 2.. jne

siitä eilisestä json-jutusta jäi mmieleen jaa yöllä prosessoin.. aamulla herättyäni sain tuollaaisen vastauksen

En tiedä onko hankala toteuttaa ja kuinka hidastaisi prosessointia?

Pitää yrittää miettiä tuota koordinaattisekoilua joku yö..

einari · keskiviikko, 11.04.2018, 15:46

weatherc > auttaisikohan asiaa jos sinne tekisi oman apin eikä käyttäisi sitä yleistä?
tein testin aikoinaan.. sille testin asteelle jäikin

voisin antaa tunnuksen ja salasanan jotta voisi testata ja tehdä vaikka sinne ewn.api:n

laiha testin tulos

https://api.netatmo.com/viipuri.api

Uutiset:

Netatmot EWN:ään