Kirjoittaja Aihe: Netatmot EWN:ään  (Luettu 49709 kertaa)

0 jäsentä ja 1 Vieras katselee tätä aihetta.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8120
Netatmot EWN:ään
« : Perjantai, 29.09.2017, 23:20 »
Koska Netatmo-häkkyrä näyttää toimivan niin voitaneen lisätä vähän useampikin niitä EWN:ään.
Käytössä ehto että pitää olla sekä tuuli- että sademittari.

Aloitettu Islanntista ja Fäärsaarista/Shetlannista joista ei ollut linjoilla olevia EWN-asemia ennestään. Tuloksena reilut 10 asemaa.
Jatkosuunnitelma on edetä pohjoisesta kohti etelää osissa jotta pystyy paremmin seuraamaan että tuleeko duplikaatioita. Joitain Netatmoasemia on todennäköisesti liittynyt "normaalia" kautta joten tarkoitus olisi saada nuo duplikaatiot pois.

Itärajana tule olemaan suunnilleen Murmansk-Pietari-linja ainakin täällä pohjoisessa.


Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8120
Vs: Netatmot EWN:ään
« Vastaus #1 : Sunnuntai, 01.10.2017, 12:30 »
Netamon API:n haun kordinaatti-rajoitus ei toimi tai toimii miten sattuu. Tällä hetkellä on haun rajoitus 62°N ja se antoi samat asemat vaikka raja oli 66°N, mutta kun laitoin sen 60°N niin se antoi asemia aina jonnekkin 52°N asti.

Asemien lisäsys on aika huima. Suomi esimerkkinä. Tämän jälkeen noin 160 PWS-asemaa. PWS, FMI- sekä tiesää-asemien yhteenlaskettu määrä reilut 700.  ;D

Havaittuja ongelmia joita pitää ratkoa ennenkuin laajennetaan aluetta:

- 20+ lämpötiloja löytyy lähes joka maasta vaikka on tuo "exclude abnormal temps" käytössä. Tähän asti vastaan tulleet poistetaan aseman MAC-osoitteen perusteella (lista manuaalinen). EWN:än "normaalien" asemien haussa on käytössä kuukausiin perustuvat sallitut max/min-lämpötilat jotka jaettu 3 alueeseen (etelä/keski/pohjoinen) jota vois käyttää myös tässä. Tosin, sattuneista syistä ovat sen rajat aika väljät eli ei oikeen välttämättä toimis muuta kun todella hakoteillä olevan lämpötilan kohdalla. Esimerkkinä, pohjoinen ja lokakuu: sallittu max +20. Ja sekin on siinä rajalla että onko liian matala kuten nähty parin viime päivän aikana...

- EWN kartta tarvii jonkin sortin zoomitasoon perustuvan harventajan samaan tyyliin kun Netatmon omalla kartalla. Pitää katsoa että miten tuo nordicweatherin asema-sivuilla olevien ennustekarttojen "lämpötila-laatikot" toimikaan (sen periaate kun on sama) jospa se toimis myös tässä.

- "Uuden aseman" nimihaku geocoderilla vaatii pientä hienosäätöä. Homma toimii suht hyvin täällä pohjoisessa mutta esmex Puolassa on kirjaimia jotka tulee jostain syystä ulos ??-merkkisinä vaikka UTF8 käytössä. Norjassa se myös antoi vaan numeron paikkakunnan lisäksi.

- Pitää ratkoa mitä tehdä alueille joille geocoderi antaa "oman maan" eli esim. Ahvenanmaa, Jersey ja Isle of Man. Laittaisko niille omat taulukot vai siirtäiskö emo-maan alle. Liput kyllä löytyis kaikille. Yks vaihtoehto on laittaa emo-maan alle ja laittaa tuo alue aseman nimeen tyyliin: Åland, Mariehamn.

- Joillekin manner-suomen paikkakunnille antaa geocoderi ruotsinkielisen nimen. Olen ainakin tähän asti pitänyt suomenkielistä linjaa nimissä koko mannersuomen osalta riippumatta siitä onko paikkakunta ruotsinkielinen vai ei. Pitää miettiä että miten tuon tekis.  
« Viimeksi muokattu: Sunnuntai, 01.10.2017, 12:44 kirjoittanut weatherc »

Poissa Leka

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 838
    • Sääasema Vilppula
Vs: Netatmot EWN:ään
« Vastaus #2 : Sunnuntai, 01.10.2017, 14:02 »
- EWN kartta tarvii jonkin sortin zoomitasoon perustuvan harventajan samaan tyyliin kun Netatmon omalla kartalla. Pitää katsoa että miten tuo nordicweatherin asema-sivuilla olevien ennustekarttojen "lämpötila-laatikot" toimikaan (sen periaate kun on sama) jospa se toimis myös tässä.
Ehdottomasti, sillä aika usealla eri zoomitasolla olen huomannut että esim. FMI-aseman tai "vanhemman EWN-aseman" lähellä oleva Netatmo-asema on päällimmäisenä kartalla...

Sääasema Vilppula - Davis Vantage Pro2 Wireless

einari

  • Vieras
Vs: Netatmot EWN:ään
« Vastaus #3 : Sunnuntai, 01.10.2017, 15:08 »

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8120
Vs: Netatmot EWN:ään
« Vastaus #4 : Sunnuntai, 01.10.2017, 15:21 »
Ehdottomasti, sillä aika usealla eri zoomitasolla olen huomannut että esim. FMI-aseman tai "vanhemman EWN-aseman" lähellä oleva Netatmo-asema on päällimmäisenä kartalla...

Tuo johtunee siitä että ne tullee kartalle siinä järjestyksessä mitä ne datafilussa ovat. Olettaisin että tuo mysqlhaku jonka tuon filun tekee listaa ne asemanumeron perusteella alkaen pienimmästä eli vanhimmasta. Tuota *vois* tietty muokata että vanhimmat tuliskin viimeisenä ja että PWS:ät olisivat päällimmäisenä. Tosin tuollainen harventaja voi sotkea tuonkin idean riippuen miten se toimii mutta ehkä sen sais toimimaan niin että näytettävät asemat suosis vanhoja asemia.

Kokeilitko laittaa minuutit hakuun.. tuolla oli joku esimerkki jossa oli minuutit mukana..

En kokeillut muuta kun että rajoitin pohjoisen 71.5°N:een (eli pikkasen Nordkapista pohjoiseen) koska hakualue on niin iso ettei desimaleilla ole paljon virkaa.  ;D

varmaan on miettimistä ja pähkäilemistä tämän asian kanssa  :)

Osa jutuistahan löytyy jo valmiina muissa EWN:än haku-häkkyröissä joten siinä mielessä eikun copy/pastea kehiin niiltä osin mitä sopivat tähän. Eniten fundeeramista tuossa on se että idea on että se lisäisi uudet automaattisesti ja että se silloin osaisi ottaa huomioon tarvittavat asiat. Todennäköisesti poistan jossain kohti kaikki Netatmot kannasta (helpoin tapa on poistaa kaikki joiden asemanumero on < x) ja koe-ajan tuota automaatti-lisäystä uudestaan myös pohjoisen asemien osalta. Mutta eilinen koe oli ihan hyvä eikä nyt mitään ylipääsemättömän suurta tullut vastaan. :)

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8120
Vs: Netatmot EWN:ään
« Vastaus #5 : Maanantai, 02.10.2017, 11:15 »
Kokeilussa Netatmo-häkkyrässä on nyt seuraavanlainen tarkistus lämpötiloille:

1. Onko lämpötila sallitun max ja min-arvojen sisällä - rajat muuttuvat kuukauden ja sijannin perusteella (suomi on samaa aluetta) - talvella tämän pitäisi nappata yli +20° lukemat.
Tarkistus failaa myös jos:
2. Lämpötila korkeampi kun ympäröivien asemien (1° säteellä) keskiarvo JA tämä ero on yli 6 astetta
3. Lämpötila korkeampi kun ympäröivien asemien (1° säteellä) maksimi JA tämä ero on yli 2 astetta

Yksikin "osuma" riittää failiin.
2. ja 3. tarkistavat vain korkeampia lämpötiloa, tämä jotta se sallisi selvästi kylmemmät asemat (kuten tunturit + muut "pakkaskolot").
Rajoja pitää vielä seurata.
JOS tämä toimii voisi se korvata nykyisen tarkistuksen myös muille sääasemille, tämä kun on paljon simppelimpi kun se vanha.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8120
Vs: Netatmot EWN:ään
« Vastaus #6 : Maanantai, 02.10.2017, 23:00 »
Ensimmäinen harventaja-viritys kartalle: https://nordicweather.net/nwn.php?en

- kartta hakee vain näkyvän karttaosan asemat kuten tähänkin asti
- Itse häkkyrä (leaflet collisionlayer) toimii OK
- tulee raskaaksi kun zoomaa ulos ja on paaaaljon asemia.
- painoarvo toimii. PWS => FMI => tiesää. PWS:ssä on vanhoilla asemilla suurin painoarvo. Käytännössä asemat näytetään sen mukaan missä järjestyksessä asemat ovat datassa, eli ensimmäinen joka mahtuu kartalle näytetään.

Pitää koittaa ottaa aikaa mikä siinä on hidasta, mulla on koodit ajanottoon jossain EB-häkkyrässä jemmassa kun sitä koitin aikoinas saada nopeammaksi. Javascriptissä kun on myös eroa sillä että minkälaista looppia käyttää, varsinkin siinä kohtaa kun arrayssä on tuhansia arvoja niin alkaa eroja tulemaan....
« Viimeksi muokattu: Maanantai, 02.10.2017, 23:06 kirjoittanut weatherc »

einari

  • Vieras
Vs: Netatmot EWN:ään
« Vastaus #7 : Keskiviikko, 04.10.2017, 16:28 »
Olen seuraillut tuota karttaa, ihan ok näyttää minun silmissäni. oikeastaan vain yhtä asiaa kaipaan.. sitä paikkahakua ei ole Nordicweatherin kartassa niinkuin ENW:n.. nopeuttaisi jollekkin haluamalleen siirtymistä.. oletan  :)

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8120
Vs: Netatmot EWN:ään
« Vastaus #8 : Keskiviikko, 04.10.2017, 20:56 »
Olen seuraillut tuota karttaa, ihan ok näyttää minun silmissäni. oikeastaan vain yhtä asiaa kaipaan.. sitä paikkahakua ei ole Nordicweatherin kartassa niinkuin ENW:n.. nopeuttaisi jollekkin haluamalleen siirtymistä.. oletan  :)

Nyt alkaa kartta olemaan paketissa, piti tehdä pikku muutos menu-valikkoon että sain vaihto lämpötila<>tuuli-pallerot toimimaan. Tutkittuani collisionlayeriä kävi ilmi että se pirsi ennen siivoamista virtuaalisesti kaikki pallerot kartalle jotta se sai pixelikoon niille ja tämä oli se hidastava tekijä. Collisionlayeri käyttää Rbush (https://github.com/mourner/rbush) nimistä palikkaa laskentoihin, joten sen sielunelämää tutkittuani oli aika helppo tehdä oma versio hommasta.
Oma versio siivoaa kordinaattien perusteella jo ennenkuin generoidaan pallerot. Näin ei tehdä niitä turhaan :)
Nyt uupuu enään euweatherin kartan sekä zipin päivitys, jonka jälkeen voidaan taas jatkaa Netatmojen lisäämistä :)

Juu, paikkahaku on vaan euweatherin sivuilla koska nordicweatherin kartta on sama joka on zipissä. Paikkahaku zipin versiossa aiheuttaisi todennäköisesti enemmän harmaita hiuksia kun mitä kannattaisi johtuen mm. javascriptin "vain sama domain"-toiminnoista, zippiä asennetaan niin moneen erilaiseen ympäristöön sun muista.  

MUOKS: EWN-zippi päivitetty :)
« Viimeksi muokattu: Keskiviikko, 04.10.2017, 21:41 kirjoittanut weatherc »

Poissa Leka

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 838
    • Sääasema Vilppula
Vs: Netatmot EWN:ään
« Vastaus #9 : Perjantai, 06.10.2017, 19:09 »
Hyvin toimii, hyvää työtä jälleen Henkalta :)

Joku virhe ilmeisesti on kuitenkin ewn_mapleaf.js skriptissä, koska ennustekartan säämallin tai kartan vaihtamisella ei ole mitään vaikutusta ainakaan Leuven templatessa. Vanhempi ewn_mapleaf.js toimii kuitenkin moitteetta.


Sääasema Vilppula - Davis Vantage Pro2 Wireless