Kirjoittaja Aihe: Netatmot EWN:ään  (Luettu 41964 kertaa)

0 jäsentä ja 3 Vierasta katselee tätä aihetta.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8046
Vs: Netatmot EWN:ään
« Vastaus #40 : Torstai, 02.11.2017, 21:54 »
Laitoin eilen kysymyksen asiasta netatmolle, eivät ole vielä vastanneet..

mutta minulla olisi ehdotus, koska talviaikaan siirryttäessä katosi mystisesti tunti viiveestä..
ilmeisesti cet-ajan ja utc-ajan veivaus teki sen. mitä jos kokeilisi haussa muuttaa se utc-aika +1 ja katsoa mitä tapahtuu.. tai sitten +3,
olisiko ideaa?

lisäys: tarkoitan että käppyrähakuun.. oletan että eri haku on mittareihin ja käppyröihin kun eri arvoja näyttää?

Tuo viive heidän API-datassa voi olla niin tarkoituksella kuin etteivät vaan ole tulleet ajatelleeks sitä kun käyttävät välimuisteja hakuihin. Mutta odotellaan heitin vastausta.

Käppyrä-viive johtuu väärästä aikaleimasta. Vertailin omaa Davista ja yhtä Netatmoa ja ero käppyrä-tietokannassa on se tunti.
Käppyrädata siis kerääntyy omaan tietokantaan kun taas mittareiden datat tulee viimeisestä datasta tai clientraw/realtime-filuista jos WD/Cumulus (tai muu softa joka osaa generoida ne kuten WeeWX + softaks laitettu WD/Cumulus).

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8046
Vs: Netatmot EWN:ään
« Vastaus #41 : Perjantai, 03.11.2017, 22:02 »
Mä sitä käppyrädatan aikaleimaa ruuvailin :)

Näyttää siltä että käppyrät veivaa aina ajan katsojan/selaimen aikavyöhykeen mukaan eli suomesta katsottuna suomen aikaan riippumatta siitä missä asema sijaitsee. Tuo ei ole mitään uutta kun Highchartista on kyse...

EDIT: Fixattu :)
« Viimeksi muokattu: Perjantai, 03.11.2017, 22:12 kirjoittanut weatherc »

Poissa Naruskan Ukka

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1228
    • Naruskan Retkeilymaja
Vs: Netatmot EWN:ään
« Vastaus #42 : Lauantai, 04.11.2017, 20:41 »
En ole Netatmon markkinamies, mutta ostin tänään Rovaniemen Ohlssonilta tarjouksesta joulupukinkonttiin Netatmon keskusyksikköpaketin lähtöhintaan 159 €uroa. Tarjoukseen sisältyi kaupantekijäisenä sademittari. Tästä tarjouksesta hinta vielä kassalla putosi 15 prosenttia Ohlssonin syntymäpäivien kunniaksi.

Eipä tuota taida tuolla hinnalla enää tekemään alkaa... ;)

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8046
Vs: Netatmot EWN:ään
« Vastaus #43 : Sunnuntai, 05.11.2017, 11:00 »
Onko se weatherc ehtinyt männynneulasten etsimisen lisäksi lisää ruuvailemaan xxxxxxxx.js:ä  ;D
 kun juuri pohjoisemmasta palattua (raahessa vain käväistiin) vilkaisin käppyröitä ja yllätyin, ruotsi ja norja tunnin jäljessä, islanti 2 tuntia ja muurmansk tunnin edellä.. eli niinkuin asemien paikalliset ajat on..

Tuo muutos oli itse asiassa hyvinkin helppo. Yks asetus Highchartissa + pikku muokkaus datanhakuun niin että aikaleima muutetaan aikavyöhykkeen perusteella (kaikkien asemien aikavyöhykkeet on tietokannassa valmiina). Eli lisätään ero UTC:hen siihen aikaleimaan esim. 7200 sekuntia Suomen osalta. Tuon UTC-eron saa suoraan PHP:n date-funktiolla joten ei tarvinnut edes mitään "if finland then 7200"-purkkaa vääntää.  ;D

Tällä hetkellä ei ilmesty uusia Netatmoja EWN:ään. Tämä johtuu siitä että HERE alkoi nillittämään heitin geokooderin käytöstä....

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8046
Vs: Netatmot EWN:ään
« Vastaus #44 : Sunnuntai, 05.11.2017, 19:02 »
Rahaako Here tahtois..

Onko se suurikin ongelma, vai voisiko jotain muuta geokooderia (free) käyttää rinnalla joillakin alueilla?
githubissa oli jotain mainintoja Carmen, Ruby, sekä parista muusta geocooderista, lisäksi siellä oli jotain netatmon käyttämästä mapbox-karrtan geocooderista

Jeps, rahaahan ne haluais...
On olemassa myös esim OSM:än ilmainen Nominatim geokooderi, tosin heidän rajoitus API:n käytössä on max 1 kysely/sekunti. Ongelmahan Netatmo-häkkyrän kanssa on se että kun se ajetaan tulee noita kyselyjä huomattavasti nopeammin kuin tuo 1/sec.
Nominatimistä on myös olemassa "paikallinen asennus", joka tosin vaatii kotalaisesti tilaa/tehoa varsinkin asennusvaiheessa, OSM:än kanta kun ei ole mikään kovin pieni edes vaikka ottais vain Euroopan eikä koko maailman, Euroopan filun koko kun on vaivalloiset 32 GB... ;D

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8046
Vs: Netatmot EWN:ään
« Vastaus #45 : Sunnuntai, 05.11.2017, 23:34 »
OSM-data itsessään ei ole sinällään ongelma - muuta kun että kun sitä importeeraa PostgreSQL:ään on se purkki varattu siihen vähintään viikon. OSM:än parsiminen heidän omillakin kaluilla kun kestää toven jos toisen - eikä se oo mitenkään kirkossa kuulutettu että se onnistuu ekalla tai tokallakaan kerralla.
Tuolla saksalaishepulla jonka kanssa teen noita karttoja on purkkeja, mm 32 ytiminen jolla 96 rammia ellen ihan väärin muista ;D

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8046
Vs: Netatmot EWN:ään
« Vastaus #46 : Maanantai, 06.11.2017, 18:51 »
No sittenhän ei ole ilmeisesti tarvetta miettiä sitä mihin sen OSM:n saisi asennettua.. :)
kuka hoitaa kulut??

Sakslaisheppu maksaa kulut. Muuten juu mutta tuo purkki on dev-purkki sekä sijaitsee Jenkeissä (siellä kun purkit ovat huomattavasti halvempia). Haittaava tekiä on myös US<>EU yhteyden hitaus, se kun parhammillaankin on surkean ADSL:än tasoa, yleisesti reilustikkin alle 1 Mbit/s, tämä siis kahden palvelinkeskuksen välillä.

kirjoitusvirhe ja nettislangia..  ilmeisesti riittää kun ilmoittaa että ongelma ratkaistu  ;D

Kyllähän tuo ralli-englanti tarkoittaa että haluaisivat esimerkkiä ongelmasta mutta.. :)

Netatmojen kohdalla laitan kokeiluun sellaisen että
- Netatmolta haetut API-vastaukset tallennetaan levylle
- Nykyinen häkkyrä päivittää vain sää-datat tietokannasta jo löytyville asemille
- Erillinen häkkyrä käy API-vastaukset läpi ja etsii puuttuvat asemat sekä hitaaalla tahdilla (1 kysely per 3 sekuntia) hakee geo-infot OSM:än Nominatimistä.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8046
Vs: Netatmot EWN:ään
« Vastaus #47 : Maanantai, 06.11.2017, 22:15 »
Oli ilmestynyt asema Saint Peter Portiin Guernsey:n saarelle.
Saarihan on liki itsenäinen mutta joillain siteillä UK:n kuuluva joten se on ainakin toistaiseksi UK:n alla....

Pohjois/etelä-jakoon tuli sellainen ajatus että jottei tarvi käydä kaikkia maita läpi manuaalisesti ja jotta sitä ei tarvis silleen valvoa niin...
- toimis sen perusteella kuinka monta asemaa maasta löytyy. Pitää miettiä rajoja mutta esim.
  * < 50 asemaa - 1 osa
  * 50-100 asemaa - 2 osaan
  * 100+ asemaa 3 osaan
- jako tehtäis niin että jaetaan maa kahteen/kolmeen osaan pohjoisimman ja eteläisimmän asemien koordinaatien perusteella - esim. jos eteläisin asema on 60°N ja pohjoisin 69°N ja jako 3 osaan niin ovat jakopisteet 63°N ja 66°N.
« Viimeksi muokattu: Maanantai, 06.11.2017, 22:25 kirjoittanut weatherc »

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8046
Vs: Netatmot EWN:ään
« Vastaus #48 : Keskiviikko, 08.11.2017, 20:48 »
Lainaus
Mahtaakohan tuo dev-palvelin olla niitä mangeettinauhasysteemejä.. vai nykyaikaisempia unix-palvelimia?
aikoinaan jonkin verran IBM:n ja ICL:n (taitaa olla fujitsu tai siemens nykyään) konesaleissa tuli käytyä..

Ihan unix-purkkihan se on :)

Lainaus
Kovin on hidasta tiedonsiirto, onkohan kyseessä merikaapeli.. luulisi satelliittiyhteydelläkin olevan nopeampaa kuin EDGE2-luokkaa..

Veikkaisin juu. Se on totta että avuttoman hidasta se osaa olla. Ehdotin kerran NOAA:lle (joka siis jakaa esmex GFS-filuja) että laittaisivat purkin pystyyn Eurooppaan ettei tarvis odotella seuraavaan päivään että filut latautuisi mutteivät lämmenneet idealle...

Lainaus
tuosta karttajaosta sen verran että olisi suomen osalta ehkä loogisempaa niin maantieteellisesti kuin asemamäärän suhteen jako vaikkapa 62° N
ja 65° 30´N.. pysyisi Pohjanmaa kasassa

Katsotaan nyt. Pää-idea on kuitenkin että se osaisi jakaa maat automaagisesti mutta voipi olla että Pohjoismaille sais manuaalisesti laitetut rajat.

Lainaus
Ei voi varmaankaan vertailemalla sademääriä ympäröiviin asemiin, koska toisilla on lämmitys, toisilla ei.. näin talviaikaan..
ehkä, jos on mahdollista, voisi ajatella että jos aseman sademäärä on vakio useamman päivän, mutta isompi kuin nolla tai yksi mm?

Sateita ei pysty vertailemaan, liian suuret paikalliset erot, siis vaikka mittarit olisi toiminnassakin. Hyvä esimerkki viime kesältä, oman Kemiönsaaren lähi FMI:t (Kemiö ja Hanko, molemmat abouttirallaa 15-20 km säteellä omasta asemasta) nakutti tyyliin 15 mm kun oma Davis nakutti samaan aikaan tauluun 40 mm. Syy: kohdalle osunut ja hidasliikkeinen ukkosrintama.
Tuo sadelista ei ole koskaan toiminut kunnolla koska aina on joku asema joka heittää kehiin dippadaapaa-lukemat. Ongelma on myös siinä että sallittu sademäärä pitää olla aika korkea (> 100 mm / vrk, useampi tuhat mm / vuosi) koska on alueita jossa todella sataa...


Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8046
Vs: Netatmot EWN:ään
« Vastaus #49 : Lauantai, 11.11.2017, 23:17 »
Palaan vielä tuohon sadejuttuun, miusta tässä ei pidä ajatella saademääriä vuorokausi tai vuositasollla, vaan sitä että onko sellainen hakuehto mahdollinen että poimittaisiin aseman historiasta tieto. Tarkoitan tällä sitä että netatmohan nollaa sadekertymän CET-ajassa noin 00.00 ja EET-ajassa näkyy olevan 01.00, jos siis olisi vertailu että onko vaikkapa tämän päivän kertymä esim. 02.00 sama kuin eilen 23.00 ollut kertymä ja sateettomat päivät pois sillä että jos jää alle vaikka 1-2 mm niin ei poista asemaa.  Jollain tuollaisella keinolla saisi pois virhetilassa olevat sademittarit.. luulisin.

Sadedata menee käppyrä-kantaan joten se löytyis kyllä aikaleimalla, eikä se välttämättä olisi kovin vaikeaa hakea se sieltä.
Mutta, ensin pitäisi selvittää että miten se Netatmon APIssa oleva sademäärä nollaantuu koska se on nimetty "24h sateeksi". Nimi viittaisi siihen ettei se nollaannu puoleltaöin vaan näyttää aina edellisen 24h sateen.