Kirjoittaja Aihe: Näkemiin WD...  (Luettu 2800 kertaa)

0 jäsentä ja 1 Vieras katselee tätä aihetta.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8429
Näkemiin WD...
« : Sunnuntai, 21.05.2017, 22:32 »
...eikä jäädä kaipaamaan....

Tuota hamiltonin tekelettähän on ahdistanut jo kauan keksien mitä milloinkin aina liki kuukauden datojen hukkaamisesta lähtien...Mulla on data mennyt myös WL:ään eli suuri osa vajaasta 10 vuodesta löytyy myös siitä. 2010-2012 on aukkoja WL-datassa josta dataa löytyy vain ajoittain. Aukkojen data löytyy WU:sta jollain tiheydellä.
Noh, aattelin antaa WD:lle yhden mahdollisuuden ja hakea kaikki data uusiksi WL:stä (+ täyttää tuo aukko WU:sta). Teoriassa juu, käytännössä WD:n importtaus-toimito ei toiminut. Haki se dataa juu mutta jätti kaikki kuukaudet puolentiehen. Eikä liene yllätys ettei Hamilton myöskään näyttänyt mitään kiinnostusta asiaan vaikka laitoin bugiraporttia menemään.

Koska WeeWX on tullut tutuksi etäaseman tiimoilta ja tavikelaatikossa oli joutilainen RasPi niin siirtyi tutkimukset siihen että miten tuon datan sais siihen. WeeWX osaa importata mm WU:sta sekä Cumuluksesta. Ja kappas, Googlella löytyi WL => Cumulus-softa. Eikun testiin.
Ensin kokeilin 1 kuukaudella ja totesin että toimii. Myös data näytti ihan OK:lta.

Koska jostain syystä luotto tuollaisiin SD-kortteihin ei ole ihan 100 niin lisätutimuksia vaati se että saisko RasPi:een SSD-lätyn liitettyä. Jep, USB-sata-kaapelia kehiin ja menoksi. Nopeus sellaisella ei ehkä päätä huimaa mutta voittaa se aina SD-kortin. Käytännön testi antoi noin 50 Mb/s sisäänmenevää dataa SSD-lätylle. Ihan riittävästi kun WeeWX ei välttämättä kaipaa sitä nopeutta vaan kestävyyttä kun dataa päivitetään usein.
Matkan varrella tuli myös idea että saisko sen boottamaan SSD:ltä. Juu, saa (ohje), tuloksena ettei se tarvi SD-korttia laisinkaan :)

Eli takaisin dataan...WeeWX pureskeli 10 vuoden datat noin vuorokaudessa.
WeeWX:ään asensin sekä WeeWD (clientraw.txt & steelgauge-filut) että Realtime (Cumulus realtime.txt) plugarit. WD-plugari siksi ettei sivun pitäisi tarvita ainakaan heti mitään suurempia muutoksia.

Tosin työn alla on yhteinäinen systeemi nordicweather-sivun asemille jossa data pusketaan mysliin sekä raportti-sivut generoidaan suoraan sieltä.

Poissa iccb

  • Käytännössä asuu täällä
  • ****
  • Viestejä: 163
    • Säätilanne Eurassa
Vs: Näkemiin WD...
« Vastaus #1 : Sunnuntai, 28.05.2017, 01:59 »
Itse en saanut weewx:ää importtaamaan WU:sta, täytynee jatkaa ihemttelyä josko jotenkik saisin weewx:ään vanhaa dataa tuupattua...
Uusin rasbpian kaiketi boottaa usb:ltä ilman mitä lisäasetuksia?...
http://downloads.raspberrypi.org/raspbian/release_notes.txt

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8429
Vs: Näkemiin WD...
« Vastaus #2 : Sunnuntai, 28.05.2017, 12:55 »
Itse en saanut weewx:ää importtaamaan WU:sta, täytynee jatkaa ihemttelyä josko jotenkik saisin weewx:ään vanhaa dataa tuupattua...
Uusin rasbpian kaiketi boottaa usb:ltä ilman mitä lisäasetuksia?...
http://downloads.raspberrypi.org/raspbian/release_notes.txt

Tuon mukaan kun teki niin toimis mulla ihan OK: http://www.weewx.com/docs/utilities.htm#Importing_from_Weather_Underground

Itse asiassa tein loppujen lopuksi niin että otin WD-datan pohjaksi eli ajoin sen Cumulus-muotoon.
Siihen korvasin WL:stä generoiduilla filuilla vajaat ja puuttuvat kuukaudet.
Tämän jälkeen importtasin sen WeeWX:ään (kesti reilun vuorokauden).
Sen jälkeen dumppasin saman datan WeeWX:stä dedille Mysqliin 5 minuutin hyppelyin jotta oli helpompi selata dataa (tietty homman olisi voinut tehdä myös Sqllite-readerilllä). Mulla häkkyrä joka lukee WeeWX:än Sqlliteä ja tekee siitä JSON-filun 5 minuutin datalla, mm. laskee 5 min max puuskat tarkistaen ensin että mikä on uusin data dedillä (alunperin etäasemlle tehty toiminto uppata kaikki uusi data).
Dedin puolella parsiva häkkyrä tekee myös päivittäiset rivit aina 23:55-aikaleiman kohdalla.
Sen jälkeen oli helppo löytää vääriä datoja + korjata ne WeeWX:stä ohjeen mukaan (lopuksi tein uuden dumppauksen dedin mysqliin)

Kemiönsaari sai jo uudet mysql-pohjaiset raportti-sivut mutta Perttelin osalta ovat vielä vähän vaiheessa ;)

Tuon Rasbianin tein niin että laitoin sen ensin SD-kortille kuten normaalisti ja siitä siirsin sen SSD-lätylle tuon ohjeen mukaan. Tämän jälkeen SD-korttia ei ole enää tarvittu edes boottaukseen.
« Viimeksi muokattu: Sunnuntai, 28.05.2017, 13:06 kirjoittanut weatherc »