FinWX Foorumi

Sääasemaohjelmat => Weather Display => Aiheen aloitti: weatherc - torstai, 02.12.2010, 12:31

Otsikko: WD:n uppausten minmointi
Kirjoitti: weatherc - torstai, 02.12.2010, 12:31
Samalla kun siirryttiin mobiilikaistan käyttäjäksi on tullut tutkailtua mitä upataan ja kuinka paljon, vaikkei tuossa mitään datarajaa olekkaan, mutta siivoushan ei ole koskaan pahaksi. ;)
Fakta on se että tällaisilla reaaliaikasella päivityksillä nousee datamäärä aika äkkiä yllättäviinkin lukemiin.
Esimerkiksi aika yleisesti näköjään käytetty "normikaistan" 3 GB kuukausirajoitus (joka btw. on aivan lapsellisen pieni) tulee yllättävänkin äkkiä täyteen wx-filuilla, toisaalta jos ei uppaa ensimmäistäkään kuvaa, ainakaan jatkuvalla syötöllä, niin sillä porskuttaa todella hyvin.  ;)

Tässä muutama laskelma jonka tein WD & Nexstorm/NSLog:
clientraw.txt/NSRealtime.txt: koko 1 KB, päivitysväli: 30 sek, 24h: 2.8 MB, Kuukausi: 86.8 MB
testtags.php: koko 9 KB, päivitysväli: 5 min, 24h: 2.5 MB, Kuukausi: 77.5 MB
kamera/tutkakuva: koko 50 KB, päivitysväli: 1 min, 24h: 72 MB, Kuukausi: 2232 MB
NSGraph.txt: koko 41 KB, päivitysväli: 5 min, 24h: 12 MB, Kuukausi: 372 MB
NOAA ym. raportit: koko yhteensä 64 KB, päivitysväli: 24 h, 24h: 64 KB, Kuukausi: 2 MB

Lopputuloksena: clientraw + testtags + 2 x kuvaa + NsRealtime + NSGraph + Raportit = 24h: 166 MB, Kuukausi: 5146 MB  ;D  :o

Minuutin välein päivittyvä kamera/tutkakuva syö reilut 2/3 siitä 3 GB:stä yksinääs kun taas clientraw:t ja testtags.php pysyy ihan hyvällä tasolla myös rajoitettua kaistaa ajatellen  ;D

Mitä WD:seen tulee niin olen saanut sen että päivän mittaan se ei uppaa muuta kuin clientrawt ja testtags.php, Custom Internet-settingisiä käyttäen, napsimilla pois kaikki paitsi testtags.php:n teon sieltä.
Tämän lisäksi menee kerran vuorokaudessa raportit.
Ainut mikä nyt vielä menee turhana on aika nippu kaikenkarvaisia kuvia, joista pistin kyssäriä myös Hamiltonille ww-foorumille.
WD:ssä voi tarkkailla mitä se uppailee ftplog.txt:stä joka löytyy WD:n kansiosta. Ftplog.txt sisältää koko vuorokauden uppaukset (paitsi realtime-sellaiset) ja ftplogfull.txt viimeisen uppauksen tiedot.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: weatherc - torstai, 02.12.2010, 14:15
Sen ylimääräisen kuvanipun uppauksen saa pois tarkistamalla että täppi on poissa kohdasta Control Panel -> FTP/Internet Setup ja sieltä Webfiles Upload Times-välilehti ja rivi "Do Daily uploads of averages/extremes"

NSGraph:stakin voi päästä eroon jos rakentaa sen serverillä käyttäen Mysliä ja ajastusta :)
Tällöin olisi tulos seuraava:

clientraw.txt/NSRealtime.txt: koko 1 KB, päivitysväli: 30 sek, 24h: 2.8 MB, Kuukausi: 86.8 MB
testtags.php: koko 9 KB, päivitysväli: 5 min, 24h: 2.5 MB, Kuukausi: 77.5 MB
kamera/tutkakuva: koko 50 KB, päivitysväli: 1 min, 24h: 72 MB, Kuukausi: 2232 MB
NOAA ym. raportit: koko yhteensä 64 KB, päivitysväli: 24 h, 24h: 64 KB, Kuukausi: 2 MB

Lopputuloksena: clientraw + testtags + 2 x kuvaa + NsRealtime + Raportit = 24h: 154 MB, Kuukausi: 4774 MB
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: ARu - perjantai, 03.12.2010, 09:28
kokeilin eilen ja jos tosta "Do Daily uploads of averages/extremes" ottaa täpin pois, ei lähettänyt ollenkaan myöskään
daily- eikä dailynoaareportteja.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: weatherc - perjantai, 03.12.2010, 14:56
Lainaus käyttäjältä: ARu - perjantai, 03.12.2010, 09:28
kokeilin eilen ja jos tosta "Do Daily uploads of averages/extremes" ottaa täpin pois, ei lähettänyt ollenkaan myöskään
daily- eikä dailynoaareportteja.

Tuo on just se mitä eniten pännii WD:ssä, poista/lisää yksi uppaus niin se koskee välillä isoa nippua filuja. Olen laittanut Hamiltonille kyselyä tuosta ww-foorumille. ;)
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: weatherc - lauantai, 04.12.2010, 13:39
Noniin,

Nyt ollut pari päivää siten ettei noita NOAA-raportteja upattu mutta sen sijaan climatedataout.htm kylläkin (sille löytyy asetus custom internet-settingseistä) ja testtags sekä clientrawt WD:n osalta. Sinänsä, nuo NOAA-rapotit kuvineen sitä avg/ext-namiskasta ei ole kun vajaat 400 Kt joten se ei loppupeleissä paljoa tee liikenteellisesti.

Tutkailin pikkasen mitä viime yönä mennyt ylöspäin ja tunti-uppaus oli 1.7 Mt, WD:n, NSLogin NSRealtime.txt/TRACReport.txt:in sekä 2 kuvan kanssa (kamera 5 min ja tutka 4 min nyt kokeilun aikana)
Jos pilkkoo sen palasiksi niin tunnissa olisi
WD: noin 300 kt
NSLog: noin 300 kt
Kamera (yö 25 Kb / pvä 50 Kt), 5 min: keskim. 450 kt
Tutka (50 Kb), 4 min: 750 kt
= Päivässä noin 42 Mt
= Ilman kuvia päivässä noin 14 Mt

;D
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: Snowi - sunnuntai, 21.08.2011, 13:21
Nyt näköjään tuon "Do daily uploads of averages/extreme" täpin voi näköjään ottaa huoletta pois ilman että raporttien uppaus estyisi. Kokeilin muutama päivä sitten ottaa täpin pois ja hienosti on raportit uppautuneet senkin jälkeen. Ainoa filu mikä tulee enää kylkiäisenä on windrose.gif  :). Saako tuota filua mitenkään poistettua uppilistalta? Tosin eipä tuo paljoa haittaa, sillä windrose.gif on enää ainoa ylimääräinen filu, jota WD serverille uppii. Aikaisemmin tuli aikamoinen kasa kaikenkarvaisia kuvia ja erilaisia htm/html-tiedostoja.

Hyvää työtä Brianilta antamalla mahdollisuus poistaa noi ylimääräiset filut uppilistalta, tosin näinhän sen olisi pitänyt toimia alunperinkin.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: djmake - keskiviikko, 24.08.2011, 01:41
Lainaus käyttäjältä: Snowi - sunnuntai, 21.08.2011, 13:21
Hyvää työtä Brianilta antamalla mahdollisuus poistaa noi ylimääräiset filut uppilistalta, tosin näinhän sen olisi pitänyt toimia alunperinkin.

Ja jos olisi tehty oikeasti hyvää työtä, voisi nuo ylimääräiset harsia ilman arpomista "mitähän tämä miljoonas ruksi mahtoikaan muuttaa". Muutenkin ollut senverran hermoja raastava softa taas viimeaikoina, että kohta on vaihto lähellä. Mielummin menettää ominaisuuksia kun hermonsa.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: Snowi - keskiviikko, 24.08.2011, 01:54
Lainaus käyttäjältä: djmake - keskiviikko, 24.08.2011, 01:41
Ja jos olisi tehty oikeasti hyvää työtä, voisi nuo ylimääräiset harsia ilman arpomista "mitähän tämä miljoonas ruksi mahtoikaan muuttaa".

Tuossa olet kyllä oikeassa, että on lähes mahdoton tietää mitä kaikista rukseista oikeestaan tapahtuu. Tuosta "Do daily upload" ruksista ei voi mitenkään tietää, että se uppaa juuri about 10 eri filua jos on ruksattuna. Noi pitäisi ehdottomasti olla yksilöitynä niin, että voit siitä sitten helposti ruksata pois ne joita et tarvi. Mutta olin vain niin tyytyväinen, että noi ylimääräiset filut sai vihdoinkin pois, joten sen osalta pieni parannus, tosin ne olisi pitänyt saada pois heti alunperin.

WD kyllä kaipaisi isoa muutosta valikkorakenteisiin, sillä nyt on samoja asetuksia eri paikoissa ja näin vajaan kahden vuoden käytön jälkeenkin pitää välillä miettiä missä se asetus nyt olikaan. Olen tästä kerran WW-foorumilla Brianille sanonutkin, mutta ilmeisesti pitäisi painostaa enemmänkin, mutta ei vaan jaksa. Myös WD:n kustomointi voisi olla huomattavasti helpompaa. Sain taas hinkata niitä kun laitoin WD:tä vähän uusiksi tuon Vuokatin sääaseman takia. No jatkossa menee sitten loput asemat helposti kun lataa asetukset ja rekisterifilun suoraan Vuokatin sääaseman WD:stä.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: weatherc - keskiviikko, 24.08.2011, 02:51
Yhdyn teidän kantaan täysin.
Mutta tästähän ei saa puhua ww-foorumilla, siellä alkaa lähes sota silloin. Tuo on yksi mitä ainakin omalta kohdalta vähentää aika reilustikkin kyseisen foorumiin kirjoittelua, jos satut kirjoittamaan mitenkään niin että olisi "WD-kriittistä" niin hyvä ettei lennä ulos sieltä.

WD:ssä tarvis tehdä täysi remontti siten että esim uppauksen kohdalla pystyisi valitsemaan jokaikisen filun erikseen, tietty siten pystyisi myös ottaa ryhmän kuten esim. raportit, puhumattakaan että noita valikkoja pitäisi karsia todella reilusti.

Ei ole 1 eikä 2 kertaa kun WD on meinannut vaihtua Cumulukseen tässä matkan varrella. Esteenä toistaiseksi ollut nippu %customtageja% jota käytän sekä 1-wiren yhdistämismahdollisuus Davikseen.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: weatherc - sunnuntai, 28.08.2011, 16:00
Tuossa parin viikon aikana on WD jämähtänyt ilman mitään syytä.
Nooh, asensin Debug-version ihan piruttais ja olin lähes tipahtaa tuolilta kun katselin Task manageria..
72 tuntia ollut pystyssä ja 2 miljardia (2 000 000 000) I/O-readsia, se tekee 460000 minuutissa  :o :o :o
Muut wx-softat ovat promilleluokassa tuosta, ja ne ovat silti olleet pystyssä jo kolmatta viikkoa (esim NSLog 360000)...

Vaikken mikään nero ole ohjelmoinnissa niin jo järkikin sanoo että tuossa on jotain pielessä, ja pahasti...
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: Snowi - sunnuntai, 28.08.2011, 17:06
WD on kaikkinensa kyllä aivan liian raskas ohjelma. Siellä on niin paljon kaikeinlaista, eikä yksi käyttäjä tuu varmaan ikinä käyttämään puoliakaan niistä ominaisuuksista. Ehkä tarkoituksena on ollut tarjota niin kattavat ominaisuudet, että jokainen käyttäjä löytää tarvitsemansa, mutta silti voisi olla tarjolla jonkinlainen perusversio, jossa on vain nuo välttämättömimmät ominaisuudet, eli kaikki Weather Talkit ja Answer Phonit heitettäisiin jorpakkoon ja muut vastaavanlaiset.

Ai että kun joku tekisi ohjelman, jossa olisi nuo parhaat puolet WD:sta, eli tarvittavat ominaisuudet mitä säänettisivuilla voi tarvita. Ohjelma olisi vakaa ja kevyt sekä helppokäyttöinen ja selkeä. Yksi lähes välttämätön ominaisuus pitäisi olla, ja se on logien lataaminen WD:sta, WUHU:sta ja Cumuluksesta tuohon uuteen ohjelmaa. Mutta ehkä taidan vain uneksia.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: djmake - sunnuntai, 28.08.2011, 18:31
Lainaus käyttäjältä: Snowi - keskiviikko, 24.08.2011, 01:54
Lainaus käyttäjältä: djmake - keskiviikko, 24.08.2011, 01:41
Ja jos olisi tehty oikeasti hyvää työtä, voisi nuo ylimääräiset harsia ilman arpomista "mitähän tämä miljoonas ruksi mahtoikaan muuttaa".

Tuossa olet kyllä oikeassa, että on lähes mahdoton tietää mitä kaikista rukseista oikeestaan tapahtuu. Tuosta "Do daily upload" ruksista ei voi mitenkään tietää, että se uppaa juuri about 10 eri filua jos on ruksattuna. Noi pitäisi ehdottomasti olla yksilöitynä niin, että voit siitä sitten helposti ruksata pois ne joita et tarvi. Mutta olin vain niin tyytyväinen, että noi ylimääräiset filut sai vihdoinkin pois, joten sen osalta pieni parannus, tosin ne olisi pitänyt saada pois heti alunperin.

Älä kuitenkaan ehdota sitä "kaikki oman ruksin taakse". Muuten saadaan taas n+1 ruksia lisää ja mieluusti kymmeneen eri paikkaan, joista ainoastaan puolet toimii niinkuin pitääkin ja joku ruksi pitää etsiä täysin epäloogisesta paikasta ja sen toimintakin riippuu siitä, oletko mahdollisesti kääntänyt asiaan täysin riippumattoman napin koska viimeksi toiseen asentoon.

Lainaa
WD kyllä kaipaisi isoa muutosta valikkorakenteisiin, sillä nyt on samoja asetuksia eri paikoissa ja näin vajaan kahden vuoden käytön jälkeenkin pitää välillä miettiä missä se asetus nyt olikaan. Olen tästä kerran WW-foorumilla Brianille sanonutkin, mutta ilmeisesti pitäisi painostaa enemmänkin, mutta ei vaan jaksa. Myös WD:n kustomointi voisi olla huomattavasti helpompaa. Sain taas hinkata niitä kun laitoin WD:tä vähän uusiksi tuon Vuokatin sääaseman takia. No jatkossa menee sitten loput asemat helposti kun lataa asetukset ja rekisterifilun suoraan Vuokatin sääaseman WD:stä.

Alkaa olla sellainen tuo ohjelma, ettei siitä enää kunnollista ole edes mahdollisuutta tehdä. Ja samalla tyyppiesimerkki siitä, mitä pahimmillaan syntyy, kun tehdään jotain suunnittelematta yhtään mitään etukäteen ja lisäillään minne sattuu mitä sattuu.
Jos jotain pitäisi tuosta aikaan saada, pitäisi lähteä kynällä ja paperilla hahmottelemaan järkevää valikkorakennetta, ottaa tarpeelliset palaset talteen ja tehdä sen ympärille kokonaan uusi ohjelmisto. Ja ehdottomasti paloista rakentaen. Eli perussofta pitää sisällään ainoastaan perusjutut ja halutessasi saat ladattua tarvitsemasi plugarit softaan. Siistisi samalla valikoitakin huomattavasti. Alkujaan ei olisi mitään turhaa ja jos haluat 1-wiren, lataat sopivan palikan ja saat sen asetukset kyseisen palikan nimen alle. Ei tarvitse metsästää monesta paikasta.

Lainaus käyttäjältä: weatherc - keskiviikko, 24.08.2011, 02:51
Yhdyn teidän kantaan täysin.
Mutta tästähän ei saa puhua ww-foorumilla, siellä alkaa lähes sota silloin. Tuo on yksi mitä ainakin omalta kohdalta vähentää aika reilustikkin kyseisen foorumiin kirjoittelua, jos satut kirjoittamaan mitenkään niin että olisi "WD-kriittistä" niin hyvä ettei lennä ulos sieltä.

Jostain kummallisesta syystä ei ko foorumille ole asiaa ollut liiemmmälti kirjoittaa. Jos kirjoittaisin, niin lähtö tulisi todella nopeasti. Oikeastaan sanottavat tuosta softasta alkavat olla "kannattaa lopettaa kokonaan moisen tekeminen, jollei todellakaan yhtään kiinnosta käyttäjien mielipide, eikä ole mitään halua panostaa käytettävyyteen".
Oikeasti... Kuka tekee tuollaisen sekasikiön edes omaan käyttöön?

Lainaa
WD:ssä tarvis tehdä täysi remontti siten että esim uppauksen kohdalla pystyisi valitsemaan jokaikisen filun erikseen, tietty siten pystyisi myös ottaa ryhmän kuten esim. raportit, puhumattakaan että noita valikkoja pitäisi karsia todella reilusti.

Ei ole 1 eikä 2 kertaa kun WD on meinannut vaihtua Cumulukseen tässä matkan varrella. Esteenä toistaiseksi ollut nippu %customtageja% jota käytän sekä 1-wiren yhdistämismahdollisuus Davikseen.

Oikeastaan tuo customtagipuoli ei niin mahdoton ole. Jos vaan vaihtoehtoinen softa tekee järkevää / riittävää lokia tai clientrawin kaltaista filua, niin äkkiähän sitä tekee pienen apuohjelman, joka kasaa siitä nuo tarpeelliset tagit. Hieman toki virittelyä, mutta onnistuu kuitenkin.

Lainaus käyttäjältä: weatherc - sunnuntai, 28.08.2011, 16:00
Tuossa parin viikon aikana on WD jämähtänyt ilman mitään syytä.

Tässä kesän aikana jne... Eli epävakaa on tätänykyä ollut.

Lainaa
Nooh, asensin Debug-version ihan piruttais ja olin lähes tipahtaa tuolilta kun katselin Task manageria..
72 tuntia ollut pystyssä ja 2 miljardia (2 000 000 000) I/O-readsia, se tekee 460000 minuutissa  :o :o :o
Muut wx-softat ovat promilleluokassa tuosta, ja ne ovat silti olleet pystyssä jo kolmatta viikkoa (esim NSLog 360000)...

Vaikken mikään nero ole ohjelmoinnissa niin jo järkikin sanoo että tuossa on jotain pielessä, ja pahasti...

Ei tuo asennettuna oleva versio sentään onneksi ihan tuollaisiin lukuihin pääse, mutta mitään kevyttä ja nättiähän tuo ei edusta. Ja mitä mainitsemiisi lukuihin tulee, niin oikeassa olet. Joku on pielessä, eikä ihan vähän.

Lainaus käyttäjältä: Snowi - sunnuntai, 28.08.2011, 17:06
WD on kaikkinensa kyllä aivan liian raskas ohjelma. Siellä on niin paljon kaikeinlaista, eikä yksi käyttäjä tuu varmaan ikinä käyttämään puoliakaan niistä ominaisuuksista. Ehkä tarkoituksena on ollut tarjota niin kattavat ominaisuudet, että jokainen käyttäjä löytää tarvitsemansa, mutta silti voisi olla tarjolla jonkinlainen perusversio, jossa on vain nuo välttämättömimmät ominaisuudet, eli kaikki Weather Talkit ja Answer Phonit heitettäisiin jorpakkoon ja muut vastaavanlaiset.

Ihan pahuuttani kokeilin tuota talkkia joskus, mutta eihän se edes toiminut. Dokumentointi on mitä on ja kaikkia ominaisuuksia ei saa ilman päällään seisomista toimimaan jos edes sittenkään.
Ja turhaa on tosiaan paljon. Sinällään toki hieno ajatus toteuttaa kaikki, mitä joku keksii pyytää. Mutta kun niitä ei tosiaan oikeasti tarvita ja kun ovat riepoteltuna miten sattuu pitkin valikoita, niin harmia on hyötyjä enemmän. Ja kun mitään ei saa disabloitua, on tosiaan tuloksena toivottaman raskas ohjelma siihen verrattuna, mitä tuollainen voisi oikeasti olla.
Edelleen se modulaarisuus olisi päivän sana. Kunnollinen perusrunko ja dokumentoitu rajapinta. Pystyisi itse keskittymään siihen perusrunkoon käyttäjien tehdessä sopivia lisäpalikoita. Ja jos joku palikka ei toimi tai on liian raskas, joku kustomoisi sen varmuudella jossakinkohtaa.
Sama modulaarisuus pätee kyllä itse käyttöliittymäänkin. Miksi ihmeessä jokaisessa versiossa pitäisi olla joku "hieno" graafinen käyttöliittymä? Pohjaksi pelkkä tyhjä "räkki", johon laitetaan sopiva kommunikaatiomoduuli ja datat kantaan tallentava sen kaveriksi. Mahdollisesti joku muukin kriittinen samaan. Kaikelle muulle oma "räkkinsä", jolloin niitä voi käyttää jos haluaa ja vastaavasti jonkun käppyrän piirron kaatuminen ei kaada datojen keruuta.

Lainaa
Ai että kun joku tekisi ohjelman, jossa olisi nuo parhaat puolet WD:sta, eli tarvittavat ominaisuudet mitä säänettisivuilla voi tarvita. Ohjelma olisi vakaa ja kevyt sekä helppokäyttöinen ja selkeä. Yksi lähes välttämätön ominaisuus pitäisi olla, ja se on logien lataaminen WD:sta, WUHU:sta ja Cumuluksesta tuohon uuteen ohjelmaa. Mutta ehkä taidan vain uneksia.

Tätähän olen täällä jo joskus aikaa sitten kirjoittanut. Olisi vähän enemmän tuota koodausosaamista ja paljon enemmän aikaa, niin alkaisi vääntämään tuollaista. Taitaa kuitenkin loppupeleissä olla helpoin ottaa Cumulus käyttöön ja vääntää tarpeelliset lisäpalikat itse, jollei niitä muuten jostain onnistu löytämään.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: weatherc - sunnuntai, 28.08.2011, 19:14
LainaaÄlä kuitenkaan ehdota sitä "kaikki oman ruksin taakse". Muuten saadaan taas n+1 ruksia lisää ja mieluusti kymmeneen eri paikkaan, joista ainoastaan puolet toimii niinkuin pitääkin ja joku ruksi pitää etsiä täysin epäloogisesta paikasta ja sen toimintakin riippuu siitä, oletko mahdollisesti kääntänyt asiaan täysin riippumattoman napin koska viimeksi toiseen asentoon.
;D Tuo oli hyvä, mutta, niiiin paikkansapitävä, valitettavasti...

1-wirereaderihän on tätänykyään omana palikkana. Idea hyvä, toteutus surkea.
Ensinnäkin, vanha 1-wire asetusvälilehti on edelleen paikallaan eikä sillä tee yhtään mitään koska asetukset naputetaan suoraan readeriin (jota se ei kuitenkaan välttämättä muista uudelleenkäynnistyksen yhteydessä - syy miksi meikäläisen ruohotasolämpötila on varsin on/off).
Toiseksi, 1-wirereaderistä (siitä uudesta) ei saa mitään ulos ilman WD:tä, ainakaan suoraan.
Kysyin piruttain Hamiltonilta foorumilla että olisiko mahdollista saada 1-wirereaderin data filuun (että sitä voisi ajaa stand-alonena), vastaus oli "Miksi?". Enpä sitten enää viittinyt kertoa että siksi että voisi ajaa standalonena ja siirtää VP2 vaikkapa Cumulukseen...

Jokuhan on tuolla ww-foorumilla uskalanutkin kertoa mielipiteensä WD:stä suoraan esim. valikkorakenteista ja tuloksenhan on aina ollut täysi sota ja muistaakseni joku lensi uloskin sieltä sen takia.

Itse olen pikkuhiljaa siirtynyt "eroon" WD:stä sillä lailla että esim (lähes) kaikki tilastot menee tätänykyään kantaan ja sieltä sitten nappaan sivuille. Ainut mitä WD nykyään tekee on testtags-filu customtageineen ja clientraw-filut.

Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: Snowi - sunnuntai, 28.08.2011, 19:36
Lainaus käyttäjältä: djmake - sunnuntai, 28.08.2011, 18:31
Jos jotain pitäisi tuosta aikaan saada, pitäisi lähteä kynällä ja paperilla hahmottelemaan järkevää valikkorakennetta, ottaa tarpeelliset palaset talteen ja tehdä sen ympärille kokonaan uusi ohjelmisto. Ja ehdottomasti paloista rakentaen. Eli perussofta pitää sisällään ainoastaan perusjutut ja halutessasi saat ladattua tarvitsemasi plugarit softaan. Siistisi samalla valikoitakin huomattavasti. Alkujaan ei olisi mitään turhaa ja jos haluat 1-wiren, lataat sopivan palikan ja saat sen asetukset kyseisen palikan nimen alle. Ei tarvitse metsästää monesta paikasta.

Itseasiassa itsekin lähdin tuolla tavalla rakentelemaan omaa sääsivustoa  :). Otin paperin ja kynän ja vähän piirtelin valikoita ja mikä tulee mihinkin jne. Iso homma se ei tuollaisen nettisivun osalta ollut, mutta kyllä se auttoi sitten kun lähti sivustoa nollasta rakentelemaan.
WD pitäisi ehdottomasti olla rakennettu juurikin noin, että käyttäjät voisivat ladata noita lisäpalikoita halutessaan. Tällä hetkellä ei ole muuta vaihtoehtoa kuin ottaa kaikki ne miljoonat lisäosat. Brian on varmasti lisäillyt niitä yleisön pyynnöstä, mutta nyt pitäisi tajuta se, että 99% käyttäjistä ei niitä tarvitse, joten sille yhdelle prosentille voisi tehdä lisäosan, joka olisi ilmaiseksi ladattavissa WD:een.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: weatherc - maanantai, 29.08.2011, 12:12
Tuossa sen verran tutkalilin Cumulsta että,
- Logifilut on ainakin teoriassa mahdollista saada WD:stä Cumulukseen. Vaatii pienen skriptihäkkyrän joka tekee ne sopivaan muotoon.
- Ennätykset joutunee naputtaa manuaalisesti
- Uusimassa betassa on yli 330 "customtagia" mikä alkaa jo olemaan aika määrä (WD:ssä n 1000). Tosin jos foorumia ymmärsin oikein niin joitain tageja uupuu jota "testtags"-filussa saratogaa varten on.

Se ettei Cumulus vissiin osaa tarkkailla NexStormia ukkosten varalta mitä WD "osaa" en näe ongelmana koska ei se WD:kään koskaan ole toiminut :P

JOS tuohon lähtis niin ainakin itse tekisin näin:
- Logfilut tietty Cumulukselle + ennätykset sisään
- Rakentaisin MySQL-kannan jossa kuukausikohtaiset tiedot (aka xxxxxlg.txt), 1 taulu/kk, sekä yksi taulu jossa päivän maksimit/minimit/keskiarvot 1 rivi/pvä. Sekä tietty skriptit joka päivittää noita jatkossa. Näin olisi data MySQL-kannassa joka ei ole softa-riippuvainen.
Osa lukemista ainakin omalla sivulla saisi nykyisien customtagin sijaan mysql-komennolla esim (y päivää ollut alle -15° kuukaudessa x vuonna z)

Softa-riippuvuus on yksi suurimmista "virhestä" mielestäni näissä wx-softissa, mikään niistä ei ole yhteensopiva toisen kanssa, kaikilla omat versiot logifiluista ym. Vaikka kilpailjoita ovatkin olisi ihan aihellista edes jokunlainen standardi olla siinä.
Ei se ainoastaan oman napan tuijottaminen tehden siirrot toiseen softaan mahdollisimman vaikeaksi oikeen ole tätä päivää tässäkään hommassa.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: khyron - maanantai, 29.08.2011, 14:52
Lainaus käyttäjältä: weatherc - maanantai, 29.08.2011, 12:12
- Rakentaisin MySQL-kannan jossa kuukausikohtaiset tiedot (aka xxxxxlg.txt), 1 taulu/kk,

Miksi ihmeessä joka kuulle oma taulu?

Lainaus käyttäjältä: weatherc - maanantai, 29.08.2011, 12:12
sekä yksi taulu jossa päivän maksimit/minimit/keskiarvot 1 rivi/pvä. Sekä tietty skriptit joka päivittää noita jatkossa. Näin olisi data MySQL-kannassa joka ei ole softa-riippuvainen.

Mulla on just noin tällä hetkellä, yhdellä rivillä yhden anturin tiedot. On kyl tullu pohdittua et pitäskö tehdä omat taulut eri aikajaksoille, ei o tullu vielä niin tarkkaan pohdittua et saisko yhteen tauluun kaiken järkevästi, siis esim. tunnittaiset ja päivittäiset keskiarvot. "Ongelma" tossa on se et keskiarvot päivitetään vaan kerran vuorokaudessa.

Lainaus käyttäjältä: weatherc - maanantai, 29.08.2011, 12:12
Softa-riippuvuus on yksi suurimmista "virhestä" mielestäni näissä wx-softissa, mikään niistä ei ole yhteensopiva toisen kanssa, kaikilla omat versiot logifiluista ym. Vaikka kilpailjoita ovatkin olisi ihan aihellista edes jokunlainen standardi olla siinä.
Ei se ainoastaan oman napan tuijottaminen tehden siirrot toiseen softaan mahdollisimman vaikeaksi oikeen ole tätä päivää tässäkään hommassa.

Jos data menis edes kantaan niin sitä olis helppo pulata siellä, ja tehdä erilaisia viewejä/triggereitä niin et vois käyttää samaa kantaa ristiin eri softissa.

Mullahan on tällä hetkellä ite speksattu kanta, osittain siksi et 1-wire pulikat melkeen vaati kaiken tekemisen ite. Ja sit tein oletukset et valmiit on kuitenkin ihan huonoja:)

edit: Täällähän olis tietty hyvä speksailla mitä kaikkia ominaisuuksia ihmiset kaipais. Modulaarisuus olis tosiaan yks ehdoton.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: weatherc - maanantai, 29.08.2011, 16:53
LainaaMiksi ihmeessä joka kuulle oma taulu?
Lähinnä oli aatos että voi helposti napata kuukausi x/xxxx. Toinen tietty että yhdessä kuussa on jotain 13K riviä dataa.
Tietty vuodenkin taulu menettelis vielä, onhan tuo oma yr.no-kanta 2.6M riviä ;)

LainaaMullahan on tällä hetkellä ite speksattu kanta, osittain siksi et 1-wire pulikat melkeen vaati kaiken tekemisen ite. Ja sit tein oletukset et valmiit on kuitenkin ihan huonoja:)
Ideoita 1-wire lukijaksi wintoosaan joka osaa puskea datat filuun?
Entä Linukkaan jos vaikka joskus innostuis taas testailemaan?
Tarvis saada sen muokatun hum-anturan VAD-luku saada ulos lumensyvyyttä varten...

Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: khyron - maanantai, 29.08.2011, 18:35
Lainaus käyttäjältä: weatherc - maanantai, 29.08.2011, 16:53
LainaaMiksi ihmeessä joka kuulle oma taulu?
Lähinnä oli aatos että voi helposti napata kuukausi x/xxxx. Toinen tietty että yhdessä kuussa on jotain 13K riviä dataa.
Tietty vuodenkin taulu menettelis vielä, onhan tuo oma yr.no-kanta 2.6M riviä ;)

Eihän ton pitäs vielä mikään ongelma olla jos indeksit on kunnossa. Mulla näkyy olevan 14 miljoonaa riviä data taulussa, tosin jokasella rivillä on vaan aikaleima, anturi-id ja arvo.

Olen myös pohtinut että jos jossain vaiheessa tulee laitettua oman aseman tiedot julkisesti nettiin niin vois generoida kaiken historiallisen datan valmiiksi sivuiksi palvelimelle ja vaan tän vuorokauden osalta olis dynaamisesti.

Lainaus käyttäjältä: weatherc - maanantai, 29.08.2011, 16:53
LainaaMullahan on tällä hetkellä ite speksattu kanta, osittain siksi et 1-wire pulikat melkeen vaati kaiken tekemisen ite. Ja sit tein oletukset et valmiit on kuitenkin ihan huonoja:)
Ideoita 1-wire lukijaksi wintoosaan joka osaa puskea datat filuun?
Entä Linukkaan jos vaikka joskus innostuis taas testailemaan?
Tarvis saada sen muokatun hum-anturan VAD-luku saada ulos lumensyvyyttä varten...


OWFS toimii ainakin linuxissa hyvin. Windowsista en tiedä. Digitemp kai toimii windowsissakin, digitemppiin tein joskus pienen säädön et sain sen tulostaan anturien arvot haluamallani tavalla, saattaa löytyä vielä jostain.

Tosin owfs ei kyl kirjottele minnekään dataa, näyttää 1-wire verkon vaan tiedostojärjestelmänä jolloin sitä voi lukea millä tahansa ohjelmalla. Mulla on siihen pieni python-scripti mikä lukee anturien tiedot kannasta ja tallettaa sinne luetut arvot.
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: weatherc - maanantai, 29.08.2011, 19:50
LainaaEihän ton pitäs vielä mikään ongelma olla jos indeksit on kunnossa. Mulla näkyy olevan 14 miljoonaa riviä data taulussa, tosin jokasella rivillä on vaan aikaleima, anturi-id ja arvo.

Juu, eihän sen *pitäisi* olla mikään ongelma ainakaan teoriassa. Pikalaskelma riveistä tuotti että mulla rivejä olisi n. 25 miljoonaa jossa jokaisella olisi arvoja reilut kymmenkunta (rivejä onkin n 42K/kuukausi). Mulla tuon yr.no:n (ja osittain nwn:än masteriessa) käytössä memcache myslissä, todella näppärä kyllä harvoin päivittyvälle datalle.
Meikäläisen nykyinen sivu-rakenne on sellainen ettei taida olla ainuttakaan "vanhan datan sivua", osittain koska tuo WD:n esim. raporttien uppaus on kaikkea muuta kun vakaata. Esim. NOAA-raportinhan pystyisi äkkiä väsäämään staattiseksi/kannasta cachella jos vaan data on ensin kannassa.

LainaaOWFS toimii ainakin linuxissa hyvin. Windowsista en tiedä.
Tosin owfs ei kyl kirjottele minnekään dataa, näyttää 1-wire verkon vaan tiedostojärjestelmänä jolloin sitä voi lukea millä tahansa ohjelmalla.
Ihan näppärä. Ainakin sivujen mukaan voisi toimia Cygwin:in kanssa myös wintoosassa. Toisaalta mua voisi kiinnostaa enemmän päästä wintoosasta kokonaan eroon (tai edes niin että olisi Linukka jossa pieni ultrakevyt win2K tms virtuaalina) kun näpertää porttauksia siihen päin..hmm.. ;D
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: weatherc - maanantai, 29.08.2011, 23:08
LainaaTarvis saada sen muokatun hum-anturan VAD-luku saada ulos lumensyvyyttä varten...
Kokeilin LogTemp:ä ja sain siitä ulos tuon VAD:in sekä se kirjoittaa ne filuunkin  ;D
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: teutari - torstai, 01.09.2011, 17:53
Tutkailin tuota oman WD.exe:n käyttäytymistä ja näyttää noita I/O Readseja täälläkin tulevan 5 minuutin välein tuommoiset 800 000, noiden 5 minuuttisten välissä WeatherD.exe on aika hissukseen.
I/O Bytes on n. 170-190 MB silloin kun tuo 800 000 I/O Readsia pamahtaa, viisminuuttisten välissä I/O Bytes nakuttelee 419 B - 2.1 KB.
Kovastippa näyttää tuo WD tekevän hommia joka viidesminuutti. ::)
Otsikko: Vs: WD:n uppausten minmointi
Kirjoitti: teutari - sunnuntai, 18.09.2011, 20:26
Jos ei tarvitse sivuillaan dailydatalog.txt filu joka on tarkoitettu AFAIK iicp projektiin--> http://www.iiccp.co.uk/
WD on lähettänyt sitä automaattiseti mutta nyt sen voi ottaa pois päältä uusimmassa .zip päivityksessä build 78, Control Panel-->FTP&Connection METAR/NOAA-->Web Files Upload Times and Av/Ext, siellä täppi pois kohdasta--> Upload dailydatalog.txt
Mulla tuo filu oli kooltaan 212kt.

ps. tuli silmäiltyä tuota filua ja aika rähjäiseltä se näyttää kun ensiaskeleita silloin WD:n kanssa mentiin. ;D  ::)