WD:n uppausten minmointi

[Snowi]

WD on kaikkinensa kyllä aivan liian raskas ohjelma. Siellä on niin paljon kaikeinlaista, eikä yksi käyttäjä tuu varmaan ikinä käyttämään puoliakaan niistä ominaisuuksista. Ehkä tarkoituksena on ollut tarjota niin kattavat ominaisuudet, että jokainen käyttäjä löytää tarvitsemansa, mutta silti voisi olla tarjolla jonkinlainen perusversio, jossa on vain nuo välttämättömimmät ominaisuudet, eli kaikki Weather Talkit ja Answer Phonit heitettäisiin jorpakkoon ja muut vastaavanlaiset.

Ai että kun joku tekisi ohjelman, jossa olisi nuo parhaat puolet WD:sta, eli tarvittavat ominaisuudet mitä säänettisivuilla voi tarvita. Ohjelma olisi vakaa ja kevyt sekä helppokäyttöinen ja selkeä. Yksi lähes välttämätön ominaisuus pitäisi olla, ja se on logien lataaminen WD:sta, WUHU:sta ja Cumuluksesta tuohon uuteen ohjelmaa. Mutta ehkä taidan vain uneksia.

[djmake]

Ja jos olisi tehty oikeasti hyvää työtä, voisi nuo ylimääräiset harsia ilman arpomista "mitähän tämä miljoonas ruksi mahtoikaan muuttaa".

Tuossa olet kyllä oikeassa, että on lähes mahdoton tietää mitä kaikista rukseista oikeestaan tapahtuu. Tuosta "Do daily upload" ruksista ei voi mitenkään tietää, että se uppaa juuri about 10 eri filua jos on ruksattuna. Noi pitäisi ehdottomasti olla yksilöitynä niin, että voit siitä sitten helposti ruksata pois ne joita et tarvi. Mutta olin vain niin tyytyväinen, että noi ylimääräiset filut sai vihdoinkin pois, joten sen osalta pieni parannus, tosin ne olisi pitänyt saada pois heti alunperin.

Älä kuitenkaan ehdota sitä "kaikki oman ruksin taakse". Muuten saadaan taas n+1 ruksia lisää ja mieluusti kymmeneen eri paikkaan, joista ainoastaan puolet toimii niinkuin pitääkin ja joku ruksi pitää etsiä täysin epäloogisesta paikasta ja sen toimintakin riippuu siitä, oletko mahdollisesti kääntänyt asiaan täysin riippumattoman napin koska viimeksi toiseen asentoon.

WD kyllä kaipaisi isoa muutosta valikkorakenteisiin, sillä nyt on samoja asetuksia eri paikoissa ja näin vajaan kahden vuoden käytön jälkeenkin pitää välillä miettiä missä se asetus nyt olikaan. Olen tästä kerran WW-foorumilla Brianille sanonutkin, mutta ilmeisesti pitäisi painostaa enemmänkin, mutta ei vaan jaksa. Myös WD:n kustomointi voisi olla huomattavasti helpompaa. Sain taas hinkata niitä kun laitoin WD:tä vähän uusiksi tuon Vuokatin sääaseman takia. No jatkossa menee sitten loput asemat helposti kun lataa asetukset ja rekisterifilun suoraan Vuokatin sääaseman WD:stä.

Alkaa olla sellainen tuo ohjelma, ettei siitä enää kunnollista ole edes mahdollisuutta tehdä. Ja samalla tyyppiesimerkki siitä, mitä pahimmillaan syntyy, kun tehdään jotain suunnittelematta yhtään mitään etukäteen ja lisäillään minne sattuu mitä sattuu.
Jos jotain pitäisi tuosta aikaan saada, pitäisi lähteä kynällä ja paperilla hahmottelemaan järkevää valikkorakennetta, ottaa tarpeelliset palaset talteen ja tehdä sen ympärille kokonaan uusi ohjelmisto. Ja ehdottomasti paloista rakentaen. Eli perussofta pitää sisällään ainoastaan perusjutut ja halutessasi saat ladattua tarvitsemasi plugarit softaan. Siistisi samalla valikoitakin huomattavasti. Alkujaan ei olisi mitään turhaa ja jos haluat 1-wiren, lataat sopivan palikan ja saat sen asetukset kyseisen palikan nimen alle. Ei tarvitse metsästää monesta paikasta.

Yhdyn teidän kantaan täysin.
Mutta tästähän ei saa puhua ww-foorumilla, siellä alkaa lähes sota silloin. Tuo on yksi mitä ainakin omalta kohdalta vähentää aika reilustikkin kyseisen foorumiin kirjoittelua, jos satut kirjoittamaan mitenkään niin että olisi "WD-kriittistä" niin hyvä ettei lennä ulos sieltä.

Jostain kummallisesta syystä ei ko foorumille ole asiaa ollut liiemmmälti kirjoittaa. Jos kirjoittaisin, niin lähtö tulisi todella nopeasti. Oikeastaan sanottavat tuosta softasta alkavat olla "kannattaa lopettaa kokonaan moisen tekeminen, jollei todellakaan yhtään kiinnosta käyttäjien mielipide, eikä ole mitään halua panostaa käytettävyyteen".
Oikeasti... Kuka tekee tuollaisen sekasikiön edes omaan käyttöön?

WD:ssä tarvis tehdä täysi remontti siten että esim uppauksen kohdalla pystyisi valitsemaan jokaikisen filun erikseen, tietty siten pystyisi myös ottaa ryhmän kuten esim. raportit, puhumattakaan että noita valikkoja pitäisi karsia todella reilusti.

Ei ole 1 eikä 2 kertaa kun WD on meinannut vaihtua Cumulukseen tässä matkan varrella. Esteenä toistaiseksi ollut nippu %customtageja% jota käytän sekä 1-wiren yhdistämismahdollisuus Davikseen.

Oikeastaan tuo customtagipuoli ei niin mahdoton ole. Jos vaan vaihtoehtoinen softa tekee järkevää / riittävää lokia tai clientrawin kaltaista filua, niin äkkiähän sitä tekee pienen apuohjelman, joka kasaa siitä nuo tarpeelliset tagit. Hieman toki virittelyä, mutta onnistuu kuitenkin.

Tuossa parin viikon aikana on WD jämähtänyt ilman mitään syytä.

Tässä kesän aikana jne... Eli epävakaa on tätänykyä ollut.

Nooh, asensin Debug-version ihan piruttais ja olin lähes tipahtaa tuolilta kun katselin Task manageria..
72 tuntia ollut pystyssä ja 2 miljardia (2 000 000 000) I/O-readsia, se tekee 460000 minuutissa 
Muut wx-softat ovat promilleluokassa tuosta, ja ne ovat silti olleet pystyssä jo kolmatta viikkoa (esim NSLog 360000)...

Vaikken mikään nero ole ohjelmoinnissa niin jo järkikin sanoo että tuossa on jotain pielessä, ja pahasti...

Ei tuo asennettuna oleva versio sentään onneksi ihan tuollaisiin lukuihin pääse, mutta mitään kevyttä ja nättiähän tuo ei edusta. Ja mitä mainitsemiisi lukuihin tulee, niin oikeassa olet. Joku on pielessä, eikä ihan vähän.

WD on kaikkinensa kyllä aivan liian raskas ohjelma. Siellä on niin paljon kaikeinlaista, eikä yksi käyttäjä tuu varmaan ikinä käyttämään puoliakaan niistä ominaisuuksista. Ehkä tarkoituksena on ollut tarjota niin kattavat ominaisuudet, että jokainen käyttäjä löytää tarvitsemansa, mutta silti voisi olla tarjolla jonkinlainen perusversio, jossa on vain nuo välttämättömimmät ominaisuudet, eli kaikki Weather Talkit ja Answer Phonit heitettäisiin jorpakkoon ja muut vastaavanlaiset.

Ihan pahuuttani kokeilin tuota talkkia joskus, mutta eihän se edes toiminut. Dokumentointi on mitä on ja kaikkia ominaisuuksia ei saa ilman päällään seisomista toimimaan jos edes sittenkään.
Ja turhaa on tosiaan paljon. Sinällään toki hieno ajatus toteuttaa kaikki, mitä joku keksii pyytää. Mutta kun niitä ei tosiaan oikeasti tarvita ja kun ovat riepoteltuna miten sattuu pitkin valikoita, niin harmia on hyötyjä enemmän. Ja kun mitään ei saa disabloitua, on tosiaan tuloksena toivottaman raskas ohjelma siihen verrattuna, mitä tuollainen voisi oikeasti olla.
Edelleen se modulaarisuus olisi päivän sana. Kunnollinen perusrunko ja dokumentoitu rajapinta. Pystyisi itse keskittymään siihen perusrunkoon käyttäjien tehdessä sopivia lisäpalikoita. Ja jos joku palikka ei toimi tai on liian raskas, joku kustomoisi sen varmuudella jossakinkohtaa.
Sama modulaarisuus pätee kyllä itse käyttöliittymäänkin. Miksi ihmeessä jokaisessa versiossa pitäisi olla joku "hieno" graafinen käyttöliittymä? Pohjaksi pelkkä tyhjä "räkki", johon laitetaan sopiva kommunikaatiomoduuli ja datat kantaan tallentava sen kaveriksi. Mahdollisesti joku muukin kriittinen samaan. Kaikelle muulle oma "räkkinsä", jolloin niitä voi käyttää jos haluaa ja vastaavasti jonkun käppyrän piirron kaatuminen ei kaada datojen keruuta.

Ai että kun joku tekisi ohjelman, jossa olisi nuo parhaat puolet WD:sta, eli tarvittavat ominaisuudet mitä säänettisivuilla voi tarvita. Ohjelma olisi vakaa ja kevyt sekä helppokäyttöinen ja selkeä. Yksi lähes välttämätön ominaisuus pitäisi olla, ja se on logien lataaminen WD:sta, WUHU:sta ja Cumuluksesta tuohon uuteen ohjelmaa. Mutta ehkä taidan vain uneksia.

Tätähän olen täällä jo joskus aikaa sitten kirjoittanut. Olisi vähän enemmän tuota koodausosaamista ja paljon enemmän aikaa, niin alkaisi vääntämään tuollaista. Taitaa kuitenkin loppupeleissä olla helpoin ottaa Cumulus käyttöön ja vääntää tarpeelliset lisäpalikat itse, jollei niitä muuten jostain onnistu löytämään.

[weatherc]

Älä kuitenkaan ehdota sitä "kaikki oman ruksin taakse". Muuten saadaan taas n+1 ruksia lisää ja mieluusti kymmeneen eri paikkaan, joista ainoastaan puolet toimii niinkuin pitääkin ja joku ruksi pitää etsiä täysin epäloogisesta paikasta ja sen toimintakin riippuu siitä, oletko mahdollisesti kääntänyt asiaan täysin riippumattoman napin koska viimeksi toiseen asentoon.

Tuo oli hyvä, mutta, niiiin paikkansapitävä, valitettavasti...

1-wirereaderihän on tätänykyään omana palikkana. Idea hyvä, toteutus surkea.
Ensinnäkin, vanha 1-wire asetusvälilehti on edelleen paikallaan eikä sillä tee yhtään mitään koska asetukset naputetaan suoraan readeriin (jota se ei kuitenkaan välttämättä muista uudelleenkäynnistyksen yhteydessä - syy miksi meikäläisen ruohotasolämpötila on varsin on/off).
Toiseksi, 1-wirereaderistä (siitä uudesta) ei saa mitään ulos ilman WD:tä, ainakaan suoraan.
Kysyin piruttain Hamiltonilta foorumilla että olisiko mahdollista saada 1-wirereaderin data filuun (että sitä voisi ajaa stand-alonena), vastaus oli "Miksi?". Enpä sitten enää viittinyt kertoa että siksi että voisi ajaa standalonena ja siirtää VP2 vaikkapa Cumulukseen...

Jokuhan on tuolla ww-foorumilla uskalanutkin kertoa mielipiteensä WD:stä suoraan esim. valikkorakenteista ja tuloksenhan on aina ollut täysi sota ja muistaakseni joku lensi uloskin sieltä sen takia.

Itse olen pikkuhiljaa siirtynyt "eroon" WD:stä sillä lailla että esim (lähes) kaikki tilastot menee tätänykyään kantaan ja sieltä sitten nappaan sivuille. Ainut mitä WD nykyään tekee on testtags-filu customtageineen ja clientraw-filut.

[Snowi]

Jos jotain pitäisi tuosta aikaan saada, pitäisi lähteä kynällä ja paperilla hahmottelemaan järkevää valikkorakennetta, ottaa tarpeelliset palaset talteen ja tehdä sen ympärille kokonaan uusi ohjelmisto. Ja ehdottomasti paloista rakentaen. Eli perussofta pitää sisällään ainoastaan perusjutut ja halutessasi saat ladattua tarvitsemasi plugarit softaan. Siistisi samalla valikoitakin huomattavasti. Alkujaan ei olisi mitään turhaa ja jos haluat 1-wiren, lataat sopivan palikan ja saat sen asetukset kyseisen palikan nimen alle. Ei tarvitse metsästää monesta paikasta.

Itseasiassa itsekin lähdin tuolla tavalla rakentelemaan omaa sääsivustoa  . Otin paperin ja kynän ja vähän piirtelin valikoita ja mikä tulee mihinkin jne. Iso homma se ei tuollaisen nettisivun osalta ollut, mutta kyllä se auttoi sitten kun lähti sivustoa nollasta rakentelemaan.
WD pitäisi ehdottomasti olla rakennettu juurikin noin, että käyttäjät voisivat ladata noita lisäpalikoita halutessaan. Tällä hetkellä ei ole muuta vaihtoehtoa kuin ottaa kaikki ne miljoonat lisäosat. Brian on varmasti lisäillyt niitä yleisön pyynnöstä, mutta nyt pitäisi tajuta se, että 99% käyttäjistä ei niitä tarvitse, joten sille yhdelle prosentille voisi tehdä lisäosan, joka olisi ilmaiseksi ladattavissa WD:een.

[weatherc]

Tuossa sen verran tutkalilin Cumulsta että,
- Logifilut on ainakin teoriassa mahdollista saada WD:stä Cumulukseen. Vaatii pienen skriptihäkkyrän joka tekee ne sopivaan muotoon.
- Ennätykset joutunee naputtaa manuaalisesti
- Uusimassa betassa on yli 330 "customtagia" mikä alkaa jo olemaan aika määrä (WD:ssä n 1000). Tosin jos foorumia ymmärsin oikein niin joitain tageja uupuu jota "testtags"-filussa saratogaa varten on.

Se ettei Cumulus vissiin osaa tarkkailla NexStormia ukkosten varalta mitä WD "osaa" en näe ongelmana koska ei se WD:kään koskaan ole toiminut

JOS tuohon lähtis niin ainakin itse tekisin näin:
- Logfilut tietty Cumulukselle + ennätykset sisään
- Rakentaisin MySQL-kannan jossa kuukausikohtaiset tiedot (aka xxxxxlg.txt), 1 taulu/kk, sekä yksi taulu jossa päivän maksimit/minimit/keskiarvot 1 rivi/pvä. Sekä tietty skriptit joka päivittää noita jatkossa. Näin olisi data MySQL-kannassa joka ei ole softa-riippuvainen.
Osa lukemista ainakin omalla sivulla saisi nykyisien customtagin sijaan mysql-komennolla esim (y päivää ollut alle -15° kuukaudessa x vuonna z)

Softa-riippuvuus on yksi suurimmista "virhestä" mielestäni näissä wx-softissa, mikään niistä ei ole yhteensopiva toisen kanssa, kaikilla omat versiot logifiluista ym. Vaikka kilpailjoita ovatkin olisi ihan aihellista edes jokunlainen standardi olla siinä.
Ei se ainoastaan oman napan tuijottaminen tehden siirrot toiseen softaan mahdollisimman vaikeaksi oikeen ole tätä päivää tässäkään hommassa.

[khyron]

- Rakentaisin MySQL-kannan jossa kuukausikohtaiset tiedot (aka xxxxxlg.txt), 1 taulu/kk,

Miksi ihmeessä joka kuulle oma taulu?

sekä yksi taulu jossa päivän maksimit/minimit/keskiarvot 1 rivi/pvä. Sekä tietty skriptit joka päivittää noita jatkossa. Näin olisi data MySQL-kannassa joka ei ole softa-riippuvainen.

Mulla on just noin tällä hetkellä, yhdellä rivillä yhden anturin tiedot. On kyl tullu pohdittua et pitäskö tehdä omat taulut eri aikajaksoille, ei o tullu vielä niin tarkkaan pohdittua et saisko yhteen tauluun kaiken järkevästi, siis esim. tunnittaiset ja päivittäiset keskiarvot. "Ongelma" tossa on se et keskiarvot päivitetään vaan kerran vuorokaudessa.

Softa-riippuvuus on yksi suurimmista "virhestä" mielestäni näissä wx-softissa, mikään niistä ei ole yhteensopiva toisen kanssa, kaikilla omat versiot logifiluista ym. Vaikka kilpailjoita ovatkin olisi ihan aihellista edes jokunlainen standardi olla siinä.
Ei se ainoastaan oman napan tuijottaminen tehden siirrot toiseen softaan mahdollisimman vaikeaksi oikeen ole tätä päivää tässäkään hommassa.

Jos data menis edes kantaan niin sitä olis helppo pulata siellä, ja tehdä erilaisia viewejä/triggereitä niin et vois käyttää samaa kantaa ristiin eri softissa.

Mullahan on tällä hetkellä ite speksattu kanta, osittain siksi et 1-wire pulikat melkeen vaati kaiken tekemisen ite. Ja sit tein oletukset et valmiit on kuitenkin ihan huonoja:)

edit: Täällähän olis tietty hyvä speksailla mitä kaikkia ominaisuuksia ihmiset kaipais. Modulaarisuus olis tosiaan yks ehdoton.

[weatherc]

Miksi ihmeessä joka kuulle oma taulu?

Lähinnä oli aatos että voi helposti napata kuukausi x/xxxx. Toinen tietty että yhdessä kuussa on jotain 13K riviä dataa.
Tietty vuodenkin taulu menettelis vielä, onhan tuo oma yr.no-kanta 2.6M riviä

Mullahan on tällä hetkellä ite speksattu kanta, osittain siksi et 1-wire pulikat melkeen vaati kaiken tekemisen ite. Ja sit tein oletukset et valmiit on kuitenkin ihan huonoja:)

Ideoita 1-wire lukijaksi wintoosaan joka osaa puskea datat filuun?
Entä Linukkaan jos vaikka joskus innostuis taas testailemaan?
Tarvis saada sen muokatun hum-anturan VAD-luku saada ulos lumensyvyyttä varten...

[khyron]

Miksi ihmeessä joka kuulle oma taulu?

Lähinnä oli aatos että voi helposti napata kuukausi x/xxxx. Toinen tietty että yhdessä kuussa on jotain 13K riviä dataa.
Tietty vuodenkin taulu menettelis vielä, onhan tuo oma yr.no-kanta 2.6M riviä

Eihän ton pitäs vielä mikään ongelma olla jos indeksit on kunnossa. Mulla näkyy olevan 14 miljoonaa riviä data taulussa, tosin jokasella rivillä on vaan aikaleima, anturi-id ja arvo.

Olen myös pohtinut että jos jossain vaiheessa tulee laitettua oman aseman tiedot julkisesti nettiin niin vois generoida kaiken historiallisen datan valmiiksi sivuiksi palvelimelle ja vaan tän vuorokauden osalta olis dynaamisesti.

Mullahan on tällä hetkellä ite speksattu kanta, osittain siksi et 1-wire pulikat melkeen vaati kaiken tekemisen ite. Ja sit tein oletukset et valmiit on kuitenkin ihan huonoja:)

Ideoita 1-wire lukijaksi wintoosaan joka osaa puskea datat filuun?
Entä Linukkaan jos vaikka joskus innostuis taas testailemaan?
Tarvis saada sen muokatun hum-anturan VAD-luku saada ulos lumensyvyyttä varten...

OWFS toimii ainakin linuxissa hyvin. Windowsista en tiedä. Digitemp kai toimii windowsissakin, digitemppiin tein joskus pienen säädön et sain sen tulostaan anturien arvot haluamallani tavalla, saattaa löytyä vielä jostain.

Tosin owfs ei kyl kirjottele minnekään dataa, näyttää 1-wire verkon vaan tiedostojärjestelmänä jolloin sitä voi lukea millä tahansa ohjelmalla. Mulla on siihen pieni python-scripti mikä lukee anturien tiedot kannasta ja tallettaa sinne luetut arvot.

[weatherc]

Eihän ton pitäs vielä mikään ongelma olla jos indeksit on kunnossa. Mulla näkyy olevan 14 miljoonaa riviä data taulussa, tosin jokasella rivillä on vaan aikaleima, anturi-id ja arvo.

Juu, eihän sen *pitäisi* olla mikään ongelma ainakaan teoriassa. Pikalaskelma riveistä tuotti että mulla rivejä olisi n. 25 miljoonaa jossa jokaisella olisi arvoja reilut kymmenkunta (rivejä onkin n 42K/kuukausi). Mulla tuon yr.no:n (ja osittain nwn:än masteriessa) käytössä memcache myslissä, todella näppärä kyllä harvoin päivittyvälle datalle.
Meikäläisen nykyinen sivu-rakenne on sellainen ettei taida olla ainuttakaan "vanhan datan sivua", osittain koska tuo WD:n esim. raporttien uppaus on kaikkea muuta kun vakaata. Esim. NOAA-raportinhan pystyisi äkkiä väsäämään staattiseksi/kannasta cachella jos vaan data on ensin kannassa.

OWFS toimii ainakin linuxissa hyvin. Windowsista en tiedä.
Tosin owfs ei kyl kirjottele minnekään dataa, näyttää 1-wire verkon vaan tiedostojärjestelmänä jolloin sitä voi lukea millä tahansa ohjelmalla.

Ihan näppärä. Ainakin sivujen mukaan voisi toimia Cygwin:in kanssa myös wintoosassa. Toisaalta mua voisi kiinnostaa enemmän päästä wintoosasta kokonaan eroon (tai edes niin että olisi Linukka jossa pieni ultrakevyt win2K tms virtuaalina) kun näpertää porttauksia siihen päin..hmm..

[weatherc]

Tarvis saada sen muokatun hum-anturan VAD-luku saada ulos lumensyvyyttä varten...

Kokeilin LogTemp:ä ja sain siitä ulos tuon VAD:in sekä se kirjoittaa ne filuunkin