WD:n uppausten minmointi

[weatherc]

Älä kuitenkaan ehdota sitä "kaikki oman ruksin taakse". Muuten saadaan taas n+1 ruksia lisää ja mieluusti kymmeneen eri paikkaan, joista ainoastaan puolet toimii niinkuin pitääkin ja joku ruksi pitää etsiä täysin epäloogisesta paikasta ja sen toimintakin riippuu siitä, oletko mahdollisesti kääntänyt asiaan täysin riippumattoman napin koska viimeksi toiseen asentoon.

Tuo oli hyvä, mutta, niiiin paikkansapitävä, valitettavasti...

1-wirereaderihän on tätänykyään omana palikkana. Idea hyvä, toteutus surkea.
Ensinnäkin, vanha 1-wire asetusvälilehti on edelleen paikallaan eikä sillä tee yhtään mitään koska asetukset naputetaan suoraan readeriin (jota se ei kuitenkaan välttämättä muista uudelleenkäynnistyksen yhteydessä - syy miksi meikäläisen ruohotasolämpötila on varsin on/off).
Toiseksi, 1-wirereaderistä (siitä uudesta) ei saa mitään ulos ilman WD:tä, ainakaan suoraan.
Kysyin piruttain Hamiltonilta foorumilla että olisiko mahdollista saada 1-wirereaderin data filuun (että sitä voisi ajaa stand-alonena), vastaus oli "Miksi?". Enpä sitten enää viittinyt kertoa että siksi että voisi ajaa standalonena ja siirtää VP2 vaikkapa Cumulukseen...

Jokuhan on tuolla ww-foorumilla uskalanutkin kertoa mielipiteensä WD:stä suoraan esim. valikkorakenteista ja tuloksenhan on aina ollut täysi sota ja muistaakseni joku lensi uloskin sieltä sen takia.

Itse olen pikkuhiljaa siirtynyt "eroon" WD:stä sillä lailla että esim (lähes) kaikki tilastot menee tätänykyään kantaan ja sieltä sitten nappaan sivuille. Ainut mitä WD nykyään tekee on testtags-filu customtageineen ja clientraw-filut.

[Snowi]

Jos jotain pitäisi tuosta aikaan saada, pitäisi lähteä kynällä ja paperilla hahmottelemaan järkevää valikkorakennetta, ottaa tarpeelliset palaset talteen ja tehdä sen ympärille kokonaan uusi ohjelmisto. Ja ehdottomasti paloista rakentaen. Eli perussofta pitää sisällään ainoastaan perusjutut ja halutessasi saat ladattua tarvitsemasi plugarit softaan. Siistisi samalla valikoitakin huomattavasti. Alkujaan ei olisi mitään turhaa ja jos haluat 1-wiren, lataat sopivan palikan ja saat sen asetukset kyseisen palikan nimen alle. Ei tarvitse metsästää monesta paikasta.

Itseasiassa itsekin lähdin tuolla tavalla rakentelemaan omaa sääsivustoa  . Otin paperin ja kynän ja vähän piirtelin valikoita ja mikä tulee mihinkin jne. Iso homma se ei tuollaisen nettisivun osalta ollut, mutta kyllä se auttoi sitten kun lähti sivustoa nollasta rakentelemaan.
WD pitäisi ehdottomasti olla rakennettu juurikin noin, että käyttäjät voisivat ladata noita lisäpalikoita halutessaan. Tällä hetkellä ei ole muuta vaihtoehtoa kuin ottaa kaikki ne miljoonat lisäosat. Brian on varmasti lisäillyt niitä yleisön pyynnöstä, mutta nyt pitäisi tajuta se, että 99% käyttäjistä ei niitä tarvitse, joten sille yhdelle prosentille voisi tehdä lisäosan, joka olisi ilmaiseksi ladattavissa WD:een.

[weatherc]

Tuossa sen verran tutkalilin Cumulsta että,
- Logifilut on ainakin teoriassa mahdollista saada WD:stä Cumulukseen. Vaatii pienen skriptihäkkyrän joka tekee ne sopivaan muotoon.
- Ennätykset joutunee naputtaa manuaalisesti
- Uusimassa betassa on yli 330 "customtagia" mikä alkaa jo olemaan aika määrä (WD:ssä n 1000). Tosin jos foorumia ymmärsin oikein niin joitain tageja uupuu jota "testtags"-filussa saratogaa varten on.

Se ettei Cumulus vissiin osaa tarkkailla NexStormia ukkosten varalta mitä WD "osaa" en näe ongelmana koska ei se WD:kään koskaan ole toiminut

JOS tuohon lähtis niin ainakin itse tekisin näin:
- Logfilut tietty Cumulukselle + ennätykset sisään
- Rakentaisin MySQL-kannan jossa kuukausikohtaiset tiedot (aka xxxxxlg.txt), 1 taulu/kk, sekä yksi taulu jossa päivän maksimit/minimit/keskiarvot 1 rivi/pvä. Sekä tietty skriptit joka päivittää noita jatkossa. Näin olisi data MySQL-kannassa joka ei ole softa-riippuvainen.
Osa lukemista ainakin omalla sivulla saisi nykyisien customtagin sijaan mysql-komennolla esim (y päivää ollut alle -15° kuukaudessa x vuonna z)

Softa-riippuvuus on yksi suurimmista "virhestä" mielestäni näissä wx-softissa, mikään niistä ei ole yhteensopiva toisen kanssa, kaikilla omat versiot logifiluista ym. Vaikka kilpailjoita ovatkin olisi ihan aihellista edes jokunlainen standardi olla siinä.
Ei se ainoastaan oman napan tuijottaminen tehden siirrot toiseen softaan mahdollisimman vaikeaksi oikeen ole tätä päivää tässäkään hommassa.

[khyron]

- Rakentaisin MySQL-kannan jossa kuukausikohtaiset tiedot (aka xxxxxlg.txt), 1 taulu/kk,

Miksi ihmeessä joka kuulle oma taulu?

sekä yksi taulu jossa päivän maksimit/minimit/keskiarvot 1 rivi/pvä. Sekä tietty skriptit joka päivittää noita jatkossa. Näin olisi data MySQL-kannassa joka ei ole softa-riippuvainen.

Mulla on just noin tällä hetkellä, yhdellä rivillä yhden anturin tiedot. On kyl tullu pohdittua et pitäskö tehdä omat taulut eri aikajaksoille, ei o tullu vielä niin tarkkaan pohdittua et saisko yhteen tauluun kaiken järkevästi, siis esim. tunnittaiset ja päivittäiset keskiarvot. "Ongelma" tossa on se et keskiarvot päivitetään vaan kerran vuorokaudessa.

Softa-riippuvuus on yksi suurimmista "virhestä" mielestäni näissä wx-softissa, mikään niistä ei ole yhteensopiva toisen kanssa, kaikilla omat versiot logifiluista ym. Vaikka kilpailjoita ovatkin olisi ihan aihellista edes jokunlainen standardi olla siinä.
Ei se ainoastaan oman napan tuijottaminen tehden siirrot toiseen softaan mahdollisimman vaikeaksi oikeen ole tätä päivää tässäkään hommassa.

Jos data menis edes kantaan niin sitä olis helppo pulata siellä, ja tehdä erilaisia viewejä/triggereitä niin et vois käyttää samaa kantaa ristiin eri softissa.

Mullahan on tällä hetkellä ite speksattu kanta, osittain siksi et 1-wire pulikat melkeen vaati kaiken tekemisen ite. Ja sit tein oletukset et valmiit on kuitenkin ihan huonoja:)

edit: Täällähän olis tietty hyvä speksailla mitä kaikkia ominaisuuksia ihmiset kaipais. Modulaarisuus olis tosiaan yks ehdoton.

[weatherc]

Miksi ihmeessä joka kuulle oma taulu?

Lähinnä oli aatos että voi helposti napata kuukausi x/xxxx. Toinen tietty että yhdessä kuussa on jotain 13K riviä dataa.
Tietty vuodenkin taulu menettelis vielä, onhan tuo oma yr.no-kanta 2.6M riviä

Mullahan on tällä hetkellä ite speksattu kanta, osittain siksi et 1-wire pulikat melkeen vaati kaiken tekemisen ite. Ja sit tein oletukset et valmiit on kuitenkin ihan huonoja:)

Ideoita 1-wire lukijaksi wintoosaan joka osaa puskea datat filuun?
Entä Linukkaan jos vaikka joskus innostuis taas testailemaan?
Tarvis saada sen muokatun hum-anturan VAD-luku saada ulos lumensyvyyttä varten...

[khyron]

Miksi ihmeessä joka kuulle oma taulu?

Lähinnä oli aatos että voi helposti napata kuukausi x/xxxx. Toinen tietty että yhdessä kuussa on jotain 13K riviä dataa.
Tietty vuodenkin taulu menettelis vielä, onhan tuo oma yr.no-kanta 2.6M riviä

Eihän ton pitäs vielä mikään ongelma olla jos indeksit on kunnossa. Mulla näkyy olevan 14 miljoonaa riviä data taulussa, tosin jokasella rivillä on vaan aikaleima, anturi-id ja arvo.

Olen myös pohtinut että jos jossain vaiheessa tulee laitettua oman aseman tiedot julkisesti nettiin niin vois generoida kaiken historiallisen datan valmiiksi sivuiksi palvelimelle ja vaan tän vuorokauden osalta olis dynaamisesti.

Mullahan on tällä hetkellä ite speksattu kanta, osittain siksi et 1-wire pulikat melkeen vaati kaiken tekemisen ite. Ja sit tein oletukset et valmiit on kuitenkin ihan huonoja:)

Ideoita 1-wire lukijaksi wintoosaan joka osaa puskea datat filuun?
Entä Linukkaan jos vaikka joskus innostuis taas testailemaan?
Tarvis saada sen muokatun hum-anturan VAD-luku saada ulos lumensyvyyttä varten...

OWFS toimii ainakin linuxissa hyvin. Windowsista en tiedä. Digitemp kai toimii windowsissakin, digitemppiin tein joskus pienen säädön et sain sen tulostaan anturien arvot haluamallani tavalla, saattaa löytyä vielä jostain.

Tosin owfs ei kyl kirjottele minnekään dataa, näyttää 1-wire verkon vaan tiedostojärjestelmänä jolloin sitä voi lukea millä tahansa ohjelmalla. Mulla on siihen pieni python-scripti mikä lukee anturien tiedot kannasta ja tallettaa sinne luetut arvot.

[weatherc]

Eihän ton pitäs vielä mikään ongelma olla jos indeksit on kunnossa. Mulla näkyy olevan 14 miljoonaa riviä data taulussa, tosin jokasella rivillä on vaan aikaleima, anturi-id ja arvo.

Juu, eihän sen *pitäisi* olla mikään ongelma ainakaan teoriassa. Pikalaskelma riveistä tuotti että mulla rivejä olisi n. 25 miljoonaa jossa jokaisella olisi arvoja reilut kymmenkunta (rivejä onkin n 42K/kuukausi). Mulla tuon yr.no:n (ja osittain nwn:än masteriessa) käytössä memcache myslissä, todella näppärä kyllä harvoin päivittyvälle datalle.
Meikäläisen nykyinen sivu-rakenne on sellainen ettei taida olla ainuttakaan "vanhan datan sivua", osittain koska tuo WD:n esim. raporttien uppaus on kaikkea muuta kun vakaata. Esim. NOAA-raportinhan pystyisi äkkiä väsäämään staattiseksi/kannasta cachella jos vaan data on ensin kannassa.

OWFS toimii ainakin linuxissa hyvin. Windowsista en tiedä.
Tosin owfs ei kyl kirjottele minnekään dataa, näyttää 1-wire verkon vaan tiedostojärjestelmänä jolloin sitä voi lukea millä tahansa ohjelmalla.

Ihan näppärä. Ainakin sivujen mukaan voisi toimia Cygwin:in kanssa myös wintoosassa. Toisaalta mua voisi kiinnostaa enemmän päästä wintoosasta kokonaan eroon (tai edes niin että olisi Linukka jossa pieni ultrakevyt win2K tms virtuaalina) kun näpertää porttauksia siihen päin..hmm..

[weatherc]

Tarvis saada sen muokatun hum-anturan VAD-luku saada ulos lumensyvyyttä varten...

Kokeilin LogTemp:ä ja sain siitä ulos tuon VAD:in sekä se kirjoittaa ne filuunkin 

[teutari]

Tutkailin tuota oman WD.exe:n käyttäytymistä ja näyttää noita I/O Readseja täälläkin tulevan 5 minuutin välein tuommoiset 800 000, noiden 5 minuuttisten välissä WeatherD.exe on aika hissukseen.
I/O Bytes on n. 170-190 MB silloin kun tuo 800 000 I/O Readsia pamahtaa, viisminuuttisten välissä I/O Bytes nakuttelee 419 B - 2.1 KB.
Kovastippa näyttää tuo WD tekevän hommia joka viidesminuutti.

[teutari]

Jos ei tarvitse sivuillaan dailydatalog.txt filu joka on tarkoitettu AFAIK iicp projektiin--> http://www.iiccp.co.uk/
WD on lähettänyt sitä automaattiseti mutta nyt sen voi ottaa pois päältä uusimmassa .zip päivityksessä build 78, Control Panel-->FTP&Connection METAR/NOAA-->Web Files Upload Times and Av/Ext, siellä täppi pois kohdasta--> Upload dailydatalog.txt
Mulla tuo filu oli kooltaan 212kt.

ps. tuli silmäiltyä tuota filua ja aika rähjäiseltä se näyttää kun ensiaskeleita silloin WD:n kanssa mentiin.