No niin....
Cronilla ajettavat taustahäkkyrät korjattu/uudelleenrakennettu/testattu ja samalla siirretty raksuttamaan PHP7:lla.
Itse PHP7 ei juuri pölyn pyyhintää suurempaa ongelmaa aiheuttanut vaan muuten hajonneet datahaut.
Samaan syssyyn palasi piiitkän tauon jälkeen saksan DWD:n asemat linjoille (määrä kasvoi liki 500:aan), sekä uutena tanskanmaan DMI. 8)
Tietokanta ja sen taannoisen liki pakkopäivityksen aiheuttamat sekoilut korjattu. Todellisuudessa ongelman ydin oli se että nykyään mysql vaatii insert-komennolla jokaiseen perkulan lokeroon arvon, oli sitten mitään järkevää arvoa tuupata siihen tai ei - tai defaulttina arvona oltava jotain muuta kuin null. Jeps. ::)
Jono lisätty kantaan semi-manuaalisesti.
Liitymiskaavake korjattu. Muutettu niin että mikälisikäli aseman softa on WD/Cumulus/Meteohub niin aktivoituu heti mikäli dataurli (eli esim osoite clientraw.txt:in) pääsee läpi pikku pikatestin (käytännössä osoite vastaa 200 eli on olemassa). 8)
Asemataulukoista löytyi niitä vaivannut bugi kuin vahingossa. Se on ollut siellä alusta asti. Oire oli että taulukossa vain puolet asemista. Vika oli kolme merkkiä pitkä ja yksirivien..... :o :o
Koska tuo kantasekoiluhan oli käytännössä estänyt kaikki automaattiset Netatmo-asemien ylläpidolliset toimet tulee kohta ihan pikkanen päivitys noihin kysyeisiin asemiin... ::)
Kiinnostaisi taas liittyä mukaan, mutta lopetin tuon WD:n käytön jo muutama vuosi sitten. Nykyinen konfiguraatio on seuraavanlainen:
Daviksen sääasema katolla, jota weatherlink softa lukee ja tallettaa koneelle. Sama softa puskee sitten 10 sekunnin välein tiedot weatherlink.com (davis) sivustolle.
Weather Stationin (https://weather.station.software)WP plugin käy sitten lukemassa dataa sääasema muuramen sivustolle.
Tuo plugin osaa myös tehdä dataa stickertags ja Yowindows formaatissa.
http://weather.zalama.net/get-weather/wl:1d:0a:e0:5d:d3/stickertags/
http://weather.zalama.net/get-weather/wl:1d:0a:e0:5d:d3/YoWindow.xml
Kysymys kuulukin, pystyykö euweather käyttämään tuota dataa, tai mahdollisesti lukea sitä suoraan weatherlink.com:sta ?
Lainaus käyttäjältä: Zalama - sunnuntai, 13.06.2021, 22:54
Kiinnostaisi taas liittyä mukaan, mutta lopetin tuon WD:n käytön jo muutama vuosi sitten. Nykyinen konfiguraatio on seuraavanlainen:
Daviksen sääasema katolla, jota weatherlink softa lukee ja tallettaa koneelle. Sama softa puskee sitten 10 sekunnin välein tiedot weatherlink.com (davis) sivustolle.
Weather Stationin (https://weather.station.software)WP plugin käy sitten lukemassa dataa sääasema muuramen sivustolle.
Tuo plugin osaa myös tehdä dataa stickertags ja Yowindows formaatissa.
http://weather.zalama.net/get-weather/wl:1d:0a:e0:5d:d3/stickertags/
http://weather.zalama.net/get-weather/wl:1d:0a:e0:5d:d3/YoWindow.xml
Kysymys kuulukin, pystyykö euweather käyttämään tuota dataa, tai mahdollisesti lukea sitä suoraan weatherlink.com:sta ?
Pystyy. Osaa lukea stickertagsia suoraan :)
Pikku tutkailua koskien noita muita filuja...
Taitaa suurin ongelma olla tuo arrayn lukeminen eli esim
$frc[lat] = $row[latitude];
pitäisi olla
$frc["lat"] = $row["latitude"];
Juu,juu,mitä turhaan laittaa väkäsiä kun homma toiminut ilmankin. Näppiksen nappulathan kuluu. 8)
Tuossa kokeilin Geditillä väsätä regex:iä jolla tuon tekisi yhdellä "replace all"-painalluksella, jopa onnistuenkin :D
hae: \[([a-zA-Z_]+[!0-9]*)
replace: ["\1"
Yhessäkin filussa näytti osumia olevan 450...Jep. :o
Joku tehokkaampi tapa pitää kyllä keksiä kun että kävis noita filuja yksitellen läpi kun ei oo sopivaa ilmaistyövoimaa jota siihen p-hommaan laittais :P
Pitääpi kokeilla komentoriviltä kyhätä joku näppärä pätkä jolla homma hoituis kansio-tasolla (eli koko domainin home-kansio :P) - yhdellä komennolla :)
Ja sitten vaan trial-error-meiningillä joku hiljainen hetki "korjata" yksi kansio (joku sopiva pieni ensin - ja backupin kera) ja sen jälkeen katsoa että toimiiko mikään enään. :P 8) ;D
Olikohan jompikumpi noista syynä että netatmot katosivat 0:51 viime yönä totaalisesti??
"Koska tuo kantasekoiluhan oli käytännössä estänyt kaikki automaattiset Netatmo-asemien ylläpidolliset toimet tulee kohta ihan pikkanen päivitys noihin kysyeisiin asemiin"
vai
"Ja sitten vaan trial-error-meiningillä joku hiljainen hetki "korjata" yksi kansio (joku sopiva pieni ensin - ja backupin kera) ja sen jälkeen katsoa että toimiiko mikään enään. "
toivottavasti asia korjaantuu pikaisesti ::)
Bugi hakuhäkkyrässä. >:(
Toisaalta löysin pari lisäbugiakin siitä koskien miten se laskenut esim "aseman ikää" ja "aseman datatiheyttä". Oikeastaan ongelma oli mysqlissä (ullatus! :o) jossa käytetty komento loppuu 838 tuntiin tms. yhtä järkevään kohtaan.
Itse komento on korjattu toimivaan mutta käytettävät rajat on nyt vähän hakusessa. Tällä hetkellä näyttää iso osa asemista saavan dataa n 3.75 krt / tunnissa (tosin siinä mukana tuo n 10h paussi).
Kaikki vanhat netatmot on sisäisesti laitettu "liitetyksi" kesäkuun alkupuolelle ja laskurit nyt uusien asemien saamien keskiarvojen mukaan josta sitten raksuttavat joko ylös tai alaspäin riippuen kuinka usein niiltä tulee dataa. Kesäkuun alku siksi että tuore data vaikuttaisi laskureihin mahdollisimman nopeasti mutta silti olisivat selvästi erotettavissa uusista asemista. Varsinaiseen tallennettuun säädataan tällä ei ole mitään vaikutusta.
Tuo oma on nyt päivittynyt 10 min välein 12 jälkeen ja piirsi käppyrääkin 13:00 alkaen.. nyt alkoi pikkuhiljaa ilmaantumaan kartoillekkin asemia joita ei näkynyt ennen yhtä..
Jeps,
uusissa näyttää keskim tahti olevan 2.67 krt/h ja hyvän datan osuus 89%, tuosta ei tosin ole siivottu ulos ne jotka saaneet vain muutaman datan kolmessa päivässä
vahoissa vastaavat luvut ovat 3.77 ja 91%
Tällä hetkellä "näkyvyys-raja" on 3.75. Optimaalinen voisi olla jos saisi rajan sinne 4 krt/h eli keskim vartin välein, silloin datakin olisi suht tuoretta. Pitää nyt katsoa mihin nuo lukemat asettuvat.
Nuo asemat joissa on kaikki 3 moduulia antanevat uuden ajan pääsääntöisesti 5-6x/h, tuo 5 siksi että kun netatmo päivittyy serverille hieman vaihtelevasti niin voi joku haku mennä ohi kun ei sovi kohdilleen hakukierrossa..
Katselin tuossa yhtä asemaa jossa on vain rain lisänä niin näytti siltä että ainakin 5x päivittyi ja ilmeisesti kierron wind-haullakin.. sehän pitäisi olla mahdottomuus.. jos se sama hakukierto on edelleen käytössä.. (pedersöre, asvägen)
toinen selitys voisi olla että netatmo on lyhentänyt siitä noin puolesta tunnista per ehto.... pitää tutkia joku päivä sekin vaihtoehto :D
Tuo vaihtelu ranskaan päivittymisessä lienee ihan nettiyhteyksien syytä.. vaihtelu on yleensä muutaman sekunnin ja toisinaan minuutin, ehkä ylikin.. siitä kun oma purkki 10 min välein lähettää ja vielä pitää saada kuittaus takaisin..
Toissayönä oli hieman pitempi katkos yhteyksissä, Telian runkoverkko oli alhaalla nelisen tuntia täällä pohjanmaan suunnalla ja puhelimet piippasi useaan kertaan häiriötiedotteita(112)..
Lainaus käyttäjältä: weatherc - sunnuntai, 13.06.2021, 23:25
Lainaus käyttäjältä: Zalama - sunnuntai, 13.06.2021, 22:54
Kiinnostaisi taas liittyä mukaan, mutta lopetin tuon WD:n käytön jo muutama vuosi sitten. Nykyinen konfiguraatio on seuraavanlainen:
Daviksen sääasema katolla, jota weatherlink softa lukee ja tallettaa koneelle. Sama softa puskee sitten 10 sekunnin välein tiedot weatherlink.com (davis) sivustolle.
Weather Stationin (https://weather.station.software)WP plugin käy sitten lukemassa dataa sääasema muuramen sivustolle.
Tuo plugin osaa myös tehdä dataa stickertags ja Yowindows formaatissa.
http://weather.zalama.net/get-weather/wl:1d:0a:e0:5d:d3/stickertags/
http://weather.zalama.net/get-weather/wl:1d:0a:e0:5d:d3/YoWindow.xml
Kysymys kuulukin, pystyykö euweather käyttämään tuota dataa, tai mahdollisesti lukea sitä suoraan weatherlink.com:sta ?
Pystyy. Osaa lukea stickertagsia suoraan :)
Jostain syystä tuulilukema ei päivity oikein, näyttää koko ajan samaa 6,4 m/s
Tutkailin sitä getpublichakua manuaalisesti ja näyttää siltä että se puolen tunnin hakurajoitus on poistunut.. ja antaa 10 min välein/asema vastauksen jättämällä required_data:n tyhjäksi.. toiminee myös samoin pelkällä humidity-haulla..
otin hakualueeksi muutaman lähistön aseman ja kaikki vastasivat 10 min. välein oman sisäisen aikansa mukaisesti.
yhdestä puuttui sade, ja toisesta tuulimoduuli.. joten niidenkin olemassaolevien moduulien vastaukset lisääntyvät..
haun ehdothan näkyy tuossa >>
Request
cURL
curl -X GET "https://api.netatmo.com/api/getpublicdata?lat_ne=63.60&lon_ne=23.40&lat_sw=63.40&lon_sw=23.00&filter=false" -H "accept: application/json" -H "Authorization: Bearer 59378787a467a3b8998baeb0|d912a2a420742cb95e4cab3ca87410f9"
Request URL
https://api.netatmo.com/api/getpublicdata?lat_ne=63.60&lon_ne=23.40&lat_sw=63.40&lon_sw=23.00&filter=false
Siispä 10 min kierto ilman hakuehtoja antaisi sen mahdollisen 6 kertaa päivittynyttä dataa/asema.. jos haluaa tuoreempaa niin 5 tai 6 min kierto... mutta onko se turhaa... vaikka ajallisesti muutaman minuutin olisi tuoreempaa niin vain sen 6x/h sitä saa päivittyneenä.
Ei muuta kuin koehakua kehiin ja sitten sivustolle... se hyöty siitä on että noiden wind ja rain-ehtojen 20 (ylikin) minuutin
katkokset haussa jää pois ja niinpä se mainitsemasi "edes 15 min. välein" olisi näinollen saavutettavissa. :D 8) ::)
Edit//
Tein aamulla pientä testiä ja tulokset näkyvät liitteestä, mikä sitten olisi tarkoitukseen sopivin vaihtoehto?? ::)
Lainaus käyttäjältä: Zalama - lauantai, 19.06.2021, 08:13
Jostain syystä tuulilukema ei päivity oikein, näyttää koko ajan samaa 6,4 m/s
Kokeillaan toista "asemamerkintää" tuonne kantaan, noita kun on kertynyt muutama kun noita eri datafiluja on jos jonkin sorttista.
LainaaTein aamulla pientä testiä ja tulokset näkyvät liitteestä, mikä sitten olisi tarkoitukseen sopivin vaihtoehto??
Hyvä testi! Kiitos! :)
Tuo 6 krt/h voisi toimia ihan hyvinkin tuossa kun noin nätisti näyttää tulevan.
Nätisti ne tulee temperaturella ja humidityllä, onhan molemmat module1 vastauksessa, rain on module2 ja wind module3.. aina...
Harmi kun tuo ewn:n "pakka" meni sekaisin näin kesäkuun lämpimimpänä päivänä näillä seuduin.. liekö sitten koko kesän osalta sellainen...
ei muta kuin tsemppiä parsimiseen.... :( ;)
Kerroppas weatherc mistä tässä on oikein kysymys...
Olen pikkuisen seuraillut ja hieman miettityttää jotkin asiat.. johtuuko kaikki tästä että "Kokeillaan toista "asemamerkintää" tuonne kantaan, noita kun on kertynyt muutama kun noita eri datafiluja on jos jonkin sorttista."
Jos ja miksi.. suurin osahan lienee json:ja sitten clientraw.txt juttuja..
Mitkä ovat kriteerit siinä mitkä datat orjataan ensin?
Lainaus käyttäjältä: einari - maanantai, 21.06.2021, 22:46
Kerroppas weatherc mistä tässä on oikein kysymys...
Jos ja miksi.. suurin osahan lienee json:ja sitten clientraw.txt juttuja..
Mitkä ovat kriteerit siinä mitkä datat orjataan ensin?
Ei ole pelkästään jsonnia tai clientraw-tyyppisiä filuja vaan on muitakin.
Stickertags.txt on perua jo taita olla 10 -15v takaa jolloin wx-foorumilla kyhättiin pystyyn näitä pienen muotosia maakohtaisia sääasema-verkkoja ympäri maapallon. Euroopassakin niitä ainakin oli useampikin olemassa. Toki silloinen NWN, nykyään EWN, oli silloinkin poikkeava lintu ja kyhäsi kasaan Pohjoismaisen verkon eikä pekästään suomenkattavan.
Isänä tämän takana oli Saratoga Weatherin ja Saratoga templaten isäntä californian maalta joka myös kyhäsi kasaan näiden verkkojen sivuja ja datahakusysteemit halukkaille vetäjille. Siihen perustui se ensimmäinen NWN-hakuhäkkyräkin.
Yleisimmät softat kuten WD tai Cumulus generoi noita moudoltaan liki standardiksi tulleta filuja clientaw.txt tai realtime.txt. Näissä jokainen arvo löytyy samasta kohtaa filua - aina. Jos niitä on päivitetty ja lisätty arvoja, on uudet arvot aina tuupattu sinne loppuun. Eli näitä on helppo lukea. Joillakin muillakin softilla, kuten esim WeeWX, pystyy generoimaan näitä samoja filuja.
Mutta kaikilla ei ole näitä softia käytössä, mutta silti mahdollisuus generoida custom filua. Kuten esim Daviksen WeatherLink. Näihin laadittin aikoinas stickertags.txt joka on lyhyt, muutaman arvon pituien filu. Toki tuostakin on sittemmin tullut useampaa versiota eikä arvot aina löydy samasta kohtaa saatikka että jakaja olisi aina samanlainen merkki. Siksi sen kanssa saa harrastaa vähän hakuammuntaa välillä.
Näin jälkeenpäin voi tietty miettiä että miksei siitä tehty clientraw tai realtime-muotoista. En tiedä, mutta ehkei haluttu suosia Hamiltonin tekelettä WD:tä eikä Cumulustakaan. Toisaalta, jos arvoja on asemasoftalla saatavilla alle 20 niin jää parin sadan arvon clientraw-filuun paljon NULL-arvoja.