Pohdintoja

weatherc · lauantai, 13.04.2019, 14:44

Tilastot ovat kivoja
Tuohan on totta

Jotta saisi vertailukelpoista tilastoa asemien kesken niin silloinhan pitää keräily/laskentatapa olla sama kaikille tyypeille on ne sitten pws, tie tai laitosten asemat. Tie-asemistahan ei ole mitään tilastodataa saatavilla raakadatana "kun eivät ole virallisia"... Tässä olisi EWN hyvä koska asemathan ovat jo olemassa.
Ongelmaksi saattaisi tulla se että ja jos tarkkoja ollaan niin kaikista asemista pitäisi saada sama määrä dataa, vaikkapa 20 min välein. Ja yksikin data kun uupuisi niin aseman data ei olisi enää vertailukelpoista. Noh, käytännössä ehkä 1 päivän datat. Mutta silti. Hatusta vedettynä voisi arvava että ehkä puolet asemista olisi vertailukelpoisia vuoden lopussa koska aina sattuu ja tapahtuu tuossa datan siirrossa kun puhutaan 24/7-keruusta. Mutta tuokin lienee ratkottavissa sillä että jos asemalta uupuu enemmän kun x dataa niin ei ole vertailukelpoinen vaikka data olisikin olemassa, ja jos uppuu y dataa niin ei tehtäis tilastoa ollenkaan. Tai jotain.

Nykyinen EWN-tietokanta on aikamoista sillisalaattia osittain siitä syystä että siihen on vaan tuupattu lisää tavaraa, aina vanhoista NWN-ajoista alkaen. Se tarvis järkeistää. Ja on tarvinnut jo kauan.

Mitä tilaan tulee niin 7000 aseman datathan tarvii vähän tilaa jos ajattelee vaikkapa 1 vuoden "tiheää dataa". Tosin ei siihen teratavuja tarvita mutta ehkäpä yks 100 GB kuitenkin koska eihän sitä voi ruveta MB-tasolla ruveta laskemaan että "nyt mahtuu enää 20 MB"-tyyliin.
Nykyien dedi on kuten toisessa ketjussa sanoin, aika täyteen ammuttu. Siinä raksuttaa 2 x 500 GB lätyt RAID:ssa. Teoreettisestihän ne saisi erilleen mutta RAID on aina RAID mitä tulee datan turvallisuuteen, ilman sitä ja levy hajoaa niin homma tyssää siihen ja kaikki data tuorempaa kun viimeinen backup menisi taivaan tuuliin. Joten se ei oikeen ole vaihtoehto.

Se, mitä tuon 500 GB syö on kyllä matkan varrella tullut tutkittua jokuseen kertaan sen jälkeen kun cPanel rupesi nillitämään tilan puutteesta. Totuushan on esim se että ei tuo 500G ole kokonaan käytettävissä vaan ~~muistaakseni jotain 450G~~ 442G (tarkistettu: /dev/md2 442G 344G 77G 82% /).
Yhden osan syö kartta/websocket-virtuaali, ja loput cPanel ja sivut. Eikä sille websivu-virtuaalille saa tehtyä lisä tilaa edes haluamalla, pelkästään dedillä olevat sivut haukkaa n 120G siitä 220G:stä mitä cPanel anto sille osiolle aikoinas. Itse asiassa siinä on jo pitkään ollut käytössä logi-siivooja joka siivoo ulos mm kaikki error_logit ja FTP-logit muistaakseni kerran vuorokaudessa. Nuo logit kun kasvaa muuten aikamoisiksi tällaisella purkilla jossa FTP:kin puskee muutaman sekunnin välein...

systeemi · lauantai, 13.04.2019, 18:54

Aletaanko laittaamaan lisää tilaa, mukana ollaan jos tarve vaatii

weatherc · lauantai, 13.04.2019, 20:25

Lainaus käyttäjältä: systeemi - lauantai, 13.04.2019, 18:54
Aletaanko laittaamaan lisää tilaa, mukana ollaan jos tarve vaatii

Totuushan on se että nykyinen on täynnä, se ei sitä muuta että jaotus kartta <> web osioiden koot olisi voinut olla hitusen erillaiset mitä ovat. Mutta silloinkin kyse on muutamasta kymmenestä GB:stä. Eikä sitä saa muutettua "lennosta". Ja kuten hyvin tiedetään niin ihan täyteen ei sitä voikkaan tuupata.

(Lähinnä einarille tiedoksi:

) Mutta, mahdollinen vaihtohan ei ole ihan hetkessä tehty vaan vaatii pikemmin pientä suunnittelua, myös sen suhteen että mihin aikaan kuukaudesta sen ottaisi / sanoisi vanhan irti jotta päällekkäisyys olisi mahdollisimman lyhyt. Myös virtuaalien koot, osiointi yms vaatii pientä miettimistä.

Plussaa näin suomalaisesta näkökulmasta olisi ehdottomast se että purkin fyysinen sijanti muuttuisi keski-saksasta Suomen Tuususlaan

weatherc · lauantai, 13.04.2019, 21:52

Lainaus käyttäjältä: einari - lauantai, 13.04.2019, 21:30
Mietin tuolla tien päällä sen verran ollesssa miten voisi helpoiten ohjata sen oman datan vaikkapa ewn:lle... getpublicdatan sijasta..
tämä siksi että vaikka tuo julkinen data on aika hyvin pelannut niin tänään oli aika pitkä katkos tällä alueella.. liki 10 tuntia... sieltä tuli siihen aikaisempaan viestiin vastaus että nyt näkyy.. jos ongelmat jatkuu niin ota yhteyttä.. niinpä otin vähän kritisoiden... eikä niin vähänkään.. tuskin ennen arkea suurempia tapahtuu..... vaikka ainakin oma alkoi tunnin kuluttua näkymään taas EWN:ssäkin

Tuo on juuri se ongelma Netatmojen suhteen jos tilastojen tekoa ajattelee, tykkää pätkiä ja pahastikkin välillä. Jos sallisi vaikkapa 1% puuttumisen niin se on vuositasolla 3.5 vrk, tuollaisia 10 h katkoja ei vuoteen montaa mahtuisi. Kuukausidata olisi tuolla yhdellä katkolla jo roskiksessa...

LainaaKai se luotettavampi data onnistuisi helpoiten luovuttamalla käyttäjätunnus... sitten vain sisäyksikön id:llä hakee...
GET /api/getstationsdata?access_token=[YOUR_TOKEN]&device_id=[DEVICE_ID] ja baseen NaModulet 1..2..3 eli ulko, tuuli, sade..??
Samat tiedothan joutuu antamaan noille 3 osapuolen sovelluksille.. kuten tämä kehumani smartmixin....

Tuohan tietty riippuu siitä että menikö data tuonne asti tuon katkon aikana vai ei.

Tuli muuten tutkittua pikkasen tuota Weatherlinkin/Davisin kartta-systeemiä. Sielläkin kun asemia näyttää olevan mukavat 35000 maailmanlaajuisesti joista Suomessa reilut 300

Hidasta oli kartan lataus...

khyron · lauantai, 13.04.2019, 23:03

Lainaus käyttäjältä: weatherc - lauantai, 13.04.2019, 21:52

Tuo on juuri se ongelma Netatmojen suhteen jos tilastojen tekoa ajattelee, tykkää pätkiä ja pahastikkin välillä. Jos sallisi vaikkapa 1% puuttumisen niin se on vuositasolla 3.5 vrk, tuollaisia 10 h katkoja ei vuoteen montaa mahtuisi. Kuukausidata olisi tuolla yhdellä katkolla jo roskiksessa...

Mää arvaan et 10 tunnin puuttuminen datasta ei heitä kuukausikeskiarvoa juuri mihinkään. Max/min dataan voi tulla muutosta jos sattuu osumaan juuri tuohon kohtaan.

En kuitenkaan jaksa testata asiaa juuri nyt.

weatherc · sunnuntai, 14.04.2019, 00:51

Lainaus käyttäjältä: khyron - lauantai, 13.04.2019, 23:03
Mää arvaan et 10 tunnin puuttuminen datasta ei heitä kuukausikeskiarvoa juuri mihinkään. Max/min dataan voi tulla muutosta jos sattuu osumaan juuri tuohon kohtaan.

En kuitenkaan jaksa testata asiaa juuri nyt.

Tuo 1% raja oli tietenkin vedetty hatusta ja riippunee myös lämpötilasta mikä tuon 10h aikana on, eli asiaa pitää kokeilla. Joku raja on kuitenkin oltava jos haluaa vertailukelpoista tilastoa.
EDIT: Kokeilin Perttelin datalla, maaliskuun data, ja lopusta pois ero koko kuukauteen
36h 0.2°
24h 0.08°
12h 0.05°

weatherc · keskiviikko, 17.04.2019, 18:15

Tuossa tutkailin noita olemassa olevia "käyrä-taulukoita" eli niitä johon menee/on tarkoitus mennä dataa 20 minuutin välein ja kerääntyä vuoden datat. Kasapäin korruptioneita taulukoita ja paljon myös tyhjiä sellaisia. Eli pientä siivousta vaatii noin ensalkuun

Jahka keräävät dataa ok niin suht helppo tehdä tilasto-taulukot niiden datoista. Ideana käyttää samanlaista systeemiä mitä omat nordicin asemat eli tehdä kerran vuorokaudessa päivittäiset rivit taulukkoihin. Niiden pohjalta on sitten helppo viritellä tilastoa.

Mitä tulee EWN-karttaan niin tuo WebGL-kartta on todennäköisesti pois pelistä ainakin toistaiseksi. Mitään korjausta/päivitystä ei ole tullut kadonneille saarille. Yks käyttäjä juuri mennä viikolla kysyi asiaa Githubissa mutta mitään vastausta ei tullut. Siihen vastasi yksi Ahvenanmaanlainen käyttäjä (ongelmahan koskee erityisesti heitä) että olivat vaihtaneet muihin karttoihin...

Mitä itse purkkiin tulee niin alan kääntyä kantille että uutta purkkia kehiin kun kerran vauhdissa ollaan, onhan tuo nykyinen raksuttanut jo jokusen vuoden, eikä datankeruu oikeen toimi jos pitää alkaa laskemaan bittejä

Mietinnässä on seuraavan tyylinen aikataulu: Uusi purkki tilaukseen loppuviikosta, vanha lopetukseen 14.5. (noissa ei ole irtisanomisaikaa mutta menee laskutuskausien mukaan ja pitää irtisanoa jokunen päivä/viikko ennen seuraavaa laskua). Vaihtoehtona kuukausi eteenpäin vanhan lopetuksen osalta ja hitusen eteenpäin uuden osalta.
Sijanniksi tulisi kotoinen Tuusula kun sakemannithan rakensi pömpelit sinnekkin

systeemi · torstai, 18.04.2019, 11:55

Tämä käy vallan mainiosti!

weatherc · maanantai, 22.04.2019, 19:43

Lainaus käyttäjältä: systeemi - torstai, 18.04.2019, 11:55
Tämä käy vallan mainiosti!

Laitetaan jäihin ainakin vielä

Tuli tutkailtua läpi purkin sisältöä ja kappas, kun riittävästi kaivoi niin löytys mm 30G crash-logeja. Nämä kun siivos ulos niin tyhjeni / osio kummasti, sen koko kun on 50G ja on juuri se josta cpanel on valitellut

Joten se on kondiksessa.
/home:ssa (eli missä itse sivut ja mysql majailee) on muutama isohko kansio (20+ G / kappale), todennäköisesti tanskalaisten videoita, joten ne kun pikkasen siivoisi niitä vanhemmasta päästä niin tulisi sinnekkin kummasti tilaa lisää (lähti postia tanskan suuntaan). Esim. ewn:än vanhan mallinen käppyrä-keruu-tietokantakin pieneni 8G => 3G kun optimeeras ja siivos vähäsen

Uutiset:

Pohdintoja