Kirjoittaja Aihe: Netatmot EWN:ään  (Luettu 87688 kertaa)

0 jäsentä ja 3 Vierasta katselee tätä aihetta.

Poissa einari

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1191
Vs: Netatmot EWN:ään
« Vastaus #570 : Sunnuntai, 05.05.2019, 13:45 »
Suoristetaan sitä lankaa vähän, oletetaan vaikka niin että palvelimia on 3 joissa cache pyörii..  siis esim. rouvin data voi olla missä tahansa palvelimen levyllä mihin aikaan tahansa.. ja jos 1 palvelin niistä ei tue ääkkösiä niin mitä siitä seuraa.. todellisuudessa niitä palvelimia voi olla enemmänkin.. ja cachelle varattuja nopeampia levyjä..  sitä seikkaa puoltaa sekin että nuo katkoksien ajat vaihtelevat.. viikko sitten ne oli yöllä, nyt päivällä. Samoin katkoksien pituudet tunnista 10 tuntiin... se myös että alkavat samaan aikaan monessa asemassa osoittaa minusta sen että sentyyppinen vika voi olla kyseessä..  tämä siis weathermapin ja getpubligdatan yhteistä cachea koskien.. heitillä näyttäisi olevan myös nopeampi cache dashboardia varten ja 10 min cache myös getstationdatalle, joista esim tuo smartmixin saa datan 5 min. jaksoissa, ne pelaavat moitteettomasti... kuten netatmon oma puhelinapi... tosin 10 min. päivityksellä..

tuo cachen antama tyhjä vastaus asemasta, kun sitä ei näy weathermapissa viittaisi minusta enempi yksinomaan ko. cachen ongelmaan, Sitten on sellainen juttu siinä että jos oma asema ei näy weathermapissa, niin kun kirjautuu sinne niin alkaa näkymään, vaikka olisi totaalisesti sieltäpois... samoin ne asemat jotka on lisännyt suosikiksi.. ilmeisesti hakee silloin tuosta toisesta cachesysteemistä.. päättelen näin, sillä silloin on edelleen getpublicdatan vastauksessa body tyhjä... ei dataa.

Myönnän kyllä että ajattelen monimutkaisesti, cacheakin tavallaan osina.. en putkinäköisesti yhtenä kokonaisuutena ;D
 

Poissa einari

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1191
Vs: Netatmot EWN:ään
« Vastaus #571 : Maanantai, 06.05.2019, 08:57 »
Nyt on seurattu vähän pitempään, eli eilisestä
Asemia 309 kpl (jotka mukana)
Joissa katkoksia 193 kpl
asemat, joissa ääkköset 104 kpl ( Käsin ei jaksa selata kaikkia läpi)

prosentteina ääkkösellisten osuus ainakin tuo 54,   luultavasti isompi.

Lähes 2/3-osaa asemista on sellaisia jotka eivät saaneet dataa 45  minuutista eteenpäin, jopa 10 tuntia..

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8539
Vs: Netatmot EWN:ään
« Vastaus #572 : Maanantai, 06.05.2019, 11:47 »
No kyse ei kyllä ole siitä ettei itse palvelin/käyttis tukis ääkkösiä/erikoismerkkejä, sen kyllä kaikki tekevät. Vaan EHKÄ siitä että joku erikoismerkki olisi väärässä muodossa ja siten häkkyrä joka generoi Getpublicdatan ja weathermapin datafiluja palauttaisi tyhjää dataa.
Näinhän kävi EWN:än kartalle kerran. Yhdessä asemassa oli erikoismerkki väärässä muodossa ja data tyssäs siihen asemaan. Oli muuten aika pirullista etsiä "syyllinen"....

EDIT: Ei cacheihin tarvi mitään levyjä hidastelemaan. RAM-muisti on sitä varten, nykyisissä purkeissa kun sitä on aika reilunlaisesti, onhan dedilläkin 64GB ja se on vielä siitä pienemmästä päästä kun Hetznerin purkkilistaa katsoo... /dev/shm:ään (32 GB) mahtuu aika lailla dataa  ;)
« Viimeksi muokattu: Maanantai, 06.05.2019, 15:17 kirjoittanut weatherc »

Poissa einari

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1191
Vs: Netatmot EWN:ään
« Vastaus #573 : Tiistai, 07.05.2019, 18:53 »

EDIT: Ei cacheihin tarvi mitään levyjä hidastelemaan. RAM-muisti on sitä varten, nykyisissä purkeissa kun sitä on aika reilunlaisesti, onhan dedilläkin 64GB ja se on vielä siitä pienemmästä päästä kun Hetznerin purkkilistaa katsoo... /dev/shm:ään (32 GB) mahtuu aika lailla dataa  ;)

Ei kai muutamalla kympillä kuussa saa koko suorittimen lähellä olevaa rammia yksinoikeudella käyttöönsä noissa palvelukeskuksissa... ?

Oletukseni on, että nykyisin käytetään noita Flash-teknikkaisia SSD-levyjä korvaamaan keskusmuistia cachen osalta sekä nopeasti haettavana olevan tiedon osalta, onhan ne kehittyneet ja samassa väylässä suorittimen ja DDR4-muistikampojen kanssa..  puhuvat SRAM:sta hierarkiassa.. ja sitten hitaammasta DRAM:sta... 

Tosin en siinä mielessä ole "ajan hermolla kuin ennen" mutta lukemani perusteella tämä oletus on syntynyt...  :D

Jaa'a.. onkohan hakkerit tai virus syynä kun yritti ohjailla ariane nimiselle sivulle weathermapin katkosta ennen.. sitten yritti uudelleenohjata kuvan mukaiselle sivulle... on muuten oikein ohjeiden mukainen sääasema-asennus.. (ei ollut ilmeisesti vaarallinen osoite.. kyseinen vempele sijaitsee siellä cayennessä)

Ranskalaisillahan on tuo >>satelite cayenne ariane, joten liekö vain piuhat menneet sekaisin.. katkoksen jälkeen on asemia tältä alueelta filtteröitynyt pois lisää, noin 40 kpl:stä 30 pois...

En oikein ole löytänyt asemien nimistä tai ääkkösistä mitään konkreettista syytä.. kehoittivat lisäilemään ja poistamaan erikoismerkkejä.. yhden huomion tein.. edsevön asema on mapissa nimetty hieman erikoisesti... Pedersöre, V Altatie....

Edit// alkoivat taas palautumaan...  pitäisi varmaan kysyä mitä tapahtuu katkoksien alkamisen aikoihin.. kai nillä jotkut logit on.. luulisi ainakin...
« Viimeksi muokattu: Tiistai, 07.05.2019, 19:30 kirjoittanut einari »

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8539
Vs: Netatmot EWN:ään
« Vastaus #574 : Tiistai, 07.05.2019, 20:32 »
Ei kai muutamalla kympillä kuussa saa koko suorittimen lähellä olevaa rammia yksinoikeudella käyttöönsä noissa palvelukeskuksissa... ?

Jos otat dedikoidun palvelimen, saat, kas kun koko palvelimen rauta on sillon vain sinun käytössä.  :)
Se on virtuaalipalvelin jossa rammit ovat jaettuja, ja se taas on ihan eri asia ;)
Tuosta noin vaan valitsemaan sopevaa purnukkaa itsellesi : https://www.hetzner.com/dedicated-rootserver :) :)

Poissa einari

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1191
Vs: Netatmot EWN:ään
« Vastaus #575 : Tiistai, 07.05.2019, 21:32 »
Ei kiitos, en nyt taida palvelinta hommata..

En oikein tiedä... mistä päästä jatkaisi pohtimista :D

- jokaisessa asemassa on 5 paikkaa (jos on kaikkki härpäkkeet) joihin voi lykätä roskaa.. aseman nimeen ja yksiköiden nimiin, kuudennen saa ihan kaupan päälle jos sijainti on vaikkapa evijärvi  ;D

- Data on ok. asemakohtaisessa tiedostossa, tapahtuuko jotain siinä vaiheessa kun siirtyy julkiseen dataan... silloin kun on kateissa, aseman body kaikkine tietoineen on tyhjä, löytää kyllä getpublic-haulla sen tyhjänkin...

- Vai onko syy siinä millä generoidaan kartalle.. mutta voisiko se tyhjätä publicdatasta aseman tiedot..  siinä vaiheessa asema saa saman osoitteen (tien) joka on annettu setupissa.. eli 7 paikka jossa voi olla erikoismerkkejä...  ???

- Koska se cache on yhteinen.. tuntuisi siltä että asemakohtaisen tiedon siirtymisessä tapahtuu jokin virhe..

- millainen virhe se voisi olla, miksi se alkaa osin samaan aikaan alueellisesti, eli jossain muualla  suomessa voi jollain alueella alkaa eri aikaan, katkokset ovat myös alueellisesti eripituisia.. useampia asemia koskevia

Näihin kun löytäisi vastauksen, niin olisi vähän "viisaampi" 8)

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8539
Vs: Netatmot EWN:ään
« Vastaus #576 : Tiistai, 07.05.2019, 23:31 »
Ei getpublicdatan vastauksessa ole ensimmäistäkään ääkköstä tai muuta erikoismerkkiä, eikä edes ensimmäistäkään nimeä. Tässä satunnainen asema :

Lainaus
{"_id":"70:ee:50:1f:79:bc","place":{"location":[27.688632,63.075443],"timezone":"Europe/Helsinki","country":"FI","altitude":120},"mark":10,"measures":{"02:00:00:1f:68:ec":{"res":{"1557004024":[-0.4,88]},"type":["temperature","humidity"]},"70:ee:50:1f:79:bc":{"res":{"1557004059":[1001]},"type":["pressure"]},"05:00:00:05:87:0a":{"rain_60min":0,"rain_24h":0,"rain_live":0,"rain_timeutc":1557004056}},"modules":["02:00:00:1f:68:ec","05:00:00:05:87:0a"],"module_types":{"02:00:00:1f:68:ec":"NAModule1","05:00:00:05:87:0a":"NAModule3"}}

Tuossa ei ole itse asiassa ensimmäistäkään merkkiä joka olisi "hankala" JSON-generoinnin suhteen.

Sen sijaan, jos otan PHP-kielen esimerkkinä (mehän emme tiedä mitä kieltä he käyttävät) ja on generoimassa JSON-ulosantia, tai Memcache:hen tai muuhun vastaavaan dataa (tallentuu usein JSON-muodossa), niin yksikin tyhjä "lokero" voi kaataa homman. Esimerkkinä tuosta yllä olevasta datasta, tyyliin näin:
.......},"mark":,"measures":..........
Eli jos ne kerran tallentavat cachehen jokaisen aseman erikseen niin yksikin syystä tai toisesta oleva tyhjä arvo voisi johtaa tyhjään dataan. Simple as that.
« Viimeksi muokattu: Tiistai, 07.05.2019, 23:42 kirjoittanut weatherc »

Poissa einari

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1191
Vs: Netatmot EWN:ään
« Vastaus #577 : Torstai, 09.05.2019, 09:44 »
Eli jos ne kerran tallentavat cachehen jokaisen aseman erikseen niin yksikin syystä tai toisesta oleva tyhjä arvo voisi johtaa tyhjään dataan. Simple as that.

Niin, yksinkertaista... tuossa vaiheessa ;)

Eilen kävin hieman sahailemassa Finlamellin 8 tuuman hirrenpätkiä.. samalla sitä edelleen mietti...
eihän silloin ole ongelmaa kun se data on ok getpublicdatassa.. mutta siinä on kun sitä ei ole siellä aina..

ongelma ei ole kartassa, vaan jossain muualla.. asemia ei katkoksen aikana näy niin mapboxin kartalla tietsikasssa, kuin google mapissa tabletilla..

Se, miksi joidenkin asemien datat ei siirry sinne getpubligdataan, miksi katkokset ovat alueellisia ja useissa asemissaaa yhtaikaisia.. voi tietenkin johtua monestakin syystä.. jos ne olisi koko ajan pois, niin olisi simppeli homma..  sitten taas joissakin pysyy koko ajan, tai ainakin melkein.. jossakin ei taas kuten mustasaari solf...  josta kuva..  pitkä ääkkösellinen nimi ja pahiten pätkii, jos nyt on se ja oli se kun katsoin kartoilta..Näsåkersvägen, voisikohan tämä olla yksi ongelma?

Pidän vielä hieman kiinni niistä ääkkösistä... ja laitan pari kuvaa joissa niitä ääkkösiä voi olla.. rouvi2 stationdatasssa city, ja aseman nimi sekä moduulien nimet..

kun asema asennetaan niin annetaan osoite..  sekä ja moduulien nimet... sitten kuva weathermapista.. jossa elementeissä näkyy evijärvi ja rouvintie, viimeistä ei näy getsrationdatassa... mutta .. mutta.. missä vaiheessa se siirtyy sinne kartalle.. generoidaanko moneen kertaan.. eli asennuksessa ja sitten taas karttanäkymään...  jos netatmossa on osoite ja kartta muuttunut teiden osalta.... miten siinä käy??



Poissa einari

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1191
Vs: Netatmot EWN:ään
« Vastaus #578 : Lauantai, 11.05.2019, 08:20 »
Pari juttua löysin, tiedä sitten onko niillä suurta merkitystä...  ensimmäinen liittyy altitude, eli korkeuslukemaan, huomasin että kun menee filteröityihin asemiin katsomaan niin suuresta osasta puuttuu tuo altitude, sen saa kyllä zoomaamalla karttaa näkyviin, sellaisissa joita ei oltu filtteröity, tuli heti näkyviin...

toinen oli vielä ääkkösistä.. kuva siitä... ei sen enempää ;D

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8539
Vs: Netatmot EWN:ään
« Vastaus #579 : Lauantai, 11.05.2019, 20:38 »
Pari juttua löysin, tiedä sitten onko niillä suurta merkitystä...  ensimmäinen liittyy altitude, eli korkeuslukemaan, huomasin että kun menee filteröityihin asemiin katsomaan niin suuresta osasta puuttuu tuo altitude, sen saa kyllä zoomaamalla karttaa näkyviin, sellaisissa joita ei oltu filtteröity, tuli heti näkyviin...

EWN lukee Netatmojen altitudeja suoraan API:sta, ja, juu, sieltä löytyy muutamia aika hassujakin joukossa ;D Toki löytyy aika kasa niitä jolla koko altitude-arvoa ei ole ollenkaan.