Kirjoittaja Aihe: Projekti tilastot  (Luettu 1485 kertaa)

0 jäsentä ja 1 Vieras katselee tätä aihetta.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8343
Projekti tilastot
« : Keskiviikko, 17.04.2019, 21:20 »
Laitetaan oma ketju tilastoille.
(ja einari, ei mitään nillitystä Netatmojen oikuista tänne ;))

Alunperinhän taisin olla aika valikoiva käppyrädatan keruussa juuri tilanpuutteen takia. No, se korjaantunee kohtapuolin :)

Tuli katsottua nuo "käyrätaulukot" läpi ja siivottua ulos tyhjät, lähes tyhjät ja muuten vaan rikkinäiset taulukot. datankeruu-häkkyrät tekevät kyllä uudet taulukot niille asemille joilla se uppuu. "Käyrätaulukko" on asemakohtainen taulukko johon menee dataa 20 min välein, ja joka aikanaan siivotaan kokoon 1 vuosi. Näistä taulukoista on tarkoitus generoida päivä-taulukot joista on helppo taas generoida tilastoa kun on valmiiksi pureskeltua vrk-dataa.
Ne taulukot joihin tähän asti on mennyt dataa ok siivotaan sitten kun päivätaulukoiden generointi on toiminnassa. Näitä on joihin tähän asti mennyt dataa ovat osa pws-asemista ja palttirallaa puolet fmi-asemista.

On myös korjattu tiesää-asemien ja muiden laitosten (MET Norway, SMHI, EMHI, UK Metoffice...) keruut noihin taulukoihin.

Poissa einari

  • Kiinteä osa Foorumia
  • *****
  • Viestejä: 320
Vs: Projekti tilastot
« Vastaus #1 : Keskiviikko, 17.04.2019, 21:46 »
Pidä tunkkis....
Taidat olla aika nihilisti.. koska loukkaat minun peruslain mukaisia oikeuksiani.. wikipedia sanoo niin...

"Nillitys – rasittava saarnaaminen elämän vähemmän merkittävistä yksityiskohdista – kuuluu vapaan yhteiskuntamme perustavanlaatuisiin oikeuksiin."

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8343
Vs: Projekti tilastot
« Vastaus #2 : Keskiviikko, 17.04.2019, 23:14 »
Wikipedia - se totuuden torvi  ;D
Kannattaisko einarin ottaa selvää/kysyä mitä tarkoitetaan jollain sanalla jollei tiedä ennen kuin vetää johtopäätöksensä? En tarkoittanut nillityksellä tuota, sillä on ihan erikin tarkoitus. Tarkoitin sitä että tuota Netatmon oikkuilua ei tarvi levitellä jokaiseen ketjuun vaan pidetään ketju otsikon mukaisena

« Viimeksi muokattu: Keskiviikko, 17.04.2019, 23:31 kirjoittanut weatherc »

Poissa einari

  • Kiinteä osa Foorumia
  • *****
  • Viestejä: 320
Vs: Projekti tilastot
« Vastaus #3 : Torstai, 18.04.2019, 08:02 »
Ehkäpä se oli testi alitajunnasta tuo projekti tilastot osion laventaminen...  johtuen tuosta>>
Olisihan se hyvä että kertoisi selvällä suomen kielellä.. mitä tarkoittaa, ehkäpä ymmärsin jo edellisellä kerralla asian toisin..
 (Ja einarille tiedoksi, tähän ketjuun ei kaivata mitään nillitystä. « Viimeksi muokattu: Torstai, 28.06.2018, 00:25 kirjoittanut weatherc »)

//tosin tähän osioon ei sitten kukaan kirjoittanutkaan, käyköhän tälle samoin//

Eli ehkä käsitin näin... "Nillittäjä on eräänlainen nilviäisen ihmismuoto, selkärangaton, mustekalaa älykkyyosamäärältään muistuttava laji, jolla on raastinkieli." (artikkeli/ me naiset, vuodelta 2016)

Toisaalta, ei ole muuta virallista merkitystä kuin se wiki- tai sivistyssanakirjan sama selitys...

Poissa Naruskan Ukka Matinpoika

  • Taso ei enää mitattavissa
  • *****
  • Viestejä: 1270
    • Naruskan Retkeilymaja
Vs: Projekti tilastot
« Vastaus #4 : Torstai, 18.04.2019, 10:32 »
Täältä Naruskan suunnalta näyttäis siltä, että einari ja weatherc saavat keskenään paljon aikaiseksi näissä keskusteluketjuissa. Tietoa on, keskinäiset ilmaisut vain joissain kohdin vaativat selkeyttä asiaa ymmärtämättömän Ukka Matinpojan arvion mukaan.

Ei kannata kummankaan heittää pyyhettä kehään, eikä takkia käännellä...Näin sen näjen... ;)

Poissa khyron

  • Kiinteä osa Foorumia
  • *****
  • Viestejä: 335
    • Säätila Rauma
Vs: Projekti tilastot
« Vastaus #5 : Torstai, 18.04.2019, 23:22 »
Tää on nyt semmosta yleisempää pohdintaa, mutta onko sulla siis taulu jokaiselle asemalle erikseen? Oletan et kyse on kuitenkin relaatiokannasta vaikka taulukoista puhutkin.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8343
Vs: Projekti tilastot
« Vastaus #6 : Perjantai, 19.04.2019, 11:38 »
Tää on nyt semmosta yleisempää pohdintaa, mutta onko sulla siis taulu jokaiselle asemalle erikseen? Oletan et kyse on kuitenkin relaatiokannasta vaikka taulukoista puhutkin.

On, koska se oli helpoin tapa toteuttaa tuo keräys ilman että yksittäinen taulu olisi kasvanut hermottoman kokoiseksi. Tietenkin ne pystyisi tuuppaamaan kaikki samaan tauluun mutta esim PWS:en osalta se tekisi karkeesti laskettuna n 18 miljoonaa riviä silloin kun taulu "täynnä" eli vuoden datat kaikista. Ja tunnetustihan mysql rupee tökkimään kun päästään yli miljoonan rivin ellei sitten ole jokaikinen data indeksoituna myslin mielestä oikein (vrt Geoname-taulu vajaalla 2 milj rivillä joka mulla on).

Poissa khyron

  • Kiinteä osa Foorumia
  • *****
  • Viestejä: 335
    • Säätila Rauma
Vs: Projekti tilastot
« Vastaus #7 : Perjantai, 19.04.2019, 17:05 »
Tää on nyt semmosta yleisempää pohdintaa, mutta onko sulla siis taulu jokaiselle asemalle erikseen? Oletan et kyse on kuitenkin relaatiokannasta vaikka taulukoista puhutkin.

On, koska se oli helpoin tapa toteuttaa tuo keräys ilman että yksittäinen taulu olisi kasvanut hermottoman kokoiseksi. Tietenkin ne pystyisi tuuppaamaan kaikki samaan tauluun mutta esim PWS:en osalta se tekisi karkeesti laskettuna n 18 miljoonaa riviä silloin kun taulu "täynnä" eli vuoden datat kaikista. Ja tunnetustihan mysql rupee tökkimään kun päästään yli miljoonan rivin ellei sitten ole jokaikinen data indeksoituna myslin mielestä oikein (vrt Geoname-taulu vajaalla 2 milj rivillä joka mulla on).

Nyt kuulostaa erikoiselta, miljoona riviä ei vielä ole hirveen paljon. Just vilasin ni yhdessä taulussa on 31 miljoonaa riviä eikä sen kanssa mitään ongelmia ole ollu. Jos taas tarkotat tökkimisellä hakujen hidastumista niin siihen oikea ratkaisu on juurikin indeksit.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8343
Vs: Projekti tilastot
« Vastaus #8 : Perjantai, 19.04.2019, 18:13 »
Nyt kuulostaa erikoiselta, miljoona riviä ei vielä ole hirveen paljon. Just vilasin ni yhdessä taulussa on 31 miljoonaa riviä eikä sen kanssa mitään ongelmia ole ollu. Jos taas tarkotat tökkimisellä hakujen hidastumista niin siihen oikea ratkaisu on juurikin indeksit.

Se on totta, ettei miljoona tai pari rivejä pitäisi olla mitään. Nimenomaan hidastumista tarkoitin. Sainhän mä aikoinas dedinkin nurin juuri Geonamesin alunperin n 8 milj rivin taulukolla kun ei indeksit ollu ihan kohdillaan kun sen dedille dumppasin :P
Tilan puutteessa taas, niin syö nuo indeksit kivasti tilaakin, tuo Geonames-taulukko siivottuna ja karsittuna on 205 MB data ja 125 MB indeksit.  :)
Toisaalta toimii nuo keruu-taulukot ihan hyvin noin 1 per asema. Siitähän lienee yhtä monta mielipidettä kun vastaajaa että onko monta pientä taulukkoa vai yksi jättikokoinen parempi kun myslistä on kyse.

EDIT: Mikäänhän ei estä kokeilemasta yhtä suurta taulukkoa ja katsoa miten se toimii :)
EDIT 2: Laskin väärin tuon 18 milj... 3 dataa tunnissa x 7000 asemaa x 365 vrk tekee n 184 milj riviä...  :o :o :o
« Viimeksi muokattu: Perjantai, 19.04.2019, 21:16 kirjoittanut weatherc »

Poissa khyron

  • Kiinteä osa Foorumia
  • *****
  • Viestejä: 335
    • Säätila Rauma
Vs: Projekti tilastot
« Vastaus #9 : Perjantai, 19.04.2019, 22:08 »
Siinä vaan jätetään kannan ominaisuuksien käyttö puolitiehen jos yritetään ite hoitaa indeksointia, ja koodista tulee turhaan monimutkaisempaa.