Kirjoittaja Aihe: Ennätykset paukkuu taas ;)  (Luettu 579 kertaa)

0 jäsentä ja 1 Vieras katselee tätä aihetta.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8315
Ennätykset paukkuu taas ;)
« : Sunnuntai, 09.06.2019, 18:13 »
Tätä en ollut luullut että ihan heti kirjoitan kun oon seurannut ukkospäivien liikennettä, nimittäin aika tasaisia ovat nuo kolina-päivät olleet liikenteen osalta kun kävijämäärää katsoo.
Joka tapauksessa, eilen 8.6 rikottiin taas yksi raja ja ennätys laitettiin uusiksi reilusti, yli 20%:lla vanhaan nähden.

Nimittäin sivulatauksissa meni rikki 300 kilon raja ollessa Google Analyysin mukaan 308000 sivultausta. Vanha ennätys oli 248k. Istuntoja oli 107k ja kävijöitä 58000.  :) 8)

Mitä palvelimen tökkimiseen tulee niin asiaa pitää ainakin seurata ja laittaa pari prosessi-tappajaa kehiin ajastuksella niiden osalta mitä nyt 2 päivänä nähnyt että jäänyt roikkumaan ja jos siitä on tulossa uusi vakio kolinapäiväinä niin luonnollisesti asialle pitää pidemmällä tähtäimellä jotain tehdä.

Poissa khyron

  • Kiinteä osa Foorumia
  • *****
  • Viestejä: 335
    • Säätila Rauma
Vs: Ennätykset paukkuu taas ;)
« Vastaus #1 : Sunnuntai, 09.06.2019, 21:26 »
Mitä palvelimen tökkimiseen tulee niin asiaa pitää ainakin seurata ja laittaa pari prosessi-tappajaa kehiin ajastuksella niiden osalta mitä nyt 2 päivänä nähnyt että jäänyt roikkumaan ja jos siitä on tulossa uusi vakio kolinapäiväinä niin luonnollisesti asialle pitää pidemmällä tähtäimellä jotain tehdä.

Kai sulla on joku zabbix tms. monitorointisofta siellä et näet missä se ongelma on?

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8315
Vs: Ennätykset paukkuu taas ;)
« Vastaus #2 : Sunnuntai, 09.06.2019, 22:10 »
Kai sulla on joku zabbix tms. monitorointisofta siellä et näet missä se ongelma on?

Eip. Mutta HTOP:ia seuraamalla näki aika hyvin roikkuvat prosessit ja muutoin on tuollainen status-sivu jossa koko fyysisen serverin että virtuaalien strateegiset arvot printtaantuu kerran minuutissa. Nämä 2 päivää se ei kyllä kertonut muuta kun että loadit katossa ja CPU:t 100%:ssa ja että lämpötila alko olemaan sauna-luokkaa (n 80 astetta) ;)

Mutta, veikkaus on että iski myös domino-efekti. Ja ainakin kartta/websocketti-virtuaalilla oli joku php-häkkyrää tahikka php-fpm tehnyt bänät, php-prosesseja oli vajaat 100 käynnissä, ja se rauoittui sillä että käynnisti php-fpm:än uudestaan. Ja se vaikutti myös webbi-virtuaaliin rauhoittavasti.
IO:t eivät ollut ongelma koska kartat tehdään lähes kaikki suoraan RAM:iin alkaen datojen latauksista, samoin BO:n websockettidata menee RAM:iin, kartta-virtuaalin IO oli iotopin mukaan käytännössä nollassa.

Poissa khyron

  • Kiinteä osa Foorumia
  • *****
  • Viestejä: 335
    • Säätila Rauma
Vs: Ennätykset paukkuu taas ;)
« Vastaus #3 : Sunnuntai, 09.06.2019, 22:26 »
Kai sulla on joku zabbix tms. monitorointisofta siellä et näet missä se ongelma on?

Eip. Mutta HTOP:ia seuraamalla näki aika hyvin roikkuvat prosessit ja muutoin on tuollainen status-sivu jossa koko fyysisen serverin että virtuaalien strateegiset arvot printtaantuu kerran minuutissa. Nämä 2 päivää se ei kyllä kertonut muuta kun että loadit katossa ja CPU:t 100%:ssa ja että lämpötila alko olemaan sauna-luokkaa (n 80 astetta) ;)

Mutta, veikkaus on että iski myös domino-efekti. Ja ainakin kartta/websocketti-virtuaalilla oli joku php-häkkyrää tahikka php-fpm tehnyt bänät, php-prosesseja oli vajaat 100 käynnissä, ja se rauoittui sillä että käynnisti php-fpm:än uudestaan. Ja se vaikutti myös webbi-virtuaaliin rauhoittavasti.
IO:t eivät ollut ongelma koska kartat tehdään lähes kaikki suoraan RAM:iin alkaen datojen latauksista, samoin BO:n websockettidata menee RAM:iin, kartta-virtuaalin IO oli iotopin mukaan käytännössä nollassa.

Historiastahan näkis mistä on alkanu, yleensäkin hankala korjata asioita jollei o selkeetä tietoa syystä.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8315
Vs: Ennätykset paukkuu taas ;)
« Vastaus #4 : Maanantai, 10.06.2019, 11:55 »
Historiastahan näkis mistä on alkanu, yleensäkin hankala korjata asioita jollei o selkeetä tietoa syystä.

Sanoisin ettei välttämättä mikään yksittäinen vaan että yksi hidastuminen johti toiseen ja niin edelleen. Sivuilla, siis myös muilla dedin sivustoilla kuin omillani, on skriptejä jotka ovat suht raskaat/hitaat ja jotka toimivat ihan ok normi liikenteellä mutta kun enemmän liikennettä niin näköjään alkaa tökkimään. Siihen viitaisi ainakin mitä seurasin Htoppia, yleensä sinne ei listaannu kun EWN:ään liittyvät hitaat datanhaku-skriptit mutta nytten siellä kiikkui muutama sivu-skriptikin. Nämä, ainakin nimien perusteella, olivat sellaisia jotka hakevat myös dataa ulkopuolelta, tyyliin WU:lta. Nuo Saratoga-templaten häkkyrät kun ei välttämättä ole tehty liikennettä ajatellen.

Webbi-virtuaalin Cpanel lähettää "high load"-maileja kerran tunnissa kun tarve on. Se sisältää mm ps:ää, netstat:ia seka Apachen status-sivua. Lauantain ensimmäisessä mailissa olevista niin näkee että
- netstatin mukaan yli 6000 yhteyttä auki joista iso kasa TIME_WAIT statuksella
- ps:ssä ei mitään kummallista, pari php-häkkyrää takoi CPU:ta sekä, yllätys, yllätys, mysli. Mysli oli CPU-rohmu myös mitä seurasin Htoppia.
- Apachella 160 serveriä auki (Webbi-virtuaali toimii Nginx frontend + Apache backend kombolla). Siinä kiikku samat php-häkkyrät mitä sain irti Htopillakin.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8315
Vs: Ennätykset paukkuu taas ;)
« Vastaus #5 : Maanantai, 10.06.2019, 16:26 »
Yks asia minkä oppinut näinä vuosina kun tuon dedin kanssa ropeltanut on että "high traffic server" ym-ohjeitahan on netti pullollas, mutta jokainen kertoilee vähän eri asioita tai jopa samoja asetuksia ollaan säätelemässä mutta eri arvoin. Paras lienee trial-error tähän(kin) koska setuppeja/käyttötarkoituksiahan on niin monenlaisia...

Yksi useasti esiin tulevista on nuo sysctl-arvot. Näillä mennään nyt seuraavaan ukkoseen (reuse/recycle olivat nollassa ja timeoutti oletus 60:ssä):
net.ipv4.tcp_fin_timeout=25
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1

Yksi jota ei viikonloppuna ruuhkan aikana tullut mieleen tarkistaa oli mysqlin mysql-tuner. Ja esim EWN:än data-päivityksethän oli aika lailla jumissa ruuhkan aikana. Max_connections on ollut 200:ssa tähän asti ja nyt kun tarkistin viime vuorokauden arvot niin on max ollut 48 yhteyttä. Nostin tuon 300:aan mikä mahtuu vielä aivan lostavasti ettei syötetä ihan kaikkea RAM:ia sille ;)

Poissa khyron

  • Kiinteä osa Foorumia
  • *****
  • Viestejä: 335
    • Säätila Rauma
Vs: Ennätykset paukkuu taas ;)
« Vastaus #6 : Maanantai, 10.06.2019, 17:19 »
Historiastahan näkis mistä on alkanu, yleensäkin hankala korjata asioita jollei o selkeetä tietoa syystä.

Sanoisin ettei välttämättä mikään yksittäinen vaan että yksi hidastuminen johti toiseen ja niin edelleen.

Noinhan se toki yleensä käy, ja silloin se ensimmäinen on se juurisyy joka ensin kannattaa korjata.

Yks asia minkä oppinut näinä vuosina kun tuon dedin kanssa ropeltanut on että "high traffic server" ym-ohjeitahan on netti pullollas, mutta jokainen kertoilee vähän eri asioita tai jopa samoja asetuksia ollaan säätelemässä mutta eri arvoin. Paras lienee trial-error tähän(kin) koska setuppeja/käyttötarkoituksiahan on niin monenlaisia...


Juuei, parempi on selvittää missä se ongelma on ja sen jälkeen korjata se. Satunnaisesti roiskimalla voi toki asua tuurilla, mutta ei se kovin tehokasta ole.

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8315
Vs: Ennätykset paukkuu taas ;)
« Vastaus #7 : Tiistai, 11.06.2019, 12:09 »
Noinhan se toki yleensä käy, ja silloin se ensimmäinen on se juurisyy joka ensin kannattaa korjata.

Totta.
Mutu on että
- kartta-virtuaalilla oli syypää se php(häkkyrä) joka tilttas syystä tai toisesta. Htop ei kyllä kertonut mikä kartta se oli joka failas mutta aavistus on kyllä olemassa. Joka tapauksessa lisäsin sinne että kaikki php:t tapetaan kerran tunnissa sopivalla minuutilla jolloin ei ole mitään ajastusta käynnissä :)
- webbi-virtuaalilla on mutu että yksi syypää oli - yllätys, yllätys - mysli.  Ja että siinä meni max_connectionit katosta läpi. Ei olis ensimmäinen kerta näiden vuosien varrella kun siitä tulee ongelma kun on enemmän liikennettä. Tähän viittaisi myös se että mm EWN:än datahaut failasi.  Sitä pitää toki seurata seuraavalla kerralla kun on enemmän liikennettä.

Juuei, parempi on selvittää missä se ongelma on ja sen jälkeen korjata se. Satunnaisesti roiskimalla voi toki asua tuurilla, mutta ei se kovin tehokasta ole.

Totta :)
« Viimeksi muokattu: Tiistai, 11.06.2019, 12:17 kirjoittanut weatherc »

Poissa khyron

  • Kiinteä osa Foorumia
  • *****
  • Viestejä: 335
    • Säätila Rauma
Vs: Ennätykset paukkuu taas ;)
« Vastaus #8 : Tiistai, 11.06.2019, 16:53 »
Onko siellä samalla koneella siis jotain eräajoja? Kai kaikilla ei kiireellisillä on riittävän korkee nice asetettuna?

Poissa weatherc

  • Ylläpito
  • *****
  • Viestejä: 8315
Vs: Ennätykset paukkuu taas ;)
« Vastaus #9 : Tiistai, 11.06.2019, 20:39 »
Onko siellä samalla koneella siis jotain eräajoja? Kai kaikilla ei kiireellisillä on riittävän korkee nice asetettuna?

Samalla fyysisellä konella on sekä tutkadatat että EWN:än datahaku ajastettuina. Noilla on kaikilla nicet laitettu, muistaakseni 19 ellen väärin muista näin tarkistamatta. Muita ajastuksiahan on sitten kaikki webbisivujen/sääasemien omat cronit.