Alkaen joskus viime yönä on ilmaantunut outoja ongelmia dedille tai tarkemmin sen asemien datoja uppaaville IP-numeroille, ei saa yhteyttä, mutta tämä ei ole 100%.
Omalla kohdalla ongelma näkyy näin:
- Jos wx-raspi on päällä ei läppärillä pääse dedille mutta wx-raspi uppaa normaalisti ja sillä pystyy myös lataamaan sivuja (molemmat siis samassa verkossa).
- Jos wx-raspi on pois päältä, pääsee läppärillä dedille
Silkeborgilla oli WD:n minuutti-FTP juminnut mutta realtime-FTP uppas OK. Hänellä auttoi ainkakin toistaiseksi reitittimen rebootti
cPanelin supportti on yhtä pihalla ongelman syystä kuin minäkin... ;D
cPanelin supportti siirsi ongleman 2-tason supporttiin kun 1-tasolla loppus ideat :P
Vika on todennäköisesti ns upstream eli matkan varrella.
MTR-softalla tehdyt testit pariin dedillä olevan aseman IP-numeroihin osoittaa 80-90% packetlossia paikallisten operaattoreiden verkoissa. Outoa jutussa on se että se ilmenee sekä Soner...öö...Telian että Elisan liittymillä.
Tanskalaisella asemalla se ilmenee taas matkan varrella Frankfurtissa.
Tuossa omalle IP:lle tehty MTR:än relevantti pätkä:
3. core1.fra.hetzner.com 0.0% 21 5.5 5.4 5.2 5.9 0.0
4. et-0-0-47.cr10-fra2.ip4.gtt.net 0.0% 21 8.5 7.5 5.1 19.5 3.7
5. xe-0-0-0.cr1-fra6.ip4.gtt.net 0.0% 21 5.5 6.0 5.3 14.0 1.8
xe-11-2-1.cr1-fra6.ip4.gtt.net
6. as1299.fra61.ip4.gtt.net 0.0% 21 6.4 7.7 6.2 26.1 4.4
7. ffm-bb3-link.telia.net 0.0% 21 6.4 6.5 6.2 7.1 0.0
8. s-bb4-link.telia.net 0.0% 21 24.8 24.9 24.6 26.9 0.4
9. hls-b1-link.telia.net 0.0% 21 31.2 31.5 31.1 34.3 0.6
10. fi-hkihkp-asbr2-link.telia.net 85.0% 21 35.1 33.0 31.7 35.1 1.7
11. 141.208.16.62 55.0% 21 32.5 32.0 31.8 32.5 0.0
Vahvistan tämän. Elisa-Saunalahti LTE:n läpi kulkeva ICMP-liikenne pudottelee paketteja Elisan puolella niin, että noin joka 3:s/joka 4:s paketti jää kadoksiin, sanoo PingPlotter.
Eniten ICMP-paketteja pudottelee Elisan puolella IP-osoite 10.64.198.65, joka lienee jonkinsortin proxy tai vastaava (32.4%) ja sen perässä tulee 213.192.186.78, joka pudottelee noin 3% paketeista.
Sen jälkeen pari hoppia vastaa kiltisti, mutta sen jälkeen 80.81.193.70 (akamai.prolexic.com) tiputtaa 0.2-0.3% paketeista ja samaa tekee 72.52.48.200 (a72-52-48-200.deploy.static.akamaitechnologies.com).
Noiden kahden hopin jälkeen pingit pomppaavat rajusti ylöspäin, laahaten 150-200ms välissä ja nordicweatherin purkki vastaa 150-250ms viiveillä. Packet lossia ei ole tosin yhtään.
Kysymys on että mistä tätä lähtis selvittämään, kun ongelmia ilmenee niin Telian kuin Elisankin verkoissa kuin myös Tanskasta käsin.
Sain eilen kiinni Telian häiriö-aspan chatin kautta ja he lupailivat selvittää asiaa sekä palata asiaan, jota toki ei ainakaan vielä ole tapahtunut.
Mutta he sanoivat myös ohimennen että ainakin Saksan T-Mobilen verkossa on/on ollut ongelmia muttei osanut sanoa että liittyykö se tähän.
Omalla kohdalla ongelma ilmenee aika hassusti etten sanoisi:
- Läppäri + Raspi (sääpurkki) verkossa => läppärillä ei pääse dedille mutta Raspilla pääsee ja se uppaa OK
- Läppäri verkossa => Läppäri pääsee dedille
Riittää siis että kytken RasPin wifin kautta kotiverkkoon että läppärin yhteys katkee, sen ei edes tarvi upata mitään.
Ongelma osoittaa vahvasti tuolle webbi-virtuaalille, kukaan ei ole löytänyt mitään vikaa. Kuten Jänttikin oli mitannut niin paketteja kyllä tippuu jonnekkin Telian/Elisan verkoissa mutta sen se tekee myös kartta-virtuallilla ja yhteys siihen toimii ihan OK.
Myöskään Hetzner ei löytänyt mitään heidän pään verkosta mitä voisi tämän aiheuttaa.
Perttelin aseman tiedot tulevat tällä hetkellä Rsync/SSH-kikalla jossa data liikkuu Perttelistä kartta-virtuaalin kautta webbi-virtuaalille. Koodillisesti tuo kikka on yhden rivin komento Perttelin RasPilla.
rsync -avz /dev/shm/weewx/realtime.txt -e "ssh xxx@a.nordicweather.net ssh -p xxx" xxx@s3.nordicweather.net:/xxx/xxx/xxx
Joten keskustelu on jatkunut cPanelin supportin kanssa, kunhan ensin väänsi rautalangasta tuon purkin setupin että sen FTP-liikenne/-yhteyksien määrä on suuri verrattuna normi webbihotelliin. Asia väännettiin perinpohjaisella selityksellä että käyttäjillä on sääasemat + muut tilpehöörit jotka uppaavat filuja alkaen muutaman sekunnin välein.
Ongelma on heidän päässä siirretty jo kolmannen tason supporttiin kun tasoilla 1 ja 2 meni jo sormi suuhun ;D
Ongelma korjattu. Tosin tähän vaadittiin cPanelin 3 tason supporttia että löytyivät.... :)
Mikä se oli?
sysctl.conf:ssa löytys 2 asetusta jotka olivat 1:llä kun pitäisi olla 0:lla:
net.ipv4.tcp_tw_recycle=0
net.ipv4.tcp_tw_reuse=0
Se miksi alkoivat ahistamaan vasta nyt ovat hyviä kysymyksiä....