FinWX Foorumi

Yleiset keskustelualueet => EWN - European Weather Network => Aiheen aloitti: weatherc - torstai, 15.03.2012, 18:20

Otsikko: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - torstai, 15.03.2012, 18:20
Dedillä oleva hallintapaneeli Plesk on jo suruisankuuluisa omista jekuistaan mitä se harrastelee. Viimeinen niitti sen arkkuun oli viime "päivitys" joka sekoitti yhtä sun toista jota sai manuaalisesti korjailla.
Siten jonkin aikaa ollut mietinnässä sen vaihtaminen toiseen paneeliin. Temppu ei ole ihan yksinkertainen koska noiden paneelien lonkerot yltää lähes jokaiseen nurkkaan ja ainut keino päästä eroon siitä on uudelleenasentaa koko palvelin.
Toinen juttu on se ettei voi noin vaan siirtää tilejä Pleskistä paneeliin X koska mitään standardia ei ole olemassa.

Tuossa ollut käytössä pieni VPS jolla testailla ja olen testaillut eri paneeleja, samalla etsien parasta keinoa asentaa perusjutut käyttiksestä, ja, voittajaksi osoittautui jo monelle websivunikkarille tuttu cPanel. Olin lähes varma siitä jo alunperinkin mutta piti nyt testailla muitakin :)
cPanelin ehdottomaksi plussaksi on että tarjoavat ilmaisen migraatio-palvelun ja heillä aspa 24/7. Tämä sen lisäksi että sen toimintovalikoima pyyhkii pöytää muilla paneeleilla.

Vaihto tarkoittaa siis että koko dedi ajetaan alas ja rakennetaan alusta. Näin ollen kaikki sillä olevat sivut tuleee olemaan sen ajan tavoittamattomissa (aikataulu alempana).

Projekti on tavallaan kaksiosainen ja pohjustuksena tullaan tekemään Plesk -> cPanel migraatio siten että cPanel on tuolla VPS:llä ensin ja sitten vasta ajetaan itse dedi alas. Myös joitakin isoja filuja, kuten videoita, joudutaan siirtämään pois dediltä ennen tätä. Nämä siirretään Hetznerin backuptilaan josta ne haetaan takaisin kun cPanel dedi on linjoilla. Tämä tarkoittaa että esim. video-allakat ei tule toimimaan tänä aikana.

Varsinkin loppuviikosta saattaa tulla hidastumisia dedillä sekä FTP-liikenne saattaa pätkiä ajoittain.

Aikataulu (alustava):
vihreä: ei aiheuta katkoa dedillä
punainen: aiheuttaa katkon dedin sivuille

Torstai 22.3, ilta: Migraatio Plesk -> cPanel VPS:llä
Lauantai 24.3, alk n. klo 13: Dedin uudellenrakennus. Erittäin hatusta vedetty arvio kestosta noin 4 tuntia. Tarkka aloitusaika saattaa muuttua vielä.

Pieni arvio kulusta:
Tunti 1: Käyttiksen ja cPanelin asennus (voi mennä kauemminkin)
Tunti 2: säätöä, mm. perus turvallisuusjutut kehiin ja sen sellaista
Tunti 3: Tilien siirto VPS:ltä dedin Cpaneliin
Tunti 4: Tilien säätöä

Sivut saattavat tulla osittain näkyviin mutta toimia virheellisesti aikasemminkin samoin kun että rebootteja saataa tulla täysin varoittamatta, myös sen jälkeen kun sivut alkavat toimimaan. Myös NWN:än päivitys myös usersivuilla tulee olemaan seis tänä aikana (voi olla ettei ne toimi laisinkaan). GFS dataserveri on todo-listalla kun sivut alkaa olemaan kehissä.
Hienosäätöä tullaan todennäköisesti tekemään vielä sunnuntainakin, ja siten saattaa reboottia tulla vielä silloinkin.

Domainit jota tämä koskee ovat:
taivalkoskiweather.net, svensktvader.se, saapalvelu.fi, silkeborg-vejret.dk, valimo.info, cpvejr.dk, klaukkala-saa.fi, lumiweather.info, liminkaweather.info, teutari.net, nivalaweather.info, livevejr.dk, sydhavsvejr.dk, ukkostutkat.fi, nordicweather.net

Tulen pitämään tätä ketjua tilanneketjuna.
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - keskiviikko, 21.03.2012, 18:13
Jotta tuo huominen migraatio Plesk -> cPanel VPS:llä onnistuisi joutuu videot evakkoon Hetznerin backuptilaan (yhteensä lähes 20 G videoita). Näinollen videokalenterit eivät toimi. Videot palaa takaisin kunhan udelleenrakennus tehty ja saadaan ne siirrettyä takaisin.

Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - lauantai, 24.03.2012, 12:58
Sisäinen tarkistus: Iso kahvikuppi - ON  ;D

Se on menoa nytten (2min)...
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - lauantai, 24.03.2012, 14:52
Väliaikaraportti: cPanelin autoinstalleri raksuttaa, kaikki OK tähän asti :)

EDIT: cPanel install finished in 90 minutes and 12 seconds!
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - lauantai, 24.03.2012, 15:56
Pieni mutka matkassa...Tutkitaan parhaillaan....
Syy mutkaan löydetty, tätä se cPanelin tiukka turvallisuus tekee kun voi lukita itsensä ulos koko purkista ;D, mutkan korjauksen aiheuttama viive noin reilut tunti...
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - lauantai, 24.03.2012, 19:29
Noniin, kyllä tuo cPaneli asentelee kun Iisakki kirkkoa mutta, mutta...ei se mitään, tuleepa kunnolla tehtyä kun jok ikinen palikka rakenetaan sourcesta....
Paneeli päivitetty uusimpaan release-versioon ja menossa myslin päivitys 5.5:seen jotta täsmää meidän vanhan version kanssa. Sitten pikainen rebootti varmistakseen että kaikki OK jonka jälkeen laitetaan kehiin sivujen haku takaisin tuon tylsän vihertävän 404 sivun tilalle  ;D
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - lauantai, 24.03.2012, 21:00
Sivut suurin piirtein linjoilla  ;D

Subdomainit vaatii pientä hienosäätöä vielä (sekä kasa polkuja joka päin mäntyä :))

Pieni yhteenveto tähän väliin:
Kyllä se vaan niin on että cpanel pyyhkii pöytää muilla paneeleilla niin vakaudessa kun ominaisuuksissa (varsinkin adminpuolella). Aikaa se kesti rakentaa itsensä kasaan ja kerran sai blokattua mut kokonaan ulos (sääsoftat joka rakstutti toisella koneella ja aiheutti virheloginnejä pääosin) mutta kun pääsi kohtaan että piti hakea sivut evakosta niin anna login, valitse kaikki, paina OK ja nokaus taaksepäin ja odota 10 min ja vips kaikki 20+ domainia siirretty :)

GFS sun muut extrat tulee aikanas ja muutakin pientä viilaamista varmasti ilmenee pitkälle ens viikkoon mutta ei oteta stressiä, se oli laskettu juttu :)
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: J.Jäntti - lauantai, 24.03.2012, 21:17
FinWX:n osalta kaikki on kunnossa.
Sääasemat, jotka lähettivät aiemmin lähinnä XML-alkuista tekstiä normaalien säätietojen sijaan, ovat palanneet takaisin lähetystilaan.

Salamatutkia en tarkistanut vielä, mutta jos tiedot tulevat sääasemalta OK, todennäköisesti data tulee myös salamatutkiltakin OK, onhan FinWX:n näkökulmasta kyse vain haettavan tiedoston osoitteesta ja että datatiedostot löytyvät sieltä, josta ne ovat luettavaksi määritetty. :)

Hienoa työtä, weatherc! Jatka samaa rataa! :D
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: Snowi - sunnuntai, 25.03.2012, 01:02
Itse pääsin koneelle vasta nyt ja pääsin vähän vilkuilemaan mitkä osat toimii ja mitkä ei. Tällä hetkellä ilmeisesti polkujen takia ei kummatkaan sääennusteet toimi ja sama juttu näyttäisi olevan sekä sääkameran että tiekameroiden kanssa. Myös videoarkistoissa näyttää olevan ongelmia. Mutta yritetään pikku hiljaa selvitellä noita ja saada kaikki palvelut jälleen takaisin pystyyn. Odotettavissa toki oli, että ongelmia saattaa ilmetä siellä sun täällä :)

Mutta paljon kiitoksia weatherc:lle ahkerasta työstä hallintapaneelin vaihtotyön suhteen, sillä paljon se vaati myös taustatutkimusta, ennen kuin asennusta lähdettiin tekemään. Itse asennus ei näyttävästi mennyt aivan arvioitujen aikarajojen puitteissa, mutta tuokin oli kyllä odotettua, sillä ikinä näistä ei voi mitään varmaa sanoa :).
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: Jussa - sunnuntai, 25.03.2012, 11:24
Täällä ei sivut päivity. Illalla meni jotain tietoa sivuille, vaan nyt näyttää taas tökänneen. Vaan eipä hättäillä, uskon homman taas alkavan pelittämään kunhan weatherc ehtii asiaa tutkailla ;) Luotto asiaan on vahva! :)

Edit: Sivut päivittyy taas, vaihdoin tuon polun siihen vanhaan ja sillä alkoi pelittää :)
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - sunnuntai, 25.03.2012, 14:14
PHP:n GD tökkii vielä. Se ei jostain syystä ota toimikaseen, vaikka väittää että asennettu, estäen mm. bannerien toiminnan. cPanelin aspaan ollaan yhteydessä.

Muuta:
Nginx vaatii vielä hienosäätöä. Nytten kun plugari niin se tekee automaagisesti jokaiselle domainille sellaisen "perusasetuksen". Sen pitäisi saada että tekis myös filun johon saisi omia domainkohtaisia custom-asetuksia. Sekä että se lisäisi .flv-videoiden striimauksen domaineille.

Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - sunnuntai, 25.03.2012, 15:33
GeoIP kehissä jotta NWN-kartta toimii taas (synopdata uupuu siitä nuo errorrivit ylälaidassa...)

EDIT: No niin, NWN porskuttaa taas :)
Vika oli näkymätön "newline" mun copy/pasteamassa cronin pätkässä. Koita sitten korjata vikaa jota ei edes näy...  ;D
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - sunnuntai, 25.03.2012, 17:05
Sori :)
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - sunnuntai, 25.03.2012, 17:54
Ahaa...
Ongelma cPanelin autogeneroiduissa conffifiluissa Apachelle. Postia lähti cPanelin aspaan (muokkasin ne manuaalisesti että osivut näkyisi, tämä tosin auttaa vain kunnes cPanel generoi ne uudestaan....)
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - maanantai, 26.03.2012, 15:41
Noin, nyt näyttää conffifilut generoituvan OK.
Oman sivun sivutkin alkaa olemaan taas trimmissä polkujen osalta. Statussivun serveristatus on vielä offlinessä sekä videot uupuu kalentereista. Todennäköisesti joudutaan tekemään pikku päivitys NexStorm-videoallakkoihin jotta sen polku saadaan oikein.

Täytyy sanoa että on kyllä vanhan Pleskin ja cPanelin välillä eroa niin itse softassa kun aspassa kun yöllä ja päivällä.
Siinä missä Plesk tuntui monelta osin olevan talo joka pysyi pystyssä vain tapettien avulla ja pienikin reikä siihen niin koko talo lahoaa kuin korttitalo niin cPanel on kun hirsihuvila, polkuongelmat oli vaan ovi jossa saranat väärällä puolella :)
Pleskin aspa tunnetusti on olematon kun taas cpanelissa se on auki 24/7 ja vastaa nopeasti.

Se tiesin jo kun koko projektia aloitin että Plesk->cPanel-migraatio ei välttämättä ole se maailman helpoin ja ongelmia tulee maykalla aivan varmasti. Asiaahan ei auttanut yhtään se että migraatio tehtiin samaan purkkiin joka kaiken kukkuraksi on livenä. Jos olisi ollut toinen purkki jonne "muuttaa" niin olisi voinut paremmin tarkistaa kaikki systeemit ja sitten vasta siirtää domainit osoittamaan sinne.

Mitä eniten ihmetyttää on se että palvelin/web-osasto on kuitenkin nk. moderni ala ja palvelimia jossa jonkunlainen hallintapaneeli on miljoonia niin ei olla saatu aikaseksi minkäänlaista standardia miten ne esmex tallentaa käyttäjän filut ja tiedot vaan mm. polkurakenne on täysin erillainen kaikissa. Näinollen myös migraatio on aika hankala. cPanelin isoksi plussaksi on ilmainen migraatio-palvelu, jonka saa vaikket ole maksanut koko paneelista senttiäkään (paneeli jonne sivut migreerattiin evakkon oli trial-versio).
Sitten taas kun siirsin ne takaisin dedille dedin cpaneliin niin ei voillut olla paljoa helpompaa, tiedot sisään, valitse domainit ja paina OK ja katsele kun data rullaa ruudulla. :)

Siinä missä Pleskissä ei voinut oikeastaan tehdä mitään jos niin cpanelissa voi tehdä lähes kaiken selaimella mitä tulee softien asennukseen/tweakkaukseen kuten myös jos tarvii jotain asetusta muuttaa "lennosta" esim ruuhkan takia. Tietenkin cpanelissakin SSH on poikaa ja tarpeellinenkin osiin juttuihin. :P

Turvallisuus...CSF-palomuuri, joka meillä oli vanhassakin, integroituu täysin cpanelissa mitä se ei Pleskissä tehnyt, mukaanlukien 135 kohdan "turvallisuustesti" joka todella näppärä josta voi tarkistaa että unohtuiko jotain tähtitieteelistä sillä saralla. Tämän hetken score dedillä on 132/135, loput kolme on tyyliin "harkitse tämän maksullisen lisäosan hankkimista" :)
Tähän lisäksi Mod_securityt ja CPHulkit sun muut tweakit.

Meni vähän cPanelin mainospuheeksi tämä mutta...  ;D
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: Snowi - maanantai, 26.03.2012, 17:25
Kyllä cPanel on vain yksinkertaisesti tuossa hintaluokassa omaa luokkaansa. Sieltä saa kätevästi itsekin suoraan selaimen kautta säädettya erinäisiä juttuja, jotka ei muissa hallintapaneeleissa välttämättä onnistu ollenkaan. Muutenkin oon itse tottunut cPanelia käyttämään enemmän kuin muita, sillä se oli ensimmäinen hallintapaneeli johon tutustuin silloin aurinkokomeentan palvelimen kautta. Sen jälkeen se on puolestaan yrityksen uusilla nettisivuilla ja palvelimella käytössä ja nyt siitä saadaan jälleen nauttia sääsivukäytössäkin  ;D

Itsekin olen ihmetellyt, että miksi ihmeessä ei ole mitään standardia polkurakenteella, vaan jokaisella voi olla pieniä ratkaisevia eroja, joka aiheuttaa sitten käyttäjille työtä sen verran, että kaikki vastaavanlaiset polut pitää vaihtaa uusiin.

Itselläkin sivusto toimii jo pääosin normaalisti. Enää olisi saapalvelu.fi domainin subdomainit, Klaukkalan sääaseman sääkamera, kaikkien ukkostutkien ftp-tiedot tai lähinnä polut ja suurinosa sääkameran videoarkiston videoista vielä puuttuu. Pistin latautumaan osan videoista yön ajaksi, mutta tuo isompi paketti pitää laittaa vaikka ensi yöksi.
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - maanantai, 26.03.2012, 18:19
LainaaPistin latautumaan osan videoista yön ajaksi, mutta tuo isompi paketti pitää laittaa vaikka ensi yöksi.
Ei tarvi, ovat tulossa just kohta ;D
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - maanantai, 26.03.2012, 19:24
- Videot paikallaan, tarvii vielä tutkia tuota video-almanakkaskritptiä.
- FFMPEG paikallaan, sama juttu tässä että pitää tutkia itse skriptiä enenkun laitan kehiin
- GFS-data, odottaa että cpanelin aspa kertoo miten saan mysql-libsit asennettua kun ei onnannut normi kautta eikä löytynyt sopivaa versiota cpanelin omasta rpm-asentajasta :)
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: Snowi - tiistai, 27.03.2012, 00:02
Lainaus käyttäjältä: weatherc - maanantai, 26.03.2012, 18:19
LainaaPistin latautumaan osan videoista yön ajaksi, mutta tuo isompi paketti pitää laittaa vaikka ensi yöksi.
Ei tarvi, ovat tulossa just kohta ;D

Näköjään tuli pelkät mp4-versiot videoista. Periaatteessa voisin ne poistaa kokonaan noiden flv-versioiden tieltä, mutta ne jäi sinne silloin kun muutin videot flv-muotoon :)
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - tiistai, 27.03.2012, 01:20
Eli haluat poistaa mp4:set?
Voin tehdä sen SSH:lla, on huomattavasti nopeampi kun ootella FTP:tä niiden poistamisessa :)
Flv:t... Hmm..Tutkitaan sanos lääkäri (zipit ovat vielä tallessa :P)

Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: Snowi - tiistai, 27.03.2012, 01:28
Juu ne voisi poistaa kokonaan :). Flv filut on siinä kameravideot_flv kansiossa toistaiseksi ja sieltä mulla ne tällä hetkellä luetaankin. Pidin noi mp4-videot varmuuden vuoksi jos jokin kusahtaa noiden flv-videoiden osalta, niin ei tarvitse upata kaikkia mp4-videoita uudestaan sisään. Mutta koska flv-videot toimii täydellisesti, niin enää noilla mp4 muodoilla ei tee mitään :)
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - tiistai, 27.03.2012, 01:37
Okke, poistetaan...vips, ja ne katos avaruuteen alta sekunnissa  :)
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - tiistai, 27.03.2012, 01:58
NexStorm-videoallakat toimii taas, eikä tarvinnut edes muokkausta allakkasivuille :) (paitsi mulla jossa js-filussa häikkää :P).
Ei kyllä päivity vielä, mutteipa ole aktiviteettiäkään :P
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: Snowi - tiistai, 27.03.2012, 02:11
No niin, iso kasa videoita on näköjään ilmestynyt kansioon ja kaikki näyttäisi olevan nyt kunnossa siltä osin  ;D
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: Jippe - tiistai, 27.03.2012, 19:48
Onkos mahdollista asentaa tälläisiä lisäosia?

Piwik vaatii joko mysqli-lisäosan tai sekä PDO- että pdo_mysql-lisäosat..

Linux-palvelimella voit kääntää PHP:n seuraavilla asetuksilla:

--with-mysqli
--with-pdo-mysql

Lisää php.ini-tiedostoon seuraavat rivit:

extension=mysqli.so
extension=pdo.so
extension=pdo_mysql.so
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - keskiviikko, 28.03.2012, 16:13
LainaaOnkos mahdollista asentaa tälläisiä lisäosia?

Piwik vaatii joko mysqli-lisäosan tai sekä PDO- että pdo_mysql-lisäosat..

Tutkitaan :)

EDITTIÄ: Löytys ne cpanelin EasyApachesta (Apache/php-conffiguraattori), ajan ne sisään tuossa jossain kohtaa :)

EDIT2: Asennettu :)
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - keskiviikko, 28.03.2012, 17:45
GFS-data taas kehissä ja ensimmäinen koeajo tehty. Pientä viilausta vielä (900mb-data jäi uupumaan) ja avot :)
Samalla kun päivitin OpenGrAdsin uusimpaan 2.0.1.oga.1-versioon siirtyi itse data uusimpaan grib2:een.

Se on kooltaan vain n 18% vanhasta grib-datasta. Kun data haetaan vielä partial hakuna, eli voi valita mitkä arvot/levelit haetaan, tosin en kovin rankasti siivonnut sitä ja siten listassa on nyt 113 arvoa, niin yhdessä ajossa on nyt dataa karvan verran vajaat 500M :)

Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: Jussa - keskiviikko, 28.03.2012, 21:57
Mitä se tuo kartta näyttää? ;)
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: Jussa - torstai, 29.03.2012, 20:47
Lainaus käyttäjältä: Jussa - keskiviikko, 28.03.2012, 21:57
Mitä se tuo kartta näyttää? ;)

Omilta sivuilta kun klikkaa tosiaan tuonne NWN:ään niin kartta ei ole ajantasalla.
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: weatherc - torstai, 29.03.2012, 21:27
LainaaOmilta sivuilta kun klikkaa tosiaan tuonne NWN:ään niin kartta ei ole ajantasalla.
Mulla näytti ihan OK:lta (-17 Taivalkoskella). Klikkaa F5:sta pari kertaa, oli pikku häikkä siinä NWN:än js-filussa joka tulee nordicweatheristä.

Jos vaikuttaa siltä että kuvat ei päivity sivuilla niin kannattaa kokeilla tyhjentää selaimen välimuisti koska oli http-headerien expires-ajat piiikkasen liian pitkät. Asia korjattu, nyt pitäisi päivittyä heti kun muuttunut serverillä :) Tähän kuiten vaikuttaa se jos haettu kuva on jo selaimen välimuistissa ja sen headerit estää tuoreen kuvan haun.

NexStorm-videoiden teko on päässyt käyntiin taas. :)
Ensimmäisen tutkan video on testissä että homma toimii jonka jälkeen lisään muutkin kehiin.

GFS-kartat päivittyvät myös taas :)
Mun jää-,pintalämpötilakartat sekä meteogrammi ei tosin vielä.
Otsikko: Vs: Dedillä olevat sivut alhaalla 24.3
Kirjoitti: Jussa - torstai, 29.03.2012, 21:37
Nyt pelittää :)