"Ilmaiset" karttapalvelut

[khyron]

Jos ukkosen/sään näyttämistä varten haluaa kartan niin ei kai sen tarvi sisältää koko maailmaa ja kaikkia zoom leveleitä, jolloin datan määrä pienenis huomattavasti.

Joo ei meidän osalta, mutta kun nämä on jaossa muuallakin kuin suomessa. Tietenkin jos olisi vaan peruskartta eri maille olisi ehkä helpompaa.

Eikös nwn näytä vaan pohjoismaitten säätä? Tuskin siitäkään tulee mitenkään mahdottomasti dataa.

[systeemi]

Jos ukkosen/sään näyttämistä varten haluaa kartan niin ei kai sen tarvi sisältää koko maailmaa ja kaikkia zoom leveleitä, jolloin datan määrä pienenis huomattavasti.

Joo ei meidän osalta, mutta kun nämä on jaossa muuallakin kuin suomessa. Tietenkin jos olisi vaan peruskartta eri maille olisi ehkä helpompaa.

Eikös nwn näytä vaan pohjoismaitten säätä? Tuskin siitäkään tulee mitenkään mahdottomasti dataa.

Joo NWN, minusta sama skripti on käytössä muuallakin. Weather varmaa kohta korjailee jos olen väärässä. 

[jamo]

Veikkaanpa että NWN:n SÄÄdata ei ole suuruudessaan ongelma, ne ongelmat alkavat sitten kun ukkostutkassa on aktiviteettia ja onlinessä alkaa oleen >tuhat kävijää ja kaikki hakkaa "refressiä" 

jamo

[weatherc]

Näissä karttaplavelusysteemeissä on pari ongelmaa kun katsoo esim. NSD2-skriptiä:

- Niissä ei pysty rajoittamaan aluetta jossa "näkyvät" vaan koko maailma on ainakin teoreettisesti saatavilla aina. Datan määrässä niin suurin kuvadata tulee lähizoomauksessa. Törmäsin jossainkin että lähin zoomitaso 18 tuottaa 80% datasta. Zoomitason taas pystyy rajoittaamaan vaikka tasoihin 2-12. Joten se vähentäneen datan määrää aika reilusti.

- Skriptit, varsinkin NSD2, on käytössä aika maailmanlaajuisesti joten dataa se myös hakenee aika maailmanlaajuisesti. Tosin, se hakema data rajoittunee aika lailla tutkan "lähiseutuun".

- Karttojen muokattavuus. Kaikkien palveluiden peruskartta on vaalea, OSM-kartassa pikivalkoinen, joka ei sovellu NSD eikä NWN-käyttöön sellaisenaan.

- Liikenne...Jamo on siinä oikeassa että "normaalitilanteessa", eli reippaat 8kk vuodesta, ei liene ongelmia käyttää melkein mitä tahansa noista valmiista palveluista joilla kohtuulliset rajat. (Tuo NokiaMapsin 500K "lifetime"-raja tulee vastaan joka tapauksessa koska ei nollaannu). Ongelma on tilanne jossa aletaan laskea tutkien "users onlinet" tuhansissa. Se tuottaa sellaisen määrän liikennettä että lasketaan kevyesti "heavy usage"-sarjaan ihan missä tahansa, esimerkkinä dedin liikenne ulospäin hilluu silloin siinä 100 Mbit/s korvilla parhaimmillaan kun normaalisti ollaan 0.5 Mbit/s korvilla. Tämä on todella kova luku ihan millä mittarilla tahansa ottaen huomioon että kyseessä on kourallinen pieniä websivuja.
Nyt kun on oma palvelin ja pystyy seuramaan noita arvoja paremmin mua ei enää yhtään ihmetytä miksi meitin sivut sai aikaoinas lähtöpassit joistain webhotelleista

Yksi asia joka myös potuttanut kun ajatellaan latausnopeutta on että suurin osa palasista tulee US-servereiltä. Tämä tuo väkisinkin sellaiset 100ms lisää latausaikaan jo etäisyydenkin takia. Unohtamatta sitä että jos käyttää ulkopuolista palvelua on kartan toimivuus aina kiinni myös niiden palvelimien toimivuudesta. Näinollen kokonaan itse-hostattu systeemi (js-filut + kuvat) olisi se kaikkein paras. Esim Leaflet toimii juuri tällä tavalla.

Joten heräsi aatos että jos rakentaisi proxy-cachen noille paloille jossa ne tallenetaan dedille ja vain jos ei löydy sieltä niin se haetaan palan tarjoajalta. Ennen pitkään niin kaikki palaset tulisi suoraan dediltä. Asettamalla zoomirajat kohtalaiseksi niin se ei välttämättä vaatisi niin kauheasti tilaa, joku 400 GB olisi kevyesti tilaa dedillä joka sille voisi lahjoittaa tarvittaessa. Käytännössä proxy-cache olisi Nginx-asetus + pieni php-skripti

Noita karttapaloja tarjoavia palveluita kyllä löytyy muutama olemassa ja lösyinpä yhden jolla tuo Nokiamapsinkin käyttämä pirun hyvän näköinen "Blue Marble" sateliittikuvakin.
Nytten testikartalla 4 eri karttaa olemassa sekä sateliittissa valinta nimillä vai ilman: http://www.nordicweather.net/test/nsdG/wxtracker.php
Nyt pitää vaan löytää se parhaiten toimiva js-häkkyrä tuohon. Ainakin Leafletillä on myös source olemassa joten pystyy hakkeroimaan koodia kunhan löytää oikean kohdan.

[khyron]

Jos ukkosen/sään näyttämistä varten haluaa kartan niin ei kai sen tarvi sisältää koko maailmaa ja kaikkia zoom leveleitä, jolloin datan määrä pienenis huomattavasti.

Joo ei meidän osalta, mutta kun nämä on jaossa muuallakin kuin suomessa. Tietenkin jos olisi vaan peruskartta eri maille olisi ehkä helpompaa.

Eikös nwn näytä vaan pohjoismaitten säätä? Tuskin siitäkään tulee mitenkään mahdottomasti dataa.

Joo NWN, minusta sama skripti on käytössä muuallakin. Weather varmaa kohta korjailee jos olen väärässä. 

Kysehän oli omasta karttaserveristä ja sen vaatimasta tilasta.

[weatherc]

Kysehän oli omasta karttaserveristä ja sen vaatimasta tilasta.

Kyse oli siitä serveristä josta kartta hakee karttapalaset joka on kaikilla skriptin käyttäjillä sama ja jos käyttäisi systeemiä jossa siitä tehdään oikea karttaserveri eli generoidaan omat palaset OSM:än 21 GB:n raakadatasta eikä vain proxy-cache.

[khyron]

Kysehän oli omasta karttaserveristä ja sen vaatimasta tilasta.

Kyse oli siitä serveristä josta kartta hakee karttapalaset joka on kaikilla skriptin käyttäjillä sama ja jos käyttäisi systeemiä jossa siitä tehdään oikea karttaserveri eli generoidaan omat palaset OSM:än 21 GB:n raakadatasta eikä vain proxy-cache.

Eh, jos tekee oman karttaserverin niin miksi ihmeessä sitä muut käyttäisi?

OpenStreetmap
Ei varsinaista rajaa mutta maininta että kova liikenne kielletty. Moni G:n/N:n vaihtoehdoista käyttää OSM-dataa ja löytyy palikoita jolla voi mm. rakentaa oman karttaserverin tai proxycachen. Karttaserveri vaatii tosin mielettömästi tallennustilaa (lasketaan Teratavuissa).
aiheuttaa blokkaamista kun zoomailee, niitä pitäisi olla 3 jotta pääsis ympäri noiden selainten latuas/domain-rajojen.

Jos ukkosen/sään näyttämistä varten haluaa kartan niin ei kai sen tarvi sisältää koko maailmaa ja kaikkia zoom leveleitä, jolloin datan määrä pienenis huomattavasti.

Tota siis tarkoitin, tekee oman karttaserverin, jossa on rajoitettu aluetta ja zoom leveliä tilan säästämiseksi. Silloin ei tarvitsisi huolehtia muitten palveluitten rajoituksista, ja saisi varmaan myös konffattua kartan sellaiseksi kuin haluaa.

[weatherc]

Et tainut lukea mun edellisen edellistä vastausta...

Eh, jos tekee oman karttaserverin niin miksi ihmeessä sitä muut käyttäisi?

Kysehän on muista skriptin käyttäjistä (kuten jamo, teutari etc.). Ei siitä mitään tule jos jokaikinen pitäisi väsätä omaa serveriä, eikä se ole edes mahdollista jos majailee jossain webhotellissa. Skriptien tarkoitushan on että asennus on mahdollismman helppo.

Sitäpatsi, kiitos Firebugien sun muiden, niin karttaserverin urli josta kuva haetaan näkyy siellä tai itse kuvan infosta. Et voi olettaa "ettei kukaan sitä käyttäisi". Maailma ei ole niin sinivalkoinen. AINA on joku joka sitä käyttää vaikkei saisi.

Tota siis tarkoitin, tekee oman karttaserverin, jossa on rajoitettu aluetta ja zoom leveliä tilan säästämiseksi. Silloin ei tarvitsisi huolehtia muitten palveluitten rajoituksista, ja saisi varmaan myös konffattua kartan sellaiseksi kuin haluaa.

Kuten jo sanoin edellisessä vastauksessa alueen rajaaminen EI ole mahdollista noissa kartta-skripteissä ja NSD-skriptiä käytetään maailmanlaajuisesti, ei vain Suomessa joten senkään takia ei mikään rajaus toimisi. Löytyy NSD-käyttäjiä niin Ausseista kun Jenkeistä. Vain zoomitason rajaaminen on mahdollista.

Kyse on myös rahasta. Haluatko että tutkat tulee maksulliseksi? Tai kustantaa karttaserverin hankinnan/rakennusken/ylläpidon? Tuskinpa. Karttojen teko omalla serverillä on erittäin raskasta ja vaatisi oman purkin jossa riittävästi hevosvoimia joten missään jo websivukäytössä olevalla purkilla "sivutuotteena" se ei onnistu.

Ihan vertailuna, tässä millä OSM:n karttapala-serveri porskuttaa:
3U rackmount with 10 removable bays + 550W PSU (2 x redundant)
2x Quad-Core Intel Xeon E5520 2.26 GHz (4x256 KiB L2, 8MiB L3)
48GB RAM DDR3-1066 ECC (12x 4GB - Kingston KVR1066D3Q8R7S/4G) (12 slots, 12 used, 0 free)
Tyan S7010AGM2NRF (Intel Dual Socket 1366)
Areca ARC-1220 / 8 SATA / 256MB / PCI Express x8 / Battery
2x 1.5TB (OS, RAID1) 2x ST31500341AS
4x 300GB 10kRPM WD3000HLFS
2x 600GB 10kRPM WD6000HLHX
1x 600GB Intel SSD 320 Series (600GB, 2.5in SATA 3Gb/s, 25nm, MLC)

Lähde: OSM Wiki

[khyron]

Et tainut lukea mun edellisen edellistä vastausta...

Eh, jos tekee oman karttaserverin niin miksi ihmeessä sitä muut käyttäisi?

Kysehän on muista skriptin käyttäjistä (kuten jamo, teutari etc.). Ei siitä mitään tule jos jokaikinen pitäisi väsätä omaa serveriä, eikä se ole edes mahdollista jos majailee jossain webhotellissa. Skriptien tarkoitushan on että asennus on mahdollismman helppo.

Eihän noi ole mitenkään toisiaan poissulkevia, oletuksena konffi joka käyttää ulkopuolista karttaserveriä ja mahdollisuus omaan.

Sitäpatsi, kiitos Firebugien sun muiden, niin karttaserverin urli josta kuva haetaan näkyy siellä tai itse kuvan infosta. Et voi olettaa "ettei kukaan sitä käyttäisi". Maailma ei ole niin sinivalkoinen. AINA on joku joka sitä käyttää vaikkei saisi.

Tätä en oikein ymmärtänyt, jos tekee itselle karttaserverin niin miksi ihmeessä sinne pitäisi laittaa dataa jota ei itse tarvitse?

Tota siis tarkoitin, tekee oman karttaserverin, jossa on rajoitettu aluetta ja zoom leveliä tilan säästämiseksi. Silloin ei tarvitsisi huolehtia muitten palveluitten rajoituksista, ja saisi varmaan myös konffattua kartan sellaiseksi kuin haluaa.

Kuten jo sanoin edellisessä vastauksessa alueen rajaaminen EI ole mahdollista noissa kartta-skripteissä ja NSD-skriptiä käytetään maailmanlaajuisesti, ei vain Suomessa joten senkään takia ei mikään rajaus toimisi. Löytyy NSD-käyttäjiä niin Ausseista kun Jenkeistä. Vain zoomitason rajaaminen on mahdollista.

Ei kai sitä rajausta ole pakko kovakoodata.

Kyse on myös rahasta. Haluatko että tutkat tulee maksulliseksi? Tai kustantaa karttaserverin hankinnan/rakennusken/ylläpidon? Tuskinpa. Karttojen teko omalla serverillä on erittäin raskasta ja vaatisi oman purkin jossa riittävästi hevosvoimia joten missään jo websivukäytössä olevalla purkilla "sivutuotteena" se ei onnistu.

Ihan vertailuna, tässä millä OSM:n karttapala-serveri porskuttaa:
3U rackmount with 10 removable bays + 550W PSU (2 x redundant)
2x Quad-Core Intel Xeon E5520 2.26 GHz (4x256 KiB L2, 8MiB L3)
48GB RAM DDR3-1066 ECC (12x 4GB - Kingston KVR1066D3Q8R7S/4G) (12 slots, 12 used, 0 free)
Tyan S7010AGM2NRF (Intel Dual Socket 1366)
Areca ARC-1220 / 8 SATA / 256MB / PCI Express x8 / Battery
2x 1.5TB (OS, RAID1) 2x ST31500341AS
4x 300GB 10kRPM WD3000HLFS
2x 600GB 10kRPM WD6000HLHX
1x 600GB Intel SSD 320 Series (600GB, 2.5in SATA 3Gb/s, 25nm, MLC)

Lähde: OSM Wiki

Eihän sitten onnistu karttojen proxyttaminenkään omalta serveriltä.

[weatherc]

Eihän noi ole mitenkään toisiaan poissulkevia, oletuksena konffi joka käyttää ulkopuolista karttaserveriä ja mahdollisuus omaan.

Ei ole ihan noin helppo noiden palasten konffaaminen tuolla tapaa koska se vaatii myös että asetukset ovat täysin oikein (esim kuvan urli/kansiorakenne) sillä "omalla" muuten homma kaatuu siihen. Ja sitäpatsi, jokaikinen joka haluaa voi niitä urleja muuttaa omaan serveriin osoittamaan, mikään ei sitä estä tuossa testikartassakaan (jossa sininen kartta osoittaa nordicweatheriin). Joten en näe mikä tuossa on ongelma.

Tätä en oikein ymmärtänyt, jos tekee itselle karttaserverin niin miksi ihmeessä sinne pitäisi laittaa dataa jota ei itse tarvitse?

Ei sinne laiteta mitään dataa muuta kun raaka karttadata joka OSM-datan osalta on 21 GB. Karttaserveri tekee palaset tarvittaessa mutta koska palasten teko on raskasta/hidasta ne tallennetaan seuravaa hakua varten. Yhden maan palasten teko voi kestää pari päivää tehdä jos tekee ne bulkkina (niitä on tuhansia rippuen tietty halutusta zoomivälistä).
Se mitä olen tuossa Googlaillut kyseisen serverin asennusta niin sen konffaaminen saatikka karttojen tyylien muokkaaninen on kaikkea muuta kun yksinkertaista. Ei todellakaan ole mikään "normi linukka-softan asennus" yumin kautta tai edes ./configure&make&make installin kautta.

Ei kai sitä rajausta ole pakko kovakoodata.

On. Koska jos se olisi säädettävissä kuka tahansa voi laittaa asetukseksi mitä tahansa ja koko rajauksen idea kaatuu siihen. Mutta siitä on ihan turha vetkotella koska rajaus ei ole mahdollista tehdä.

Eihän sitten onnistu karttojen proxyttaminenkään omalta serveriltä.

Miksei onnistusi? Proxyttaminen kun ei vaadi noita hevosvoimia vaan muutaman rivin php-häkkyrä, rewrite-pätkä Nginxin asetuksiin sekä kansio jonne se tallentaa palaset riittää. Se myös hakee palaset tarvittaessa jollei jo proxystä löydy. Ja se on ollut jo kaksi päivää käytössäkin testikartan sinisellä kartalla.

Kokeena, testikartan sininen kartta, zoomiväli 2-10, pitäen keskipiste suunnilleen Salossa zoomailessa tekee noin 300 palaa/3 M, tämä ilman että siirsin karttaa mihinkään siitä keskipisteestä.

EDITTIÄ: Voin mä tehdä nuo skriptit myös siten että se on jokaisen oma ongelma mistä ja miten palasensa hakee, eli ettei palaserveritä ole ollenkaan konffattuna valmiiksi ja siten maksaa palasista mahdollisesti tulevat kulut. Ei se ole ongelma, se ei vaan ole noiden skriptien kuten NSD:n tarkoitus.