FinWX Foorumi

Yleiset keskustelualueet => EWN - European Weather Network => Aiheen aloitti: einari - torstai, 13.02.2020, 21:17

Otsikko: Geokooderi pohdintoja
Kirjoitti: einari - torstai, 13.02.2020, 21:17
Netatmo siirtyi ilmeisesti OSM:n paikkahakuun kun osittain mapboxin ottivat sen mukaan.. ja ei enää löydä oikeita osoitteita kaikille...

Joulukuussa vielä oli oikea nimi EWN:ssä..  :D

Yksityinen Sääasema Jockfall, Jockfall F rjv gen - euweather.eu
euweather.eu › stations
Yksityinen Sääasema Jockfall, Jockfall Färjvägen, Ruotsi. 2019-12-09 22:54:36 CET. Lämpötila. -4.9°C -15.6°C. Kastepiste. Kastepiste Hyytävyys. Tukaluus.

Mo I Ranassa on vuonon kummallakin puolella samanniminen asema.. kummassakaan ilmeisessti ole oikein tien nimi..  8)
Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: weatherc - torstai, 13.02.2020, 23:39
Netatmojen nimet tulee Netatmolta, eli noottia ranskan maalle vaan menemään.  :D

Sen verran häärännyt geopaikannuksen ja eri API:en kanssa että voinen sanoa että täysin toimivaa paikannus-API:a ei ole, eikä edes kunnolla toimivaa. Aina menee mönkään enemmän tai vähemmän, varsinkin jos haetaan tie-tasollla eikä esim kylä-tasolla..Vaatii enenmmän kuin 4 desimaalia kordinaatteihin jos haluaa tarkkaa sijantia eikä geodata välttämättä ole niin tarkkaa..
Veikkaisin melkein että Netatmo hakee nuo oletus-tiedot jostain automaattisesti aseman kordinaattien perusteella ja sitten on tulos mitä on (ei ketään ruve manuaalisesti tarkistamaan 10 tuhansia asemia), jota sitten asema voi haluttaessa muokata(?).
En sitä sano, siinä määrässä asemia mitä Netatmolla on, ja jos asema pystyy muokkaamaan osoitetta manuaalisesti, on takuulla joukossa myös niitä jotka tuupannut osoitteeksi jotain diipadaapaa ihan vaan kiusaksi.

Tietenkin, tässä voisi kokeilla jotain noista OSM:än Nominatimiä käyttävää geokooderia, kuten Photonia:
http://photon.komoot.de/
https://wiki.openstreetmap.org/wiki/Search_engines
Parashan olisi oma Geokooderi kuten https://github.com/komoot/photon mutta OSM-data vaatii perkeleesti tilaa ja (asennusvaiheessa) tehoja.
Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: einari - perjantai, 14.02.2020, 06:26
Ongelma lienee siinä.. vaikka mapbox tunnistaa osoitteet niin openstreetmap ei löydä tietä aina..
Olisihan siellä tuollainen palautejuttu.. https://apps.mapbox.com/feedback/#/23.049/63.452/8

Kokeilin viedä kakkosaseman sinne jockfallin färjvägenille ja hyvin meni..  en kuitenkaan katsonut mitä tarjosi osoitteeksi mapissa..

eilen näin kanssa jonkun ilmaisen coordinaattijutun.. jonkun sweitsiläisen mutta lienee maptilesiin liittyvä... pitää etsiä uudelleen, olishan se hyvä jos osaisi antaa oikeat paikkanimet asemille.. edes pitäjän... :D
Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: weatherc - perjantai, 14.02.2020, 10:30
Lainaus käyttäjältä: einari - perjantai, 14.02.2020, 06:26
eilen näin kanssa jonkun ilmaisen coordinaattijutun.. jonkun sweitsiläisen mutta lienee maptilesiin liittyvä... pitää etsiä uudelleen, olishan se hyvä jos osaisi antaa oikeat paikkanimet asemille.. edes pitäjän... :D

Ilmaisia on kyllä kuinka mutta ongelma on yleensä käyttörajoitukset. Herekin oli sitä mieltä että käytin sitä liikaa. :P
Tuon Photonin kanssa voisi kyllä tehdä pikku kokeilun, vaikka niin että hakee Suomi-asemille nimet sieltä ja tallentaa ne toiseksi nimeksi ja vois siten vertailla.

Eihän noita mistään kartasta haeta, itse kartta ei tiedä mitään osoitteita, vaan siihen tarvitaan tuo geokooderi joka hakee sen kannasta. Mapbox ja vastaavat taitaa kaikki käyttää samaa OSM-pohjaista dataa joten sinällään niissä ei suurta eroa liene olevan. Jos olis tilaa (ja tehoa) tuollaisen geokooderin voisi hyvinkin laittaa pystyyn muuta kun ei ole...Euroopan data vaatinee vajaat 500 GB tilaa asennusvaiheessa vaikka itse kanta ei ole kun ehkä kymmenesosa siitä, Photonin valmis maailman kanta on bzip-pakattuna 61 GB, ja Saksa 7 GB...
Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: einari - perjantai, 14.02.2020, 11:33
Niin.. Koordinaateilla hakee. Mutta jos kartassa ei ole nimeä tielle.. Tai eri nimi kuin pitäisi niin eikö siinä tule ristiriita. Esim. Tuo alajärvi, perätie löytyy netatmon locationista ja mapboxista.. Muttei sitten osm kartalta vaan muuttaa nimen, kuortane, haarajärventie?
Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: weatherc - perjantai, 14.02.2020, 12:11
Se ettei kartassa näy nimeä ei tarkoita välttämättä ettei sillä olisi datassa nimeä, nuo kun pystyy rajaamaan/säätämään vaikka ja kuinka kartan tekovaiheessa, kuten esim jättää alimman luokan teiden nimet pois tms jotta ei tule liian sotkusta. Se, ettei nuo rajaukset aina mene/sovi Suomen (tai jonkun muun maan) kohdalla ihan oikein/sopivasti on sitten ihan toinen juttu...
Se mitä geokooderi antaa tulokseksi riippuu myös paljon sen asetuksista, onko dataa karsittu tilan säästämiseksi, sisäisitä hakukriteereistä yms.

Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: weatherc - perjantai, 14.02.2020, 13:26
Tuollainen Photonin tyyppinen geokooderi (omana siis) olis kyllä poikaa ennusteen haullekkin  8)

EDIT: Löytyi valmis Docker-imagekin sille: https://github.com/jfelectron/photon-docker  :D
Harmi vaan ettei mahdu purkille...

EDIT2: 5 asemalle tehty vertailu Netatmolta saatu vs Photonin geokooderilla haettu:
Tornio, Hietakuja || Tornio, Hietakuja
Vaasa, Strökantie || Vaasa,
Kemi, Kärkelänkatu  || Kemi,
Korsholm || Korsholm,
Rosala || Kimitoön,
Eli yhdelle löytys tiedot viidestä (Korsholm vähän siinä rajalla)....
Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: einari - perjantai, 14.02.2020, 18:55
Jos tuo suhde säilyisi suurinpiirtein niin sehän olisi 1k/5k:sta johon korjaus nimiin..  ;D
Tuskimpa kuitenkaan niin kävisi......
Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: weatherc - perjantai, 14.02.2020, 22:03
Korjaussuhde tuossa oli pyöreä nolla  ;D
Tornio, Hietakuja oli ainut mihin löytys tienimikin ja sehän on jo.

EDIT: 25 asemalla sama 0 korjaussuhde....
Eli OSM-data ei tuohon toimi.
Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: weatherc - perjantai, 14.02.2020, 23:14
Tuossa 20 asemaa:
Netatmolta tullut nimi || OSM/Photonin geokooderi || Mapbox geokooderi

Tornio, Hietakuja || Tornio, Hietakuja || Tornio, Hietakuja
Vaasa, Stråkantie || Vaasa, || Vaasa, Stråkavägen
Kemi, Kärkelänkatu || Kemi, || Kemi, Kärkelänkatu
Korsholm || Korsholm, || Mustasaari, Holmbackvägen
Rosala || Kimitoön, || Kemiönsaari, Nötvikintie
Harjavalta, Satalinnantie || Harjavalta, Pohjoisrannantie || Harjavalta, Pohjoisrannantie
Lempäälä, Honkaniementie || Lempäälä, || Lempäälä, Honkaniementie
Janakkala, Tammenranta || Janakkala, || Janakkala, Tammenranta
Salo, Pitkänperännokka || Salo, Pitkänperännokka || Salo, Pitkänperännokka
Kirkkonummi || Kirkkonummi, || Kirkkonummi, Hemängsgrinken
Kouvola, Otsontie || Kouvola, Otsontie || Kouvola, Otsontie
Kempele, Patruunanpiha || Kempele, || Kempele, Patruunanpiha
Vaasa, Huvilatie || Vaasa, || Vaasa, Huvilatie
Raseborg || Raseborg, || Uusimaa, 10600
Sastamala, Vareliuksenkatu || Sastamala, || Sastamala, Vareliuksenkatu
Sastamala, Maakunnantie || Sastamala, || Sastamala, Otamussillantie
Hämeenlinna, Luopioistentie || Hämeenlinna, || Hämeenlinna, Pässinniementie
Padasjoki, 3200 || Padasjoki, || Padasjoki, Porasantie
Hirvisalo || , || Heinola, Lampilantie
Parikkala, Melkoniementie || Parikkala, Melkoniementie || Parikkala, Melkoniementie
Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: weatherc - lauantai, 15.02.2020, 12:50
Tuo Pelias ois aika mielenkiintoinen, datalähteinä useita, mm OSM, Openadresses, Geonames:
https://github.com/pelias/pelias
Pelias on alunperin Mapzenin mutta nykyään osa Linux Foundationia.

Siinä ei vaan ole edes projektina pelkkä Eurooppa, vaan muutamia yksittäismaita + maailma...
Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: weatherc - lauantai, 15.02.2020, 17:41
Jaoin nämä geokooderi/paikannimi pohdinnot omaksi ketjuksi niin pysyy homma kuosissa  ;)

Tuokin vois olla varteen otettava: https://github.com/gisgraphy/gisgraphy
Siinä pystyy valitsemaan mitä dataa hakee siihen (OSM, Openadresses ym).

Jos ajattelee yleisesti....Niin olishan tuollainen näppärä, ei olis mitään käyttö yms rajoituksia kun on "oma".
Olis varsin näppärä esim ennuste-haussa kun pystyisi saamaan minkä paikan tahansa, eikä vaan ne "muutamat" mitä löytyy nykyisestä geonames-kannasta. Mutta myös esim just Netatmojen ja muiden puuttuvien paikannimien hakemiseen.

Mitä tuollainen tarvii: n 500 GB tilaa + jonkin verran RAM:ia. RAM ei ole onglema nykyisillä serverillä. SSD-lättyjen tila ehkä jonkin verran kylläkin. Jos ajattelee miten tuollaisen voisi laittaa pystyyn niin mieleen tulee 2 vaihtoehtoa:
- oma purkki tuolle, johon voisi siirtää karttaserverin roinatkin - ehkä kalliimpi ylläpitää kahta purkkia joskin silloin ei ole "kaikki munat samassa korissa"
- uusi purkki kaikelle jossa lättytilaakin olisi riittävästi. Tällöin jakaisin melkeen hommat (ainakin) 3 virtuaalille, tai sitten tuo geokooderi karttaserverille jolloin olisi webbi + kartta kuten nyt.

Asiaa tarvii miettiä, joskin jos saksanmaalla olisi joku halpa huutokauppapurkki voisi kokeilla tuollaista geokooderia kylläkin.

Otsikko: Vs: Geokooderi pohdintoja
Kirjoitti: weatherc - keskiviikko, 03.02.2021, 00:07
Tätäkin ruuvailtu pikkasen :)

Tuo Pelias osoittautui kohtuu epävakaaksi, kaatui jatkuvasti. Ainakin osasyy lienee että toimiakseen vaatii prkellesti RAM:ia, varsinkin jos haluaa käyttää OSM-dataa siinä myös. Vakaa jos käyttää pelkästään WOF-datan kanssa, tosin siinä uupuu ääkköset suurelta osalta nimistä.

Joten kokeiluun lähti OSM/Nominatim (https://nominatim.org/release-docs/latest/admin/Installation/). Kohtalaisen nopea asennus OSM-datasta riippuen mitä importtasoa käytti. Pelkät admin-nimet meni sisään parissa tunnissa. Kevyt käyttää koska on simppelisti PHP-koodia jota lukee Pgsql-kantaa. Huonona puolena se ettei osaa autocompletea, eli ei osaa ehdottaa "Turku" jos kirjoittaa "Tur".

Seuraava oli saksalaisen Komootin Photon (https://github.com/komoot/photon). JAVA-jar joka nojaa vahvasti Nominatimin tietokantaan (eli se pitää olla ensin).
Muutoin, jos nyt tuota JAVA:aa ei lasketa, niin ihan lupavaalta näyttää. Alkusennus kun tekee omat filut Nominatimistä kesti parisen tuntia. Käytössä nyt tuossa YR-ennusteessa. Mutta kuten aina, täydellistä ei ole, Photon ei osaa rajoittaa nimihakua maiden perusteella. Kordinaattien mukaan osaisi mutta silloin pitäisi jokaiselle maalle keskiä "laatikko" ja silti menisi yli reunoissa.

Paras olisi Nominatim raakana kunhan siihen keksis autocompleten koska se ei vaadi mitään erillis-softaa vaan pyörii natiivien PHP:n ja Pgsql:n varassa.