Spammerit ja varsinkin foorumit

[weatherc]

Tuossa tuo puoliksi nukuksissa ollut NWN-foorumista tuli lähinnä spammerieden leikkikenttä. Nooh, vippasin hela hoidon roskiin koska siellä oli yli 3000 spammerijäsentä sekä herra ties kuin monta sataa pilleri-mainosta

Tein siten pinetä Googlausta että mitä tehdä asialle, tässä tuotokset:
- SMF 2.0-versio jossa paremmat turvallisuus-asetukset (1.1.x saa siirrettyä 2.0:aan jos haluaa)
- Nginx webserveriin esto kaikille ip-numeroille jotka listattuna Spamhouse.orgin listoilla. Tämä Nginxin estolista päivittyy päivittäin.
- Jäsenliittymiskaavake:
 * capatcha roskiin. On hyvin tiedossa että erinäiset capatchat ovat täysin hyödyttömiä koskien spammibottien rekisteröintiin, ne kiertävät sen sekunneissa
 * SMF 2.0 vakiona oleva kysymys käyttöön tyyliin "minkä värinen on taivas?". Yksi jekku tässä on että yksi tärkeistä sanoista (tässä kohtaa taivas) kirjoitetaan acsii-muodossa jolloin spammibotti saa miettiä hetken että miten tämä nyt menikään.
- Asennettuja palikkoja:
 * HttpBL - Project Honeypot.orgin spammilistoja käyttävä estäjä johon itse voi liittyä spamminappaajaksi (toimii esim nordicweatherissä taustalla koko ajan)
 * Bad Behavior - ehdoton palikka
 * Stop Spammer - stopforumspam.comin listoja käyttävä estäjä viimeisenä tarkistuksena
- Rekisteröinnit adminin hyväksyttäviksi ennen kuin pystyy mitään postaamaan

Entä tulos?
Vajaa 12 tuntia ja 120+ spammibotin pääsy foorumille estetty.
1 rekisteröinti pääsi läpi ja sekin punaisella lipulla varustettuna joten joutas roskiin saman tien

Takataskussa on vielä parit keinot jotka en ainakaan toisaiseksi laittanut:
- Maakohtaiset estot Nginxin GeoIP:n avulla, pääsy esim vain pohjoismaista
- Koko foorumille pääsy jäsenalueen salasanan taakse

NWN:än uudella foorumilla tein vielä sen että vierailija näkee vain "read-only"- taulun jossa perusinfoa, kaikki taulut johon jäsenet voi kirjoittaa ovat vierailijalta piilossa sekä vierajiljoiden "permissions" on tylysti vedetty asentoon 0.
NWN-foorumin linkki löytyy omalta nwn-sivulta infolaatikosta jäsenaluenamiskan vierestä.

[J.Jäntti]

Varsin erikoista, että olet joutunut noin kovaan pommitukseen foorumillasi.
Täällä on edelleen visusti ja ainakin vielä jonkin aikaa käytössä 1.1.x-sarjan SMF ja sen plugineista löytyvä estojärjestelmä, joka on toistaiseksi hyvin korkealla prosenttilukemalla lyönyt roskiin spammereita.

Spammibotit tyypillisesti tutkivat sivustoa koodipohjaisesti ja generoivat sitä kautta vastauksen, joka tyydyttää foorumiohjelman vaatimukset ja rekisteröi spammerin foorumille. Tämä plugini tekee sivun koodista spammibotille lukukelvotonta mössöä, joten se ei kykene enää kehittämään vastaustakaan ja yritys rekisteröityä automaattisesti epäonnistuu. Jos niitä pääsee läpi, niin tyypillisesti ne ovat silloin ihmisavusteisesti ujutettu sisälle, rekisteröínnin hyväksyntää myöten. Tällöin lähtee rekisteröityneen spammerin IP-osoitealue (joko A- tai B-luokka) kerralla suoraan estolistalle niin, että siltä IP-osoitealueelta ei voida rekisteröityä foorumille enää lainkaan. Siinä kohtaa esto on vielä manuaalinen, mutta melko harvoin sitä tarvitsee käyttää.

Näillä vähäisillä eväillä täällä ollaan pidetty spammerit kurissa. Täytyy sanoa, että NWN:n uuden foorumin estosysteemi on hyvin tiukoille vedetty, kun noin monta kohtaa löytyy, josta spammerin voi tunnistaa, mutta kun ottaa huomioon, mitä vanhemmalle foorumillesi tapahtui, en yhtään ihmettele, että sai riittää.

[weatherc]

Yksi hidastava tekiä FinWX:llä on todennäköisesti myös kieli, spammibotit (tai humaanit indokiinalaiset 5 sentin liksalla) ovat aika ihmeissään kun kieli on Suomi 

SMF 2-sarjassa on vielä pikkasen se ongelma että kaikki palikat ei ole 2.0:lle tehtynä, siellä uupui aika kasa jota vaan löytyi 1.1- tai 2.0-beta-sarjoille.
Esim. tuo liittymiskaavakkesta mössöä tekvä palikka uupui vielä.

Tuo NWN:än spammihyökkäys kertoi vaan sen karun todellisuuden että kuin surkeat ovat foorumien perus-turvallisuus spammibotteja vastaan. Mulla oli vanhalla foorumilla 2.0 käyössä pikkasen aikaa siten että oli smf:än oma capatcha säädettynä tiukumalle tasolle eikähän se mitään estänyt.

Koitin etsiä myös palikoita Nginxille jolla saisi nuo spammi-ip:t nakattua jo palvelinvaiheessa ja ainut joka toistaiseksi löytyy on tuo Spamhaus.orgin listaa lukeva palikka jossa viitisensataa ip:tä. Project Honeypot-palikkaa ei toistaiseksi löytynyt ainakaan vielä mikä on pikkasen sääli koska se vaikuttaa todella näppärältä systeemiltä.
Mulla ollut Honeypot-skripti käytössä jo jonkin aikaa nordicweatherin koodissa nappailemassa spammareita. Se toimii siten että
- liityt Project Honeypot:iin täältä
- teet "oman honeypotin" sinne
- uppaat skriptin sivullesi/serverille
- laitat näkymättömän linkin sivullesi siihen skriptiin, ja kun tyhmä spammibotti menee siihen se jää kiikkiin

Pikkasen Honeypotin statseja:
- 86 miljoonaa spammiserveria tunnistettu
- 1.5 miljardia spammiviestiä napattu

[weatherc]

Ha, nyt kekkasin...
Koska nuo palikathan tallentavat napsimansa ip-numerot mysliin niin eikun kyhäämään kasaan pikkurikkinen php-häkkyrä joka lukaisee ne ja raapustaa kasaan deny-filun Nginxille
Näin kerran listalle joutuneena ei ole asiaa dedille enää  
Mahtaa spammibotteroita potuttaa kun eteen tulee tyly 403-ilmoitus  

EDITTIÄ: Kehissä on
Sitä mukaan kun tuo foorumin palikat nappailevat niitä niin siitä seuraavana yönä joutuvat Nginxin deny-listalle jonka jälkeen voivat mennä muualle spammailemaan koska sen jälkeen koko dedille ei ole enää asiaa

Sen verran korjausta siihen Spamhausin 500 ip:n lukemaan että se oli viitisensataa ip-sarjaa (esim 127.0.0.0/24) eli yksittäisiä ipnumeroita siinä on *jokunen* enemmän...

[khyron]

- Koko foorumille pääsy jäsenalueen salasanan taakse

NWN:än uudella foorumilla tein vielä sen että vierailija näkee vain "read-only"- taulun jossa perusinfoa, kaikki taulut johon jäsenet voi kirjoittaa ovat vierailijalta piilossa sekä vierajiljoiden "permissions" on tylysti vedetty asentoon 0.
NWN-foorumin linkki löytyy omalta nwn-sivulta infolaatikosta jäsenaluenamiskan vierestä.

Noita mää en ihan ymmärrä, siis miten noi estää spämmiä. Ne kyl tehokkaasti estää jotakuta etsimästä tietoa, ja myös nostaa kynnystä rekisteröityä foorumille. Suurin osa ihmisistä kunnei halua antaa tietojaan jolleivät tiedä mitä saavat.

[weatherc]

- Koko foorumille pääsy jäsenalueen salasanan taakse

Tuo estänee aika tehokkaassti koska kysessä on webpalvelintasolla salasanasuojatusta kansiosta, ellei salasanoja tiedossa ei ole pääsyä koko kansioon ja puskee 50x-sivua koko rahan edestä.
Mutta taas, se vähentää myös kiinnostusta koska vaatii sen salasanan

NWN:än uudella foorumilla tein vielä sen että vierailija näkee vain "read-only"- taulun jossa perusinfoa, kaikki taulut johon jäsenet voi kirjoittaa ovat vierailijalta piilossa

Suurin osa ihmisistä kunnei halua antaa tietojaan jolleivät tiedä mitä saavat.

Se on kyllä ihan totta...

Ainakin tällä hetkellä vaikuttaa Bad Behavior olevan tehokkain, noin 136 listattua ip:tä ja 250 yritystä 1.5:ssa vuorokaudessa siten että ne jotka löytyivät yöhön mennessä joutuivat Nginx-estoon jolloin ei pääsyä millekkään dedin sivuille eikä siten myöskään ilmesty uudestaan tuohon listaan sen jälkeen.

[khyron]

- Koko foorumille pääsy jäsenalueen salasanan taakse

Tuo estänee aika tehokkaassti koska kysessä on webpalvelintasolla salasanasuojatusta kansiosta, ellei salasanoja tiedossa ei ole pääsyä koko kansioon ja puskee 50x-sivua koko rahan edestä.
Mutta taas, se vähentää myös kiinnostusta koska vaatii sen salasanan

NWN:än uudella foorumilla tein vielä sen että vierailija näkee vain "read-only"- taulun jossa perusinfoa, kaikki taulut johon jäsenet voi kirjoittaa ovat vierailijalta piilossa

Suurin osa ihmisistä kunnei halua antaa tietojaan jolleivät tiedä mitä saavat.

Se on kyllä ihan totta...

Ainakin tällä hetkellä vaikuttaa Bad Behavior olevan tehokkain, noin 136 listattua ip:tä ja 250 yritystä 1.5:ssa vuorokaudessa siten että ne jotka löytyivät yöhön mennessä joutuivat Nginx-estoon jolloin ei pääsyä millekkään dedin sivuille eikä siten myöskään ilmesty uudestaan tuohon listaan sen jälkeen.

En o nyt ihan varma ymmärsinkö oikein, siis sulla on ensin http basic ja sitten vielä pitää kirjautua foorumille? Tommosen nyt ainakin luulis vähentävän uusia käyttäjiä, erityisesti jos se ensimmäinen tunnus/salasana on vähänkään hankalemmin saatavissa, ja toi vaikuttaa myös käytettävyyteen aika paljon.

Kannatan toki keinoja joilla spämmiä saadaan vähennettyä, mutta se on yleensä aika taiteilua sen välillä et sais spämmin vähentymään ja sen ettei kiusaa käyttäjiä liikaa.

[weatherc]

En o nyt ihan varma ymmärsinkö oikein, siis sulla on ensin http basic ja sitten vielä pitää kirjautua foorumille? Tommosen nyt ainakin luulis vähentävän uusia käyttäjiä, erityisesti jos se ensimmäinen tunnus/salasana on vähänkään hankalemmin saatavissa, ja toi vaikuttaa myös käytettävyyteen aika paljon.

Ei ole juuri tuon takia että se menee kävijän kiusaamisen puolelle 

Ideaalinenhan on että ne ip:t jotka listattuna spämmäreiksi esim Honeypotin listoilla estetään jo webserveritasolla tai vielä paremmin, palomuuritasolla, taustalla. Mutta Honeypotilla ei ole mitään ip-feediä josta voisi tehdä ajantasaista deny-listaa Nginxille/palomuurille, sinänsä ymmärrettävistä syistä koska niitä ip:tä olisi niin perkulanmoisesti, vaan jokainen ip pitäisi tarkistaa erikseen eikä Nginxiin/palomuuriin ole palikkaa jolla sen vois tehdä.
Sinänsä deny-lista Nginxille on simppeli homma, pitää vaan kerätä ne ip:t siihen ensin siten että riittävän vanhat nappaukset siivotaan pois ja annetaan kysesille ip:lle "uusi mahdollisuus".
Php-häkkyrää löytyy kylläkin jolla sellaisen eston saisi mille tahansa websivulle.

Totuushan on myös se ettei mikään spammiesto-palikka ole vesitiivis, ainut 100% toimiva spammi/hakkeriesto kun on että vetää töpselin seinästä palvelimelta. 
Ja kuten Laihokin jossain kohtaa mainitsi, maa-esto ei oikeen ole toimiva. Honeypotinkin statistiikasta kun näkee ettei Suomikaan ole mikään lintukoto siinä(kään) hommassa, saisi estää kaikki maat siinä vaiheessa. 

[djmake]

Veikkaan, että täälläkin pyörivästä porukasta useampi ylläpitää jonkinlaista foorumia. Eiköhän olisi asiallista listata ihan linkkien kera ne hyväksi havaitut spammerien torjuntatavat tms tänne? Tuntuu nimittäin kovin turhauttavalta, jos ihan kaikessa jokainen joutuu keksimään pyörän uudelleen.

Ja kyllä, noita botteja on ollut jonkin aikaa liikkeellä ihan oikein reilusti. Pitkään aikaan ei tullut edes yhtä kuukaudessa, nyt määrät ovat olleet hetken ihan eri kertaluokassa. Pitäisi itsekin taas kokeilla jotain uusia tapoja. Aikanaan oli jonkinlainen tovi noita botteja hyvinkin tehokkaasti pyrkimässä ja silloin kirjoitin scriptin, joka hakee haluttujen maiden ip-listat ja blokkaa ne kokonaan palvelimelta. Nyt ovat saaneet uusia maita mukaan, joten samalla mallilla saisi kohta muurata puoli maailmaa. Ei enää kaikkein järkevin, joskin tehokas.

Yksi hidastava tekiä FinWX:llä on todennäköisesti myös kieli, spammibotit (tai humaanit indokiinalaiset 5 sentin liksalla) ovat aika ihmeissään kun kieli on Suomi 

Tuo NWN:än spammihyökkäys kertoi vaan sen karun todellisuuden että kuin surkeat ovat foorumien perus-turvallisuus spammibotteja vastaan. Mulla oli vanhalla foorumilla 2.0 käyössä pikkasen aikaa siten että oli smf:än oma capatcha säädettynä tiukumalle tasolle eikähän se mitään estänyt.

Voin muuten ihan omakohtaisesta kokemuksesta todeta, ettei tuo kielipolitiikka kyllä pelasta.

Ja siinä olet oikeassa, ettei estä. On liki mahdoton ajatus, ettei vakiokilkkeillä varustetulla foorumilla vaadittaisi ylläpidon toimesta rekisteröitymisen vahvistusta. Tai jollei vaadita, niin lopputuloksena ei ole mitään hyvää.

[weatherc]

Käytössä on seuraavat jotka näyttävän toimivan ihan OK:

- SMF 2.0

Palikkoina:
- httpBL
- Stop Spammer
- Bad Behavior mod

Kaikki 3 löytyy suoraan SMF2:sen palikka-listasta

Tämän lisäksi
- uusien jäsenten adminin toimesta hyväksyntä.
- reksiteröitymiskaavakkeessa capatcha poistettu ja random kysymys tilalla (2:ssa tuo löytyy vakiona)

Tällä yhdistelmällä asennuksen jälkeen 2 spammibotiksi luokiteltua rekisteröitymis-yritystä jota pääsyt läpi asti. Mutta jäivät kiikkiin kun odottavien jäsenten listalla oli liputettu spammiksi Stop Spammerin toimesta

Bad Behavior/httBL on samana aikana pysäyttänyt alkuunsa yli 800 yritystä.

Omana muokkauksena olen sitten tehnyt sen että ne ip:t jotka tuo kaksikko on napannut menee suoraan Nginx webserverin deny-listalle joten eivät edes pääse yrittämään toiste. Kyseistä listaa päivitetään cronjobilla kerran päivässä