Internetski botovi

Mreža svih mreža
User avatar
Stitch
Head Honcho
Posts: 16389
Joined: 17 Sep 2011, 23:06
Has thanked: 42 times
Been thanked: 31 times
Gender:
Contact:

19 Jul 2020, 04:16

Što su botovi?
Internetski (ro)bot jest softverski alat - poseban program koji putem interneta izvršava automatizirane zadatke. Poslovi koje obavljaju roboti obično su jednostavni i izvode se u mnogo većem broju u usporedbi s ljudskim internetskim aktivnostima. Neki su botovi dobri - na primjer, Googlebot je aplikacija koju Google rabi za pretraživanje interneta i indeksiranje za svoju tražilicu. Ostali su botovi zlonamjerni, recimo botovi koji služe za automatsko skeniranje web-stranica radi utvrđivanja ranjivosti softvera i izvršavanje jednostavnih napada.

Što je botnet?
Mnogo je vrsta zlonamjernog softvera koji inficira uređaje krajnjih korisnika s ciljem njihova uključivanja u veliku mrežu, botnet. Svaki uređaj koji se zarazi započinje komunikaciju s hakerom i može izvoditi automatizirane aktivnosti pod nadzorom napadača. Botnet često može rasti sam rabeći primjerice zaražene uređaje za slanje neželjene e-pošte, koja može inficirati mnogo drugih računala. Najveći botnet-sustavi obuhvaćaju milijune kompjutora, a vlasnici tih mreža iskorištavaju ih za masovne zlonamjerne aktivnosti, najčešće DDoS napade, koji mogu srušiti svaki server.

Vrste botova
Na internetu postoji mnogo vrsta botova. Spider-botovi pregledavaju web-stranicu slijedeći hiperlinkove radi indeksiranja njezina sadržaja. Preuzimaju HTML i druge resurse kao što su CSS, JavaScript i fotografije i obrađuju ih. Scraper-botovi su roboti koji preuzimaju podatke s web-stranica, spremaju ih izvan mreže i omogućuju ponovnu upotrebu na nekom drugom mjestu, npr. portalu gdje možete naći imena i cijene proizvoda neke internetske trgovine. To je sivo područje - u nekim je slučajevima prikupljanje zakonito, a negdje služi za krađu osjetljivog sadržaja zaštićenog autorskim pravima. Spambotovi su aplikacije namijenjene za prikupljanju adresa elektroničke pošte. Nakon što napadači skupe mnogo adresa e-pošte mogu ih iskoristiti ne samo za slanje neželjene pošte nego i za druge štetne svrhe - hakiranje lozinke ili za oglase na stranice sa zlonamjernim softverom, pa i preopterećivanje ciljanoga servera.


Potpisi su za budale.
User avatar
Stitch
Head Honcho
Posts: 16389
Joined: 17 Sep 2011, 23:06
Has thanked: 42 times
Been thanked: 31 times
Gender:
Contact:

19 Jul 2020, 04:41

Nije mi se dalo prevesti sve, kasno je - ovdje možete pročitati ostatak. Poslije ću malo o konkretnim botovima, pa i ovim našima. Vrijedni su, stalno vise na forumu. :D
Potpisi su za budale.
User avatar
Stitch
Head Honcho
Posts: 16389
Joined: 17 Sep 2011, 23:06
Has thanked: 42 times
Been thanked: 31 times
Gender:
Contact:

20 Jul 2020, 00:40

Što se trkeljaških botova tiče, mnogo ih je. S instalacijom dolazi pedesetak, tako je predefinirano u phpBB-u, a sada ih je više od stotinu. Neki su zastarjeli, primjerice oni koje je prije desetak godina imao Yahoo, zato u sustavu piše da nas nikad nisu posjetili, a neki su aktivni i danas iako su davno isprogramirani, primjerice varijacije Microsoftovih botova. MSN postoji bez obzira na Bing, no funkcije se mijenjaju. Kako god, ne brišem ni jedne ni druge, ostavljam ih u bazi podataka ako mi zatreba ime prilikom pretraživanja weba.

Naši su botovi, ne nužno abecednim redom: GoogleReadAloud, Alexa [Bot], Alta Vista [Bot], Ask Jeeves [Bot], Baidu [Spider], Bing [Bot], Exabot, FAST Enterprise [Crawler], FAST WebCrawler, Francis [Bot], Gigabot, Adsense, WebLight, Feedfetcher, Google [Bot], Heise IT-Markt [Crawler], Heritrix [Crawler], IBM Research [Bot], ICCrawler - ICjobs, ichiro [Crawler], Majestic-12 [Bot], Metager [Bot], MSN NewsBlogs, MSN [Bot], MSNbot Media, Nutch [Bot], Online link [Validator], psbot [Picsearch], Sensis [Crawler], SEO Crawler, Seoma [Crawler], SEOSearch [Crawler], Snappy [Bot], Steeler [Crawler], Telekom [Bot], TurnitinBot, Voyager [Bot], W3 [Sitesearch], W3C [Linkcheck], W3C [Validator], YaCy [Bot], Yahoo MMCrawler, Yahoo! DE Slurp, Lycos Spider, YahooSeeker [Bot], XoviBot, Ahrefs [Bot], Dot [Bot], Linkdex [Bot], Tapatalk CSP [Bot], BLEX [Bot], Yandex [Bot], Mail.ru [Bot], GoogleStoreBot, Googlebot-Image, Googlebot-News, Googlebot-Video, 360Spider, Sogou [Spider], DuckDuckBot, MauiBot [Crawler], MauiBot, Archive.org [Bot], CCBot, MBCrawler, SeznamBot, comScore Crawler, SosoSpider, SEMrushBot-BA, AhrefsBot, SEOkicks, SEOkicks-Robot, Linguee Bot, MegaIndex.ru, DomainStatsBot, SerpstatBot, Facebook EH, MojeekBot, WP.com [Bot], Qwantify [Bot], Twitterbot, oBot, Daum Bot, Hypefactors [Crawler], WordPress [Bot], SemrushBot, Nimbostratus-Bot, Applebot, Coccocbot, Facebook, Facebot, Pingdom, Tumblr, Pinterestbot, OpenindexSpider, APIs-Google, Clarabot, AspiegelBot, WooRank, AdminLabs, Cliqzbot, Dalvik BA, SurdotlyBot, Yahoo! Slurp, UASlinkChecker, Seekport Crawler, Mojeek [Bot], Panscient [Crawler], PetalBot, ltx71 [Bot], YisouSpider, AdsBot, NinjBot, AdIdxBot, BingPreview, GO HttpClient, Seostar Adsbot, Re-re Studio, DfSBot, Python [Bot] - primijetit ćete tu mnogo poznatih stranica i tvrtki, pa i ugašenih, pogotovo ako ste već dugo onlajn.

Google, najvažniji partner svakog internetskog poduzetnika, ima najviše botova. A nisam sve ni uhvatio. Šmugnu mi nekako, gadovi. :zmaj:
Potpisi su za budale.
User avatar
admin
Grand Master of the Jedi Order
Posts: 1770
Joined: 13 Oct 2016, 19:32
Been thanked: 2 times
Gender:

28 Apr 2021, 18:01

Stitch wrote:
20 Jul 2020, 00:40
Google, najvažniji partner svakog internetskog poduzetnika, ima najviše botova. A nisam sve ni uhvatio. Šmugnu mi nekako, gadovi. :zmaj:
Ako je vjerovati članku koji sam maločas prostudirao, propustio sam mobilne botove (za oglašavanje na smartfonima i provjeru internetske veze) te neke koji služe za projekte poput Google Duplexa. No najvažnije sam unio u sustav, što je ključno za prisutnost na tražilici. :top:
Stitch
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

12 Jun 2021, 22:19

Bedasto pitanje... kako se oni učlanjuju na forum?

"In total there were 53 users :: 16 registered, 20 bots, 1 hidden and 16 guests active over the last 24 hours"
User avatar
Stitch
Head Honcho
Posts: 16389
Joined: 17 Sep 2011, 23:06
Has thanked: 42 times
Been thanked: 31 times
Gender:
Contact:

12 Jun 2021, 22:38

Administratorskom intervencijom, jasno. Dodam ih ako u internetskim arhivima pronađem što točno rade i koliko je to korisno. Dodat ću međutim i neke nekorisne jer ih time sprečavam da preopterećuju server. Registrirani bot bolji je od dvadesetak jednih te istih neregistriranih botova koji svaki za sebe pregledavaju podforume predstavljajući se kao gosti zato što se ne duplicira nego čita po redu i javlja rezultate onome tko ga šalje. Da te napasničke botove nisam unio u sustav, imao bih 24-satni kaos. Oni bi pokušavali pročitati nešto što im je zabranjeno, a kad u tome ne bi uspijevali, stizali bi drugi, s istim ciljem. Ovako im dam mrvice, točno određene podforume, a ostale zatvorim i zaključam.

Sve je to igra. Oni imaju misiju, a ja sam sveti Petar. :D
Potpisi su za budale.
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 00:52

Stitch wrote:
12 Jun 2021, 22:38
Administratorskom intervencijom, jasno. Dodam ih ako u internetskim arhivima pronađem što točno rade i koliko je to korisno. Dodat ću međutim i neke nekorisne jer ih time sprečavam da preopterećuju server. Registrirani bot bolji je od dvadesetak jednih te istih neregistriranih botova koji svaki za sebe pregledavaju podforume predstavljajući se kao gosti zato što se ne duplicira nego čita po redu i javlja rezultate onome tko ga šalje. Da te napasničke botove nisam unio u sustav, imao bih 24-satni kaos. Oni bi pokušavali pročitati nešto što im je zabranjeno, a kad u tome ne bi uspijevali, stizali bi drugi, s istim ciljem. Ovako im dam mrvice, točno određene podforume, a ostale zatvorim i zaključam.

Sve je to igra. Oni imaju misiju, a ja sam sveti Petar. :D
Koliko dugo ih hendlaš tako? Od početka trkelja ili si foru skužio u međuvremenu?
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 01:43

Volim čitati tekstove o botovima. Uspavljuju me. Dvije rečenice su mi obično dosta, ovaj put su mi trebale čak tri. Laku noć.

https://skilja.com/idp-solving-bot-illi ... ce-part-1/
User avatar
Stitch
Head Honcho
Posts: 16389
Joined: 17 Sep 2011, 23:06
Has thanked: 42 times
Been thanked: 31 times
Gender:
Contact:

13 Jun 2021, 03:40

Zelena Vila wrote:
13 Jun 2021, 00:52
Koliko dugo ih hendlaš tako? Od početka trkelja ili si foru skužio u međuvremenu?
Važne botove, one koje indeksiraju sadržaj za tražilice, dodajem otpočetka. Kako otkrijem novu, ili firmu koja se time bavi, pretražim digitalne repozitorije. Obično su razna konzultantska poduzeća posrijedi. Njihove botove prije ili poslije uhvatit će webmasteri, koji će onda raspravljati o korisnosti, trošenju bandwitha i sličnim tehnikalijama. Neke su tražilice opće, neke poslovne (B2B, webshopovi i slično), ali detaljima se ne zamaram, pratim samo pripadnost po vrsti. Sve što indeksira postove dobro je, barem načelno. Loši botovi to ne čine, oni bi se radije ubacili u bazu podataka. A one koje su li-la promatram. Potražim iskustva i ocjene pa dva-tri tjedna gledam kako se ponašaju, reagiraju li na robots.txt, koliko često dolaze... Eksperimentiram puštajući ih sve bliže. To je uvijek rizik, jer dobar zli bot snima sustav. Što dublje uđe, to više zna. Kad utvrdim da ništa ne može nego se samo vrti kao muha bez glave, dodam ga kao člana čisto da mu odredim granice. Ne postupaju svi tako. No meni je bandwith osam terabajta, ne moram se baviti glupostima. Mogu ih na miru proučavati jer toliko prometa ni godišnje ne napravim, a kamoli mjesečno.
Potpisi su za budale.
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 08:37

Stitch wrote:
13 Jun 2021, 03:40
Važne botove, one koje indeksiraju sadržaj za tražilice, dodajem otpočetka. Kako otkrijem novu, ili firmu koja se time bavi, pretražim digitalne repozitorije. Obično su razna konzultantska poduzeća posrijedi. Njihove botove prije ili poslije uhvatit će webmasteri, koji će onda raspravljati o korisnosti, trošenju bandwitha i sličnim tehnikalijama. Neke su tražilice opće, neke poslovne (B2B, webshopovi i slično), ali detaljima se ne zamaram, pratim samo pripadnost po vrsti. Sve što indeksira postove dobro je, barem načelno. Loši botovi to ne čine, oni bi se radije ubacili u bazu podataka. A one koje su li-la promatram. Potražim iskustva i ocjene pa dva-tri tjedna gledam kako se ponašaju, reagiraju li na robots.txt, koliko često dolaze... Eksperimentiram puštajući ih sve bliže. To je uvijek rizik, jer dobar zli bot snima sustav. Što dublje uđe, to više zna. Kad utvrdim da ništa ne može nego se samo vrti kao muha bez glave, dodam ga kao člana čisto da mu odredim granice. Ne postupaju svi tako. No meni je bandwith osam terabajta, ne moram se baviti glupostima. Mogu ih na miru proučavati jer toliko prometa ni godišnje ne napravim, a kamoli mjesečno.
Ajde, onda imam dobar nos. Neki dan mi je neki pakšu objašnjavao da botovi ne mogu pretraživati sadržaj dostupan registriranim korisnicima, a ja sam bila stoposto sigurna da sam ih vidjela kako plaze ovuda. :rofl:

I kaj... onda ti botovi imaju svaki svoju lozinku ili svi imaju zajedničku?
User avatar
Stitch
Head Honcho
Posts: 16389
Joined: 17 Sep 2011, 23:06
Has thanked: 42 times
Been thanked: 31 times
Gender:
Contact:

13 Jun 2021, 10:07

Ne treba im lozinka. Sustav dozvola razvijen za phpBB jedan je od najkompliciranijih, ali ujedno i najfinijih. Sve se može podesiti, svaki aspekt ponašanja. Napraviš im kavez, tj. grupu, i odrediš što smiju. Pritom ne govorim isključivo o onome što će vidjeti. Što će botu npr. mogućnost objavljivanja postova, slanja privatnih poruka i mejlova, dizanja datoteka na server? To isključim, njegovo je da čita sadržaj. Po onome što može, ne razlikuje se mnogo od gosta, koji nema nikakav pristup. Dođe, ali dođe tamo gdje ja želim, snimi ono što je novo - i ode. Grupa za botove po tome je specifična. No pogrešno je misliti da su registrirani korisnici nešto posebno. Čak i administratore, koji imaju najšire ovlasti, mogu toliko ograničiti da podsjećaju na botove. Drugi je par rukava što možda jedan posto admina doista zna kako administrirati phpBB. Kopanje po bazi podataka i unošenje novih tablica s posebnim vrijednostima da ne spominjem. Drugim riječima, botovi mogu sve ako im to dopustim. Baš kao i registrirani korisnici.
Potpisi su za budale.
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 11:56

Stitch wrote:
13 Jun 2021, 10:07
Ne treba im lozinka. Sustav dozvola razvijen za phpBB jedan je od najkompliciranijih, ali ujedno i najfinijih. Sve se može podesiti, svaki aspekt ponašanja. Napraviš im kavez, tj. grupu, i odrediš što smiju. Pritom ne govorim isključivo o onome što će vidjeti. Što će botu npr. mogućnost objavljivanja postova, slanja privatnih poruka i mejlova, dizanja datoteka na server? To isključim, njegovo je da čita sadržaj. Po onome što može, ne razlikuje se mnogo od gosta, koji nema nikakav pristup. Dođe, ali dođe tamo gdje ja želim, snimi ono što je novo - i ode. Grupa za botove po tome je specifična. No pogrešno je misliti da su registrirani korisnici nešto posebno. Čak i administratore, koji imaju najšire ovlasti, mogu toliko ograničiti da podsjećaju na botove. Drugi je par rukava što možda jedan posto admina doista zna kako administrirati phpBB. Kopanje po bazi podataka i unošenje novih tablica s posebnim vrijednostima da ne spominjem. Drugim riječima, botovi mogu sve ako im to dopustim. Baš kao i registrirani korisnici.
Jel mogu dobit jednog da se dopisujem s njim? :zubo:
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 12:03

Mislim, ne na prajvat, nego da mi ga nekako preusmjeriš na onaj wp blog... ako ga i uneredi, jebe mi se, nije moj. Čisto da vidim kako se te beštijice ponašaju kad dobiju priliku ostaviti neki upis.
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 12:09

Mogu ti dat username i pass, ako ti to treba da mi pripustiš botovlje. Na prajvat, ofkors. :zubo:
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 12:13

Dosađujem se smrtno na tom tečaju, a dobivam dnevnice i prijevoz da budem tamo i slušam onog šupka. Oću ga zatrolat malo. Ako me baš stisne, reći ću mu da sam dala pass nećaku ili tako nešto. Ali neće pitat, samo će paničarit. Znam ga. :kava:
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 12:25

Daaaj... barem jednog, pa da ga izdresiram. :rofl:

https://www.netokracija.com/infobip-chatboti-nlp-176229
User avatar
Stitch
Head Honcho
Posts: 16389
Joined: 17 Sep 2011, 23:06
Has thanked: 42 times
Been thanked: 31 times
Gender:
Contact:

13 Jun 2021, 15:12

WordPress je bezvezarija, ne možeš tu s botovima mnogo. Dvije su razine kontrole; prva je phpBB-ov admin-panel, a druga cPanel odnosno server. WordPress nema takvo sučelje, a ti do servera ne možeš doći, jer koliko poznam te tečajeve, spajaš se FileZillom ili nekim drugim ftp-klijentom, što znači da možeš do direktorija, ali nemaš pristup kontrolnom centru.

Javi se kad uzmeš domenu i hosting.
Potpisi su za budale.
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 15:27

Stitch wrote:
13 Jun 2021, 15:12
Javi se kad uzmeš domenu i hosting.
Može. Jel i udruge dobiju hr domenu gratis?
User avatar
Stitch
Head Honcho
Posts: 16389
Joined: 17 Sep 2011, 23:06
Has thanked: 42 times
Been thanked: 31 times
Gender:
Contact:

13 Jun 2021, 15:31

Da. Opet vrijedi pravilo da domena i udruga moraju dijeliti ime. Ne može ti se udruga zvati Bicikl da dobiješ domenu auto.hr nego će to biti bicikl.hr, udruga-bicikl.hr ili štogod slično.
Potpisi su za budale.
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 19:11

Stitch wrote:
13 Jun 2021, 15:31
Da. Opet vrijedi pravilo da domena i udruga moraju dijeliti ime. Ne može ti se udruga zvati Bicikl da dobiješ domenu auto.hr nego će to biti bicikl.hr, udruga-bicikl.hr ili štogod slično.
Mrak. Ja tebi ljudeke, ti meni boteke. Kad bude vrijeme za to.
User avatar
Stitch
Head Honcho
Posts: 16389
Joined: 17 Sep 2011, 23:06
Has thanked: 42 times
Been thanked: 31 times
Gender:
Contact:

13 Jun 2021, 19:58

Zelena Vila wrote:
13 Jun 2021, 19:11
Kad bude vrijeme za to.
Možemo i sad nešto napraviti, ali ne u tolikom opsegu kao ovdje. Vidjet ćemo što će Algebra reći na to. :D

Ovo u principu ne radim sa svojim instalacijama.

1. Otključaj sve u Settings > Discussion (pogledaj što koja kućica označava pa tomu prilagodi postavke ostavljajući ih posve otvorenima).

2. U public_html unesi datoteku robots.txt (Notepad++ bit će idealan za pisanje takvih dijelova). Ako hoćeš izbjeći botove, u njega ide...

Code: Select all

User-agent: *
Disallow: /
... gdje asterisk kao zamjenski znak iza User-agent znači svi botovi. Kosa crta iza Disallow kaže da im želiš zabraniti pristup na svim stranicama svoje domene.

Ti bi mogla staviti samo dva-tri retka...

Code: Select all

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
... a ostalo, uključujući direktorij wp-content, ostavljaš nezaštićeno. To bi trebalo osigurati instalaciju od rušenja, a drugim botovima, što znači i zločestima, dati dovoljno prostora da se razmašu.
Potpisi su za budale.
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 20:40

Thnx, poigrat ću se s tim ovih dana. Offtopic: šaljem ti jednog malog, Šabin fan. Nije jako nepristojan, samo voli spamat glupim smajlovima i još glupljim linkovima.
User avatar
Stitch
Head Honcho
Posts: 16389
Joined: 17 Sep 2011, 23:06
Has thanked: 42 times
Been thanked: 31 times
Gender:
Contact:

13 Jun 2021, 20:53

Zelena Vila wrote:
13 Jun 2021, 20:40
Offtopic: šaljem ti jednog malog, Šabin fan. Nije jako nepristojan, samo voli spamat glupim smajlovima i još glupljim linkovima.
U redu, pustit ću ga u dvorište da se igra s nama. :D

Što se pak botova tiče, računaj da su oni za portale daleko inteligentniji nego oni za forume. Neće biti idiotskih komentara, prepoznatljivih na kilometar. Hvalit će ti stranicu, komunicirati s tobom, nagovarati te da navratiš na njihov blog... Tamo će te čekati razne udice na koje se možeš upecati pa pripazi poslije gdje se točno logiraš kad ideš na svoj WordPress. Da ti ne podvale isto sučelje, ali na drugoj domeni.

U svakom slučaju, botovi su već bili kod tebe, ali zbog zadanih postavki nisu mogli pisati. Sad ih oslobodi. I budi strpljiva. ;)
Potpisi su za budale.
User avatar
Zelena Vila
Posts: 153
Joined: 28 Jul 2012, 10:47

13 Jun 2021, 20:55

Može. Budi i ti s ovim mojim. Mislim da još uvijek pokušava razvrstati namirnice u košarice kako bi dokazao da nije bot.
User avatar
Stitch
Head Honcho
Posts: 16389
Joined: 17 Sep 2011, 23:06
Has thanked: 42 times
Been thanked: 31 times
Gender:
Contact:

13 Jun 2021, 21:10

Zelena Vila wrote:
13 Jun 2021, 20:55
Može. Budi i ti s ovim mojim. Mislim da još uvijek pokušava razvrstati namirnice u košarice kako bi dokazao da nije bot.
Još jedna stvar - svakako provjeri Search engine visibility u meniju Reading Settings. Ako je Algebra preventivno uključila opciju Discourage search engines from indexing this site, isključi je. To je dodatna caka koju treba pogledati.
Potpisi su za budale.
Post Reply