Перейти к контенту
  • 0

Список ботов-пауков


Вопрос

Сегодня полез в лог-файл сервера и.... дай думаю, соберу данные "user-agent" ботов посковых систем. Список куцый... с 4 утра до 18 дня...

 

"Googlebot/2.1 (+http://www.google.com/bot.html)"
"Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
"Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)"
"Yandex/1.01.001 (compatible; Win16; H)"
"Yandex/1.01.001 (compatible; Win16; P)"
"TurtleScanner/1.2 (compatible; MSIE 5.01; Win32)"
"TurnitinBot/2.0 (http://www.turnitin.com/robot/crawlerinfo.html)"
"msnbot/0.3 (+http://search.msn.com/msnbot.htm)"
"ZipppBot/0.11 (ZipppBot; http://www.zippp.net; webmaster@zippp.net)"
"Mozilla/4.0 (compatible; grub-client-2.3)"
"StackRambler/2.0 (MSIE incompatible)"
"http://www.almaden.ibm.com/cs/crawler   [fc4]"
"ia_archiver"
"oBot"

 

 

Ах, да... Ответ "а нафига?", прост. Вторая версия может показывать присутствующих в данный момент ботов, как юзеров. Подробнее см. в Админке - Глобальные (список главных настроек).

 

Список ботов

(категорически не рекомендуется менять порядок следования в списке, особенно в нижней части - последние 5):

[fc4]=^fc4^
oBot=^oBot^
Aport=^Aport^
msnbot=^MSNbot^
Yandex=^Yandex^
WebZIP=^WebZIP^
ZunZun=^ZunZun^
Lycos.com=^Lucos^
OmniWeb=^OmniWeb^
Googlebot=^Google^
Openbot=^Openfind^
Gigabot=^Gigablast^
ZipppBot=^ZipppBot^
GetSmart=^GetSmart^
Vampire=^NetVampire^
MarcoPolo=^MarcoPolo^
PlantyNet=^PlantyNet^
slurp@inktomi=^HotBot^
Ask Jeeves=^AskJeeves^
SpaceBison=^SpaceBison^
grub-client=^GrubClient^
ia_archiver=^IA.Archiver^
TurnitinBot=^TurnitinBot^
Ivan Susanin=^IvanSusanin^
What You Seek=^WhatYouSeek^
FAST-WebCrawler=^AllTheWeb^
Netprospector=^Netprospector^
TurtleScanner=^TurtleScanner^
Yahoo-MMCrawler=^Y!MMCrawler^
Yahoo!=^Yahoo!^
StackRambler=^Rambler^
rambler=^Rambler^
Binky=^libwww.Binky^
amaya=^libwww.amaya^
Webgate=^libwww.Webgate^
W3C_Validator=^libwww.W3C_Validator^
libwww=^libwww.nothing^

Список ботов с неподтверждённым user_agent

(т.е. я ещё не видел их user_agent):

Lycos.com=^Lucos^
rambler=^Rambler^
What You Seek=^WhatYouSeek^
Ask Jeeves=^AskJeeves^
zyborg@looksmart=^WiseNut^
MnoGoSearch=^mnoGoSearch Bot^
booch=^booch Bot^
NaverBot=^NaverBot^

Отдельно стоит вопрос о...

scooter=^Altavista^

Здесь дело в том, что есть юзер-агенты "scooter" и "Scooter", но вот к кому они относятся, к какому поисковику???

 

 

Текст ПОСЛЕ знака "равно" делайте свой..., чтобы было понятно, что это бот, а не юзверь. Я вообще для них создал отдельную группу (бот) - права группы "бот" такие же, как у группы "юзер". Цвет группы не имеет силы - боты всегда нормал-чёрные.

Изменено пользователем Наблюдатель
Ссылка на комментарий
Поделиться на других сайтах

  • Ответы 86
  • Создана
  • Последний ответ

Лучшие авторы в этом вопросе

Лучшие авторы в этом вопросе

Рекомендуемые сообщения

  • 0

Бог завещал делиться. :D Вот мой список.

-----------------------------------------

:robot/1.0=Neofonie.de

0.1_hseo(at)cs.rutgers.edu=Rutgers.edu

AbachoBOT (Mozilla compatible)=Crawler.de

AbachoBOT=Crawler.de

abcdatos_botlink=Abcdatos.com

About/0.1libwww-perl/5.47=About.com

abot/0.1=Abot.com

abot/0.1 (abot; http://www.abot.com; abot@abot.com)=Abot.com

accoona=Accoona.com

AcoiRobot=Acoi Picture Robot

Acoon Robot v1.50.001=Acoon.de

Acoon Robot v1.52=Acoon.de

Acoon Robot=Accon.de

ActiveWorlds/3.xx=ActiveWorlds.com

admin@crawler.de=Crawler.de

admin@maxbot.com=maxbot.com

ADSARobot=ADSARobot

AESOP_com_SpiderMan=Aesop.com

agadine/1.x.x=Agada.de

Agent-admin/=Daum.net

ah-ha.com crawler (crawler@ah-ha.com)=Ah-ha.com

ah-ha.com crawler=Ah-ha.com

Aladin/3.324=Aladin.de

Aleksika Spider/1.0=Aleksika.de

AlkalineBOT/1.3=Vestris.com

AlkalineBOT/1.4=Vestris.com

AlkalineBOT=AlkalineBOT

Allesklar/0.1 libwww-perl/5.46=Allesklar.de

AltaVista-Intranet=Altavista.co.uk

AmfibiBOT=Amfibi.com

Amiga-AWeb/3.4.167SE=AWeb.com

amzn_assoc=Amazon.com

AnswerChase PROve x.0=AnswerChase.com

AnswerChase x.0=AnwserChase.com

AnswerChase=AnswerChase.com

Antibot=AntiSeach.net

antibot-V1.1.5/i586-linux-2.2=AntiSeach.net

AnzwersCrawl/2.0=Anzwers

A-Online Search=Jet2Web.com

Aport=Aport.ru

appie 1.1=Walhello.com

appie=Walhello.com

arachnoidea@euroseek.net=Euroseek.net

Arachnoidea=Euroseek.com

Aranha=Girafa.com

ArchitectSpider=Excite.com

archive.org_bot=Archive.org

archive_org=Archive.org

ask jeeves=Ask Jeeves

ask.24x.info=Ask.24x.info

ASPSeek/1.2.5=ASPSeek.org

ASPseek/1.2.9d=ASPSeek.com

ASPSeek/1.2.x=ASPSeek.org

ASPSeek/1.2.xa=ASPSeek.org

ASPseek/1.2.xx=ASPseek.org

ASPSeek/1.2.xxpre=ASPSeek.org

ASPSeek=ASPSeek.org

asterias/2.0=SingingFish.com

Asterias=SingingFish.com

AtlocalBot=Atlocal.com

AtlocalBot/1.1 +(http://www.atlocal.com/local-web-site-owner.html)=Atlocal.com

Atomz/1.0=Atomz.com

Atomz=Atomz.com

Augurfind=Augurnet.ch

augurnfind V-1.x=Augurnet.ch

autohttp=Elsop.com

AV Fetch 1.0=Altavista.com

AVSearch=Altavista.com

AVSearch-3.0=Altavista.com

AxmoRobot=Axmo.com

Baiduspider+=Baidu.com

BaiDuSpider=Baidu.com

BanBots/1.2=Banbots.com

BarraHomeCrawler=BarraHome.com

bdcindexer_2.6.2=Business.com

BDFetch=Brandimensions.com

BDNcentral Crawler v2.3=Bdncentral.com

beautybot/1.0=Cosmoty.com

Bilbo/2.3b-UNIX=Biblo Bot

BlackWidow=BlackWidow Bot

Blaiz-Bee/1.0 (+http://www.blaiz.net)=Blaiz.net

Blaiz-Bee/1.0=Blaiz.net

BlitzBOT@tricus.net (Mozilla compatible)=Blitzsuche.rp-online.de

BlitzBOT@tricus.net=Blitzsuche.rp-online.de

BlogBot/1.x=Blogdex.net

BlogBot=Blogdex.net

blogWatcher_Spider/0.1=Blogwatcher.pi.titech.ac.jp

Bloglines Title Fetch/1.0 (http://www.bloglines.com)=Bloglines.com

boitho.com-dc/0.xx=Boitho.com

boitho.com-robot/1.x=Boitho.com

BSDSeek/1.0=Inktomi.com

BullsEye=Intelliseek.com

bumblebee@relevare.com=Relevare.com

Buscaplus Robi/1.0=Buscaplus.com

Buscaplus Robi=Buscaplus.com

CanSeek/=Cansee.ca

ChristCRAWLER 2.0=Christcrawler.com

ChristCRAWLER=Christcrawler.com

CipinetBot=Cipinet.com

citenikbot/=Cenik.co.uk

ClariaBot/1.0=Searchscout.com

Claymont.com=Claymont.com

CLIPS-index=Cips-index.imag.fr

Clushbot/3.3-BinaryFury (+http://www.clush.com/bot.html)=Clush.com

Clushbot/3.3-BinaryFury=Clush.com

Combine/x.0=Combine Bot

Computer_and_Automation_Research_Institute_Crawler=Research Bot

contact/jylee@kies.co.kr=Kies.co.kr

Convera Internet Spider V6.x=Convera.com

cosmos/0.8_(robot@xyleme.com)=Xyleme.com

cosmos/0.9_(robot@xyleme.com)=Xyleme.com

cosmos=Xyleme.com

C-PBWF-ip3000.com-crawler=IP3000.com

CrawlConvera0.1=Converna.net

Crawler (cometsearch@cometsystems.com)=Findwhat.com

Crawler admin@crawler.de=Crawler.de

Crawler V 0.2.x admin@crawler.de=Crawler.de

crawler@alexa.com=Alexa.com

crawler@brainbot.com=Brainbot.com

crawler@fast.no=Alltheweb.com

Crawler=Crawler.de

CrawlerBoy Pinpoint.com=Pinpoint.com

CrawlerBoy=Pinpoint.com

CrocCrawler= CrocCrawler.com

Custom Spider www.bisnisseek.com /1.0=Bisnisseek.com

DaAdLe.com ROBOT/=Daadle.com

DataparkSearch/4.xx=DataparkSearch.com

DaviesBot/1.7=Wholeweb.net

DaviesBot=Wholeweb.net

dbDig=Prairielandconsulting.com

DBrowse 1.4b=DBrowse Bot

DBrowse 1.4d=DBrowse Bot

dCSbot/1.1=Openmarket.com

DeepIndex=DeepIndex.com

DeepIndexer.ca=DeepIndex.com

deepweb=Deepweb.com

Demo Bot DOT 16b= Btopenworld.com

DiaGem/=Skyrocket.gr.jp

DiaGem/1.1 (http://www.skyrocket.gr.jp/diagem.html)=Skyrocket.gr.jp

DiaGem/1.1=Skyrocket.gr.jp

Diamond/1.0=Searchscout.com

Digger/1.0 JDK/1.3.0rc3=Diggit.com

Digimarc WebReader=Digimarc.com

DigOut4U=Arisem.com

DIIbot/1.2=Digital-Integrity.com

DIIbot=Digital-Integrity.com

DittoSpyder=Ditto.com

dloader(NaverRobot)/=Naver.com

dtSearchSpider=Dtsearch.com

Dumbot(version 0.1 beta - dumbfind.com)=Dumbfind.com

Dumbot(version 0.1 beta)=Dumbfind.com

dumrobo(NaverRobot)/=Naver.com

EARTHCOM.info/1.4beta=Earthcom.info

EasyDL/3.02=Keywen.com

EasyDL/3.03=Keywen.com

EasyDL/3.04=Keywen.com

EasyDL/3.xx http://keywen.com/Encyclopedia/Bot=Keywen.com

EasyDL/3.xx=Keywen.com

EchO!/2.0=Voila.com

egothor/3.0a (+http://www.xdefine.org/robot.html)=Xdefine.com

egothor/3.0a=Xdefine.com

EgotoBot/4.8=Egoto.com

Enterprise_Search/1.0.xxx=Innerprise.net

Enterprise_Search/1.0=Innerprise.net

erik@malfunction.org=Malfunction.org

EroCrawler=Erocrawler.com

ES.NET_Crawler/2.0=Innerprise.net

eseek-larbin_2.6.2=Exactseek.com

ESISmartSpider=Travel-Finder.com

ExactSeek Crawler/0.1=Exactseek.com

exactseek-crawler-2.63=Exactseek.com

Exalead NG/MimeLive Client=Exabot.com

Excalibur Internet Spider V6.5.4=Excalib.com

ExperimentalHenrytheMiragoRobot=Mirago.co.uk

EyeCatcher (Download-tipp.de)/1.0=Download-tipp.de

EyeCatcher=Download-tipp.de

EZResult=Ezresults.com

Fast Crawler Gold Edition=Alltheweb.com

FAST Data Search Crawler=Alltheweb.com

FAST Enterprise Crawler 6 (Experimental)=Alltheweb.com

FAST Enterprise Crawler 6 used by FAST (FAST)=Alltheweb.com

FAST Enterprise Crawler 6 used by FAST=Alltheweb.com

FAST Enterprise Crawler 6=Alltheweb.com

FAST Enterprise Crawler/6 (www.fastsearch.com)=Alltheweb.com

FAST Enterprise Crawler/6=Alltheweb.com

FAST FirstPage retriever (compatible; MSIE 5.5; Mozilla/4.0)=Alltheweb.com

FAST FirstPage retriever=Alltheweb.com

Fast PartnerSite Crawler=Alltheweb.com

FastCrawler 3.0.1 (crawler@1klik.dk)=Alltheweb.com

FastCrawler 3.0.1=Alltheweb.com

FAST-WebCrawler/2.2.10=Altheweb.com

FAST-WebCrawler/2.2.6=Altheweb.com

FAST-WebCrawler/2.2.7=Altheweb.com

FAST-WebCrawler/2.2.8=Altheweb.com

FAST-WebCrawler/3.2 test=Altheweb.com

FAST-WebCrawler/3.2=Altheweb.com

FAST-WebCrawler/3.3=Altheweb.com

FAST-WebCrawler/3.4/Nirvana=Altheweb.com

FAST-WebCrawler/3.4/PartnerSite=Altheweb.com

FAST-WebCrawler/3.5=Altheweb.com

FAST-WebCrawler/3.6/FirstPage=Altheweb.com

FAST-WebCrawler/3.6=Altheweb.com

FAST-WebCrawler/3.7/FirstPage=Altheweb.com

FAST-WebCrawler/3.7=Altheweb.com

FAST-WebCrawler/3.8/Fresh=Altheweb.com

FAST-WebCrawler/3.8=Altheweb.com

FAST-WebCrawler/3.x Multimedia (mm dash crawler at fast dot no)=Altheweb.com

FAST-WebCrawler/3.x Multimedia=Altheweb.com

FAST-WebCrawler=Alltheweb.com

Faxobot/1.0=FaXo.com

Felix - Mixcat Crawler=Mixcat.com

Felix=Mixcat.com

FFC Trap Door Spider=Frequentfinders.com

fido/1.0 Harvest/1.4.pl2=Planet Search

FinaleRobot=expressus.com

FindAnISP.com_ISP_Finder_v99a=FindAnISP.com

FineBot=Finesearch.com

Firefly/1.0 (compatible; Mozilla 4.0; MSIE 5.5)=Fireball.de

Firefly/1.0=Fireball.de

FlickBot 2.0 RPT-HTTPClient/0.3-3=DivX.com

Fluffy the spider=SearchHippo.com

Flunky=Metacarta.com

Francis/1.0 (francis@neomo.de http://www.neomo.de/)=Neomo.de

Francis/1.0=Neomo.de

FreeFind.com-SiteSearchEngine/1.0=Freefind.com

FyberSearch=Fybersearch.com

FyberSpider=Fybersearch.com

Gagglebot=Gagglebot

GAIS Robot/1.0B2=Seed.net.tw

Gaisbot/3.0+=Seed.net.tw

Gaisbot/3.0=Seed.net.tw

GalaxyBot/1.0 (http://www.galaxy.com/galaxybot.html)=Galaxy.com

GalaxyBot/1.0=Galaxy.com

GalaxyBot=Galaxy.com

GammaSpider/1.0=Gammasite.com

gazz/1.0=Infobee.ne.jp

gazz@nttrd.com=Infobee.ne.jp

Geckobot=Geckobot.com

geckobot=Geckobot.com

GenCrawler=Gendoor.com

generic_crawler/01.0217/=Cmu.edu

GentleSpider=Research.att.com

GeonaBot=Geona.com

GigaBaz=Brainbot.com

GigaBazVStheWeb=Brainbot.com

GigaBlast=Gigablast.com

Gigabot/1.0=Gigablast.com

Gigabot=Gigablast.com

GigabotSiteSearch/2.0 (sitesearch.gigablast.com)=Gigablast.com

GigabotSiteSearch/2.0=Gigablast.com

Giskard=oralco.com

GNODSPIDER=Gnod.net

Goblin/0.9 (http://www.goguides.org/)=Goguides.org

Goblin/0.9.x (http://www.goguides.org/goblin-info.html)=Goguides.org

Goblin/0.9.x=Goguides.org

Goblin/0.9=Goguides.org

GoForIt.com=Goforit.com

Goofer/0.2=Wanadoo.fr

Google=Google.com

Googlebot/1.0=Google.com

Googlebot/2.1= Google.com

Googlebot/Test=Google.com

googlebot@googlebot.com=Google.com

Googlebot=Google.com

Googlebot-Image/1.0=Google.com Image Bot

GrigorBot 0.8=Grigor.biz

grub crawler(http://www.grub.org)=Grub.com

grub-client=Grub.org

gsa-crawler (Enterprise; GID-01422; jplastiras@google.com)=Google.com

gsa-crawler (Enterprise; GID-01742;gsatesting@rediffmail.com)=Google.com

gsa-crawler=Google.com

Gulliver/1.2=Northernlight.com

Gulliver/1.3=Northernlight.com

Gulliver=Northernlight.com

Gulper Web Bot 0.2.4=Gulper Bot

Gulper Web Bot=Gulper Bot

Hatena Antenna/0.4 (http://a.hatena.ne.jp/help#robot)=a.hatena.ne.jp

Hatena Antenna/0.4=a.hatena.ne.jp

HeinrichderMiragoRobot=Mirago.de

HenrytheMiragoRobot=Mirago.co.uk

HenryTheMiragoRobot=Mirago.co.uk

Hippias/0.9 Beta= Hippias Bot

holmes/x.x=Morfeo.centrum.cz

HomePageSearch(hpsearch.uni-trier.de)=Hpsearch.uni-trier.de

Homerbot: www.homerweb.com=Homerweb.com

Homerbot=Homerweb.com

htdig/3.1.6 (http://computerorgs.com)=Computerorgs.com

htdig/3.1.x (root@localhost)=Htdig.org

htdig/3.1.x=Htdig.org

http://www.abcdatos.com/botlink/=Abcdatos.com

Hubater=Hubat.com

ia_archiver/1.6=Archive.org

ia_archiver=Archive.org

IAArchiver-1.0=Archive.org

icsbot-0.1=Icseoul.org

ideare - SignSite/1.x=Ideare.com

Ideare - SignSite=Ideare.com

IlTrovatore-Setaccio (+http://www.iltrovatore.it)=Iltrovatore.it

Iltrovatore-Setaccio/0.3-dev=Iltrovatore.it

IlTrovatore-Setaccio/1.2=Iltrovatore.it

iltrovatore-setaccio/1.2-dev=Iltrovatore.it

IlTrovatore-Setaccio=Iltrovatore.it

IncyWincy=Incywincy.com

IndexTheWeb.com Crawler7=IndexTheWeb.com

Inet library=Inetlibrary.com

info@searchhippo.com=Searchhippo.com

InfoFly/1.0 (http://www.versions-project.org/)=Versions-project.org

InfoFly/1.0= Versions-project.org

InfoSeek Sidewinder/0.9=Infoseek.com

InfoSeek Sidewinder/1.0A= Infoseek.com

InfoSeek Sidewinder/1.1A= Infoseek.com

Infoseek SideWinder/1.45 (Compatible; MSIE 10.0; UNIX)= Infoseek.com

Infoseek SideWinder/1.45= Infoseek.com

Infoseek SideWinder/2.0B (Linux 2.4 i686)= Infoseek.com

Infoseek SideWinder/2.0B= Infoseek.com

InfoSeek Sidewinder=infoseek.com

Inktomi Search=Yahoo.com

Inktomi=Yahoo.com

InnerpriseBot/1.0 (http://www.innerprise.com/)=Innerprise.net

InnerpriseBot/1.0=Innerprise.net

InsumaScout=InsumaScout

Internet Ninja 6.0=Dti.ne.jp

InternetSeer.com= InternetSeer.com

InternetSeer=InternetSeer

InternetSeer=InternetSeer.com

ip3000.com=ip3000.com

ip3000.com-crawler=ip3000.com

IPiumBot laurion(dot)com=Laurion.com

ipiumBot=Laurion.com

Iron33=Verno.ueda.info.waseda.ac.jp

Jabot/6.x (http://odin.ingrid.org/)=Ingrid.org

Jabot/6.x=Ingrid.org

Jabot/7.x.x (http://odin.ingrid.org/)=Ingrid.org

Jabot/7.x.x=Ingrid.org

Jack=Domanova.co.uk

jan.gelin@av.com=Altavista.co.uk

jeeves=Ask Jeeves

Jetbot/1.0=Jeteye.com

JoocerBot=Joocer.com

Jyxobot/x=Jyxo.cz

Katriona=Katriona

KE_1.0/2.0 libwww/5.2.8=Voila.fr

Kenjin Spider=Kenjin.ne.jp

KIT_Fireball/2.0=Fireball.de

KIT-Fireball/2.0 (compatible; Mozilla 4.0; MSIE 5.5)=Fireball.de

KIT-Fireball/2.0=Fireball.de

KIT-Fireball=Fireball.de

Knowledge.com/0.x=Knowledge.com

Kototoi/0.1=s.u-tokyo.ac.jp

kuloko-bot/0.2=Kuloko.com

kuloko-bot/0.x=Kuloko.com

Kulokobot=Kuloko.com

kulturarw3/0.1=National Library of Sweden

LEIA/3.01pr (LEIAcrawler; [sNIP])=Gseek.com

LEIA=Gseek.com

LexiBot=Lexibot.com

LNSpiderguy=Lexis-nexis.com

Look.com=Look.com

lwp-trivial/1.27=Search4free.com

lwp-trivial/1.34=Search4free.com

Lycos_Spider_(T-Rex)/3.0=Lycos.com

Lycos_Spider_(T-Rex)=Lycos.com

lycos=Lycos.com

Mackster( http://www.ukwizz.com )=Ukwizz.com

Mackster=Ukwizz.com

Mag-Net=Wind.it

mailto:webcraft@bea.com=Beasys.com

mammoth/1.0 (+http://www.sli-systems.com/)=Sli-Systems.com

mammoth/1.0=Sli-Systems.com

MantraAgent=Looksmart.com

mapper@teradex.com=Mapper.teradex.com

Mariner/5.1b [de] (Win95; I ;Kolibri gncwebbot)=Kolibri.de

Mariner/5.1b= Kolibri.de

Martini=Looksmart.com

Marvin v0.3=Marvin Bot

marvin/infoseek=Webseek.de

marvin-team@webseek.de=Webseek.de

Mata Hari/2.00=Lexibot.com

MediaCrawler-1.0 (Experimental)=Mediacrawler.de

MediaCrawler-1.0=Mediacrawler.de

Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)=Google.com Adsense

Mediapartners-Google/2.1=Google.com Adsense

MediaSearch/0.1=Www.fi

MegaSheep v1.0 (www.searchuk.com internet sheep)=SearchUK.com

MegaSheep v1.0=SearchUK.com

Mercator=Altavista.com

Mercator=Altavista.com

Mercator-1.x=Altavista.com

Mercator-2.0=Altavista.com

Mercator-Scrub-1.1=Altavista.com

metabot=Metabot

Metaspinner/0.01=Meta-Spinner.de

MFC_Tear_Sample=Microsoft.com

MicrosoftPrototypeCrawler=Microsoft.com

Minibot=Minibot

MiracleAlphaTest=Nec.co.jp

MnogoSearch/3.2.xx=mNoGoSearch.org

moget/2.0=Goo.ne.jp

moget/2.1 (moget@goo.ne.jp)=Goo.ne.jp

moget/2.1=Goo.ne.jp

moget@goo.ne.jp=Goo.ne.jp

Mole2/1.0=Intags.de

Morris - Mixcat Crawler (+http://mixcat.com)=Mixcat.com

Morris - Mixcat Crawler=Mixcat.com

Morris=Mixcat.com

Mouse-House/7.4=Spidermonkey.ca

mozDex/=Mozdex.com

mozDex/0.04-dev=Mozdex.com

Mozilla (Mozilla@somewhere.com)=Somewhere.com

Mozilla/2.0 (compatible; Ask Jeeves)=Ask Jeeves

Mozilla/2.0 (compatible; EZResult -- Internet Search Engine)=DirectHit.com

Mozilla/3.0 (compatible; MuscatFerret/1.5.4; claude@euroferret.com)=Euroferret.com

Mozilla/3.0 (compatible; MuscatFerret/1.5; olly@muscat.co.uk)=Euroferret.com

Mozilla/3.0 (compatible; MuscatFerret/1.6.x; claude@euroferret.com)=Euroferret.com

Mozilla/3.01 (Compatible; Links2Go Similarity Engine)=Links2go.com

Mozilla/4.0 (compatible; FastCrawler3, support-fastcrawler3@fast.no)=AllTheWeb.com

Mozilla/4.0 (compatible; grub-client-2.x)=Grub.org

Mozilla/4.0 (compatible; MSIE 5.0; Windows 95) TrueRobot; 1.5=Echo.com

Mozilla/4.0 (compatible; SpeedySpider; www.entireweb.com)=EntireWeb.com

Mozilla/4.0 (compatible; www.galaxy.com)=Galaxy.com

Mozilla/4.0 [en] (Ask Jeeves Corporate Spider)=Ask Jeeves

Mozilla/4.0(compatible; Zealbot 1.0)=LookSmart.com

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT; MS Search 4.0 Robot)=MSN.com

Mozilla/5.0 wgao@genieknows.com=GenieKnows.com

MP3Bot=mp3bot.de

MSNBOT/0.1=MSN.com

msnbot=MSN.com

MSN=MSN.com

MultiText/0.1=MultiText

MultiText=MultiText

MuscatFerret=Webtop.com

NationalDirectoryAddURL/1.0=NationalDirectory.com

NationalDirectory-SuperSpider=Nationaldirectory.com

NationalDirectory-WebSpider/1.3=NationalDirectory.com

Nazilla=Websmostlinked.com

NEC Research Agent=NEC Research Agent

NetCruiser=NetCruiser

NetResearchServer(http://www.look.com)=Look.com

NetResearchServer=Look.com

NetZippy=Netzippy.com

NextopiaBOT=Nextopia.com

NG/1.0=Exabot.com

Noago Spider=Noago.com

NPBot=NameProtect.com

NPBot-1/2.0=NameProtect.com

NP/0.1=NameProtect.com

NP/0.1 (NP; http://www.nameprotect.com; npbot@nameprotect.com)=NameProtect.com

nttdirectory_robot=Navi.ocn.ne.jp

Nutch=Nutch.org

NutchCVS/0.0x-dev=Nutch.org

NutchOrg/0.0x-dev=Nutch.org

NutchOrg=Nutch.org

NZBot=NavigationZone.com

ObjectsSearch/0.01=ObjectsSearch.com

oBot ((compatible;Win32))=Cobion.com

oBot=Cobion.com

OliverPerry=Claymont.com

OntoSpider/1.0 libwww-perl/5.65=Ontospider.i-n.info

OntoSpider/1.0=Ontospider.i-n.info

OntoSpider=Ontospider.i-n.info

Openbot/=Openfind.com.tw

Openbot/3.0+=Openfind.com.tw

Openbot/3.0=Openfind.com.tw

Opencola=Opencola.com

Openfind piranha=Openfind.com

Openfind Robot/1.1A2=Openfind.com.tw

OpenTextSiteCrawler/2.9.2=Opentext.net

Oracle Ultra Search=Oracle.com

Oxxbot1=Oxxfordinfo.com

Pansophica=Pansophica

ParaSite/1.0b (http://www.ianett.com/parasite/)=Ianett.com

ParaSite/1.0b=Ianett.com

pd02_1.0.0 pd02_1.0.0@dzimi@post.sk=Post.sk

peerbot=Peerbot.com

Phoaks=Phoaks

phortse@hanmail.net=Daum.net

PICgrabber=PICgrabber

PicoSearch/=PicoSearch.com

PicoSearch/1.0=PicoSearch.com

PictureOfInternet=PictureOfInternet

PintaSpider=PintaSpider

pipeLiner/0.10=Pipeline-Search.com

pipeLiner=Pipeline-Search.com

Pita=Pita Bot

Pizilla++ ver 2.45=He.net

PJspider/3.0 (pjspider@portaljuice.com; http://www.portaljuice.com)=Portaljuice.com

PJspider/3.0=Portaljuice.com

PJspider=Portaljuice.com

polybot 1.0 (http://cis.poly.edu/polybot/)= PolyBot

polybot 1.0=PolyBot

PolyBot=PolyBot

Pompos/1.x http://dir.com/pompos.html=Dir.com

Pompos/1.x pompos@iliad.fr=Iliad.fr

Pompos/1.x=Free.fr

Popdexter/1.0=Popdex.com

PortalBSpider/2.0 (spider@portalb.com)=Portalb.com

PortalBSpider/2.0=Portalb.com

Project XP5 [2.03.07-111203]= XP5 Bot

Project XP5=XP5 Bot

PROve AnswerBot 4.0=Answerchase.com

psbot/0.1 (+http://www.picsearch.com/bot.html)=Picsearch.com

psbot/0.1=Picsearch.com

psbot=Picsearch.com

Qango.com Web Directory (http://www.qango.com/)=Qango.com

Qango.com Web Directory= Qango.com

QPCreep Test Rig ( We are not indexing, just testing ) =Quepasa.com

QPCreep Test Rig=Quepasa.com

QuepasaCreep ( crawler@quepasacorp.com )=Quepasa.com

QuepasaCreep v0.9.1x=Quepasa.com

QuepasaCreep=Quepasa.com

QueryN Metasearch=Queryn.com

rabaz (rabaz at gigabaz dot com)=Brainbot.com

Rabaz=Brainbot.com

RaBot=Daum.net

ramBot xtreme x.x=Intersearch.de

Reaper [2.03.10-031204] (http://www.sitesearch.ca/reaper/)=Sitesearch.ca

Reaper [2.03.10-031204]=Sitesearch.ca

Reaper/2.0x (+http://www.sitesearch.ca/reaper)=Sitesearch.ca

Reaper/2.0x=Sitesearch.ca

Reaper=Sitesearch.ca

roach.smo.av.com-1.0=Altavista.com

roach.smo.av.com-1.0=Altavista.com

RoboCrawl (www.canadiancontent.net)=CanadianContent.net

RoboCrawl=CanadianContent.net

Robot/www.pj-search.com=PJ-Search.com

Robot@SuperSnooper.Com=SuperSnooper.com

robot@xyleme.com=Xyleme.com

robot-master@expressus.com=Expressus.com

robot-response@openfind.com.tw=Openfind.com.tw

Robozilla/1.0=Dmoz.org

Rotondo/3.1 libwww/5.3.1=Qualigo.de

ru-robot=Rutgers.edu

Scooter/1.0 scooter@pa.dec.com=Altavista.com

Scooter/1.0=Altavista.com

Scooter/1.1 (custom)=Altavista.com

Scooter/2.0 G.R.A.B. V1.1.0 =Altavista.com

Scooter/2.0 G.R.A.B. X2.0=Altavista.com

Scooter/3.3.QA.pczukor=Altavista.com

Scooter/3.3.vscooter=Altavista.com

Scooter/3.3_SF=Altavista.com

Scooter/3.3=Altavista.com

Scooter_bh0-3.0.3=Altavista.com

Scooter_trk3-3.0.3=Altavista.com

Scooter=Altavista.com

Scooter2_Mercator_3-1.0=Altavista.com

Scooter2_Mercator_x-x.0=Altavista.com

Scooter-3.0.EU=Altavista.com

Scooter-3.0.FS=Altavista.com

Scooter-3.0.HD=Altavista.com

Scooter-3.0.VNS=Altavista.com

Scooter-3.0QI=Altavista.com

Scooter-3.2.BT=Altavista.com

Scooter-3.2.DIL=Altavista.com

Scooter-3.2.EX=Altavista.com

Scooter-3.2.JT=Altavista.com

Scooter-3.2.NIV=Altavista.com

Scooter-3.2.SF0=Altavista.com

Scooter-3.2.snippet=Altavista.com

Scooter-3.2=Altavista.com

Scooter-3.3dev=Altavista.com

Scooter-ARS-1.1=Altavista.com

Scooter-ARS-1.1-ih=Altavista.com

scooter-venus-3.0.vns=Altavista.com

Scooter-W3.1.2=Altavista.com

Scooter-W3-1.0=Altavista.com

Scrubby/=Scrubtheweb.com

search.at V1.2=Search.at

search.ch V1.4.2=Search.ch

search.ch V1.4=Search.ch

SearchExpress Spider0.99=SearchExpress.com

Searchit-Now Robot/2.2 (+http://www.searchit-now.co.uk)=Searchit-now.co.uk

Searchit-Now Robot/2.2=Searchit-now.co.uk

SearchSpider.com/1.1=Searchspider.com

Searchspider/=Searchspider.com

Searchspider/1.2=Searchspider.com

sebastien.ailleret@inria.fr=Inria.fr

Seeker.lookseek.com=Lookseek.com

SeznamBot/1.0=Seznam.cz

SeznamBot/1.0 (+http://fulltext.seznam.cz/)=Seznam.cz

Shark=Openfind.com

sherlock_spider=Sherlock.com.cn

SightQuestBot/=Sightquest.com

SiteSpider +(http://www.SiteSpider.com/)=Sitespider.com

SiteSpider=Sitespider.com

SiteXpert=Xtreeme.com

Skampy/0.9.x= Skaffe.com

Skimpy/0.x=Skaffe.com

Slarp/0.1=Only.com

Slider_Search_v1-de=Slider.com

Slurp=Yahoo

Slurp.so/1.0= Yahoo.com

Slurp/2.0j=Yahoo.com

Slurp/2.0-KiteHourly=Yahoo.com

Slurp/2.0-OwlWeekly=Yahoo.com

Slurp/3.0-AU=Yahoo.com

slurp@inktomi.com=Yahoo.com

slurp@inktomi= Yahoo.com

Slurp=Yahoo.com

SlySearch/1.0=Turnitin.com

SlySearch/1.x=Turnitin.com

SlySearch=Turnitin.com

speedfind ramBot xtreme 8.1=Speedfind.de

speedfind ramBot xtreme=Speedfind.de

Speedy Spider=EntireWeb.com

Speedy Spider (Beta/x.x; speedy@entireweb.com)=EntireWeb.com

Speedy_Spider (http://www.entireweb.com)=EntireWeb.com

Speedy_Spider=EntireWeb.com

Spida/0.1=Only.com

Spider TraficDublu=Traficdublu.ro

Spider/maxbot.com admin@maxbot.com=Maxbot.com

Spider/maxbot.com=Maxbot.com

spider@aeneid.com=Yahoo.com

Spider_Monkey/=Spidermonkey.ca

spider_monkey=Spidermonkey.ca

SpiderMonkey/7.x=Spidermonkey.ca

Sqworm/2.9.81-BETA (beta_release; 20011102-760; i686-pc-linux-gnu)=Aol.com

Sqworm=Aol.com

Steeler/1.x (http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)=Steeler Bot

Steeler/1.x=Steeler Bot

Steeler=Steeler Bot

Suchbot=Suchbot.de

Suchknecht.at-Robot=Suchknecht.at

super-robot@super.navi.ocn.ne.jp=Navi.ocn.ne.jp

support@canseek.ca=Canseek.ca

Surfnomore Spider v1.1=Surfnomore.com

SwissSearch V1.2=SwissSearch

SynoBot=Synomia.fr

TaWWWantula=TaWWWantula

teoma_admin@hawkholdings.com=Teoma.com

teoma_agent1=Teoma.com

TeraCrawl=TeraCrawl

Teradex_Mapper=Mapper.teradex.com

The Informant=The Informant

TheSuBot/0.1 (www.thesubot.de)=TheSuBot.de

TheSuBot/0.1=TheSuBot.de

Toutatis 2.5-2=Hoppa.com

Toutatis 3.3 (hoppa.com)=Hoppa.com

Toutatis 4-19.6 (hoppa.com)=Hoppa.com

TurnitinBot/x.x (http://www.turnitin.com/robot/crawlerinfo.html)=Turnitin.com

TurnitinBot/x.x=Turnitin.com

TurnitinBot=Turnitin.com

Tutorial Crawler=Tutorgig.com

Tv<nn>_Merc_resh_26_1_D-1.0=Altavista.com

Tv<nn>_Merc_resh_26_1_D-1.0=Altavista.com

TygoBot=Tygo.com

UCmore=Ucmore.com

UdmSearch=Mnogosearch.org

UK Searcher Spider=Uksearcher.co.uk

Ultraseek=Infoseek.com

unlostBot=Unlost.com

updated/0.1beta=Updated.com

URLBlaze=Urlblaze.net

UrlScope=UrlScope

Vagabondo/1.x MT (webagent@wise-guys.nl)=Wise-guys.nl

Vagabondo/2.0 MT (webagent at wise-guys dot nl)=Wise-guys.nl

Vagabondo/2.0 MT (webagent@NOSPAMwise-guys.nl)=Wise-guys.nl

Vagabondo/2.0 MT=Wise-guys.nl

Vagabondo=Wise-guys.nl

vspider=Verity.com

webbandit/4.xx.0=WebBandit

Webbandit=WebBandit

Webclipping.com=WebClipping.com

webcollage/1.xx=WebCollage.com

webcollage=WebCollage.com

WebCompass=WebCompass

WebCrawler/3.0 Robot libwww/5.0a=WebCrawler

WebCrawler-AddURL/2.0=WebCrawler

WebFindBot(http://www.web-find.com)=Web-find.com

WebFindBot=Web-find.com

WebGather=WebGather

WebGenie=WebGenie

webmaster@intags.de=Intags.de

whatUseek_winona/3.0=Whatuseek.com

whatuseek=Whatuseek.com

WhizBang! Lab=Whizbanglabs.com

WIRE WebRefiner=Wire.co.uk

wisenutbot=Looksmart.com

WSCbot=WorldSearchCenter.com

www.inktomisearch.com=Yahoo.com

www.WebWombat.com.au=Webwombat.com.au

YahooSeeker/CafeKelsa=Yahoo.com

Yandex=Yandex

Yellopet-Spider=YellowPet.com

YottaShopping_Bot/4.12=YottaShopping.com

Zao/0.1 (http://www.kototoi.org/zao/)=Zao Bot

Zao/0.1=Zao Bot

Zao/0.2=Zao Bot

Zao-Crawler=Zao Bot

Zippy v2.0 - Zippyfinder.com=Zippyfinder.com

ZyBorg=Wisenut.com

Ссылка на комментарий
Поделиться на других сайтах

  • 0
вопрос такой, в списке пользователей постоянно висят одинаковые ip, ясно что это боты, но они портят статистику форума, что можно сделать?
Ссылка на комментарий
Поделиться на других сайтах

  • 0

Интересно, каким таким образом, юзеры и боты могут испортить статистику... Забавно.

 

А банить IP - опасное занятие. Для админской головы опасное - юзеры отрвут. Напрочь. А если с этого единственного IP на конфу ходит народ из своей локальной сети?

 

Смотреть нужно по user-agent. Если это боты, то средство их блокировки элементарно - ботам присваивается через админку группа "banned", и все дела... Но... здесь явно у админа голова не в порядке - боты индексируют конфу и разносят информацию о ней по всей сети. Это позволяет получить приток юзеров примерно на 10%. Если боты жрут трафик, то... зачем вы вообще завели конфу, если не можете обеспечить её каналом связи?! Кроме этого, некоторые хостеры ПЛАТЯТ ВАМ за то, что юзеры скачивают у вас..., а боты создают именно такой трафик - выгодный хостеру.

 

Если вы сомневаетесь в моих словах, то... учите технику ребята...

 

PS

Моя конфа могла бы сама по себе окупать себя, давая нам $60 ежемесячно. За колокейшн мы платим $55 ежемесячно. (цифра прибыли получена при использовании калькулятора хостера, в который введены реальные среднестатистические параметры). Правда, мы пока не написали заявление о включении этой возможности.

 

PSS

Учите технику...

Ссылка на комментарий
Поделиться на других сайтах

  • 0

Наблюдатель

мда... как мало ты знаешь. В-первых, если ботам присвоить группу Banned, то форум перестанет индексироваться. Никакой траффик и никакой хостер нам не нужен, у нас форум базируется на собственной серваке, который стоит в редакции крупного журнала, так что и платить нам не надо, мы представляем журнал.

А насчет статистики - допустим в онлайне 50 юзеров, и 10 из них с одинаковым ip = испорченная статистика, т.к по идее должно быть 41.

Ссылка на комментарий
Поделиться на других сайтах

  • 0
Бог завещал делиться. :D Вот мой список.

-----------------------------------------

 

а тормозить не будет с такой кучей ???

Ссылка на комментарий
Поделиться на других сайтах

  • 0
Вау!!! Спасибо за кучу... главное что бы не тормазило.. действительно)))[1123037688:1123038049]Еще, я конечно понимаю что список большой, а там точно есть те боты которые были написанны до этого?? А то пол дня займет что бы это проверить)))
Ссылка на комментарий
Поделиться на других сайтах

  • 0
Как сделать, чтобы разные боты Яндекса по-разному отображались (I - основной индексировщик, P - просмотрщик картинок и т.д.)?
Ссылка на комментарий
Поделиться на других сайтах

  • 0
а это правильно, что с точки зрения форума боты остаются "Гостями" при подсчёте, сколько гостей, участников и т.п. на форуме ? Изменено пользователем kornevgen
Ссылка на комментарий
Поделиться на других сайтах

  • 0

Я вот к вам попал из страны phpnuke и форума phpbb (opck.net -проба сил перед ipb) и в ipb я не шарю но этот мощный форум мне очень по душе...

Смотрю тут жарко обсуждается тема ботов, у меня по этому поводу несколько вопросов:

1) Верно ли я понял что, боты нужны для того чтобы БЫСТРО индексировать форум

2) Ещё они нужны для того чтобы накручивать статистику и количество online пользователей, а также исходящий трафик.

Напишите для чего вообще нужны эти боты, почему вы их так активно обсуждаете?

Зарание Спасибо.

Ссылка на комментарий
Поделиться на других сайтах

  • 0
Как сделать, чтобы разные боты Яндекса по-разному отображались (I - основной индексировщик, P - просмотрщик картинок и т.д.)?
Посмотри юзер-агент каждого робота и пропиши их отдельными строками.

 

а это правильно, что с точки зрения форума боты остаются "Гостями" при подсчёте, сколько гостей, участников и т.п. на форуме ?
Если ты припишешь ботов к группе "гость", то да.

 

Я вот к вам попал из страны phpnuke и форума phpbb (opck.net -проба сил перед ipb) и в ipb я не шарю но этот мощный форум мне очень по душе...

Смотрю тут жарко обсуждается тема ботов, у меня по этому поводу несколько вопросов:

1) Верно ли я понял что, боты нужны для того чтобы БЫСТРО индексировать форум

2) Ещё они нужны для того чтобы накручивать статистику и количество online пользователей, а также исходящий трафик.

Напишите для чего вообще нужны эти боты, почему вы их так активно обсуждаете?

Зарание Спасибо.

Боты шарятся по сети независимо от того прописал ты их или нет. Просто, когда они прописаны - то ты их видишь... они проявляются из небытия.

Тем, кто интересуется посещаемостью своей конфы это даёт некоторую статистику и открывает пути её повышения. Например, я вижу, что меня не посетил ни один яндекс-бот. Значит я иду на яндекс и вношу свою конфу в список заявок на посещения меня ботом... http://webmaster.yandex.ru/

Конечно, у меня лежит на сервере robots.txt и заполнены соответствующие мета-тэги в заголовке конфы...

И потом... видишь Гугл у себя на конфе и чувствуешь... что жив пока, курилка! Боты бегают, жизнь идёт...

Изменено пользователем Наблюдатель
Ссылка на комментарий
Поделиться на других сайтах

  • 0

позаимствовано из awstats

appie=Walhello appie
architext=ArchitextSpider
jeeves=AskJeeves
bjaaland=Bjaaland
ferret=Wild Ferret Web Hopper #1, #2, #3
googlebot=Googlebot
gulliver=Northern Light Gulliver
harvest=Harvest
htdig=ht://Dig
linkwalker=LinkWalker
lycos_=Lycos
moget=moget
muscatferret=Muscat Ferret
myweb=Internet Shinchakubin
nomad=Nomad
scooter=Scooter
slurp=Inktomi Slurp
voyager=Voyager
weblayers=weblayers
antibot=Antibot
digout4u=Digout4u
echo=EchO!
fast-webcrawler=Fast-Webcrawler
ia_archiver=Alexa (IA Archiver)
jennybot=JennyBot
mercator=Mercator
msnbot=MSNBot
netcraft=Netcraft
petersnews=Petersnews
unlost_web_crawler=Unlost Web Crawler
voila=Voila
webbase=WebBase
wisenutbot=WISENutbot
fish=Fish search
abcdatos=ABCdatos BotLink
acme.spider=Acme.Spider
ahoythehomepagefinder=Ahoy! The Homepage Finder
alkaline=Alkaline
anthill=Anthill
arachnophilia=Arachnophilia
arale=Arale
araneo=Araneo
aretha=Aretha
ariadne=ARIADNE
arks=arks
aspider=ASpider (Associative Spider)
atn.txt=ATN Worldwide
atomz=Atomz.com Search Robot
auresys=AURESYS
backrub=BackRub
bbot=BBot
bigbrother=Big Brother
blackwidow=BlackWidow
blindekuh=Die Blinde Kuh
bloodhound=Bloodhound
borg-bot=Borg-Bot
brightnet=bright.net caching robot
bspider=BSpider
cactvschemistryspider=CACTVS Chemistry Spider
calif=Calif
cassandra=Cassandra
cgireader=Digimarc Marcspider/CGI
checkbot=Checkbot
christcrawler=ChristCrawler.com
churl=churl
cienciaficcion=cIeNcIaFiCcIoN.nEt
collective=Collective
combine=Combine System
conceptbot=Conceptbot
coolbot=CoolBot
core=Web Core / Roots
cosmos=XYLEME Robot
cruiser=Internet Cruiser Robot
cusco=Cusco
cyberspyder=CyberSpyder Link Test
desertrealm=Desert Realm Spider
deweb=DeWeb(c) Katalog/Index
dienstspider=DienstSpider
digger=Digger
diibot=Digital Integrity Robot
direct_hit=Direct Hit Grabber
dnabot=DNAbot
download_express=DownLoad Express
dragonbot=DragonBot
dwcp=DWCP (Dridus' Web Cataloging Project)
e-collector=e-collector
ebiness=EbiNess
elfinbot=ELFINBOT
emacs=Emacs-w3 Search Engine
emcspider=ananzi
esther=Esther
evliyacelebi=Evliya Celebi
fastcrawler=FastCrawler
fdse=Fluid Dynamics Search Engine robot
felix=Felix IDE
fetchrover=FetchRover
fido=fido
finnish=Hдmдhдkki
fireball=KIT-Fireball
fouineur=Fouineur
francoroute=Robot Francoroute
freecrawl=Freecrawl
funnelweb=FunnelWeb
gama=gammaSpider, FocusedCrawler
gazz=gazz
gcreep=GCreep
getbot=GetBot
geturl=GetURL
golem=Golem
grapnel=Grapnel/0.01 Experiment
griffon=Griffon
gromit=Gromit
gulperbot=Gulper Bot
hambot=HamBot
havindex=havIndex
hometown=Hometown Spider Pro
htmlgobble=HTMLgobble
hyperdecontextualizer=Hyper-Decontextualizer
iajabot=iajaBot
iconoclast=Popular Iconoclast
ilse=Ingrid
imagelock=Imagelock
incywincy=IncyWincy
informant=Informant
infoseek=InfoSeek Robot 1.0
infoseeksidewinder=Infoseek Sidewinder
infospider=InfoSpiders
inspectorwww=Inspector Web
intelliagent=IntelliAgent
irobot=I, Robot
iron33=Iron33
israelisearch=Israeli-search
javabee=JavaBee
jbot=JBot Java Web Robot
jcrawler=JCrawler
jobo=JoBo Java Web Robot
jobot=Jobot
joebot=JoeBot
jubii=The Jubii Indexing Robot
jumpstation=JumpStation
kapsi=image.kapsi.net
katipo=Katipo
kilroy=Kilroy
ko_yappo_robot=KO_Yappo_Robot
labelgrabber.txt=LabelGrabber
larbin=larbin
legs=legs
linkidator=Link Validator
linkscan=LinkScan
lockon=Lockon
logo_gif=logo.gif Crawler
macworm=Mac WWWWorm
magpie=Magpie
marvin=marvin/infoseek
mattie=Mattie
mediafox=MediaFox
merzscope=MerzScope
meshexplorer=NEC-MeshExplorer
mindcrawler=MindCrawler
mnogosearch=mnoGoSearch search engine software
momspider=MOMspider
monster=Monster
motor=Motor
muncher=Muncher
mwdsearch=Mwd.Search
ndspider=NDSpider
nederland.zoek=Nederland.zoek
netcarta=NetCarta WebMap Engine
netmechanic=NetMechanic
netscoop=NetScoop
newscan-online=newscan-online
nhse=NHSE Web Forager
northstar=The NorthStar Robot
nzexplorer=nzexplorer
objectssearch=ObjectsSearch
occam=Occam
octopus=HKU WWW Octopus
openfind=Openfind data gatherer
orb_search=Orb Search
packrat=Pack Rat
pageboy=PageBoy
parasite=ParaSite
patric=Patric
pegasus=pegasus
perignator=The Peregrinator
perlcrawler=PerlCrawler 1.0
phantom=Phantom
phpdig=PhpDig
piltdownman=PiltdownMan
pimptrain=Pimptrain.com's robot
pioneer=Pioneer
pitkow=html_analyzer
pjspider=Portal Juice Spider
plumtreewebaccessor=PlumtreeWebAccessor
poppi=Poppi
portalb=PortalB Spider
psbot=psbot
python=The Python Robot
raven=Raven Search
rbse=RBSE Spider
resumerobot=Resume Robot
rhcs=RoadHouse Crawling System
road_runner=Road Runner: The ImageScape Robot
robbie=Robbie the Robot
robi=ComputingSite Robi/1.0
robocrawl=RoboCrawl Spider
robofox=RoboFox
robozilla=Robozilla
roverbot=Roverbot
rules=RuLeS
safetynetrobot=SafetyNet Robot
search-info=Sleek
search_au=Search.Aus-AU.COM
searchprocess=SearchProcess
senrigan=Senrigan
sgscout=SG-Scout
shaggy=ShagSeeker
shaihulud=Shai'Hulud
sift=Sift
simbot=Simmany Robot Ver1.0
site-valet=Site Valet
sitetech=SiteTech-Rover
skymob=Skymob.com
slcrawler=SLCrawler
smartspider=Smart Spider
snooper=Snooper
solbot=Solbot
speedy=Speedy Spider
spider_monkey=spider_monkey
spiderbot=SpiderBot
spiderline=Spiderline Crawler
spiderman=SpiderMan
spiderview=SpiderView(tm)
spry=Spry Wizard Robot
ssearcher=Site Searcher
suke=Suke
suntek=suntek search engine
sven=Sven
tach_bw=TACH Black Widow
tarantula=Tarantula
tarspider=tarspider
techbot=TechBOT
templeton=Templeton
titan=TITAN
titin=TitIn
tkwww=The TkWWW Robot
tlspider=TLSpider
ucsd=UCSD Crawl
udmsearch=UdmSearch
urlck=URL Check
valkyrie=Valkyrie
verticrawl=Verticrawl
victoria=Victoria
visionsearch=vision-search
voidbot=void-bot
vwbot=VWbot
w3index=The NWI Robot
w3m2=W3M2
wallpaper=WallPaper (alias crawlpaper)
wanderer=the World Wide Web Wanderer
wapspider=w@pSpider by wap4.com
webbandit=WebBandit Web Spider
webcatcher=WebCatcher
webcopy=WebCopy
webfetcher=webfetcher
webfoot=The Webfoot Robot
webinator=Webinator
weblinker=WebLinker
webmirror=WebMirror
webmoose=The Web Moose
webquest=WebQuest
webreader=Digimarc MarcSpider
webreaper=WebReaper
websnarf=Websnarf
webspider=WebSpider
webvac=WebVac
webwalk=webwalk
webwalker=WebWalker
webwatch=WebWatch
whatuseek=whatUseek Winona
whowhere=WhoWhere Robot
wired-digital=Wired Digital
wmir=w3mir
wolp=WebStolperer
wombat=The Web Wombat
worm=The World Wide Web Worm
wwwc=WWWC Ver 0.2.5
wz101=WebZinger
xget=XGET
aport=Aport
awbot=AWBot
baiduspider=BaiDuSpider
bobby=Bobby
boris=Boris
bumblebee=Bumblebee (relevare.com)
cscrawler=CsCrawler
daviesbot=DaviesBot
exactseek=ExactSeek Crawler
ezresult=Ezresult
gigabot=GigaBot
gnodspider=GNOD Spider
grub=Grub.org
henrythemiragorobot=Mirago
holmes=Holmes
internetseer=InternetSeer
justview=JustView
linkbot=LinkBot
linkchecker=LinkChecker
mediapartners-google=Google AdSense
metager-linkchecker=MetaGer LinkChecker
microsoft_url_control=Microsoft URL Control
nagios=Nagios
msiecrawler=MSIECrawler
perman=Perman surfer
pompos=Pompos
rambler=StackRambler
redalert=Red Alert
shoutcast=Shoutcast Directory Service
slysearch=SlySearch
surveybot=SurveyBot
turnitinbot=Turn It In
turtle=Turtle
turtlescanner=Turtle
ultraseek=Ultraseek
webclipping.com=WebClipping.com
webcompass=webcompass
wonderer=Web Wombat Redback Spider
yahoo-verticalcrawler=Yahoo Vertical Crawler
yandex=Yandex bot
zealbot=ZealBot
zyborg=Zyborg

P.S. интересно сильно ли нагрузка увеличится? :D

Ссылка на комментарий
Поделиться на других сайтах

  • 0
P.S. интересно сильно ли нагрузка увеличится?

Если отключить запись логов посещений, то не очень. А вообще, да, нагрузка возрастает, потому как каждого бота нужно обработать, а это дополнительные запросы к базе. Логи могут занимать многие мегабайты в базе.

Ссылка на комментарий
Поделиться на других сайтах

  • 0

Ребят, нашёл вот такого гада:

Name: crawl-ru-85-21-193-107.webaltabot.com

Address: 85.21.193.107

 

Подскажите новичку, как добавить бота в список? Что надо прописать? А то список нашёл, а как прописать - не знаю. :D

Ссылка на комментарий
Поделиться на других сайтах

  • 0

Нашёл его случайно с пару месяцев назад. Он заскочил ко мне на локалхост и поднял рекорд посещаемости до...

Рекорд: 117 посетителей, был установлен 23 апреля 2006, 10:52

У меня он так прописан...

WebAlta=^WebAlta^

 

Причём, бот весьма активен, а вот их сайт... да, работает, искать можно, но на два моих письма не ответили (у них там есть форма ввода).

 

http://webalta.ru/

 

 

И ещё один бот...

bot@adre.ru=^Adre^

Но пока он не заходил...

Ссылка на комментарий
Поделиться на других сайтах

  • 0
А вот я ещё что хотел спросить. Можно ли сделать так, чтобы локальные IP адреса некоторые (определённые) прописать как ботов. А то ситуация такая: у нас в локалке 2 форума. Тот, который держу я, большой. Там 1500 постов уже. А есть ещё один форум, он появился недано, там не пишут, вот и админы того форума сманивают народ к себе с моего форума. А ко мне на форум ходят только гостем, то бишь не авторизуются. Вот хотелось бы узнать, можно ли сделать так, чтобы прописать им названия по типу как у ботов :D, чтобы стыдно стало. ;). Или же... если можно... то хотя бы всей группе Гостей.
Ссылка на комментарий
Поделиться на других сайтах

  • 0

Вообще-то... если у тебя конфа привлекает юзеров, то их никто не сманит. А если конфа скучная, то сами убегут. Это моё личное мнение. А в ответ на твой вопрос...

 

Боты определяются по их юзер-агент (useragent). Если перевести это на людей, то конфа определяет их тип браузера. Т.е. каждый бот "работает" через свой уникальный "браузер", что и позволяет его идентифицировать как бота, а юзеры работают через ограниченное число типов браузеров. Короче, как бота прописать юзера, не получится.

 

--------лирическое отступление

У меня в локалке свой прокси-сервер (анонимайзер). Я через него подключаю юзеров локалки к моим ресурсам в интернете. Чтобы идентифицировать их, я прописал в настройке прокси уникальное название юзерагента и внёс его в список ботов. Таким образом я вижу, что в данный момент на конфе в интернете есть юзеры, которые работают через мой домашний прокси. Но у тебя другая задача...

---------------------

 

Короче, ты можешь забанить определённый IP средствами конфы или средствами .htaccess

Ты можешь перенаправить юзера с определённого IP куда угодно средствами .htaccess (например, на lo-fi-версию только для чтения)

 

Подробнее об использовании .htaccess ищи в интернете - там полно...

 

А вообще... дружить надо...

 

У меня вон... два клона материнства - это война..., потому как воруют идеи... А юзер к ним не идёт... Юзер не дурак - он чуствует воровство и фальш.

Ссылка на комментарий
Поделиться на других сайтах

  • 0
По поводу ВебАльты.

 

WebAlta Crawler/1.3.11 (http://www.webalta.ru/bot.html) (Windows; U; Windows NT 5.1; ru-RU)

 

*.webaltabot.com

 

вот он какой :D

Пройди по ссылке в его юзерагенте. Там же ясно написано...

Для указания директив непосредственно Webalta Crawler, необходимо задать имя робота Webalta:
User-agent: Webalta

Ссылка на комментарий
Поделиться на других сайтах

Присоединиться к обсуждению

Вы можете ответить сейчас, а зарегистрироваться позже. Если у вас уже есть аккаунт, войдите, чтобы ответить от своего имени.

Гость
Ответить на вопрос...

×   Вы вставили отформатированный текст.   Удалить форматирование

  Допустимо не более 75 смайлов.

×   Ваша ссылка была автоматически заменена на медиа-контент.   Отображать как ссылку

×   Ваши публикации восстановлены.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

Зарузка...

×
×
  • Создать...

Важная информация

Находясь на нашем сайте, вы соглашаетесь на использование файлов cookie, а также с нашим положением о конфиденциальности Политика конфиденциальности и пользовательским соглашением Условия использования.