Интересные user_agent'ы

[Song]

Поставил логирование user_agent'ов, потому что больно много стало валить гостей. "Наверно боты" подумал я, и, чтобы их добавить в список ботов сделал логирование юзер-агентов.

И вот что обнаружилось интересненького:

 

HTMLParser/1.5

Download Master

Mediapartners-Google/2.1

MJ12bot/v1.0.7 (http://majestic12.co.uk/bot.php?+)

ichiro/2.0 (http://help.goo.ne.jp/door/crawler.html)

SharpReader/0.9.5.1 (.NET CLR 1.1.4322.573; WinNT 5.1.2600.0

TurnitinBot/2.0 http://www.turnitin.com/robot/crawlerinfo.ht

 

Кто-нить чего-нить слышал? Особенно первые 3 интересуют.

[Dr.Freddy]

Ну, второй — просто архивы твоего ресурса кто-то делает. Первое то же самое, только тут попахивает уже воровством информации ну или, в лучшем случае, систематизацией с какими то целями — иначе зачем парсить страницу?

[xRay]

Юзер_агент это по сути байда

т.к. можно хоть Vasya Crawler в логах словить

[cthulhu]

Поставил логирование user_agent'ов, потому что больно много стало валить гостей. "Наверно боты" подумал я, и, чтобы их добавить в список ботов сделал логирование юзер-агентов.

И вот что обнаружилось интересненького:

 

HTMLParser/1.5

Download Master

Mediapartners-Google/2.1

MJ12bot/v1.0.7 (http://majestic12.co.uk/bot.php?+)

ichiro/2.0 (http://help.goo.ne.jp/door/crawler.html)

SharpReader/0.9.5.1 (.NET CLR 1.1.4322.573; WinNT 5.1.2600.0

TurnitinBot/2.0 http://www.turnitin.com/robot/crawlerinfo.ht

 

Кто-нить чего-нить слышал? Особенно первые 3 интересуют.

судя по третьему, у тебя стоит гугл адсенс или еще что-то рекламное от гугла...

если не стоит - то это уже интересно...

 

Download Master - это менеджер для скачивания, вот: _http://www.westbyte.com/dm/index.phtml

HTMLParser - это может быть что угодно, что-то рукописное, вроде как такой юзер-агент у какой-то библиотеки для Явы..

 

а вообще, все это(кроме гугла, гугл я и так знаю) я узнал тут http://www.psychedelix.com/agents/index.shtml, подозреваю, остальное можно там же узнать...

[FatCat]

Если память не изменяет, HTMLParser ищет в текстах мейлы. Потом продают спам-базы.

[Song]

Становится интересней!!

 

Wget/1.9+cvs-stable (Red Hat modified)

Nokia6630/1.0 (4.03.38) SymbianOS/8.0 Series60/2.6 Profile/M

Fuck/1.0 (7-bit)

Browser/v1.11

[Arhar]

Да сами люди пишут программы

[Valera]

сами люди пишут программы

писать не обязательно, в атгуарде, была фича, при помощи которой можно было легко править юзер агент, когда он был у меня установлен, я посещал сайты в мозилле, а юзер агент был Notepad 1.0.

[xRay]

ДА можно еще проще юзерагента н.р. в Proxomitron какого хочеш возвращать сайтам ))

[catbegemot.net]

TurnitinBot/2.0 http://www.turnitin.com/robot/crawlerinfo.ht

 

Это сайт, куда американские студенты сдают сочинения на проверку. Система ищет схожие тексты в интернете и сообщает преподавателю если кто-то где-то забыл переставить слова в стыренном сочинении

[ZiDaNe]

TurnitinBot/2.0 http://www.turnitin.com/robot/crawlerinfo.ht

 

Это сайт, куда американские студенты сдают сочинения на проверку. Система ищет схожие тексты в интернете и сообщает преподавателю если кто-то где-то забыл переставить слова в стыренном сочинении

Недавно и в России открыли такую систему. Более того - в ряде ВУЗов она обязательна к использованию!

[Xeim.net]

А что такое user-agent?

Кто-нибудь расскажет?

[Garret]

Это идентификатор совокупности браузера пользователя, операционки и т.д.

 

Например: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.0.4) Gecko/20060508 Firefox/1.5.0.4

[Valera]

А что такое user-agent?

Кто-нибудь расскажет?

 

Это секретная жидо-массонская организация.

[Garret]

Ну зачем так сразу все выдавать???

[Xeim.net]

И все-таки с чем их едят?

 

Я видел мод для User Agent'a, но там тоже не понял для чего он нужен. Поэтому хочу знать в двух словах...

[Garret]

Лучше спроси с чем их пьют

 

Что не видно было что в том моде браузер пользователя определялся?