Гугл-Бот беспределит

[PALADIN+]

Глянул тут статистику ботов, очень заинтересовал Гугл. Он один за текущие сутки побывал у меня 600 раз.

Причём иногда за минуту было до 10ти запросов.

 

Всего хитов с Гугла 141738 начиная с 09.10.2005, 04:45 (тогда был поставлен счётчик на ботов)

 

Это как, в порядке вещей? Может это благодаря ему у меня форум вешается время от времени*?

[.silent]

Ты, видимо, еще Яndex'а не видал

600 хитов - это нормально, бывает. Проиндексирует всё, а дальше будет поменьше.

[Dekker]

нормальное поведение гуглового бота, мне было страшно смотреть на яндексового когда меня наконец то соизволили переиндексировать

[Destruction]

С Ботами ИМХО - следует бороться перенаправляя их на текстовую версию, если они через неё ваш форум замучают, то это уже интересно -)

[sM1Le]

нормальное поведение гуглового бота, мне было страшно смотреть на яндексового когда меня наконец то соизволили переиндексировать

Меня больше всего индексируют Yandex, Rambler и MSN, а Google вообще редко заходит в гости

[Fisana]

Меня индексируют даже слишком Яндекс, MSN и Crawler.de, Гугл меньше

а вот приводят людей -

За 2.5 месяца:

Google 51.2%

Яндекс 43.3%

Rambler 3.7%

Yahoo 0.3%

MSN 0.1%

Search.Mail.ru 0.9%

Altavista 0.2%

Nigma 0.1%

Fast (AllTheWeb) 0.2%

Ощущение, что Гугл по делу индексирует, по тематике.. А Яндекс как попало.

[cthulhu]

у меня где-то за 10 дней от гугла набегает от 10 до 20 тыс. хитов...

от яндекса в районе 10 тыс...

еще мсн довольно шустрый, и еще как-то раз было нашествие гигабласта(несколько сот хитов в течении нескольких часов)...

в общем, ничего из ряда вон выходящего в 150 тыс. хитов за 4 месяца нету...

[Felix]

А я его забанил по маске и не парюсь )))

[PALADIN+]

Я вот думаю, а нафига мне такая большая таблица ibf_spider_logs 163440 8.0 MB + 1.3 MB ?

Можно кильнуть содержимое, и жить спокойно? Она не нужна никому, так?

[Fisana]

Я уже отключила ведение логов посещений ботов.

Замучалась логи чистить.

А логи чистить нужно, чтобы таблицы не росли...

Имхо обнулить ее надо, но не килять..

[Song]

А зачем они эти логи?

[Fisana]

Мне вначале было интересно изучать поведение ботов, так как на мой локальный форум они не заходят.

А тут что-то новое, вот и оставила в настройках ведение журнала..

Но это оказалось ненужным и даже вредным.

[PALADIN+]

Song,

А зачем они эти логи?

очистил я ту таблицу, и теперь не знаю сколько и каких ботов у меня было. Затем они и были нужны. Для статистики.

[Song]

И ты её смотрел что ли? Хоть один раз?

[Destruction]

Нет, потому и почистил.

[PALADIN+]

Нет, потому и почистил.

[Dekker]

Googlebot 36905+60 273.76

Yandex bot 11951+332 404.06

Yahoo Slurp 6592+1189 45.01

StackRambler 3658+4 50.59

GigaBot 2180+157 58.64

Unknown robot (identified by hit on 'robots.txt') 0+1986 1.24

MSNBot 1731+228 45.63

ASpider (Associative Spider) 1417+2 7.62

Alexa (IA Archiver) 244+10 10.25

Turn It In 200+1 1.06

Остальные 463+91 7.33

 

имя/хиты+обращение к robot.txt/траф в мегабайтах

 

состояние за март

[Yashka]

Googlebot 17857 659.45 MB

Nagios 9325 225.51 MB

MSNBot 9176 339.00 MB

MSIECrawler 8862 53.57 MB

GigaBot 8635 500.00 MB

Inktomi Slurp 8021 364.58 MB

Yandex bot 7122 140.54 MB

StackRambler 5061 132.08 MB

Unknown robot (identified by 'crawl') 2051 25.12 MB

Alexa (IA Archiver) 1496 21.94 MB

 

тож март

[ICQ]

Хм.... а ко мне чёт ваще ненаведываються боты =/

это хорошо или плохо?!

[Yashka]

Хм.... а ко мне чёт ваще ненаведываються боты =/

это хорошо или плохо?!

мммм... я думаю, что понятия "хорошо" и "плохо" - относительные и зависят от того, что же тебе нужно.

Если ты хочешь, чтобы они наведывались, а они НЕ наведываются, то возникает диссонанс, называемый "плохо". Но даже в этом "плохо" ты можешь найти свои плюсы.

[Dekker]

бот Meta - украинская поисковая система, сегодня обрнаружил что у меня довольно забавно, 40 000 хитов за день, поселился на весь день