Нагрузка на процессор и боты

[Alvor]

Хостер прислал матерное письмо о превышении нагрузки на процессор в течение нескольких дней. В статистике нагрузки вижу всплески до 1000% от выделенной мощности. В то же время вот уже недели три наблюдается резко возросшая активность роботов. В частности начали отжигать:

 

Робот: Запросов: Трафик:

Yandex bot 33009 1.78 GB

Inktomi Slurp 22108 307.13 MB

 

Это за 20 дней. Новых скриптов за это время не устанавливалось. Грешу на ботов ибо

Можете попробовать посмотреть логи http (/logs) - зачастую излишнюю нагрузку создают поисковые системы при чрезмерном индексировании сайтов.

Лог доступа реально забит ботами.

И вообще наблюдаю на нескольких форумах тотальное нашествие ботов. (Слава роботам!)

Кто-нибудь объясните почему боты так активизировались и как снизить нагрузку на проц, а то меня хостер поимеет...

Спасибо заранее

[natan]

Если тебе роботы вообще не нужны, то robots.txt положи с

User-agent: *

Disallow: /

[Alvor]

Да это понятно, но ведь многие приходят по запросам поисковиков, если роботов отключить форум будет не виден по запросам, ведь так? Вопросы были другие..

[natan]

Тогда роботы, которым не наплевать на robots.txt (обычно они его читают) не будут индексировать странички

[Alvor]

То есть искать по форуму будут даже в непроиндексированных? А где подвох?

[FatCat]

Хостер прислал матерное письмо о превышении нагрузки на процессор в течение нескольких дней. В статистике нагрузки вижу всплески до 1000% от выделенной мощности. В то же время вот уже недели три наблюдается резко возросшая активность роботов. В частности начали отжигать:

 

Робот: Запросов: Трафик:

Yandex bot 33009 1.78 GB

Inktomi Slurp 22108 307.13 MB

Похожая ситуация была несколько дней назад: Yahoo бомбил запросами с 250 айпишников одновременно.

У меня проблем не было, и вот почему:

1. Вес страниц (исключая графику): у меня версия 1.3, средний вес страницы 10-15 Кб. Я пробовал переконвертировать свой форум под 2.2.2, и те же самые топики стали весить по 80-120 Кб. Будь у тебя не 2.Х. а 1.Х - и трафик ботов был бы в 5-7 раз меньше.
   
2. Количество сообщений в топике по умолчанию: у меня сделано 15, а не 30. А это не только вес страницы, но и нагрузка на MySQL.
   
3. Текстовое отображение постингов: Я сделал себе мод вывода отдельного сообщения в текстовой версии; "Ссылка на это сообщение" у меня над каждым сообщением топика переделана, и имеет вид не showtopic=xxx&view=findpost&p=zzz, а вида act=Print&client=printer&f=y&t=xxx&limin=zzz&limit=1. Бот, попав на страницу топика, индексирует затем 15 страниц постингов в текствой версии, а там вес страниц в среднем 1-2 Кб.
   

Мелочи вроде, а в итоге боты грузят процессор и выедают трафик раз в 30 меньше, чем у тебя.

 

То есть искать по форуму будут даже в непроиндексированных? А где подвох?

Что не проиндексирует, то и не найдет.

Плюс, чем меньше количество проиндексированных страниц - тем ниже релевантность даже проиндексированных.

[Alvor]

Вообще естьодна идея. У меня юзается Shoutbox, так вот пока он висел только на главной странице проблем не было. Недавно решил попробовать отображать его на всех страницах. После этого пришло такое письмо.

Скорее всего боты не только индексируют страницы, но и все что в чате, тогда логично что загрузка взлетела, я прав?

Количество сообщений в топике по умолчанию: у меня сделано 15, а не 30

Ага, спасибо за идею.

А что за мод, он общедоступный?

 

Уменьшил до 20 количество тем в списке, оставил шутбокс только на главной странице и отключил ведение логов роботов.

Доживем до понедельника, посмотрим...

[FatCat]

А что за мод, он общедоступный?

Вывод в окно одного сообщения из топика

 

Там есть ошибка: при закреплении первого поста сбивается счетчик. У себя я это позже исправил, но в топике не писал.

[Californiy]

http://it-planet.com.ua/delrobots.txt

Вот накатал пример правильного robots.txt который перекрывает ботам все кроме собственно тем, форумов и главки - поверьте мне, это все что вам нужно.

 

Позволяет снизить нагрузку в разы...

[FatCat]

http://it-planet.com.ua/delrobots.txt

Вот накатал пример правильного robots.txt который перекрывает ботам все кроме собственно тем, форумов и главки - поверьте мне, это все что вам нужно.

 

Позволяет снизить нагрузку в разы...

Угумс.

Но если нагрузка не страшит, а во всех служебных страницах грамотно прописаны мета-контенсы и мета-кейворды - это может несколько подвинуть страницы форума выше в поисковках...