Перейти к контенту
  • 0

яндекс грузит форум

roost

Спросил roost,

 Поделиться

Вопрос

roost

roost

Опубликовано
Опубликовано

Есть следующая проблема - от хостера пришло письмо что нагрузка превышает допустимую и с требованием разобраться, иначе прикроют мою лавочку. Начал смотреть логи и выяснилось что бот яндекса индексирует главную страницу форума с нескольких айпишников и по сути индексирует одно и тоже много раз!

 

Вот кусок лога для примера:

87.250.252.2 - - [29/Mar/2007:00:29:52 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:29:57 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.252.2 - - [29/Mar/2007:00:30:24 +0400] "GET http://***.ru/index.php" 200 62871 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:03 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:29:20 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:29:25 +0400] "GET http://***.ru/index.php" 200 54578 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:29:29 +0400] "GET http://***.ru/index.php" 200 30833 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.252.2 - - [29/Mar/2007:00:28:24 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:02 +0400] "GET http://***.ru/index.php" 200 84425 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:19 +0400] "GET http://***.ru/index.php" 200 147564 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.252.2 - - [29/Mar/2007:00:29:40 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:29:52 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.252.2 - - [29/Mar/2007:00:30:08 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.252.2 - - [29/Mar/2007:00:30:14 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.252.2 - - [29/Mar/2007:00:30:17 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:26 +0400] "GET http://***.ru/index.php" 200 61567 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:11 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.252.2 - - [29/Mar/2007:00:30:16 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:30 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.252.2 - - [29/Mar/2007:00:30:06 +0400] "GET http://***.ru/index.php" 200 57011 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:29:46 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.252.2 - - [29/Mar/2007:00:30:20 +0400] "GET http://***.ru/index.php" 200 94944 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:31 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:11 +0400] "GET http://***.ru/index.php" 200 130968 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:25 +0400] "GET http://***.ru/index.php" 200 52553 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:29 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.252.2 - - [29/Mar/2007:00:29:19 +0400] "GET http://***.ru/index.php" 200 63581 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:26 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:29:55 +0400] "GET http://***.ru/index.php" 200 49596 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:24 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:32 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:29:31 +0400] "GET http://***.ru/index.php" 200 30803 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:29:41 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.5 - - [29/Mar/2007:00:30:05 +0400] "GET http://***.ru/index.php" 302 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"

 

Собственно вопрос как угомонить яндекс?

Ссылка на комментарий
Поделиться на других сайтах

5 ответов на этот вопрос

Рекомендуемые сообщения

  • 0
roost

roost

Опубликовано
  • Автор
Опубликовано

Song

это слишком кардинальный выход. пусть будет, но в меру - ведь по логу видно что он индексирует одно и то же. собственно и вопрос как научить яндекс-бот индексировать без повторений?

Ссылка на комментарий
Поделиться на других сайтах
  • 0
Valera

Valera

Опубликовано
Опубликовано

>Собственно вопрос как угомонить яндекс?

Можно "генератор" статики(html страниц) написать и прикрыть доступ на основной форум, а с лавино-образной(1-5 запросов в секунду) выдачей статики справится любой веб-сервер.

Ссылка на комментарий
Поделиться на других сайтах
  • 0
Chin

Chin

Опубликовано
Опубликовано

По моему у тебя сервер глючит.

Иначе почему он столько раз 302 вместо 200 выдает?

Естественно бота циклит :D Выдавай 200ОК с контентом и будет всё ок ;)

Ссылка на комментарий
Поделиться на других сайтах

Присоединиться к обсуждению

Вы можете ответить сейчас, а зарегистрироваться позже. Если у вас уже есть аккаунт, войдите, чтобы ответить от своего имени.

Гость
Unfortunately, your content contains terms that we do not allow. Please edit your content to remove the highlighted words below.
Ответить на вопрос...

×   Вы вставили отформатированный текст.   Удалить форматирование

  Допустимо не более 75 смайлов.

×   Ваша ссылка была автоматически заменена на медиа-контент.   Отображать как ссылку

×   Ваши публикации восстановлены.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

Зарузка...
×
 Поделиться
Перейти к списку вопросов
×
×
  • Создать...

Важная информация

Находясь на нашем сайте, вы соглашаетесь на использование файлов cookie, а также с нашим положением о конфиденциальности Политика конфиденциальности и пользовательским соглашением Условия использования.

  Согласен