robots txt для IP.Board 2.3.4

[Vlad64]

Пробовал найти поиском но не нашёл. Меня интересует что нужно прописать в файле robots txt чтобы Яндекс бот не сканировал каждый раз ненужные showtopic и showuser ?

[sudmed]

User-agent: *
Disallow: /index.php?showuser=
Disallow: /index.php?showtopic=

 

Насчет ненужности - подумайте еще раз.

Изменено 15 Июля 2008 пользователем sudmed

[Be_happy]

Пробовал найти поиском но не нашёл.

плохо искал, по robots нашел одно из первых:

http://www.ibresource.ru/forums/index.php?...5&hl=robots

[Vlad64]

User-agent: *
Disallow: /index.php?showuser=
Disallow: /index.php?showtopic=

 

Насчет ненужности - подумайте еще раз.

 

Огромное спасибо! Это действительно не нужно... http://help.yandex.ru/webmaster/?id=996567

 

П.С. Особенно это актуально при использовании Сапы. Там при сканировании эти страницы потом нужно удалять. И на это уйдёт много времени. Иначе сайт не пройдёт модерацию. Что же касается Яндекса то цитирую из ссылки Яндекса:

 

Могу ли я помочь роботу быстрее индексировать мой сайт?

Чтобы ускорить появление страниц сайта в поиске, воспользуйтесь нашими рекомендациями — во-первых, исключите из индексации ненужную информацию, во-вторых, сообщайте роботу о новых страницах. Для этого:

 

 

запретите в robots.txt индексацию страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, сайты-зеркала, документы на нераспространенных в рунете языках;

Изменено 15 Июля 2008 пользователем Vlad64

[Sannis]

Т.е. топики вы считаете неинтересной информацией? А что тогда на форуме индексировать?

[Vlad64]

Т.е. топики вы считаете неинтересной информацией? А что тогда на форуме индексировать?

 

Вынужденная мера. С одной стороны мне хочется чтобы Робот заходил и индексировал те страницы что у меня в Сапе, с другой стороны нагрузка значительно снизилась. Вот смотрю Яша сделал за сегодня всего 195 хитов. А так 2500 за два часа ночью вызывали нагрузку на сервер и в любую минуту могли закрыть форум

[sudmed]

Вот мне интересно, сколько вам понадобится времени, чтобы перейти от "вынужденных мер" и всяких кастраций форума к смене хостера? Запрещать showtopic - это же бред.

[Vlad64]

Вот мне интересно, сколько вам понадобится времени, чтобы перейти от "вынужденных мер" и всяких кастраций форума к смене хостера? Запрещать showtopic - это же бред.

 

Я занимаюсь сейчас оптимизацией форума. В общем сделал вот так:

 

User-agent: *
Disallow: /index.php?showuser=

 

showtopic разрешил, нагрузка на много не увеличилась. Менять хостера не хочу, так как переезды мне уже надоели, да и сам Петерхост работает довольно стабильно. Классная тех/поддержка сервиса

Изменено 16 Июля 2008 пользователем Vlad64

[Vlad64]

Прочитал в Яндексе что есть возможность ограничения времени скачивания страниц Роботом. Попробовал установить такой код:

 

 User-agent: Yandex
Disallow: /administrator
Disallow: /index.php?showuser=
Disallow: /index.php?showtopic=
Crawl-delay: 9

 

Но нагрузка не уменьшилась. Робот игнорировал Crawl-delay: 9 Подскажите пожалуйста где я сделал ошибку?

Изменено 27 Июля 2008 пользователем Vlad64

[Проли]

А ты проверял свой robots.txt с их сайта?

 

В Яше в моих сайтах, зайди в закладку Анализ robots.txt сайта и посмотри загружается ли он?

[Vlad64]

А ты проверял свой robots.txt с их сайта?

 

В Яше в моих сайтах, зайди в закладку Анализ robots.txt сайта и посмотри загружается ли он?

 

Проверял - всё загружалось

 

Выдало сейчас:

 

Используемые секцииСтрока

1-5: User-agent: Yandex

Disallow: /administrator

...

Crawl-delay: 9

 

Естественно введу обратно старый код. Этот не сработал ночью

 

Сейчас поставил такой:

 

User-agent: Yandex

Crawl-Delay: 20

 

Проверю что будет ночью

Изменено 27 Июля 2008 пользователем Vlad64

[Проли]

Честно говоря, сам не проверял, но тот что ты приводил выше, по их хелпу должен работать

 

User-agent: Yandex
Disallow: /administrator
Disallow: /index.php?showuser=
Disallow: /index.php?showtopic=
Crawl-delay: 9

 

И я бы закидывал точно такой-же

 

Но если не работает, то можно попробовать так:

 

User-agent: Yandex
Crawl-delay: 10

User-agent: Yandex
Disallow: /administrator
Disallow: /index.php?showuser=
Disallow: /index.php?showtopic=

 

А который ты приводил ниже не прокатит. Пустой сточки не должно быть.

User-agent: Yandex

Crawl-Delay: 20

[Vlad64]

Большое спасибо! Попробую такой:

 

User-agent: Yandex
Crawl-delay: 10

User-agent: Yandex
Disallow: /administrator
Disallow: /index.php?showuser=

 

Если сработает - отпишусь

[Vlad64]

Большое спасибо! Попробую такой:

 

User-agent: Yandex
Crawl-delay: 10

User-agent: Yandex
Disallow: /administrator
Disallow: /index.php?showuser=

 

Если сработает - отпишусь

 

Скрипт работает прекрасно! Действие робота растянулось с 23:49 до 4:10 утра. То есть всё то что Яндекс делал за час - теперь за несколько часов делает. Глянул нагрузку, нагрузки нет! Ещё раз спасибо за этот код

[Alex I]

Подскажите, как по IP запретить доступ?

У меня злобный швед с IP 82.99.30.* лютует.

[FatCat]

Подскажите, как по IP запретить доступ?

У меня злобный швед с IP 82.99.30.* лютует.

Создать в корне форума текстовый файл с именем .htaccess (именно так, перед точкой ничего нет).

Разместить в нем текст:

<Limit GET>
Order Allow,Deny
Deny from IP 82.99.30.101
Allow from All
</Limit>

 

Если несколько айпишников - каждый с новой строки и со словами "Deny from". Если по маске, то без звездочки на конце.

[Alex I]

Создать в корне форума текстовый файл с именем .htaccess (именно так, перед точкой ничего нет).

Разместить в нем текст:

<Limit GET>
Order Allow,Deny
Deny from IP 82.99.30.101
Allow from All
</Limit>

Если несколько айпишников - каждый с новой строки и со словами "Deny from". Если по маске, то без звездочки на конце.

Файл есть такой. В этом случае просто дописать в конец?

Спасибо за подсказку.

Кстати, по этой теме:Уведомления PHP в логах ошибок не сможешь помочь?

[Vlad64]

order allow,deny

deny from 194.67.18.222

deny from 92.48.127.88

deny from 195.239.211.235

allow from all

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^mail\.ru [NC]

RewriteRule ^.* - [F,L]

 

У меня так работает. Последнее для блокировки ещё и по имени