Как грамотно в robots.txt запретить ботам индексац

[leonidus]

Есть форум: http://www.forum.translateit.ru/

На нем 5 форумов, два из которых нужно закрыть от индексации:

http://www.forum.translateit.ru/index.php?showforum=2

http://www.forum.translateit.ru/index.php?showforum=7,

как это грамотно прописать в robots.txt?

Заранее большое спасибо.

[Super Gonzo]

Можно вопрос?

А НАФИГА?

Зачем закрывать доступ поисковикам в профильнеы разделы, которые являются его изюминкой? На форуме три калеки, а ты индексацию перекрываешь...

 

В robots.txt ты это не пропишешь, т.к. каждый раз после создания нового топика в каком-то из "закрытых" разделов, тебе придется вручную прописывать адрес топика в robots.txt.

 

Единственный выход, имхо, - создать для ботов отдельную группу и в правах запретить просматривать эти разделы...

[yurclub]

Я сделал так, и это вроде бы работает: (у меня индексируется только архивная весия и главная страница форума)

 

User-Agent: *

Disallow: /index.php?showforum=2 (или нужная тебе цифра)

Disallow: /index.php?showtopic

Disallow: /index.php?act

Disallow: /index.php?showuser

Disallow: /index.php?download

Disallow: /index.php?dlcategory

Disallow: /downloads/

[Super Gonzo]

Зверь...

 

Проще было не париться, и просто написать:

Disallow: /

Это было бы равносильно.

 

Твое счастье, что "?" использовать нельзя. Это уже где-то обсуждалось на форуме.

Нужно так:

Disallow: /*download

 

 

Вот мой роботс:

User-agent: *

Disallow: /style-images/

Disallow: /cache/

Disallow: /backup/

Disallow: /archive_in/

Disallow: /archive_out/

Disallow: /dump/

Disallow: /fonts/

Disallow: /html/

Disallow: /lang/

Disallow: /modules/

Disallow: /Skin/

Disallow: /sources/

Disallow: /ssi_templates/

Disallow: /admin.php

Disallow: /conf_global.php

Disallow: /conf_global-bak.php

Disallow: /conf_mime_types.php

Disallow: /install.lock

Disallow: /ssi.php

Disallow: /*act=Msg

Disallow: /*act=Mail

[yurclub]

Проще было не париться, и просто написать:

Disallow: /

Это было бы равносильно.

Почему? Тогда бы у меня архивная версия не индексировалась бы.

 

Твое счастье, что "?" использовать нельзя. Это уже где-то обсуждалось на форуме.

Гляну, не уверен. Судя по тому, что яндек после такого роботса согласился удалить уже проиндексированные ссылки на конкретные топики - работает.

 

Нужно так:  

Disallow: /*download 

Не слышал о такой конструкции, но попробую, спасибо.

[Super Gonzo]

yurclub

Почему? Тогда бы у меня архивная версия не индексировалась бы.

 

Ага, прошу прощения, я после ночи... недочитал:-)

 

Гляну, не уверен. Судя по тому, что яндек после такого роботса согласился удалить уже проиндексированные ссылки на конкретные топики - работает.

 

Как урезать поисковику доступ?

Смотри отсюда и ниже.

 

Да, а с Гуглом отдельная песня. Он считает, что "User-agent: *" к нему не относится... Он выше этого:-)

Вот, по Гуглу: robots.txt вопрос

[yurclub]

Super Gonzo, спасибо, гляну.

[Super Gonzo]

leonidus

Так как же мне в robots.txt прописать эти форумы?

Я ж говорю, никак:-)

Смотри, ссылка на второй раздел имеет такой вид: http://www.forum.translateit.ru/index.php?showforum=2 или http://www.forum.translateit.ru/index.php?act=SC&c=2

Можно, конечно, прописать Disallow: /*showforum=2 и *act=SC&c=2, но это ничего не даст, т.к. запретит поисковику индексировать только этот раздел, и все. Ведь ссылка на конкретный топик выглядит так: http://www.forum.translateit.ru/index.php?showtopic=114 (если заходить из раздела) или так: http://www.forum.translateit.ru/index.php?...&st=0entry616 (если заходить с главной страницы, это ссылка на последний пост). "114" - это ID темы. И нет ничего, что указывало бы в URL'е на принадлежность этой темы ко второму разделу.

 

Так что не выйдет ничего.

 

Единственный вариант, как я уже сказал, сделать отдельную группу для ботов и закрыть для нее доступ в эти разделы.

 

ЗЫ Кстати, пропиши ботов: Добавление новых поисковых ботов (просмотри всю тему, там списки есть) и посмотри, где боты лазят, в какое время и в каких количествах... Это к вопросу, они ли вешают.

[leonidus]

ок, попробую добавить новых ботов, пока смотрел по GoogleBot`у, он всего 3 запроса в день дает... но с другой стороны я так понял что тут может Яндекс гадить, так что посомтрим

а кстати если удрать все это ? и index.php, переведя все это дело в html как тут многократно обсуждалось, может быть тогда получится закрывать папки от индексации?

[1128969824:1128970683]Super Gonzo пожалуйста если вам не сложно киньте мне на kofman@vlink.ru файл functions.php от версии 1.3final, а то блин пока экспериментировал с добавлением ботов случайно похерил исходник и теперь форум не рабоает. И еще сразу вопрос в какой кодировке эти php файлы, в блокноте их открывал там какое-то жутко кривое форматирование, в чем с ними работать?

 

Люди не дросайте в беде!

[Super Gonzo]

Сейчас найду "чистый" файл - скину...

[leonidus]

Super Gonzo большое спасибо, файл и редактор получил.

[Super Gonzo]

leonidus, я что-то на ваш форум попасть не могу... Вы что, в онлайне эксперименты проводите? Если вдруг да, то я вам как профан в IPB профану в IPB советую все тестить в локалке, иначе завалите форум гарантирую Изменено 11 Октября 2005 пользователем Super Gonzo

[leonidus]

Да к сожалению в онлайне просто для локалки нужно сервер настраивать, PHP и пр. и пр. а я в этом деле не очень силен. Форум недоступен потому что functions.php там отсутствует вечером залью ваш с добавлеными ботами.

[Super Gonzo]

Вах, предчуствия его не обманули (с)

Мы с вами, конечно, уже в жестоком оффтопе, но гулять так гулять: идите в эту тему Как установить форум IPB, или просто: Установка и открывайте ссылку, указанную в первом посте: http://abram4.pochta.ru/HTML/ipb-inst-steps.html Там, свою очередь, найдете ссылку на Джентельменский набор веб-разработчика "Денвер". Ставьте и радуйтесь

[leonidus]

спасибо, щас гляну.

[Anna]

Кто-нибудь может мне помочь. У меня тут на днях робот яндекса запросил восстановление пароля пользователя, причем каким-то чудом ухитрился даже ввести 6-значный код с GD-картинки, причем правильно ввел.

Проверила IP-адрес, написала письмо в Yandex Abuse - ответили, что это действительно не пользователь их сети, а именно робот.

 

Вопросы у меня такие.

Наши что уже научили роботов распознавать цифры на картинках?

Как мне запретить роботам такие фортели откалывать?

[Super Gonzo]

Интересное кино...

А вы Тындексу говорили, че их бот творит, или просто поинтересовалиь бот это или юзер?

 

Для начала, наверное, в robots.php стоит прописать Disallow: /*act=Reg (если не прописано). Яндекс robots.txt слушается.

 

Но вообще, конечно, тут проблема ширше. Если боты научились коды водить, то это... не при дамах, в общем.

[Anna]

Да, я написала на Abuse яндекса, что вот в такое-то время с такого-то IP адреса вашей сети была произведена попытка восстановления пароля пользователя с вводом 6-значного антиспам кода с картинки. Попросила объяснить ситуацию и предотвратить подобные действия со стороны пользователей/роботов их сети.

 

В ответ на это мне на следующий день пришел ответ, что это не пользователи их сети, а поисковый робот Яндекса. Мне написали, что действие поискового робота (цитирую) "подобно действиям любопытного пользователя и не должно доставлять неудобств", однако (цитирую) "судя по вашему письму это не так", поэтому они попросили (цитирую) "выслать логи обращений робота к вашему сайту, чтобы снизить его чрезмерную (по вашему мнению) активность"

 

Вот я и думаю....