Вопрос по индексации форума

[R-R-Rinat]

В общем, когда последний раз яндекс уходил с моего форума - уже не знаю.

Все его индексирует и индексирует.

Уже наиндексировал порядка 30000 страниц, в то время как сам форум - не такой большой

2 760 - сообщений и 688 юзеров.

Я конечно рад, но из за того что он индексирует большую кучу бесполезной информации (профили пользователей, историю благодарностей, темы в стандартном, древовидном, линейном виде и т.ж. и .п

Данная информация - хлам, из за которого яндекс нагружает мой хостинг и никак не может проиндексировать сайт.

В общем, как запретить поисковым роботам индексировать всю ненужную информацию.

PS: Специальный шаблон для поисковиков - не предлагать, так как за это карают.

[archtod]

robots.txt

 

user-agent: *

disallow /

 

кажется было так ) гыгы

[R-R-Rinat]

user-agent: *

disallow /

Ага, и прощай индексация всего форума.

Мне же нужно, чтобы поисковый робот не индексировал все подряд.

[cooldude]

Проблема с индексацией форума. Яндекс не видит в упор.

Не нужно мне сча писать добовлял ли куда и пользуйся поиском...

Если кто реально может разобраться, то я оплачу услуги (по факту)

ICQ:284440756

[Song]

Напиши в Яндекс.

[cooldude]

Да писал уже многооо раз... отвечают на одно письмо из 5-ти... стандартные отет: "мы разберемся и если проблемы с вашей стороны то мы вам сообщим" или "спасибо что сообщили нам, мы вас проиндексируем"

[FatCat]

Кинь баксов 20 на яндекс-директ за платные клики; тогда точно проиндексируют по максимуму.

[Glomen]

host: host.ru

 

User-agent: *

 

Disallow: то что не надо индексить

Disallow: http://l2age.ru/forum/user // не индексируем урлы такого вида, тоесть профиля пользователей

Disallow: /img/ //не индексируем каталог

 

Вообще не орентируйся на яндекс, шас он изменилься и его боты ведут ся просто непонятно, + шас вся формула вывода у него походу другая стала.

 

Google вот под кого нужно оптемизироваться, а яндекс подтянеться.

[Dinka]

host: host.ru

 

User-agent: *

 

Disallow: то что не надо индексить

Disallow: http://l2age.ru/forum/user // не индексируем урлы такого вида, тоесть профиля пользователей

Disallow: /img/ //не индексируем каталог

 

Вообще не орентируйся на яндекс, шас он изменилься и его боты ведут ся просто непонятно, + шас вся формула вывода у него походу другая стала.

 

Google вот под кого нужно оптемизироваться, а яндекс подтянеться.

да зачем под него оптимизироваться? Его вообще фигушки отстановишь, на закрытие определенных разделов от роботов он вообще не реагирует..

[]-[ @ c |{ e r]

Я непомню была тема или нет, вот содержимое robots.txt:

 

User-agent: *
Allow: /
Disallow: /index.php?showuser
Disallow: /index.php?act
Disallow: /index.php?&act
Disallow: /admin.php
Disallow: /index.php?s=
Disallow: /index.php?c=
Disallow: /?s=
Disallow: /index.php?&
Disallow: /index.php?mark=
Host: shelkovo.org

User-Agent: Yandex
Disallow: /index.php?showuser
Disallow: /index.php?act
Disallow: /index.php?&act
Disallow: /index.php?s=
Disallow: /index.php?c=
Disallow: /?s=
Disallow: /index.php?&
Disallow: /index.php?mark=
Host: shelkovo.org

User-Agent: Googlebot
Disallow: /index.php?showuser
Disallow: /?s=
Disallow: /index.php?&
Disallow: /index.php?mark=
Disallow: *&view=
Disallow: *&hl=
Disallow: *&st=0
Disallow: *act=
Disallow: *s=
Disallow: *c=
Disallow: *entry
Disallow: *&prune_day=
Host: shelkovo.org

User-agent: Googlebot-Mobile
Allow: /
Host: shelkovo.org

 

Ну и Host на свой поменяйте.

[kimberlit]

]-[ @ c |{ e r а как давно появилась инструкция Allow ??? Это же бред )))

Инструкции Allow не существует!

[Song]

Кстати act=ST это просмотр топика.

По вышепривидённому robots робот не сможет посетить топик по такому урлу.

[Spy]

Кстати act=ST это просмотр топика.

По вышепривидённому robots робот не сможет посетить топик по такому урлу.

Приведите тогда пример нормального robots.txt , пожалуйста.

[Song]

Нормально и так.

act=ST роботы не посещают.

 

Просто я хотел заметить что "не все act'ы одинаково бесполезны" ©