Как ботов пускать лазить только по /lofiversion ?

[Elfet]

Как ботов пускать лазить только по /lofiversion ?

[Arhar]

я думаю, htaccess'ом, модреврайтом

см мануалы в яндексе

[Elfet]

через robots.txt. А как?

[.silent]

никак. плевать они на этот robots.txt хотели.

[Arhar]

синтаксис дожен быть такой:

RewriteCond %{HTTP_USER_AGENT} ^robot1$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^robot1$ [OR]
и т.д.
RewriteRule ^/$ ^/lofiversion/$

стопудняк ошибся, поэтому смотри мануалы

[tolik777]

Лазеют или нет, а вот индексируют в основном lofiversion. По крайней мере бот яндекса.

[Arhar]

ФИГА!

У меня за 5 дней 17000 записей этого дурацкого бота, он лазиет ВЕЗДЕ!

а нормальные, типа апорта и рамблера всего по 300 записей в месяц выдают

[Elfet]

модреврайтом не пойдёт.

[Гином]

таже беда, яндекс более 110000 хитов за один заход, сервак горит, как его ограничить? к примеру запретить боту пользоваться поиском по форуму..

[Elfet]

я пробую их отправлять в lofi через мету robots

[roost]

подниму темку

как же все-таки заставить яндекс индексировать только lofiversion?

[sudmed]

как же все-таки заставить яндекс индексировать только lofiversion?

Вот таким содержимым файла robots.txt:

User-agent: *
Disallow: /index.php
Disallow: /?act=

User-agent: Yandex
Allow: /lofiversion
Disallow: /

 

Только целесообразность такого seo-решения сомнительна.

[roost]

sudmed

спасибо, попробую!

почему думаете что целесообразность сомнительна?

[sudmed]

почему думаете что целесообразность сомнительна?

А вы посмотрите на текстовую версию с точки зрени ботов.

[Arhar]

ее наоборот наверно надо запретить, чтоб дублирования не было(?)

[roost]

sudmed

поясните плиз, не догоняю

[sudmed]

Ну, например, обратите внимание, какие у станиц из текстовой версии сниппеты в ПС.

[Fritz437]

А что такое lofiversion?

[Sannis]

Внизу страницы:

Текстовая версия