robots.txt вопрос

[Total]

как для инвижена прописать в роботс.тхт строку, чтобы поисковики не индексировали: профайлы, форма поиска, календарь, ФАКи, Правила, и т.д.

 

 

 

Как ?

[Fastserg]

Total

IMHO лучше для них скин отдельный сделать и вырезать ненужное...

Хотя это только для версии 1.2 и 1.3 при включенной системе лога поисковиков.

[Phantom]

Просто надо узнать пути. И например для профиля это будет выглядеть так:

http://www.ibresource.ru/forums/index.php?showuser=*

[Borland_delphi_6]

Я не уверен, но по-моему можно запрещать для индексирования только директории...

[IBResource]

Читаем свежий (11 июня) FAQ по теме robots.txt:

http://hostinfo.ru/tree/hosting/web/site/b...ing/robots-txt/

[Phantom]

Можно запрещать и файлы и директории!

[Total]

Phantom не то

Oska тоже не это

[Total]

Можно это. Можно варианты:

-------------

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} !mozilla [nocase]

RewriteCond %{QUERY_STRING} ^\?user=

RewriteRule ^.*$ - [F]

-------------

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Yandex [OR]

RewriteCond %{HTTP_USER_AGENT} ^StackRambler [OR]

RewriteCond %{HTTP_USER_AGENT} ^Aport [OR]

RewriteCond %{HTTP_USER_AGENT} ^Googlebot [OR]

RewriteRule ^index\.php\?user - [F]

 

Нужное подчеркнуть (ненужное выбросить)

Эти правила я набросал навскидку, не тестируя, по причине сонности ,

но, надеюсь, не очень ошибся.

Главное, не помню, какие именно роботы забили на запрет в мете "robots"

Затем проверить, прикинувшись, например, Яндексом и, запросив "запрещенный" и "разрешенный" URL. Первый должен посылать по 403.

 

вот что нашел.

[-=Илья=-]

Через мод реврайт превращаешь http://www.ibresource.ru/forums/index.php?showuser=* в http://www.ibresource.ru/forums/users/* и запрещаешь в роботе /forums/users/ . По аналогии и остальное. Только ещё нужно урлы править :-/

[j0k3r]

Потом покажите, плиз, свои роботс.тхт

 

Версию для печати оставили поисковикам или нет? Они всегда их очень любят...

 

Тотал, читай ПМ!

[Kosiak]

А есть готовые варианты (моды)?

[Deva]

Как запретить lofi версию для считки поисковиком? Корежит ссылки и засасывает пустые страницы

[Kosiak]

Deva

Удали её нафиг! Она и нужна только для поисковика...

[Deva]

*Она и нужна только для поисковика... **

 

Суть не в этом

[Dekker]

некоторые решения по robots.txt

[agel]

В случае с Google:

 

Googlebot obeys the noindex, nofollow, and noarchive meta-tags. If you place these tags in the head of your HTML document, you can cause Google to not index, not follow, and/or not archive particular documents on your site. The tags to include and their effects are:

 

<META NAME="robots" CONTENT="noindex">

Googlebot will retrieve the document, but it will not index the document.

 

<META NAME="robots" CONTENT="nofollow">

Googlebot will not follow any links that are present on the page to other documents.

 

<META NAME="robots" CONTENT="noarchive">

Google maintains a cache of all the documents that we fetch, to permit our users to access the content that we indexed (in the event that the original host of the content is inaccessible, or the content has changed). If you do not wish us to archive a document from your site, you can place this tag in the head of the document, and Google will not provide an archive copy for the document.

 

The "robots" tag is obeyed by many different web robots. If you'd like to specify some of these restrictions just for googlebot, you may use "googlebot" in place of "robots". You can also combine any or all of these tags into a single meta tag. For example:

 

        <META NAME="robots" CONTENT="noarchive,nofollow">  -- or --

        <META NAME="googlebot" CONTENT="noarchive,nofollow">

 

Не исключено, что наши поисковики тоже понимают служебные метатеги "старшего брата". Смотрите маны конекретных поисковиков.