Total Опубликовано 20 Июня 2004 Жалоба Поделиться Опубликовано 20 Июня 2004 как для инвижена прописать в роботс.тхт строку, чтобы поисковики не индексировали: профайлы, форма поиска, календарь, ФАКи, Правила, и т.д. Как ? Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Fastserg Опубликовано 20 Июня 2004 Жалоба Поделиться Опубликовано 20 Июня 2004 Total IMHO лучше для них скин отдельный сделать и вырезать ненужное...Хотя это только для версии 1.2 и 1.3 при включенной системе лога поисковиков. Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Phantom Опубликовано 20 Июня 2004 Жалоба Поделиться Опубликовано 20 Июня 2004 Просто надо узнать пути. И например для профиля это будет выглядеть так:http://www.ibresource.ru/forums/index.php?showuser=* Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Borland_delphi_6 Опубликовано 20 Июня 2004 Жалоба Поделиться Опубликовано 20 Июня 2004 Я не уверен, но по-моему можно запрещать для индексирования только директории... Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
IBResource Опубликовано 20 Июня 2004 Жалоба Поделиться Опубликовано 20 Июня 2004 Читаем свежий (11 июня) FAQ по теме robots.txt:http://hostinfo.ru/tree/hosting/web/site/b...ing/robots-txt/ Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Phantom Опубликовано 20 Июня 2004 Жалоба Поделиться Опубликовано 20 Июня 2004 Можно запрещать и файлы и директории! Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Total Опубликовано 20 Июня 2004 Автор Жалоба Поделиться Опубликовано 20 Июня 2004 Phantom не тоOska тоже не это Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Total Опубликовано 20 Июня 2004 Автор Жалоба Поделиться Опубликовано 20 Июня 2004 Можно это. Можно варианты:-------------RewriteEngine onRewriteCond %{HTTP_USER_AGENT} !mozilla [nocase]RewriteCond %{QUERY_STRING} ^\?user=RewriteRule ^.*$ - [F]-------------RewriteEngine onRewriteCond %{HTTP_USER_AGENT} ^Yandex [OR]RewriteCond %{HTTP_USER_AGENT} ^StackRambler [OR]RewriteCond %{HTTP_USER_AGENT} ^Aport [OR]RewriteCond %{HTTP_USER_AGENT} ^Googlebot [OR]RewriteRule ^index\.php\?user - [F] Нужное подчеркнуть (ненужное выбросить) Эти правила я набросал навскидку, не тестируя, по причине сонности ,но, надеюсь, не очень ошибся.Главное, не помню, какие именно роботы забили на запрет в мете "robots"Затем проверить, прикинувшись, например, Яндексом и, запросив "запрещенный" и "разрешенный" URL. Первый должен посылать по 403. вот что нашел. Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
-=Илья=- Опубликовано 21 Июня 2004 Жалоба Поделиться Опубликовано 21 Июня 2004 Через мод реврайт превращаешь http://www.ibresource.ru/forums/index.php?showuser=* в http://www.ibresource.ru/forums/users/* и запрещаешь в роботе /forums/users/ . По аналогии и остальное. Только ещё нужно урлы править :-/ Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
j0k3r Опубликовано 26 Июня 2004 Жалоба Поделиться Опубликовано 26 Июня 2004 Потом покажите, плиз, свои роботс.тхт Версию для печати оставили поисковикам или нет? Они всегда их очень любят... Тотал, читай ПМ! Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Kosiak Опубликовано 15 Марта 2005 Жалоба Поделиться Опубликовано 15 Марта 2005 А есть готовые варианты (моды)? Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Deva Опубликовано 17 Марта 2005 Жалоба Поделиться Опубликовано 17 Марта 2005 Как запретить lofi версию для считки поисковиком? Корежит ссылки и засасывает пустые страницы Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Kosiak Опубликовано 22 Марта 2005 Жалоба Поделиться Опубликовано 22 Марта 2005 DevaУдали её нафиг! Она и нужна только для поисковика... Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Deva Опубликовано 22 Марта 2005 Жалоба Поделиться Опубликовано 22 Марта 2005 *Она и нужна только для поисковика... ** Суть не в этом Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Dekker Опубликовано 23 Марта 2005 Жалоба Поделиться Опубликовано 23 Марта 2005 некоторые решения по robots.txt Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
agel Опубликовано 2 Апреля 2005 Жалоба Поделиться Опубликовано 2 Апреля 2005 В случае с Google: Googlebot obeys the noindex, nofollow, and noarchive meta-tags. If you place these tags in the head of your HTML document, you can cause Google to not index, not follow, and/or not archive particular documents on your site. The tags to include and their effects are: <META NAME="robots" CONTENT="noindex">Googlebot will retrieve the document, but it will not index the document. <META NAME="robots" CONTENT="nofollow">Googlebot will not follow any links that are present on the page to other documents. <META NAME="robots" CONTENT="noarchive">Google maintains a cache of all the documents that we fetch, to permit our users to access the content that we indexed (in the event that the original host of the content is inaccessible, or the content has changed). If you do not wish us to archive a document from your site, you can place this tag in the head of the document, and Google will not provide an archive copy for the document. The "robots" tag is obeyed by many different web robots. If you'd like to specify some of these restrictions just for googlebot, you may use "googlebot" in place of "robots". You can also combine any or all of these tags into a single meta tag. For example: <META NAME="robots" CONTENT="noarchive,nofollow"> -- or -- <META NAME="googlebot" CONTENT="noarchive,nofollow"> Не исключено, что наши поисковики тоже понимают служебные метатеги "старшего брата". Смотрите маны конекретных поисковиков. Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Рекомендуемые сообщения
Присоединиться к обсуждению
Вы можете ответить сейчас, а зарегистрироваться позже. Если у вас уже есть аккаунт, войдите, чтобы ответить от своего имени.