Перейти к контенту
  • 0

Как поставить запрет на индексацию результатов поиска


Вопрос

Сталкивался с проблемой, когда Яндекс пессимизирует форум и вообще сайты за использование списков поисковых запросов.

 

В частности после запроса о массовом вылете страниц из поиска приходит такое письмо от поддержки Яндекса:

 

на Вашем сайте были проиндексированы страницы,

содержащие списки поисковых запросов. В силу того, что по многим запросам

Яндекс не может корректно отранжировать такие страницы, мы вынуждены частично

исключить Ваш сайт из поисковой базы Яндекса.

 

Если эти элементы страниц не являются жизненно важными для существования

сайта, уберите их, пожалуйста, и напишите нам еще раз

 

Это в частности связано с поиском и результатами поиска на сайтах, форумах и т.д. Думаю эта проблема может коснутся всех.

 

Подскажите как правильно закрыть результаты поиска на форумах IPB от индексации:

 

Я полагаю так:

 

User-agent: *

Disallow: /index.php?act=Search

Disallow: /index.php?act=Search&CODE

 

Правильно ли?

Ссылка на комментарий
Поделиться на других сайтах

Рекомендуемые сообщения

  • 0

Второе излишне.

Вот 2 варианта, по идее второй более универсальный:

Disallow: /index.php?act=Search

Disallow: /*act=Search

 

Но вообще-то "списки поисковых запросов" - это не результаты поиска, а именно списки запросов из поисковки.

У меня был такой вылет, когда в топике в открытом разделе выложил недельный лог переходов из поисковок.

Ссылка на комментарий
Поделиться на других сайтах

  • 0
Второе излишне.

Вот 2 варианта, по идее второй более универсальный:

Disallow: /index.php?act=Search

Disallow: /*act=Search

 

Но вообще-то "списки поисковых запросов" - это не результаты поиска, а именно списки запросов из поисковки.

У меня был такой вылет, когда в топике в открытом разделе выложил недельный лог переходов из поисковок.

 

Спасибо за совет. Так лучше и сделаю.

 

Все равно, полагаю, лучше позакрывать результаты поиска. Зачем Яндексу индексировать результаты поиска... пусть лучше индексирует уникальную информацию в разделах, топиках. Я вообще стараюсь позакрывать все лишнее от этих роботов.

 

А еще подскажите в примерах нашел что закрывают

Disallow: /*forum/index.php$

 

Что мы этим закрываем не понимаю index.php$ ?

Ссылка на комментарий
Поделиться на других сайтах

  • 0
А еще подскажите в примерах нашел что закрывают

Disallow: /*forum/index.php$

 

Что мы этим закрываем не понимаю index.php$ ?

Если я правильно понял, то закрывается весь форум. Соответственно, индексируется оставшаяся разрешенной forum/lofiversion/index.php

ИМХО, это лишнее. Поисковки сами хорошо умеют "склеивать" страницы с идентичным содержимым и сами по своим алгоритмам могут решить, какую версию они хотят выдать в результатах поиска.

 

ИМХО, важнее всего заблочить страницу списка пользователей. Тут есть проблема... Запрет

Disallow: /index.php?act=Members

- это не запрет просмотра поисковкой, а запрет включения в поисковый индекс. Но поисковка, дрянь такая, просканирует эту страницу и пойдет с нее индексировать профили пользователей, в том числе сотни и тысячи одинаковых пустых профилей пользователей с нулем сообщений...

 

Активные пользователи с непустым профилем пусть индексируются по ссылкам на профиль в каждом сообщении. Как отвадить поисковки от пустых профилей - пока не придумал...

Ссылка на комментарий
Поделиться на других сайтах

Присоединиться к обсуждению

Вы можете ответить сейчас, а зарегистрироваться позже. Если у вас уже есть аккаунт, войдите, чтобы ответить от своего имени.

Гость
Unfortunately, your content contains terms that we do not allow. Please edit your content to remove the highlighted words below.
Ответить на вопрос...

×   Вы вставили отформатированный текст.   Удалить форматирование

  Допустимо не более 75 смайлов.

×   Ваша ссылка была автоматически заменена на медиа-контент.   Отображать как ссылку

×   Ваши публикации восстановлены.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

Зарузка...
×
×
  • Создать...

Важная информация

Находясь на нашем сайте, вы соглашаетесь на использование файлов cookie, а также с нашим положением о конфиденциальности Политика конфиденциальности и пользовательским соглашением Условия использования.