Вопрос такой. Когда тема или сообщение удаляется/перемещается, то при обращении к удаленной/перемещенной теме форум сообщает «Страница перемещена/удалена».
Все было бы хорошо, если бы поисковые боты такие сообщения не индексировали. Да еще когда в кэше Яндекса таких сообщений-страниц становится много, стал задумываться, как запретить ботам их индексировать.
В файл robots.txt их все поштучно заносить - не решение проблемы. Может есть какая функция в движке, чтоб форум на такие сообщения выдавал (к примеру) 403 или 404? Или может еще как?
Всего с форума проиндексировано более 14 тыс.стр., из них страниц-сообщений о недоступности тем/сообщений под тысячу, т.е. вместо этой тысячи могли бы быть проиндексированы полноценные темы/посты.
Находясь на нашем сайте, вы соглашаетесь на использование файлов cookie, а также с нашим положением о конфиденциальности Политика конфиденциальности и пользовательским соглашением Условия использования.
Вопрос
Dimaas
Вопрос такой. Когда тема или сообщение удаляется/перемещается, то при обращении к удаленной/перемещенной теме форум сообщает «Страница перемещена/удалена».
Все было бы хорошо, если бы поисковые боты такие сообщения не индексировали. Да еще когда в кэше Яндекса таких сообщений-страниц становится много, стал задумываться, как запретить ботам их индексировать.
В файл robots.txt их все поштучно заносить - не решение проблемы. Может есть какая функция в движке, чтоб форум на такие сообщения выдавал (к примеру) 403 или 404? Или может еще как?
Всего с форума проиндексировано более 14 тыс.стр., из них страниц-сообщений о недоступности тем/сообщений под тысячу, т.е. вместо этой тысячи могли бы быть проиндексированы полноценные темы/посты.
Ссылка на комментарий
Поделиться на других сайтах
1 ответ на этот вопрос
Рекомендуемые сообщения
Присоединиться к обсуждению
Вы можете ответить сейчас, а зарегистрироваться позже. Если у вас уже есть аккаунт, войдите, чтобы ответить от своего имени.