Перейти к контенту

robots.txt


Рекомендуемые сообщения

Интуитивно я понимаю, какие папки/файлы можно/нужно запретить для индексации поисковыми роботами. Но хотелось-бы знать наверняка(речь об ipb 2.x)! И ещё, если этот robots.txt закинуть в хост.домен/forum/, то он будет обрабатываться пауками? или всё-таки в корень сайта надо кидать?

Просьба ответить подробно, или, по-крайней мере, перечислить то, что можно запретить.:D

Ссылка на комментарий
Поделиться на других сайтах

×
×
  • Создать...

Важная информация

Находясь на нашем сайте, вы соглашаетесь на использование файлов cookie, а также с нашим положением о конфиденциальности Политика конфиденциальности и пользовательским соглашением Условия использования.