Закрыть от индексации профили пользователей

[Kiselbach]

Добрый день!

 

Подскажите, пожалуйста, как закрыть от индексации профили пользователей в robots.txt для IPB 3.0.5

 

Спасибо!

[proit]

Вот так:

 

Disallow: /user/

[KoMePcAHT]

Вот так:

 

Disallow: /user/

это зависит от настроек ЧПУ, index.php?showuser= работает всегда вроде...

[Kiselbach]

У меня адрес профилей выглядит как http://xxxxxx.net/index.php?/user/53-xxxx/

 

Как правильно закрыть?

[dengol]

Disallow: /index.php?/user/

 

получается так

[Kiselbach]

Disallow: /index.php?/user/

 

получается так

 

Спасибо! Поменял.

 

Все согласны с данным форматом закрытия?

[KoMePcAHT]

Disallow: /index.php?/user/

 

получается так

 

Спасибо! Поменял.

 

Все согласны с данным форматом закрытия?

если ссылка http://xxxxxx.net/index.php?showuser=53 открывает профиль, попробую не согласиться.

[Kiselbach]

если ссылка http://xxxxxx.net/index.php?showuser=53 открывает профиль, попробую не согласиться.

 

Н-да... открывает профиль...

 

Что делать?!

[Sannis]

Дописать и для этой ссылки запрет:

Disallow: /index.php?showuser=

Неужто по аналогии так сложно написать?

[Kiselbach]

Дописать и для этой ссылки запрет:

Disallow: /index.php?showuser=

Неужто по аналогии так сложно написать?

 

Спасибо!

 

Воjбще было бы здорово увидеть оптимальный robots.txt

[KoMePcAHT]

не раз уже обсуждалось тут на форуме да и в комплекте с трёшкой идёт нормальный файл)

[Kosiak]

В комплекте с трёшкой идёт недописанная брошенная на полпути хрень. Очень много чего там забыли прописать.

[KoMePcAHT]

В комплекте с трёшкой идёт недописанная брошенная на полпути хрень. Очень много чего там забыли прописать.

вам не кажется что у каждого индивидуальный взгляд на то что должны индексировать поисковики? меня вполне устраивает дефолтный файл, Kiselbach решил скрыть профили, кто-то ещё захочет например скрыть подфорум с id 1524 и т.д.

[Kiselbach]

Возникла еще одна проблема.

 

Гугл ругается на то, что одну и ту же тему он видит на 2-х страницах:

 

/index.php?/topic/75-matochnaja-spiral-da-ili-net/

/index.php?showtopic=75

 

Правильно ли если я закрою так:

Disallow: /index.php?showtopic=

 

Также гугл ругается на повторяющиеся заголовки в календаре.

Правильно будет. если я закрою календарь так:

Disallow: /index.php?/calendar/

 

Также нашлись дубликата в списке пользователей, тоже хочу его закрыть. Правильно ли я собираюсь его закрывать:

Disallow: /index.php?showall=

 

Заранее спасибо за ответы и мнения!

[Kiselbach]

Никто не может подсказать?

[Kiselbach]

Вопрос в догонку.

 

Гугл ругается, что на страницах:

 

/

/index.php

/index.php?app=forums&module=forums&section=markasread&marktype=forum&forumid=28&returntoforumid=0&i=1

 

Находится одна и таже страничка. Мод от Рисутки стоит. Как избавится от этой проблемы?

[Bonov]

От себя скажу, что в дефолтном robots.txt находится строка, скрывающая от сканирования папку admin. Были пользователи, которые согласно рекомендациям форума переименовывали папку admin и меняли ее название и в этом же файле. А поскольку файл может посмотреть любой, то и хакерам это труда не составляло Так что строку с админ-центром убирать однозначно.