бот заходит в закрытый форум

[dark-grey]

в форум могут заходить только админы и супермодераторы (проверил на 5 раз), поисковым ботам стоит группа "гости", но гугл бот тем не менее просматривает все темы в этом форуме!!

подскажите что можно сделать, чтобы бот не мог туда зайти...

[sudmed]

Как узнал, что бот гугла просматривает закрытые разделы? По этой ссылке наверное

Полный список по: последним действиям

?

Если так, то все в порядке. Бот тупо перебирает все темы форума, но закрытые разделы он не видит, ему как и гостям выдается "Вы не имеет прав на просмотр страницы".

[TIER_FOREVER]

Вполне возможно, что бот видит закрытые темы в текстовой версии.

[dark-grey]

Как узнал, что бот гугла просматривает закрытые разделы? По этой ссылке наверное

Полный список по: последним действиям

?

да

 

Если так, то все в порядке. Бот тупо перебирает все темы форума, но закрытые разделы он не видит, ему как и гостям выдается "Вы не имеет прав на просмотр страницы".

как он мог узнать об этих темах не заходя в форум? или он id тем перебирает что-ли?

в любом случае он только щас начал эти темы просматривать, раньше я такого не видел

 

 

Вполне возможно, что бот видит закрытые темы в текстовой версии.

в текстовой версии он видит, а в обычной нет?

да и тогда было бы написано типа "просмотр текстовой версии"

[Sannis]

или он id тем перебирает что-ли?

Да, насколько я понимаю.

 

Плюс к тому, может быть на открытой части кто-то публиковал случайно ссылки на темы, которые сейчас закрыты от ботов. Но если подряд темы смотрит, то скорее всего просто перебтрает. Можно ж проверить, есть ли содержимое этих тем в индексе у этого поисковика...

[sudmed]

Вполне возможно, что бот видит закрытые темы в текстовой версии.

Да, вполне возможно. Но вероятность такая же, как и самопроизвольное возникновение 302 редиректа на портале.

как он мог узнать об этих темах не заходя в форум? или он id тем перебирает что-ли?

1) по внешней ссылке, 2) перебором подряд всех цифр (id).

[dark-grey]

поискал в гугле слова с тем в закрытом форуме, он ничего не нашёл

сразу спокойнее стало