Бот лезет куда не просят

[PALADIN+]

Inktomi Slurp ( 74.6.24.231 ) Просматривает профиль пользователя ***

 

Ему что-ли покласть на robots.txt в котором сказано

 

User-agent: *

Disallow: /index.php?showuser

 

или просто что-то не так написано?

[Song]

не все robots.txt слушаются

 

и вообще зависит от того как файл читается. Возможно делается запрос на страницу и одновременно с этим читается robots.txt и по результатам его анализа принимается вывод, индексировать страницу или нет.

В таком случае лог в списке онлайн у тебя уже появится, а на деле робот эту страницу индексировать не будет.

[PALADIN+]

Боян когда читает личные сообщения

 

не все robots.txt слушаются

плохие боты((