Назойливый Bot

[Pablos]

Подскажите ! Боты часто должны посещать сайт ? А то как в песне В.Высоцкого "Домой придешь, там ты сидишь !" Сегодня забивал блок на главной портала, часа четыре с небольшими перерывами, периодически перегружал страницу и вижу там Yandex Bot сидит ! Ну думаю заглянул на огонек ! от меня не убудет ! нехай сидит ! он там сутки уже сидит ! ну или вернее как ни загляну он там ! один раз заглянул в раздел "кто в онлайне" тут вообще непонятки ! там показывает что бота уже два ! Yandex Bot два ! один в галерее шарит другой пользователей шерстит ! один минут через пять слизнул а один так и остался ! только из галереи в форум перебрался ! Щас снова заглянул (я час наверно не заходил к себе на сайт) он снова там ! То ли это совпадение, то ли ему просто жить негде !!!

[Kosiak]

Пускай сидит. Ещё лучше, если в компании с Google и MSN/Bing - им так хоть не скучно ваш сайт индексировать будет. Тут всё просто - чем больше сидит, тем ему интереснее ваш сайт (фигово было бы, если бы не сидел совсем), а т.к. IPB страдает наличием сотен укромных и непонятно для кого сделанных щелей, отверстий, потайных ходов, скрытых ссылочек и тайных функций развлекаться ботам долго, т.к. они в отличии от вас видят всё и ходят везде (ну кроме тех мест, где вы запретили в robots.txt)...

 

Вот однажды просматривая раздел "Кто в онлайне", наткнулся на Google-бота, который занимался тем, что отвечал в какой-то теме... А вы говорите жить негде... им просто поговорить не скем

[Pablos]

Я если честно то больше за бота испугался ! -)))) думаю мож в моих дебрях застрял ???? спасателей думал уже вызывать !

Насчет того что он для поисковика про мой сайт что то шепчет я так в принципе и подумал ! только что ему там вкусным показалось если на форуме всего один топик ! -))) и бот его уже сутки смакует ! -)))

[Endy]

Вот интересно, я в robots.txt запретил ботам индексировать форум. Но время от времени всё равно вижу, что Google и Yandex заходят в гости. Они могут игнорировать правила в robots.txt?

 

 

User-agent: *
Disallow: /

[FatCat]

Они могут игнорировать правила в robots.txt?

Запрет в роботсе - это не запрет чтения страницы, а запрет индексации. Он означает, что страница не будет присутствовать в результатах поиска и ссылки на этой странице не будут иметь веса.

Но сами ссылки страницы бот обработает.

Я проверял: делаю новый сайт, на который нет ни одной входящей ссылки; сайт может много месяцев висеть неизвестным поисковкам.

Делаю на этот новый сайт ссылки на страницах, запрещенных к индексации, - и довольно быстро новый сайт появляется в индексе всех поисковок.

[pvo1988]

только что ему там вкусным показалось если на форуме всего один топик ! -))) и бот его уже сутки смакует ! -)))

Смеялся долго и от души. Спасибо!

 

Странные бывают иногда поисковики... Купил в прошлом году домен, арендовал хостинг, установил IPB... На второй день сидит Яндекс...

Подумал, может кто уже использовал этот домен? Но в поиске были сведения только про мой только что установленный форум ...

Изменено 3 Июня 2010 пользователем pvo1988

[fishcka]

Странные бывают иногда поисковики...

+1 :о))))

у меня твиселер-0.9 уже несколько месяцев заходит на форум чтоб почитать одну и ту же тему, остальные его просто категорически не интересуют