Проблема с поиковыми ботами

[vova[SEX YO!]]

у меня форум в зоне co.uk , и комне судя по логам

GoogleBot 4.03.2004 - 17:46 64.68.86.57 act=portal

GoogleBot 4.03.2004 - 17:44 64.68.86.57 s=315e6b69cfc22649a290ef275fe2ff9f&act=Online&CODE=listall

GoogleBot 4.03.2004 - 16:30 64.68.87.41 s=045181a73f92b15390e76a1ec2d00993&act=Downloads&

GoogleBot 4.03.2004 - 16:19 64.68.87.41 act=portal

GoogleBot 4.03.2004 - 15:12 64.68.87.69 s=045181a73f92b15390e76a1ec2d00993&act=Downloads&

GoogleBot 4.03.2004 - 14:07 64.68.87.66 s=e7653ab3f93e5748c7738ff415ddb179&act=SF&f=4&

GoogleBot 4.03.2004 - 13:48 64.68.87.69 act=portal

GoogleBot 4.03.2004 - 07:32 64.68.86.149 s=1a83c1630df476422b171be0bd6ddf8e&act=Downloads&

GoogleBot 4.03.2004 - 06:51 64.68.87.69 s=1a83c1630df476422b171be0bd6ddf8e&act=Downloads&

GoogleBot 4.03.2004 - 06:06 64.68.87.69 s=5e2c768c805f7fdfb1f62757835e5b56&act=portal

 

заходит тога 1 бот

уже поставел и чтобы русские были, но заходит тока Google

это глюк ?

[theIggs]

Для начала нужно создать файл robots.txt, чтобы боты знали, куда им ходить...

[AGS]

нужно создать файл robots.txt, чтобы боты знали, куда им ходить...

А может куда им не ходить? Или я тупой или DisAllow....

[theIggs]

AGS

И ходить, и не ходить.

[vova[SEX YO!]]

theIggs

а что в роботс.тхт писать ?

ссылки просто типа

http://mysite/forum/index.php?act=portal ?

[AGS]

Неа. Лучше прочти в нете. А вообще там пишут куда им не ходить типа, в начале паук а потом типа Disallow путь...

[Bertus]

У меня аналогичная ситуация!

А где этот файл есть? Я его не нашел..

[AGS]

У меня он ваще пустой. А не, вру

User_Agent *

Disallow admin.php

Или типа того, я уж не помню

[vova[SEX YO!]]

я вот тут нашол http://www.searchengineworld.com/robots/robots_tutorial.htm

но вот тока я английски можно сказать незнаю

Добавлено в [mergetime]1078431443[/mergetime]

а вот каковата сайта http://www.whitehouse.gov/robots.txt

Добавлено в [mergetime]1078431552[/mergetime]

но там только Disallow, тобиш, что писать чтобы аллов было ?, или это ненада и я с поискавиками в обломе ?

[Bertus]

Вот что я нашел..

 

Robots.txt is designed to EXCLUDE robots - not to invite them in.

 

Короче, там написанно что этот файл сделан только для закрытия роботам доступ, а не для приглашения к себе!

 

Да и мануал прочел что vova[sEX YO!] давал, там только инфа о том как настроить на Disallow. Кстать, в админке есть функция, где можно включать и отключать поисковики, и боты... там еще и дескрипшн типа, если вас мощно атакуют отключите эту опцию, так вот для этого и служит robots.txt.. и несет ту же самую функцию, тоесть, запрещает!

 

Значит это файло нам не нужно. Вот тут к примеру (на ibresource.ru) я вижу постоянно разные роботы!как это работает? и где надо настраивать?

[vova[SEX YO!]]

Вот что я нашел..

 

Robots.txt is designed to EXCLUDE robots - not to invite them in.

 

Короче, там написанно что этот файл сделан только для закрытия роботам доступ, а не для приглашения к себе!

 

Да и мануал прочел что vova[sEX YO!] давал, там только инфа о том как настроить на Disallow. Кстать, в админке есть функция, где можно включать и отключать поисковики, и боты... там еще и дескрипшн типа, если вас мощно атакуют отключите эту опцию, так вот для этого и служит robots.txt.. и несет ту же самую функцию, тоесть, запрещает!

 

Значит это файло нам не нужно. Вот тут к примеру (на ibresource.ru) я вижу постоянно разные роботы!как это работает? и где надо настраивать?

вот что я нашол

http://www.rambler.ru/doc/robots.shtml

http://www.yandex.ru/info/webmaster2.html

 

и я понел что походу, чтоли на каждом поисковике регистрироваться чтоли ?

[AGS]

и я понел что походу, чтоли на каждом поисковике регистрироваться чтоли ?

Ну а ты как хотел?!

Конечно если на твой сайт ок. 1000 ссылок с других индексированных сайтов, тогда тебе не надо регится... а так поисковики о тебе и неузнают, св. к тебе никто и не придёт

[vova[SEX YO!]]

Конечно если на твой сайт ок. 1000 ссылок с других индексированных сайтов

как ты угадал ?

GoogleBot 5.03.2004 - 01:36 64.68.87.55 s=66beba407335a9ea0a2050c61cfaf26e&act=Search&nav=lv&CODE=show&searchid=76f6762aa0c7e5ce45d0872c32c0360b&search_in=topics&result_type=topics

GoogleBot 5.03.2004 - 01:10 64.68.86.38 showtopic=14&hl=

GoogleBot 5.03.2004 - 01:09 64.68.87.55 showforum=2

GoogleBot 5.03.2004 - 00:55 64.68.86.61 s=30b4095c0947fa3fe4042b24f4677ab6&act=Downloads

GoogleBot 4.03.2004 - 23:28 64.68.86.38 s=3fe56d54127a9baa5e5aa0714e466c7b&act=Reg&CODE=00

GoogleBot 4.03.2004 - 19:18 64.68.87.41 s=167e5945ca8c97b71abf93f27d286cb4&

GoogleBot 4.03.2004 - 17:46 64.68.86.57 act=portal

GoogleBot 4.03.2004 - 17:44 64.68.86.57 s=315e6b69cfc22649a290ef275fe2ff9f&act=Online&CODE=listall

GoogleBot 4.03.2004 - 16:30 64.68.87.41 s=045181a73f92b15390e76a1ec2d00993&act=Downloads&

GoogleBot 4.03.2004 - 16:19 64.68.87.41 act=portal

Google самый главный посетитель моего сайта

adminky чтоли ему открыть ?

ну все проблема можно сказать решена, тему можно закрыть

[theIggs]

В общем, так. robots.txt должен лежать на сервере обязательно, потому что некоторые роботы, не найдя его, просто поворачиваются и уходят. В большинстве случаев через некоторое время существования сайта поисковики припрутся сами, но чтоб их не ждать, проще сходить самому на сайты поисковиков и пригласить их. Подробнее можно почитать на forum.ru-board.com в разделе "Помощь веб-мастеру" или как его там...

[vova[SEX YO!]]

theIggs

я сделал просто бликнот в корневой дир.

пока ботов невидно, модет это изза того что у меня сайт в дир. forum ? а на главной страницы redirect

[AGS]

Ващето сунь на главную ссылку на твой форум. Ато редирект у ботов...

[vova[SEX YO!]]

падцаны, поздравти меня

комне сегодня ночью зашол апорт

Aport Bot 65 6.03.2004 - 03:20

[AGS]

Надолго?

[vova[SEX YO!]]

Надолго?

судя по логам в 3 чеса ночи !весть! сайт облазел и ушол....

 

 

 

 

GoogleBot ( 64.68.87.69 ) Отвечает в форум: Флейм

это как понять ?

[AGS]

это как понять ?

Это значит что он нажал на кнопку ответить, или типа того

[Fastserg]

GoogleBot ( 64.68.87.69 ) Отвечает в форум: Флейм

это как понять ?

 

Пошел по ссылке "ответить".

[vova[SEX YO!]]

понятна

[Hottt]

vova[sEX YO!] , так как ты добился посещения Апортом?

[TeMy4uH]

Хех, у меня тожа проблемы с этими "тараканами". ГуглБот один раз зашёл и фсё, а в поисковике сайт так и не появляецца

 

Кто знает, скока должно времени пройти, чтоб сайт в поисковике появился, после того, как прошло индексирование ботом?!

[Dekker]

TeMy4uH

если бот тебя посетил один раз, обязательно вернеться. жди меня, тьху, его и обязательно вернеться.

[TeMy4uH]

Да не, вопрос не в том, вернёцца он или нет, а в том, скока нужно ждать, пока мой сайт появиица в поисковиках, после посещения ботом!