sice Опубликовано 12 Декабря 2010 Жалоба Поделиться Опубликовано 12 Декабря 2010 Доброго времени суток Ребят.Подскажите пожалуйста, почему Google Робот уже 4ый день находится на странице с пользователями и никуда в другое место не хочет идти.robots.txt пустой. Подскажите что не так и кто сталкивался ? Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
0 Miracl Опубликовано 13 Декабря 2010 Жалоба Поделиться Опубликовано 13 Декабря 2010 Гостям доступ к просмотру форума разрешён? Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
0 sice Опубликовано 13 Декабря 2010 Автор Жалоба Поделиться Опубликовано 13 Декабря 2010 Да, разрешен Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
0 sice Опубликовано 17 Декабря 2010 Автор Жалоба Поделиться Опубликовано 17 Декабря 2010 Вот robots.txt User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/js/ Disallow: /fpublic/style_captcha/ Disallow: /public/style_css/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=usercp Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: /*&s= Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /index.php/members/ Host: мой сайт Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
0 GiV Опубликовано 17 Декабря 2010 Жалоба Поделиться Опубликовано 17 Декабря 2010 так он пустой или такой как написано? и потом с чего решили что именно на странице пользователей завис, вполне вероятно кравлеров несколько, просто последнее действие на страницу пользователя приходится. Да, Sitemap еще, как правило, упрощает индексацию. Новая вещь под названием IP.SEO, должно генерировать подобную вещь для форума. Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
0 sice Опубликовано 18 Декабря 2010 Автор Жалоба Поделиться Опубликовано 18 Декабря 2010 Такой, как я здесь написал robots.txt.Наблюдаю за ним из "Кто онлайн". Всегда там находится почему-то.. Цитата Ссылка на комментарий Поделиться на других сайтах Прочее
Вопрос
sice
Доброго времени суток Ребят.
Подскажите пожалуйста, почему Google Робот уже 4ый день находится на странице с пользователями и никуда в другое место не хочет идти.
robots.txt пустой. Подскажите что не так и кто сталкивался ?
Ссылка на комментарий
Поделиться на других сайтах
5 ответов на этот вопрос
Рекомендуемые сообщения
Присоединиться к обсуждению
Вы можете ответить сейчас, а зарегистрироваться позже. Если у вас уже есть аккаунт, войдите, чтобы ответить от своего имени.