Перейти к контенту
  • 0

ЧПУ и robots.txt

Evrika

Спросил Evrika,

 Поделиться

Вопрос

Evrika

Evrika

Опубликовано
Опубликовано

Нужен совет знающих.

 

Вот сменила я ЧПУ какой правильно составить robot.txt ?

Сейчас у меня так:

 

User-agent: *
Host: мой-сайт.ru
Disallow: /style_images/
Disallow: /index.php?act=Msg
Disallow: /index.php?act=Mail
Disallow: /index.php?act=Members
Disallow: /index.php?act=SR
Disallow: /index.php?act=SF
Disallow: /index.php?act=ICQ
Disallow: /index.php?act=MSN
Disallow: /index.php?act=AOL
Disallow: /index.php?act=AIM
Disallow: /index.php?act=SC
Disallow: /index.php?act=task
Disallow: /index.php?act=UserCP
Disallow: /index.php?act=usercp
Disallow: /index.php?act=report
Disallow: /index.php?CODE=
Disallow: /index.php?&debug=1
Disallow: /index.php?act=Profile
Disallow: /index.php?showuser
Disallow: /index.php?app=forums&module=
Sitemap: http://мой-сайт/indexsitemap.xml

 

А вообще у меня почему то два файлика в корне с одинаковым содержимым это robotstxt.txt и robots.txt

Понимаю нубский вопрос, но сама я что то сомневаюсь, один говорит так другой сяк...

Ссылка на комментарий
Поделиться на других сайтах

13 ответов на этот вопрос

Рекомендуемые сообщения

  • 0
Ritsuka

Ritsuka

Опубликовано
Опубликовано

robotstxt.txt - это стандартный файл для тройки, откройте его на правку, внимательно прочитайте инструкцию, измените в соответствии с нею и вашими настройками, сохраните и переименуйте его в robots.txt.

 

robots.txt, что привели вы - какой-то кастомный, специфический, но в SEO я не особо разбираюсь, так что оценить его корректность не могу.

Ссылка на комментарий
Поделиться на других сайтах
  • 0
Evrika

Evrika

Опубликовано
  • Автор
Опубликовано (изменено)
robotstxt.txt - это стандартный файл для тройки, откройте его на правку, внимательно прочитайте инструкцию, измените в соответствии с нею и вашими настройками, сохраните и переименуйте его в robots.txt.

 

robots.txt, что привели вы - какой-то кастомный, специфический, но в SEO я не особо разбираюсь, так что оценить его корректность не могу.

Я совсем забыла, тот я для 2.3.6 делала))

 

Заменила вот так.

 

User-agent: *
Host: http://сайт.ru/
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Sitemap: http://сайт/indexsitemap.xml

Изменено пользователем Evrika
Ссылка на комментарий
Поделиться на других сайтах
  • 0
Ralf99

Ralf99

Опубликовано
Опубликовано (изменено)

У меня сейчас такой стоит. Закрыл дополнительно ещё от индексации профили пользователей, календарь, страницу ответа, список кто отвечал в тему, список прикреплений к теме.

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*page__view__findpost*
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /index.php/user/
Disallow: /index.php?app=core&module=global&section=login
Disallow: /index.php?app=core&module=global&section=lostpass
Disallow: /index.php/calendar
Disallow: /index.php?app=calendar&module=calendar
Disallow: /index.php?app=forums&module=extras&section=stats&do=who&t=
Disallow: /index.php?app=forums&module=forums&section=attach&tid=
Disallow: /index.php?app=core&module=attach&section=attach&attach_id=
Disallow: /index.php?app=forums&module=extras&section=rating&t=
Disallow: /index.php?app=forums&module=post&section=post&do=reply_post&f=

robots.txt

Изменено пользователем Ralf99
  • Ralf99 отреагировал на это
  • Лайк 1
Ссылка на комментарий
Поделиться на других сайтах
  • 0
cthu

cthu

Опубликовано
Опубликовано

Я оставил родной + добавил ссылки ошибок гугла к примеру лазить захотел по очисткам куки и т.д.

 

Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=core&module=global&section=login&do=deleteCookies
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*&section=markasread

Ссылка на комментарий
Поделиться на других сайтах
  • 0
cthu

cthu

Опубликовано
Опубликовано
2 cthu:

Яндекс ругается на:

Disallow: /*app=core&module=usercp

 

В родном файле так:

Disallow: /*app=core&module=usercp

Так у меня так и так прописано...

Но проблем кстати небыло с яндексом первоначально... только с гуглом (((

Ссылка на комментарий
Поделиться на других сайтах
  • 0
frostbite

frostbite

Опубликовано
Опубликовано
все супер! спасибо! всего 1 ошибка осталась в вебмастере, осталось исключить index.php?app=core&module=global&section=rss&type=calendar&id=1
Ссылка на комментарий
Поделиться на других сайтах
  • 0
Ralf99

Ralf99

Опубликовано
Опубликовано
По-моему для трёшки с включенным ЧПУ это немного неверные роботсы... или я ошибаюсь?

этот роботс подходит и для включенного ЧПУ и для выключенного

Ссылка на комментарий
Поделиться на других сайтах
  • 0
OzzyPuch

OzzyPuch

Опубликовано
Опубликовано

Кроме излишнего индексирования форума, на форум обрушиваются ползучие спамеры.Если ваш хостинг крутится на Apache

В разделе управления сайтом включите блокировку доступа со следущих IP адресов (для Apache):


  •  
  • список во вложенном файле.

Блокировка доступа с IP адресов (для Apache).txt

Ссылка на комментарий
Поделиться на других сайтах
  • 0
Ritsuka

Ritsuka

Опубликовано
Опубликовано (изменено)

А в этот список можно вписать пару-тройку своих личных врагов? :)

 

Это я к тому, что анонимные блэклисты - зло еще большее, чем спамеры. Там могут быть вписаны кто и что угодно.

Изменено пользователем Ritsuka
  • Evrika отреагировал на это
  • Лайк 1
Ссылка на комментарий
Поделиться на других сайтах
  • 0
nek2

nek2

Опубликовано
Опубликовано

Значит оставить стандартный роботс.текст ? :rolleyes:

В стандартный в 3.1.1 добавлено вот это:

Disallow: /*?s=
Disallow: /*&s=
Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forum/index.php?app=forums&module=extras&section=rating
Disallow: /forum/index.php?app=forums&module=forums&section=markasread

  • Evrika отреагировал на это
  • Лайк 1
Ссылка на комментарий
Поделиться на других сайтах

Присоединиться к обсуждению

Вы можете ответить сейчас, а зарегистрироваться позже. Если у вас уже есть аккаунт, войдите, чтобы ответить от своего имени.

Гость
Unfortunately, your content contains terms that we do not allow. Please edit your content to remove the highlighted words below.
Ответить на вопрос...

×   Вы вставили отформатированный текст.   Удалить форматирование

  Допустимо не более 75 смайлов.

×   Ваша ссылка была автоматически заменена на медиа-контент.   Отображать как ссылку

×   Ваши публикации восстановлены.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

Зарузка...
×
 Поделиться
Перейти к списку вопросов
×
×
  • Создать...

Важная информация

Находясь на нашем сайте, вы соглашаетесь на использование файлов cookie, а также с нашим положением о конфиденциальности Политика конфиденциальности и пользовательским соглашением Условия использования.

  Согласен