Яндекс не индексирует форум 3.0.5

[rinich]

Уже недели три как яндекс выбросил все страницы форума из индекса, ошибок никаких нет - никак не пойму в чём причина, писал в Яндекс, молчат. Может у кого была такая проблема или кто посоветует как её решить, уже не знаю что делать. Адрес форума в профиле.

Заранее спасибо.

[Kosiak]

Форум скорее всего выкинули из индекса из-за огромного количества мусорных страниц и страниц с дублированным контентом, которые движок IPB3 создаёт с избытком.

[rinich]

Форум скорее всего выкинули из индекса из-за огромного количества мусорных страниц и страниц с дублированным контентом, которые движок IPB3 создаёт с избытком.

Подскажите пожалуйста как исправить.

[Kosiak]

1. Форум этой версии черезвычайно плох в плане SEO, поэтому особо ничего сделать не получится. Я полностью перекапывал шаблон, чтобы исключить ссылки на левые страницы для гостей (левых страниц очень много, в основном они появляются из-за неправильного использования AJAX - всякие выпадающие окошки должны быть полностью вырезаны из шаблонов или на них должно стоять условие - только для зарегистрированных). Полностью убрать от гостей "календарь" и раздел "пользователи", и всё это подкрепить записями в robots.txt

Объединить главную страницу в один URL (посмотрите тему в модификациях от Ritsuka). Это самое основное, что уменьшит массу плохих страниц от 3х до 5 раз.

 

2. Писать товарищам платонам, что вы всё исправили и просить вернуть форум в индекс.

[rinich]

1. Форум этой версии черезвычайно плох в плане SEO, поэтому особо ничего сделать не получится. Я полностью перекапывал шаблон, чтобы исключить ссылки на левые страницы для гостей (левых страниц очень много, в основном они появляются из-за неправильного использования AJAX - всякие выпадающие окошки должны быть полностью вырезаны из шаблонов или на них должно стоять условие - только для зарегистрированных). Полностью убрать от гостей "календарь" и раздел "пользователи", и всё это подкрепить записями в robots.txt

Объединить главную страницу в один URL (посмотрите тему в модификациях от Ritsuka). Это самое основное, что уменьшит массу плохих страниц от 3х до 5 раз.

 

Мой роботс

 

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/js/

Disallow: /public/style_captcha/

Disallow: /public/style_css/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs

Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*page__view__findpost*

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /index.php/user/

Disallow: /index.php?app=core&module=global&section=login

Disallow: /index.php?app=core&module=global&section=lostpass

Disallow: /index.php/calendar

Disallow: /index.php?app=calendar&module=calendar

Disallow: /index.php?app=forums&module=extras&section=stats&do=who&t=

Disallow: /index.php?app=forums&module=forums&section=attach&tid=

Disallow: /index.php?app=core&module=attach&section=attach&attach_id=

Disallow: /index.php?app=forums&module=extras&section=rating&t=

Disallow: /index.php?app=forums&module=post&section=post&do=reply_post&f=

Host: forum.volvoforlife.ru

 

Мод от Ritsuka у меня стоит. Может в роботсе что не так =(

 

Яндексу писал - реакции 0. =(

 

Самое интересное то, что не индексирует именно страницы форума, т.к. пдф файлы в корне индексирует нормально. И ссылку на главную страницу в результатах поиска по запросу выдаёт, причём на приличных позициях...

[Kosiak]

Самое интересное то, что не индексирует именно страницы форума, т.к. пдф файлы в корне индексирует нормально. И ссылку на главную страницу в результатах поиска по запросу выдаёт, причём на приличных позициях...

У меня было точно также, с предыдущей версией IPB - там подстава была с Lo-Fi страницами. Яндекс посчитал их дубликатами и выбросил все, а морда была на первых местах по основному ключевику (это среднечастотник). Помогло тогда обращение к платонам, но после того, как фильтр сняли Яндекс начал упорно индексировать именно Lo-fi версию, полностью забыв про сам форум, что очень хреново. Тогда мне пришлось полностью убить Lo-Fi и ещё с месяц писать в суппорт, чтобы натравили паука именно на основные страницы (яндекс может поделить сайт на условные части и загонять под фильтр по частям, что в моём случае и имело место быть).

[Kosiak]

Ну что, удалось решить вопрос?

 

т.к. у меня в robots раздел с пользователями не закрыт, я закрыл лишь его части, т.е. те, которые ведут к дублированию:

Disallow: /*__p__
Disallow: /*page__f__
Disallow: /*page__tab__aboutme
Disallow: /*page__tab__posts
Disallow: /*page__tab__topics

 

Но почему-то в Яндексе все эти странички до сих пор присутствуют. Толи лыжи не едут, толи...

В общем либо Яша положил на роботс, либо я где-то ошибся (но смотрю, вроде ничего криминального не написал).

[Sannis]

Ну что, удалось решить вопрос?

 

т.к. у меня в robots раздел с пользователями не закрыт, я закрыл лишь его части, т.е. те, которые ведут к дублированию:

Disallow: /*__p__
Disallow: /*page__f__
Disallow: /*page__tab__aboutme
Disallow: /*page__tab__posts
Disallow: /*page__tab__topics

 

Но почему-то в Яндексе все эти странички до сих пор присутствуют. Толи лыжи не едут, толи...

В общем либо Яша положил на роботс, либо я где-то ошибся (но смотрю, вроде ничего криминального не написал).

Всё что попадает в кеш, удаляется лишь после крупных апдейтов или через продолжительное время.

[Kosiak]

Как работает Яндекс я знаю. Сегодня был апдейт выдачи, так в выдаче количество страниц не уменьшилось (что следовало бы ожидать), а резко увеличилось ещё на 2 тыс.

[FatCat]

Всё что попадает в кеш, удаляется лишь после крупных апдейтов или через продолжительное время.

У меня на одном из сайтов уже лет 5 как поменяли расширение страниц с html на php, но яндекс до сих пор помнит эйчтимиэльки и показывает мне их в панели вебмастера.

[Kosiak]

Просто если это не ошибка в роботс, тогда косячит Яндекс и я буду ждать

 

У меня на одном из сайтов уже лет 5 как поменяли расширение страниц с html на php, но яндекс до сих пор помнит эйчтимиэльки и показывает мне их в панели вебмастера.

Когда я перехал на другой домен, ещё в течение 4 месяцев Яндекс в выдаче на первых позициях показывал старый сайт (кстати на пару с гуглем), хоть оттуда и стоял 301 редирект. Пока не пришёл зеркальщик и всё не объединил.

Здесь же сутуация запрета страниц через роботс - проходить по всем страницам роботу не требуется, поэтому выкинуть страницы он должен как бы сразу.

[rinich]

Никак проблема не решается, Гугл индексирует, а яндекс отказывается.

в панели пишет

Страниц в поиске 0

Время последнего посещения сайта роботом 12.04.2010

Загружено роботом 64237

Исключено роботом 60172

 

Где 4 тыс. страниц не совсем понятно.

Техподдержке писал несколько раз -результат нулевой =(

 

Причём яндекс бот на форуме просто живёт =/

[FatCat]

Никак проблема не решается, Гугл индексирует, а яндекс отказывается.

[8<===]

Причём яндекс бот на форуме просто живёт =/

Очень похоже было больше года. Домен в .net, и сидели на украинском сервере с украинским айпишником.

После смены хостера и появления московского айпишника быстро попали в индекс.

 

Дело не в версии форума, дело в чем-то другом.

Кстати, при добавлении в адурилку что пишет?

[Sannis]

Просто если это не ошибка в роботс, тогда косячит Яндекс и я буду ждать

Здесь же сутуация запрета страниц через роботс - проходить по всем страницам роботу не требуется, поэтому выкинуть страницы он должен как бы сразу.

Пусть вам это и не понравится, но все не так, как вам хотелось бы. Думаю Яндекс эту точку зрения разделяет, потому так и получается.

 

А мысль следующая:

Robots.txt запрещает индексацию страниц. Это означает только то, что изменения на страницах, уже попавших в кеш не отразятся на нём, а новые страницы, подпадающие под запрет не будут добавляться в кеш. Однако это не означает, что поисковик должен удалять из кеша страницы, которые он успел просмотреть до введения запрета в robots.txt.

[Kosiak]

Однако это не означает, что поисковик должен удалять из кеша страницы, которые он успел просмотреть до введения запрета в robots.txt.

Кто это вам такое сказал? Логика работы поисковиков говорит совсем об обратном. То, что у яндекса могут быть свои выкрутасы (как например с зеркальщиком) - не спорю, но держать в кэше запрещённые страницы поисковику обычно невыгодно, особенно Яндексу, который ратует за уменьшение нагрузки на свои мощности, вычищая индекс.

[Ph-A]

Очень похоже было больше года. Домен в .net, и сидели на украинском сервере с украинским айпишником.

После смены хостера и появления московского айпишника быстро попали в индекс.

 

Дело не в версии форума, дело в чем-то другом.

У меня форум был в индексе. И находился в Москве, на московском ip. Но после переноса его в Бельгию в дата центр с хорошими каналами, индексация здорово улучшилась.

[rinich]

У меня индексируеи и постоянно на форуме сидит, а вот страниц в поиске 0 =) Я уже всё вроде бы сделал, бесполезно. Техподдержка яндекса молчит, ну и ладно, зато хоть гугл индексирует )

[marioo]

У меня индексируеи и постоянно на форуме сидит, а вот страниц в поиске 0 =) Я уже всё вроде бы сделал, бесполезно. Техподдержка яндекса молчит, ну и ладно, зато хоть гугл индексирует )

это уже гс попахивает, контенет уникальный ?

 

А что за мод от Ritsuka ?

Изменено 4 Января 2011 пользователем marioo