Проиндексированность поисковками

[FatCat]

Чтобы не флудить в топике модификаций, начну здесь:

 

Результаты 1 - 10 из приблизительно 7 860 с ******. (0,12 секунд) простите за оффтоп,но это много или мало?

Надо смотреть отношение к общему числу страниц, разрешенных к просмотру поисковкам.

 

У меня на сегодняшний день гугла пишет:

приблизительно 18 700 с vesvalo.net. (0,18 секунд)

 

Смотрю сайтмеп:

Форумов: 17 - Топиков: 2328 - Журналов: 113 - Записей в журналах: 3579 - Линков на этой странице: 8351

На самом деле больше, ибо сделаны системы пересортировки и разрешены к индексации; в сумме примерно тысяч 20 страниц.

 

Значит, гугла проиндексировала и приняла в индекс практически весь форум. И не удивительно, гуглбот сидит в списке посетителей круглосуточно как приклеенный после того, как я скормил rss-ку фидбёрнеру.

 

Яндекс перестал показывать количество страниц в индексе, но все же можно подсмотреть через webmaster.yandex.ru/wmconsole/

С я ндексом у меня похуже дела:

Страниц в индексе: 4668

И не удивительно. Яндексбот съел sitemap.txt, съел rss, и все равно захаживает пару раз в неделю на часок... Может потому, что форум не в домене .ru. До декабря прошлого года яндекс нас вообще не индексировал, ибо были не на российском айпишнике.

[sudmed]

Яндекс перестал показывать количество страниц в индексе

Нет, не перестал.

Пример с vesvalo.net.

[Arhar]

Яндекс - Страниц в индексе: 59892

Счастье началось после запрещения большинства ненужных форумских ссылок (на разные виды, на текстовую версию, на отдельное сообщение ( которое вызывало еще и уйму замечаний из-за редиректа)) и, также, установки sitemap.xml, найденного на изе. Вещь оказалась полезной.

 

edit:

В гугле 33 900 (0,17)

 

2FatCat, куда кормить рсс?

Изменено 13 Сентября 2008 пользователем Arhar

[FatCat]

2FatCat, куда кормить рсс?

Если для гугла, то сюда: http://www.feedburner.com/fb/a/home

Фид будет на http://feeds.feedburner.com/имя_сайта

[Alex I]

Какой смысл считить индексированные страницы, если ресурса нет в ТОПе по ключевикам?

Можно иметь десять тысяч проиндексированных страниц, которые будут пылиться в третьей сотне, а можно иметь десятоке, которые нагонят посетителей.

Имхо.

[FatCat]

Какой смысл считить индексированные страницы, если ресурса нет в ТОПе по ключевикам?

У меня около 3 десятков ключевиков, по которым я предпринимаю действия по продвижению.

И еще несколько сотен ключевиков, которые приводят целевых посетителей. Я не продвигаю по ним, ибо нет смысла драться за запросы с частотой 5-10 в месяц. Благодаря массе проиндексированных страниц, я имею примерно столько же целевых по непродвигаемым низкочастотникам, сколько целевых по продвигаемым.

Опять же, "толщина" сайта - один из факторов рейтинга страниц, а значит помогает топовым страницам подняться в топ по СЧ и ВЧ.

 

Форум - не промосайт, у него несколько иные механизмы продвижения.

Покажи мне хоть один промосайт с 100+ М копирайта. А форумы, кроме форумов анекдотов, - это сплошной копирайт, и его объем растет как снежный ком.

[Arhar]

по 3 запросам в гугле было первое место в свое время

в яндексе первого сентября было первое место, причем, судя по всему, благодаря наплыву посетителей, как сказал FatCat, снежный ком

 

за 2 месяца pr вырос на 1 пункт

[Alex I]

FatCat

Со многим соглашусь, но добавлю, что промосайт проводит внутреннюю оптимизацию страниц под ключевики, в то время как в темах форума этого просто не сделать.

Касаемо "толщины" сайта.. .ну не знаю... возраст, несомненно. Возможно, как производная от возраста.

Данные с seorate:

с 24.08 по 13.09 -

с 14 728 до 21 038 страниц - Яндекс

с 37 700 до 47 300 страниц - Google

[FatCat]

FatCat

Со многим соглашусь, но добавлю, что промосайт проводит внутреннюю оптимизацию страниц под ключевики, в то время как в темах форума этого просто не сделать.

Соглашусь, но добавлю.

Кое-что все же можно сделать и с форумом в вопросах внутренней оптимизации под ключевики.

У меня не всё из этого сделано, но все же.

1. Напихивание ключевиков в названия разделов. (не стал делать, у меня СДЛ, а не ГС). Вот уже два повторения как минимум: в заголовке и в джампере быстрого перехода.

2. Навстрип в теги <h1> - и ключевики из названия разделов попадут под этот тег в своих разделах.

 

Сканируем страницы на предмет спонтанного присутствия ключевиков в постах посетителей. С этого имеем:

 

3. Мета-кейвордс для каждой страницы становится уникальным, поисковки это любят.

 

При сборе ключевиков сортируем их по количеству повторов на странице; исключаем тех, что повторились больше 10 раз. Из остальных:

 

4. Собираем уникальный тайтл, содержащий кроме названия раздела еще и 3 самых частых ключевика страницы.

 

5. Собираем мета-дескрипшн: ключевики 3-4-5 (если не пересекаются с ключевиками в названии раздела или в имени борды) добавляются в качестве "проблемы", обсуждаемой в теме форума такого-то в разделе форума таком-то.

 

6. Под основные ключевики делаем страницы, и делаем автоперелинковщик ключевых слов в постингах на эти страницы.

 

Как результат - квэйт (тырящий контент с комовского гугла) вообще не находит меня в форумах, и находит меня в сайтах. :)

[sudmed]

Как результат - квэйт (тырящий контент с комовского гугла) вообще не находит меня в форумах, и находит меня в сайтах.

Мой IPB тоже в форумах не находит (кстати, раздела "сайт" там нет). Скорее всего это просто недоработка квейта.

[Freestyler(c)]

Счастье началось после запрещения большинства ненужных форумских ссылок (на разные виды, на текстовую версию, на отдельное сообщение ( которое вызывало еще и уйму замечаний из-за редиректа))

 

Можно вопрос? как более правильно это сделать? С примером, если можно

 

И что за отдельное сообщение?

[FatCat]

Можно вопрос? как более правильно это сделать? С примером, если можно

Вот мой robots.txt

:User-Agent:*
Disallow: /temp/
Disallow: /html/
Disallow: /index.php?act=fav
Disallow: /index.php?act=Post
Disallow: /index.php?act=Login
Disallow: /index.php?act=Msg
Disallow: /index.php?act=Mail
Disallow: /index.php?act=Members
Disallow: /index.php?act=ICQ
Disallow: /index.php?act=MSN
Disallow: /index.php?act=AOL
Disallow: /index.php?act=AIM
Disallow: /index.php?act=module&module=gallery
Disallow: /index.php?act=Shoutbox
Disallow: /index.php?act=Arcade
Disallow: /index.php?act=calendar
Disallow: /index.php?act=statistics
Disallow: /index.php?act=Members
Disallow: /index.php?act=Search
Disallow: /links.php
Disallow: /*view=getnewpost
Disallow: /*client=word
Disallow: /*act=Attach
Disallow: /*act=Mail
Disallow: /*view=findpost
Disallow: /*view=getlastpost

[Arhar]

есть такая особенность, некоторые поисковики не любят в роботс большие буквы, поэтому везде, в шаблонах, где я только мог, я изменил

act=Attach на act=attach и т.д.

в результате, 2.1.6

User-agent: *
Disallow: /lofiversion/
Disallow: /jscripts/
Disallow: /style_images/
Disallow: /cache/
Disallow: /*showuser=
Disallow: /*act=login  
Disallow: /*act=post
Disallow: /*act=print  
Disallow: /*act=reg 
Disallow: /*act=online  
Disallow: /*act=members  
Disallow: /*act=help 
Disallow: /*act=search 
Disallow: /*act=forward  
Disallow: /*act=mail  
Disallow: /*act=report 
Disallow: /*act=msg
Disallow: /*act=usercp  
Disallow: /*act=profile 
Disallow: /*act=track
Disallow: /*act=stats  
Disallow: /*act=attach 
Disallow: /*act=legends  
Disallow: /*act=mmod 
Disallow: /*act=warn 
Disallow: /*act=task 
Disallow: /*act=findpost  
Disallow: /*act=paysubs
Disallow: /*setskin
Disallow: /*view=getnewpost$
Disallow: /*view=getlastpost$
Disallow: /*view=findpost
Disallow: /*view=new
Disallow: /*view=old

 

отдельное сообщение - Disallow: /*act=findpost

[FatCat]

есть такая особенность, некоторые поисковики не любят в роботс большие буквы

Яндекс, гугл, апорт и ремблер вроде не ругаются.

А все остальные поисковики вместе взятые не приносят и 10 целевых в месяц.

Я всерьез думаю вообще забанить яху по айпишнику, ибо грузит сервер прилично, а посетители с нее идут сплошное дерьмо. У меня форум агрессивно русскоязычный, народ даже на транслит бухтит; а из яхи только по англоязычным запросам идут...

 

 

PS: Зачем ты запретил лофиверсию? Она же идет как ссылочная и элементарно склеивается поисковкой; при этом "толщина" сайта для поисковки растет, а значит и в серпе чуток поднимется.

[sudmed]

элементарно склеивается поисковкой

Не элементарно и далеко не всегда.

Она же идет как ссылочная

А это что такое?

при этом "толщина" сайта для поисковки растет, а значит и в серпе чуток поднимется.

Это ваши собственные наблюдения?

[FatCat]

Она же идет как ссылочная

А это что такое?

Ссылочная (цитатная) страница - это страница, содержащая часть контента со страницы копирайта, и имеющая ссылку на страницу копирайта.

 

В основной (форумной) странице кроме текста сообщений есть аватарки и прочая лабуда - значит там контента больше, чем в лофишной странице. И со ссылками все грамотно: в лофишной есть линк на форумную, а в форумной нет линка на лофишную.

Итак, в форуме - копирайт, в лофях - ссылочная.

 

Если поисковка нашла обе страницы - она сама решит что взять в индекс, а что выкинуть.

Если возьмет в индекс лофишную - выгода для нас маленькая, ибо ее значимость для поисковки лишь на каплю выше форумной (нет аватарок с прочей трихомудией, в итоге индексируемый текст окажется чуть выше по числу знаков).

Если возьмет в индекс форумную - выгода больше, ибо ей передастся ссылочный вес с лофишной, не взятой в индекс текста, но взятой в индекс ссылок на проиндексированную страницу.

 

 

 

при этом "толщина" сайта для поисковки растет, а значит и в серпе чуток поднимется.

Это ваши собственные наблюдения?

Да.

У меня же 1.3. На этом движке нет лофи. Лофи я прикрутил много позже, и буквально через месяц ощутимо поднялся в выдаче по всем основным запросам.

 

И обратное наблюдение есть.

У меня 2 подфорума с большой посещаемостью: "курилка" и "флудилка". Когда я закрыл от гостей и поисковок "флудилку", в серпе опустились и страницы "курилки".

[sudmed]

Ссылочная (цитатная) страница - это страница, содержащая часть контента со страницы копирайта, и имеющая ссылку на страницу копирайта.

В основной (форумной) странице кроме текста сообщений есть аватарки и прочая лабуда - значит там контента больше, чем в лофишной странице. И со ссылками все грамотно: в лофишной есть линк на форумную, а в форумной нет линка на лофишную.

Ничего не понял. С обычной версии таки есть ссылка на текстовую.

 

У меня же 1.3. На этом движке нет лофи. Лофи я прикрутил много позже, и буквально через месяц ощутимо поднялся в выдаче по всем основным запросам.

Мало данных для такого суждения.

[FatCat]

Ничего не понял.

Где-то на сёрче была хорошая статья по тИЦ: как разместить 50 статей и получить за это +50 в тИЦ. Народ закидал автора помидорами. А я не поленился, и проверил на нулевом сателлите. Выложил сателлит и сделал 10 внешних цитат; на втором АП-е у сателлита тИЦ был 10.

 

Меня интересует не тИЦ, а серп, поэтому я могу упростить себе задачу и не морочиться со внешними цитатами, и наращивать массу внутренних цитат.

 

 

 

С обычной версии таки есть ссылка на текстовую.

[8<====]

Мало данных для такого суждения.

Вот именно!

Потому и мало данных, что у тебя не ссылочная страница получается, а обменная.

У меня в основном топике нет линка на лофи.

[sudmed]

Спасибо за пояснение. Теперь понятно.

[Arhar]

тоесть лофиверсия доступна только с главной?

или не доступна только в темах?

 

в 2.1.х она везде, и в темах на саму тему

 

хотя logic html это исправит

 

еще такой вопрос

ошибка по яндексу

Ресурс не найден - /index.php)

скобка на конце

как убрать такого типа ошибку? .htaccess?

 

add

видимо htaccess...

 

add2

для ibwiki и mjournal полезно

Disallow: /*cmd=article&do=word_version*
Disallow: /*cmd=article&do=text_version*
Disallow: /journal.php?user=*&comm=*&view=*
Disallow: /journal.php?user=*&comm=*&aid=*
Disallow: /journal.php?user=*&view=*

[FatCat]

тоесть лофиверсия доступна только с главной?

или не доступна только в темах?

Корень лофи доступен с любой страницы - линк в шапке. Но сами топики в лофи доступны только через 3 клика.

Если посмотреть index.php?showtopic=xxx и /txt/index.php/txxx.html - со второго на первый есть прямой линк, а с первого на второй нет.

[Alex I]

Кто ставил IbWiki/Inviki не подскажите, поисковики индексируют эти статьи?

[Arhar]

PR портала - 4

PR IbWiki - 3

PR форума - 3

[pampararam]

А подскажите как с помощью роботс txt заставить ботов читать только lo-fi версию

[Song]

никак.