last modified header

[j0k3r]

Всем привет.

 

Подскажите, пожалуйста, а стоит ли добавить в заголовки ипб Last-Modified?

Вижу, что боты у меня с форума не уходят + заметил, что любят и по старым топикам пройтись.

Так вот мне кажется, что боты-то неслабую нагрузку дают.. да и лучше бы что-то новое индексировали.

 

Может, стоит в выводе топиков добавить заголовок Last-Modified равный дате добавления последнего поста?

[FatCat]

Сделал текстовый sitemap.txt, генерирующийся заново при каждом обращении к sitemap.php. Сделал rss по последним сообщениям и раскидал по фидам. Ссылки на sitemap.php и на rss сделал на главной, плюс скормил sitemap.txt яндексу и гуглу через панель управления.

И боты основные усилия сосредоточили на новых сообщениях.

 

У меня шутбокс на всех страницах, поэтому боты видят и старые страницы каждый раз разными. И это хорошо - поисковки любят частые обновления и повышают эти страницы в серпе.

Главное, чтобы без клоакинга... Я раз сдуру приравнял ботов к пользователям, не учтя, что один раздел у меня был закрыт от чтения гостям - весь форум ощутимо просел в поисковках; спасибо, что из индекса никто не выкинул.

 

 

Что касается заголовков, то я прописал в index.php после

<?php

весь пакет запрета кеширования:

header("Expires: Mon, 26 Jul 1997 05:00:00 GMT");
header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");
header("Cache-Control: no-store, no-cache, must-revalidate");
header("Cache-Control: post-check=0, pre-check=0", false);
header("Pragma: no-cache");

[j0k3r]

FatCat

header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");

Ну вот вся проблема как раз в том, что при таком заголовке бот будет думать, что страничка обновилась.. вновь и вновь бегать по страничкам и грузить сервер, скачивая то, что у него уже есть.

[rgaraev]

FatCat

header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");

Ну вот вся проблема как раз в том, что при таком заголовке бот будет думать, что страничка обновилась.. вновь и вновь бегать по страничкам и грузить сервер, скачивая то, что у него уже есть.

 

Покрути с датой, т.е. сделай условия чтобы проверка была раз в неделю, например каждое 5 число, 12, 18 и т.д.

[sudmed]

Last-Modified прописать в sitemapXML.

[j0k3r]

rgaraev

FatCat

header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");

Ну вот вся проблема как раз в том, что при таком заголовке бот будет думать, что страничка обновилась.. вновь и вновь бегать по страничкам и грузить сервер, скачивая то, что у него уже есть.

 

Покрути с датой, т.е. сделай условия чтобы проверка была раз в неделю, например каждое 5 число, 12, 18 и т.д.

А зачем мне поисковик обманывать? Если топик старый - значит, он старый. Нет?

 

sudmed

Last-Modified прописать в sitemapXML.

Честно говоря, у нас нет sitemap. Не видел такого мода для 1.*, а сам пока не взялся.

[Song]

Если напрямки в страницу прописать заголовки, то получается неприятность - некоторые браузеры перестают помнить старые позиции после возвращения назад и страница перечитывается заново, не восстанавливается например высота текущего скрола и т.д.

Я у себя делал так:

//--------------------------------
//  Yandex trick!
//--------------------------------

if ( !$ibforums->member['id'] )
{
@header("Expires: Mon, 26 Jul 1997 05:00:00 GMT");
@header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");
@header("Cache-Control: no-store, no-cache, must-revalidate");
@header("Cache-Control: post-check=0, pre-check=0", false);
}

в index.php

[j0k3r]

Song

При таком варианте получается, что при каждом визите бота поисковика ему сообщается, что страница обновлена. И так он ходит по всем-всем псевдо новым страничкам, нагружая сервер + лучше б действительно новые страницы индексировал.

[FatCat]

Честно говоря, у нас нет sitemap. Не видел такого мода для 1.*, а сам пока не взялся.

Здесь - sitemap.php для 1.х.

Я лишь чуть-чуть дополнил - все гиперлинки сбрасываются в текстовый файл.

Линк на sitemap.php есть на главной, какой-нибудь бот каждый день по нему проходится, так что sitemap.txt практически всегда свежий.

 

 

PS: На самом деле дополнил не чуть-чуть, а дополнил серьезно:

Дополнил проверкой прав доступа к сообщениям; никаких дурацких прописываний айдишников форумов в код сценария;

Дополнил сбором тем и комментариев mJournal с учетом моих модификаций прав доступа к журналам.

[Song]

Song

При таком варианте получается, что при каждом визите бота поисковика ему сообщается, что страница обновлена. И так он ходит по всем-всем псевдо новым страничкам, нагружая сервер + лучше б действительно новые страницы индексировал.

ну тогда не ставь этот трик и будет как ты хочешь.

Т.е. в смысле вообще ничего не делай.