Снижение нагрузки на сервер

[Kosiak]

В последнее время от хостера начали приходить жалобы, на то, что форум создаёт большую нагрузку на его сервер (10-12%). Думается мне, что повинны в этом в основном разного рода боты и поисковые пауки (к примеру не в меру любопытный паук от Яндекса).

Так вот, хочу проконсультироваться, каким образом нагрузочку можно понизить, не особо ущемляя обычных юзеров. Пробовал различные параметры в разделе CPU Saving, но помогло не очень, если вообще помогло...

Хостер и Яндекс советуют пошаманить с robots.txt, но вот мне интересно, может ключики есть и в самом движке? К примеру отключить гостям/ботам просмотр содержимого профиля в постах (а также аватара и подписи) и оставить только ник с постом....

Посоветуйте чего-нибудь.

[Garret]

Хостер и Яндекс советуют пошаманить с robots.txt,

А что там с ними шаманить??? Они то тут при чем к нагрузке...

 

Можно оптимизировать запросы в исходниках форума А какая собственно посещаемость форума? Может это просто хостер такой галимый.

[Valera]

А что там с ними шаманить???

 

Они намекают, мол запрети поисковикам индексировать форум.

[Kosiak]

2Valera

Ну типа того Чего делать ясен пень не хочется...

 

2GarretM

А при том, что яндексовский бот за месяц траффика создал больше в 4раза, чем занимает сам сайт (включая картинки и файлы). И посещаемость у него была 14% от общей

 

Посещаемость форума (по счётчикам) около 70-100 уников в день.

"Кто был сегодня онлайн" пишет нереальные 2500-4000 гостей в день

Превышение идёт по ночам. Хостер - Питерхост.

[Garret]

А при том, что яндексовский бот за месяц траффика создал больше в 4раза, чем занимает сам сайт (включая картинки и файлы). И посещаемость у него была 14% от общей

Отключи определение ботов, и чтобы логи по ним не писались в базу. А нагрузка на сервер к траффику никакого отношения не имеет.

[Isabella]

У меня такая же проблема, хостер уже дважды отключал форум, из-за сильного превышения нагрузки на сервер. Подскажите плз как это вылечить?

GarretM, разъясни для чайника где и что отключить, для уменьшения этой нагрузки?

Изменено 21 Мая 2006 пользователем Isabella

[Garret]

Настройками в админке нагрузку не сильно уменьшишь, тем более для этого прийдется отказатся от многих крайне необхожимых фич. Для снижения нагрузки можно подправить исходники форума, но для этого нуно хорошо знать ПХП программирование.

 

А отключить индексацию ботов и логирование можно в настройках форума, там есть секция специальная. Но это всего лишь уменьшить траффик.

[jim bim]

У меня похожая - надо уменьшить нагрузку на мускуль...

Отправитель: Вы

Кому: Отдел администраторов серверов

Заголовок: MySql ошибка

Текст сообщения: Здравствуйте.

В течении поселений недели стали появляться у меня и у многих юзеров моего сайт и форума ошибки такого вида

 

mySQL error: Can't connect to MySQL server on 'Тут айпи адрес юзера' (49)

mySQL error code:

Date: Sunday 21st of May 2006 02:11:39 AM

----

Такое происходит очень часто.

Возможно, это связано с тем, что посещаемость форума увеличилась с 500 уникальных посетителей до 700 уникальных посетителей.

Разберитесь, пожалуйста, с этой проблемой, т.к. посещаемость эта еще не большая...

Сообщение 2 из 5 отправлено 21-05-2006 в 02:19:10

Отправитель: Зулькарнеев Дмитрий Владимирович

Должность: Сотрудник Клиентской Службы

Отдел: Отдел администраторов серверов

Кому: Вам

Заголовок: Re[2]: MySql ошибка

Текст сообщения: Дорогой Клиент,

 

Спасибо за Ваше письмо. У нас установлено ограничение на 30 одновременных подключений к БД. Этого должно быть достаточно для нормальной работы.

Вам необходимо оптимизировать запросы к базе.

 

 

Сообщение 3 из 5 отправлено 21-05-2006 в 02:40:23

Отправитель: Вы

Кому: Отдел администраторов серверов

Заголовок: Re[3]: MySql ошибка

Текст сообщения: Запросы оптимизировать некуда. Форум IPB - работает нормальнои при 200 посетителях за 10 минут...

Если Вы можете - посмотри сами исходники форума и оптимизируйте запросы, потому что эта ошибка стало появляться очень часто.

Либо нужно увеличить лимит одновременных подключений..

Сообщение 4 из 5 отправлено 21-05-2006 в 03:08:22

Отправитель: Зулькарнеев Дмитрий Владимирович

Должность: Сотрудник Клиентской Службы

Отдел: Отдел администраторов серверов

Кому: Вам

Заголовок: Re[4]: MySql ошибка

Текст сообщения: Дорогой Клиент,

 

Спасибо за Ваше письмо. Ваш вопрос сейчас решается.

Приносим Вам свои извинения за задержку в ответе.

 

 

 

 

Сообщение 5 из 5 отправлено 21-05-2006 в 07:52:16

Отправитель: Карташов Константин Васильевич

Должность: UNIX Администратор Level 2

Отдел: Отдел администраторов серверов

Кому: Вам

Заголовок: Re[5]: MySql ошибка

Текст сообщения: Дорогой Клиент,

 

Спасибо за Ваше письмо.

К сожалению, у нас нет возможности оптимизировать клиентское ПО. Так же нет возможности увеличить количество одновременных подключений, так как это может вызвать монополизацию сервера

БД.

[Kosiak]

Решил через robots.txt закрыть ненужные разделы.

Т.к. абсолютно в этом плане не спец - почитал мануалы и вроде как собрал то, что явно не нужно. Но директивы этого файла только явно запрещают, хотя в IPB нужно только явно разрешить папку lofiversion. Вот такая незадача - файл этот почти бесполезен. Даже используя мета-тэг ROBOTS ничего сделать нельзя, т.к. он одинаков для всех страниц форума

Я в печали....

 

Для тех, кто разбирается, мой robots.txt

 

User-agent: *
Disallow: /site/admin.php
Disallow: /site/cache/
Disallow: /site/ips_kernel/
Disallow: /site/jscripts/
Disallow: /site/lang/
# Disallow: /site/modules/
Disallow: /site/retail/
Disallow: /site/skin_acp/
Disallow: /site/skin_cache/
Disallow: /site/sources/
Disallow: /site/style_emoticons/
Disallow: /site/style_images/
Disallow: /site/style_avatars/
Disallow:

просто, хотелось бы узнать, ничего я в нём не напорол?

[Valera]

Kosiak, то что ты перечислил в robots.txt, и так не юзается поисковиками

[KarlZon]

На сколько я понял (сам столкнулся с проблемой) файлом robots.txt можно запретить вообще индексировать форум т.е. смотреть index.php.

Не помню на счет 2.0.х есть ли в нем маски доступа для ботов? посмотрел - есть.

Значит я создал группу для ботов с запретом смотреть профили и пр. и с маской просмотра только одного осневного раздела. Сегодня посмотрю как отразится на нагрузке. У меня лог Яндекса за ночь на 15000 пунктов вырастал.

Только, похоже, это не помогает...

Изменено 24 Мая 2006 пользователем KarlZon

[Isabella]

Моя проблема как видно заключалась в МКПортале он не очень любит IBR может дело и в версии, этого не скажу, но с 2.1.х точно не уживаются. Так что надо мне присматривать что-то другое.

[Kosiak]

2Valera

Я это понимаю. Вот только надо как-нибудь запретить всё и разрешить только lofiversion

Через роботс этого не сделать

[xRay]

через мод-реврайт без проблем можно замутить чтобы боты поисковые на лофай топали

[Kosiak]

А примерчик привести можешь?

[gorcer]

3 способа решить проблему превышения нагрузки на сервер:

http://gorcer.com/2008/10/reshenie-3x-prob...uzki-na-server/

[FatCat]

3 способа решить проблему превышения нагрузки на сервер

1 + 3 - есть топик в разделе для клиентов.

2 - логичнее решать настройками апача.

[Oleg Rodnin]

Рекомендую менять хостинг. 200 уников это очень даже немного для IPB 2.0 и никакие роботы не смогут его сильно сожрать на нормальном сервере (на обычном виртуальном хостинге).

[MiksIr]

Про robots.txt скорее всего рекомендовали вот это:

http://help.yandex.ru/webmaster/?id=996567#1022359

Изменено 29 Октября 2008 пользователем MiksIr

[FatCat]

200 уников это очень даже немного

Смотря как считаются юники.

У меня вроде бы по юникам не много: 4-8 К в месяц абсолютных юников. Если поделить на 30 дней в месяце, примерно то на то.

Хостов порядка 40 К в месяц.

В среднем с хоста по 20 хитов - вот уже 800 000 хитов в месяц.

Но это без ботов. А с ботами у меня по серверным логам перевалило за 2 М хитов в сутки. И это при том, что бэдботы убиваются автобаном в .htaccess ...

 

Вот статистика с начала месяца:

Доменное имя		MIME-тип		Число обращений		Кбайт			Средний размер файла
vesvalo.net		text/html		1 738 431		11 259 854		6.48