Если хостеры постоянно жалуются (нагрузка)

[Saechka]

Хостеры постоянно жалуются на то, что форум сильно загружает их сервера и блокируют мой сайт.

Цифры не удалось еще получить ни разу. Сменила троих, в том числе в пух и прах разругалась с Мастерхостом – те вообще молча взяли и заблокировали, разблокировать отказались, ни одной цифры не привели в качестве аргумента.

 

Суточная посещаемость форума около 10 тыс. чел.

 

Сейчас на Свебе – только месяц как переехала и опять началось… Обещают через неделю заблокировать, если не снижу нагрузку и не оптимизирую форум. Цифр тоже пока не удалось никаких добиться, вот все, что есть:

 

> Собственно ***.***.ru и грузит. На него довольно высокая посещаемость.

 

Сегодня с 9 утра у Вас уже 115593 запросов к форуму, с 1364 уникальных IP.

Часть конечно с поисковиков. За прошлые сутки было больше 350 тысяч запросов.

 

Что делать?... Арендовать сервер финансово не потяну

[G*g]

Суточная посещаемость форума около 10 тыс. чел.

чем не цифра? если больше 10 тыс уникальных в сутки, то для ipb нужна отдельная машина как его не оптимизируй.

 

Что делать?... Арендовать сервер финансово не потяну

да, только так. хостеры вас терпеть долго не будут.

 

 

 

а вообще с такой посещаемостью пора бы и деньги на нем зарабатывать. хотя бы для оплаты аренды сервера.

[kalawnikov]

иногда наступает такой момент, когда виртуал хост не тянет, и тока аренда спасет

[WildRAID]

Всё же нужно узнать, какой именно лимит превышается. Скорее всего - процессорное время.. но кто его знает.

 

1. Настроить robots.txt

http://yandex.ru/yandsearch?rpt=rad&text=robots.txt

 

Хотя бы прописать что-нибудь в духе:

User-agent: *
Crawl-delay: 3

 

2. Проверить "линеечки". Они, часом, не каждый раз с нуля генерятся при просмотре подписей?

 

+++

 

Вообще, судя по статистике:

На форуме сообщений: 120596

Зарегистрировано пользователей: 3732

 

- именно поисковые боты заедают. Или кто-то очень хочет вас закрыть и атакует форум..

Изменено 8 Мая 2009 пользователем WildRAID

[Arhar]

с такой посещаемостью можно сидеть дома и пить мартини - никакая работа не нужна, поставь только жалкую рекламу

а для порядка надо заюзать гугль аналитик, там сразу станет понятно - поисковики ли, или нет

[Saechka]

Эт кажется, что можно мартини попивать

Что-то пока не получается на рекламе зарабатывать особо... Не мое - не умею

[WildRAID]

Да 10к уников - это явный фейк. Там от силы 200-500.

 

Если б реальных 10к было, рекламодатели вас уже сами бы нашли.) С "мартини" и т.д. по списку..

[Chib@]

На форуме сообщений: 120596

Зарегистрировано пользователей: 3732

Хм...а сколько пользователей в день? Именно ПОЛЬЗОВАТЕЛЕЙ.

Похоже на DDOS больше....если честно

[Saechka]

К сожалению, статистика не отделена от основного сайта... Кол-во пользователей не могу отделить...

а визитов - порядка 12 тыс вчера было только на форум...

[FatCat]

Похоже на DDOS больше....если честно

Посмотрел. Не похоже.

Похоже на лич-ботов, но тоже не они: пробил на пробу пару топиков через pride шинглами, все чисто, юник; значет, не личат контент.

Надо смотреть по серверным логам с каких айпишников идет много запросов, и пытаться понять логику запросов: если понять, что сканируют, может быть удастся понять, зачем сканируют.

 

Вот живой пример: всего 3 секунды из жизни бота. У меня они отбиваются автобаном, поэтому следы их деятельности вижу только в эррорлоге:

[Thu May  7 21:41:25 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:25 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:25 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:25 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:25 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:25 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:25 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:25 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:25 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:25 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:26 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:26 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:26 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:26 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:26 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:26 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:26 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:26 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:26 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:26 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:27 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:27 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:27 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:27 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:27 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:27 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:27 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php
[Thu May  7 21:41:27 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net
[Thu May  7 21:41:27 2009] [error] [client 212.95.54.178] client denied by server configuration: /home/user/site.net/index.php

За 4 минуты было почти 2000 запросов страниц. Если бы не автобан и отдавались бы полные страницы, такой бот вполне способен стать причиной обид хостера.

Изменено 8 Мая 2009 пользователем FatCat

[ArtemedoN]

By the way, попробуй отключить функцию отправки писем по емеилу, и сверь нагрузку.

[uzsat]

Поиск тоже лучше оптимизировать. У меня тоже самое было, пока не доработал Поиск до среднего уровня. Хотя в настоящее время тоже не очень стабильно пашет Поиск, однако - пашет же все равно.

[Док]

FatCat, так из за чего такие вот ошибки валят ?

client denied by server configuration:

И как это можно решить ?

А то у меня тоже много таких как ты пишешь

http://forums.ibresource.ru/index.php?s=&a...st&p=344397

 

У меня сейчас стоит PHP4.4.9, а когда включаю PHP5.2.9 , то почему то еще больше памяти отедает форум

Это нормально, или что то не так ?

Когда включаю PHP5.1.6 , то вообще форум не грузиться, просто белая страница

Как то странно получается, пятая версия больше жрет ресурса хостинга ?

[FatCat]

FatCat, так из за чего такие вот ошибки валят ?

client denied by server configuration:

И как это можно решить ?

Это значит, что "враг", прописанный в эйчтиакцессе, успешно отбит.

Это не ошибка, это свидетельство успешной работы защиты.

 

 

Как то странно получается, пятая версия больше жрет ресурса хостинга ?

Новое ПО почти всегда более ресурсоемко, чем старое.

Но зато и возможностей у него больше.

[Док]

FatCat, спасибо большое

А я думал, что это проблема, а это оказывается работает