Скачки потребления ресурсов форумом 3.0.5.

[rinich]

есть проблема - несколько раз в сутки форум начинает жутко жрать ресурсы буквально пару минут, с чем это связано понять не могу - от количества пользователей на форуме не зависит, что происходит не зна. Может кто сталкивался с такой проблемой или есть предположения как её решить? Буду признателен за любые советы.

P.S.: Стоят nginx и sphinx

grafeg.bmp

Изменено 5 Апреля 2010 пользователем rinich

[LastDragon]

есть проблема - несколько раз в сутки форум начинает жутко жрать ресурсы буквально пару минут, с чем это связано понять не могу - от количества пользователей на форуме не зависит, что происходит не зна. Может кто сталкивался с такой проблемой или есть предположения как её решить? Буду признателен за любые советы.

P.S.: Стоят nginx и sphinx

Как вариант - посмотрите какая задача запускается в это время (админка - управление планировщиком задач).

[rinich]

есть проблема - несколько раз в сутки форум начинает жутко жрать ресурсы буквально пару минут, с чем это связано понять не могу - от количества пользователей на форуме не зависит, что происходит не зна. Может кто сталкивался с такой проблемой или есть предположения как её решить? Буду признателен за любые советы.

P.S.: Стоят nginx и sphinx

Как вариант - посмотрите какая задача запускается в это время (админка - управление планировщиком задач).

 

Смотрел, от этого не зависит, перегрузки всегда в разное время.

[Sannis]

Это может быть и какой-то не зависящий от форума процесс. На периодичность лучше не очень обращать внимание и проверить сверх этого настройки cron'а и другие показатели загрузки.

[rinich]

Это может быть и какой-то не зависящий от форума процесс. На периодичность лучше не очень обращать внимание и проверить сверх этого настройки cron'а и другие показатели загрузки.

 

В crone одна задача на 00-00 - но в это время не бывает проблем как правило.

[Ritsuka]

В crone одна задача на 00-00 - но в это время не бывает проблем как правило.

А на графике пик ровно в полночь

[rinich]

если бы только ровно в полночь

graf1.bmp

graf1.bmp

Изменено 5 Апреля 2010 пользователем rinich

[rinich]

подскажите хоть куда копать...

[rinich]

Вот ещё график

graf2.bmp

[Ph-A]

подскажите хоть куда копать...

Проще всего спросить хостера. Можно у него на форуме.

[rinich]

Боюсь что отправят оптимизировать скрипт =(

[Ph-A]

Боюсь что отправят оптимизировать скрипт =(

В определенные часы?

Я бы спросил у них. Не в тикете, а на форуме.

[Sannis]

Нужны другие показатели, по одной нагрузке ничего не сказать.

[rinich]

а какие другие показатели?

[Arhar]

например полный список ип адресов, посещающих в этот момент форум, количество и частота открытия страниц

может поисковики бесятся

[rinich]

Может и поисковики бесятся =( Изменено 11 Апреля 2010 пользователем rinich

[rinich]

С ними бороться бесполезно?

[Arhar]

лучше потратить сутки на поиск этой информации, чем на ожидание магического ответа "о, да там в коде надо 5 заменить на 3 и все заработает"

[LastDragon]

А хостинг у вас какой? Не шаред случайно?

(этого вопроса вроде еще не было)

[Serahele]

Да, та же проблема в руцентре на тарифе 301. Писал и хостеру и в клиент-центре. В итоге, достало их посылание друг к другу, и толкание мне ссылок на документацию, (что делалось и проверялось еще до обращения к ним), и пришлось мучаться самому. Бился три недели, не стал уже здесь на форуме писать, без меня проблем хватает.

По итогам трехнедельного копошении по логам, выявилось, что на момент нарастания нагрузок, чаще всего "рядом шарился" яндекс, иногда мудрый гугл вместе с ним потрошил мой форум. При оперативки в 500мб, и стандартном расходе памяти на nginx в среднем 250мб, пики (две-три минуты длятся) вылетали в среднем, в 550-680 метров, бывало до 800. А вот когда, думал, что проблема явно в ботах, появилось новое чудо - пик в 1125мб, юзеров - 15 онлайн, гостей - 5 онлайн, ботов - не было в течение ближайших часов, не то что минут. Подняв более ранние логи, чем те, что проверял в течение тестовых недель, заметил, что пики появлялись так же, не зависимо от ботов. В общем, после этого, просто забил на все это дело и купил VPS (четрыхядерный процессор, 2гб памяти и прочее), правда еще не перешел на него. И что - теперь зараза, последние пару дней, пики не доходят и до 400мб, а кол-во пиков - 1-2 в стуки (а было до 7превышений), при этом боты на форуме в течение этих двух дней живут без перерыва, все возможности форума включены, онлайн в среднем 20-30, из них до 25 юзеров. Это конечно хорошо, но проблема пиков все же остается, т.к. последние дни я ничего в связи этим не делал, а в чудо самоисправления не верю.

Так что, для меня это загадка, и для хостера по видимому тоже. Был бы скрипт, который бы определял и логировал, что вызывает превышение памяти, было бы другое дело, а так, можно только гадать, так как пики приходятся на разное время, не всегда, в это время есть боты, это не зависит от кол-ва онлайн юзеров/гостей, не зависит от включенных или выключенных дополнительных модулей форума (проверял сутки форум в режиме производительности + отключение полностью всего, кроме тем и возможности писать в них). В общем, полный абзац. Ставил даже скрипт проверки и логирования, на тяжелые скрипты форума, результат - пусто. В общем, посмотрю, как будет дальше. Но все же, интересно, что может быть причиной таких ненормальных взрывов пиков памяти.

 

Хотя, конечно, не исключаю и того, что просто туплю

 

А хостинг у вас какой? Не шаред случайно?

(этого вопроса вроде еще не было)

У rinich тоже хостер - руцентр, тариф по всей видимости 201.

 

P.S. rinich, мне бы ваши пики

Изменено 15 Апреля 2010 пользователем Serahele

[rinich]

У меня RuCenter, тариф 301 как и у Вас, только почему-то планка использования памяти менее 500 =(

Я уже не знаю что и делать, проводил аналогичные опыты, результата - 0 вообще непонятно никакой связи ни с чем, просто бах и всё. Самое интересное что после такого пика, форум спокойно уходит в нормальный режим и работает так до следующего всплеска.

 

ОФФтоп:

По поводу ВПС когда потестите отпишитесь и порекомендуйте как оно там )))

[Serahele]

rinich, на 301 это стандартная планка. Обратитесь к сапортам. Кстати, по сабжу. Скачки, ничем не обоснованные, появились намного раньше, еще в феврале месяце, по крайней мере у меня, собственно именно из-за этого и перешел на nginx, так у меня и без него форум хорошо работал. Но nginx не помог от них. Если у вас скачки появились с 5 апреля, то это связано с техработой на стороне хостера. У них полетел маил-сервер, и они там что-то переделывали вплоть до 12 апреля. В этот период, да, пики заметно возросли.

Вот, только сейчас дошло. 12 апреля они начали в тихую мудрить и в ПУ клиента, 13 апреля ПУ была полностью отключена, а после включения ПУ, скачки исчезли. Не знаю, надолго ли, но по крайней мере до сих пор, после этого ихнего "молчаливого" изменения, пики вошли в норму, и уже два дня все работает стабильно, ну т.е. для моей планки в 500мб, это отличные показатели, по сравнению с тем, как было. Так что, все же склоняюсь к проблеме на стороне хостера, так как могу точно подтвердить, что никаких предпосылок для таких пиков не было, они появлялись "из ничего", и через пару минут исчезали, после чего форум прекрасно работал дальше.

 

Проверьте сейчас свою планку, возможно они во время тех работ снизили ее на некоторых серверах. Если у вас по прежнему 300 предел, то пишите хостеру.

 

P.S. Относительно ВПС, я его тестировал, вещь хорошая, но подожду еще немного. Если пиков больше не будет, то останусь в руцентре, а если все повторится, то ВПС всегда готов, все равно уже лицензия на ПУ для сервера куплена на год ))

Изменено 15 Апреля 2010 пользователем Serahele

[Ph-A]

У меня RuCenter, тариф 301 как и у Вас, только почему-то планка использования памяти менее 500 =(

Я уже не знаю что и делать, проводил аналогичные опыты, результата - 0 вообще непонятно никакой связи ни с чем, просто бах и всё. Самое интересное что после такого пика, форум спокойно уходит в нормальный режим и работает так до следующего всплеска.

Не даром я же очень не советовал RuCenter как хостера. Хотя подобных глюков не встречал.

 

По итогам трехнедельного копошении по логам, выявилось, что на момент нарастания нагрузок, чаще всего "рядом шарился" яндекс, иногда мудрый гугл вместе с ним потрошил мой форум.

Меня как-то ддосили. Пришлось кучу адресов блокировать через файрвол. Несколько раз, чуть не заблокировал Гугл с Яндексом. Уж очень они активны.

 

Так что, для меня это загадка, и для хостера по видимому тоже.

Нет слов ...

[Serahele]

P(A), да в том и то дело, что ддос не обнаруживался - был бы он, проблем бы не было, заблокировал бы подчистую. Проблема была все же у хостера. Теперь то, уже перебирая все моменты, вспомнил, что безумие пиков началось после падения целого сервера хостера. Они то его быстро восстановили, но что-то недоделали. Понимаю, как воспринимается хостером укор от их пользователя - "ошибка на вашем хостинге", хотя было видно, что в итоге просто бесилась система. Но падение почтового сервера видимо раскрыло им глаза, потому, в конечном счете, они все сделали, но в тихую. Сейчас, у меня при полнофункциональном форуме, среднее потребление памяти, не 250мб, как было, у же 130мб, пик, первый и пока единственный за сегодня - 311мб. Вот и вся арифметика. В остальном, хостинг у них вполне хороший (не в сравнение конечно с ВПС, но вполне достоин для своих показателей).

 

Извиняюсь за офтоп.

Изменено 16 Апреля 2010 пользователем Serahele

[Ritsuka]

Serahele, а версии PHP и Apache на сервере случаем не изменились после починки "в тихую", не обращали внимание?

[Serahele]

Ritsuka, на уровне моих возможностей доступа и управления, никаких изменений нет. Изменено 16 Апреля 2010 пользователем Serahele