Повышенная нагрузка на базу данных

[Михаил_Муравлев]

Доброго времени суток. Беспокоит следующее.

 

Каковы максимальные возможности движка IPB 3.2.х? (в данный момент у меня 3 категории и более 1400 форумов подфорумов и отдельных веток. Когда их было всего 750-800 при добавлении Нового форума появлялась ошибка перехода, но форум добавлялся. Сейчас же невозможно открыть любую тему даже при включенном "режиме производительности", сегодня с утра не стало возможным вообще зайти на форум

Ошибка сервера

 

На веб-сайте произошла ошибка при получении http://talk.mark-model.ru/. Веб-сайт может быть закрыт на обслуживание или настроен неправильно.

Вот несколько советов и рекомендаций:

• Обновите эту страницу позже.
  

Ошибка HTTP 500 (Internal Server Error): При попытке сервера выполнить запрос возникла неожиданная ситуация.

вот что я наблюдаю при попытке входа, ранее такая ошибка вылазила при попытке открыть тему)

 

Подскажите что предпринять, количество форумов вобщем нужное для работы проекта это ~3000. С чем связана такая проблема?

Изменено 16 Апреля 2012 пользователем Михаил_Муравлев

[ACIDS]

Тут же ясно что проблема связана с возможностями вашего хостинга, смените хостинг со своего на более современный с соответствующими техническими возможностями и проблема исчезнет. Изменено 16 Апреля 2012 пользователем ACIDS

[Михаил_Муравлев]

Можно поподробнее, использую хостинг siteko. Чего мне не хватает? Я провел несколько тестов, после опустошения таблицы forums - форум стал доступен, на данный момент в системе 1346 форумов/подфорумов. Возможно мне стоит использовать VDS сервер? Или же нужен хостинг сильнее? Также вопрос остается открытым - способен ли IPB поддерживать 3000 форумов/подфорумов?

 

Все происходит без участия Пользователей, на сайте только два админа. Т.Е. нагрузки со стороны пользователей никакой, может быть проблема БД?

 

И какие должны быть соответствующие технические характеристики для такого форума?

[siv1987]

А зачем вам так много форумов?

 

Также вопрос остается открытым - способен ли IPB поддерживать 3000 форумов/подфорумов?

Ограничения на количество форумов нету, хоть сто миллионов, но большое число формов может дать приличную нагрузку, особенно когда загрузятся кэши всех этих форумов. Но без самой ошибки это тыкать пальцем в небо, капайте логи - 500 это ошибка сервера и они логируются.

 

И какие должны быть соответствующие технические характеристики для такого форума?

С пустым может и на шареде работать, а может и dedicated server потребуется если сильно нагрузка возрастет.

[ACIDS]

3000 форумов и подфорумов - это конечно жесть, если учитывать что это явно не предел топикстартера. Я представляю какая нагрузка идет на сервер, чтобы отобразить главную страницу форума.

Попробуйте зайти в АЦ - Системные настройки - Оптимизация нагрузки на сервер. И здесь попробуйте отрегулировать ваш форум.

[Ph-A]

Возможно мне стоит использовать VDS сервер?

Точнее просто сервером.

 

Также вопрос остается открытым - способен ли IPB поддерживать 3000 форумов/подфорумов?

Легко. Только я бы не рекомендовал делать вывод всех 3000 форумов на главную страницу.

 

А вообще проще пересмотреть логику структуры форума.

[Михаил_Муравлев]

Отключил отображение подфорумов на всех страницах. структура такая(буду говорить приблизительно) - на главной странице 3 категории в которых 30-40 форумов, далее в этих 30-40 форумах около 500-600 подфорумов, далее в этих 500-600 подфорумах около 3000-3600 подфорумов. Числа приблизительные, и это окончательные размеры проекта, на данный момент вобщем доступно 1346 форумов и недоступен форум полностью ошибка 500, копировал из базы таблицу forums и очистил ее - снова все работает. Возможно необходимо разделить на несколько таблиц? чтобы снять нагрузку с одной???

 

В разделе оптимизации нагрузки, полностью отключил ВСЕ возможные функции, также включил режим производительности - зайти на форум НЕВОЗМОЖНО(ошибка 500) - и это только 1346 форумов - без потока пользователей, над сайтом работают два человека. Представьте какая нагрузка будет из-за прогрессивного роста числа посетителей? Необходимо сделать так чтобы сама система не нагружала сервер и все ресурсы были максимально свободны, чтобы было возможным поддерживать постоянный онлайн от 1000 пользователей и выше...

[Ph-A]

Необходимо сделать так чтобы сама система не нагружала сервер и все ресурсы были максимально свободны, чтобы было возможным поддерживать постоянный онлайн от 1000 пользователей и выше...

У вас с одним форумом 1000 пользователей не один виртуальный хостинг не выдержит.

[siv1987]

Возможно необходимо разделить на несколько таблиц? чтобы снять нагрузку с одной???

Ага, разделяйте.

 

Но мы так и не услышали

1. Логи ошибки

2. Зачем вам такая структура, может проще будет перестроить логику форумов? А там можно будет и 50 форумов обойтись. Неправильно делать акцент на форумы, для этого есть топики.

[ACIDS]

Может в данном случае человек собирается какой-то мега-архив создать или справочник.

[Михаил_Муравлев]

в Журналах пусто, последние записи о том что админ создал определенный форум, ошибки не в базе ни в скрипте запечатлено не было. Хотя последние 50 форумов уже выдавали ошибку при создании

 

Зачем вам такая структура, может проще будет перестроить логику форумов? А там можно будет и 50 форумов обойтись. Неправильно делать акцент на форумы, для этого есть топики.

 

Структуру не удастся сократить до размеров топиков, потому что это вызовет невообразимую путаницу и проблемы в навигации, а так же пользователь перестанет хотеть задать Свой вопрос - перечетав гору топиков которые скорее всего не имели к его проблеме отношения, но всеже имели похожее название.

 

Подобная структура собрана для упрощения перемещения по сайту, более возвышена возможность подписки как на темы так и на отдельные форумы и категории, чтобы человеку не преходилось загружать весь форум постоянно, а только ту часть на которую он подписан.

[siv1987]

в Журналах пусто, последние записи о том что админ создал определенный форум, ошибки не в базе ни в скрипте запечатлено не было.

В каких журналах? В логах сервера серверные ошибки надо смотреть.

 

потому что это вызовет невообразимую путаницу и проблемы в навигации

Проблему в навигации если кто и вызовет, так это огромная кучка форумов, и я абсолютно уверен что после просмотра двух форумов и видя что ему осталось еще 1000 таких просмотреть, закроет подальше этот ресурс с нервным тиком. Вы наоборот сильнее усложняете структуру, он в этом количестве просто потеряется.

 

перечетав гору топиков которые скорее всего не имели к его проблеме отношения, но всеже имели похожее название.

Ага, только теперь прежде чем попасть в эти темы, ему придется еще гору форумов перечитать. А чтобы не перечитывать все темы всего форума есть поиск, можно подключить платную версию гугла/яндекса поиска который создаст индекс и поиск по группе ваших сайтов.

 

Имхо, вся это идея с для каждой темы отдельный форум заведомо лажная.

[ACIDS]

Михаил_Муравлев, поделитесь ссылочкой на Ваш форум, уж очень интересно стало ...

[Ph-A]

В каких журналах? В логах сервера серверные ошибки надо смотреть.

Смысл смотреть на виртуальном хостинге. Все равно не кто не даст не больше ресурсов, не оптимизировать веб-среду

[koro]

http://talk.mark-model.ru/

[Михаил_Муравлев]

http://talk.mark-model.ru/

как быстро все разлетается. Это он, но в выключенном состоянии т.к. с заполненной таблицей forums он попросту недоступен (ошибка 500) . Так что до решения проблемы и полной постановки проекта на Лицензионном IPB, не могу раскрыть вам общий вид - извините

[Ph-A]

как быстро все разлетается.

В первом сообщение сами дали ссылку на него

 

Это он, но в выключенном состоянии

Не так он давно он был включен

[siv1987]

Смысл смотреть на виртуальном хостинге. Все равно не кто не даст не больше ресурсов, не оптимизировать веб-среду

 

Автор вроде говорит что у него как минимум VPS.

Не понимаю тогда на что он рассчитывает с ипб на шареде.

[Михаил_Муравлев]

В первом сообщение сами дали ссылку на него

Оо чето я эпик фэйл xD

 

Автор вроде говорит что у него как минимум VPS.

Не понимаю тогда на что он рассчитывает с ипб на шареде.

 

Ребят ценю вашу помощь, и тему создал только для получения главного ответа, нужно ли снимать отдельный сервер под сей проект))) приблизительные масштабы я написал, скажите ваше мнение))

[siv1987]

нужно ли снимать отдельный сервер под сей проект)))

 

Возьмите тестовый сервер и попробуйте, и то не гарантия что не придется допиливать.

[Ph-A]

Возьмите тестовый сервер и попробуйте, и то не гарантия что не придется допиливать.

Придется точно.

 

Автор вроде говорит что у него как минимум VPS.

Не понимаю тогда на что он рассчитывает с ипб на шареде.

На VPS тоже ловить нечего.

 

нужно ли снимать отдельный сервер под сей проект

Нужно.

 

А еще в плотный поиск по этому форуму. А возможно по другим

 

По этому форуму. Была тема где топик стартер - владелец форума библиотеки, озадачивался подобными вопросами.

 

Плюс к этому было несколько ценных топиков от GiV и Arhar где они подробно описывали решения для оптимизации серверов. Стоит прочитать.

Изменено 19 Апреля 2012 пользователем Ph-A

[Михаил_Муравлев]

Плюс к этому было несколько ценных топиков от GiV и Arhar где они подробно описывали решения для оптимизации серверов. Стоит прочитать.

Примного благодарен за ценные советы Ph-A, а также всех участников топика. Отдельный сервер сниму в середине следующей недели (финансовые затруднения), так как с в.серверами ранее не работал, возможно потребуется денек на "разбор полетов", но к выходным следующей недели снова запущу проект в работу, буду рад вас видеть. Ответы на все вопросы (зачем мне такая структура? и почему именно она) каждый получит перейдя на главную страницу форума, но я думаю кто успел там побывать за первые дни существования топика уже догадался и все понял

[t0rik]

У меня тоже была такая проблема. Очень высокая нагрузка на БД. Установил дополнительный сервер, на него перенес БД. IPB фронтэнд на 1-м сервере , БД на другом (включен патчкордом в первый сервер по 1 гбит каналу) и больше не испытываю проблем с БД.