Поиск в системе

Поиск в больших сообществах является одним из самых часто используемых инструментов. Потому для нас важно было предоставить полноценный, удобный в использовании инструмент. Прежде чем проектировать поисковую систему мы попытались выделить основные способы ее применения пользователями. В итоге у нас получились следующие use cases: пользователь ищет нужную информацию, но еще не знает, где она может быть; пользователь ищет нужную информацию, точно зная место ее расположения; пользователь ищет нужную информацию в определенном разделе/контексте. Также, проанализировав существующие решения, мы выдвинули следующие критерии к будущей поисковой системе: поиск должен быть легко доступен с любой страницы системы; доступность должна сочетаться с возможностью настраивать поиск под контекст страницы; ситуация, когда ничего не найдено, еще не повод прекратить поиск вообще; поисковая система должна быть едина, таким образом пользователь смог бы переходить от общего к частному и от частного к общему; поиск должен учитывать морфологию; поисковая система должна поддерживать различные поисковые технологии (MySQL FULLTEXT, Lucene, Sphinx, etc); Имея сформулированные сценарии использования и требования к поиску мы приступили к его проектированию и реализации. Итогом этих работ стала поисковая система, которую вы можете наблюдать в продукте AlterVega. А теперь мы расскажем о тех особенностях, которые позволили эффективно реализовать сценарии в рамках требований к системе. Размещение поля поиска в шапке http://altervega.ru/forums/upload/forum/2012/01-11/6adb7c2f0a08e8c0031937c203f51f3b.png Именно такое расположение позволяет сделать поиск доступным с любой страницы, так как шапка присутствует на всех страницах системы. Легко идентифицируемым и запоминаемым пользователь на подсознательном уровне обращает внимание на самый большой элемент шапки, отмечает для себя, что это форма поиска и теперь при необходимости что-либо найти он вернется к шапке и увидит там форму поиска на любой странице. Зависимость поиска от контекста, в котором отображается поле поиска http://altervega.ru/forums/upload/forum/2012/01-11/4c33faf71ad4396975254a029916aceb.png В зависимости от контекста страницы у формы поиска появляются дополнительные опции, позволяющие "сузить" круг поиска. Например, находясь внутри раздела, система помогает искать только в этом разделе. В случае нахождения в конкретной теме пользователь может искать только по этой теме или внутри раздела, в котором эта тема находится. Если пользователь просматривает список пользователей, то он может осуществить поиск по пользователям. Наконец, когда пользователь ходит по своему профилю, или чужому, то он может искать сразу по обсуждениям конкретного пользователя. Уточнение результатов поиска Мы попытались найти эффективное решение для всех сценариев поиска, при этом не хотелось усложнять форму поиска, вводить "продвинутый режим", как это делают другие. И мы пришли к идее с уточнением результатов поиска с помощью фильтров. Первоначально пользователь видит все результаты поиска по всем разделам системы, при необходимости он может сужать область поиска, накладывая дополнительные условия на результаты. http://altervega.ru/forums/upload/forum/2012/01-11/c6a6cc31f689a4c054876e6fed2efb63.png При этом, если системе ничего не удалось найти, то она старается подсказать пользователю возможные действия для улучшения результатов поиска. http://altervega.ru/forums/upload/forum/2012/01-11/f1325c666dfb1a5cdcd25ab26c07f222.png Учет морфологии при поиске по системе Большинство существующих программных продуктов для создания сообществ разработаны на западе. При их разработке не уделялось внимание таким специфическим вещам, как поддержка морфологии языка при поиске. В результате этого пользователям таких систем приходится строить специфические запросы или довольстоваться неполными результатами. А это в обоих случаях снижает удовлетворенность от работы с системой. Мы включили базовую поддержку морфологии в AlterVega. Вы уже могли заметить как она работает на предыдущем скриншоте, однако, покажем еще раз на другом ключевом слове. http://altervega.ru/forums/upload/forum/2012/01-11/f3c2f72b5ba0db0e18982842b92d0b31.png Как вы можете видеть по ключевому слову "новость" система нашла 3 совпадения в поисковом индексе, при этом полного совпадения в результатах нет, система нашла совпадения по словоформам. В любой другой системе результатом поиска было бы сообщение об отсутствии результатов, а AlterVega успешно доказывает обратное. Поддержка различных поисковых технологий Поиск - ресурсоемкая операция, а качественный поиск еще и достаточно сложная алгоритмическая задача. В базовом варианте мы реализовали MySQL поиск по словесному индексу. Этот метод достаточно быстр и дает хорошие результаты. Однако при росте базы документов, а, соответственно, и поискового индекса, время и ресурсы, выделяемые на такой поиск, могут начать быстро расти. В таких случаях на помощь приходят специализированные решения: Lucene, Solr, Sphinx. Они спроектированы исключительно для решения задач поиска, имеют высокую производительность, возможность к масштабированию. http://aveg.us/upload/forum/2011/12-13/0249ddaed4976047b39133f5371fd9fa.png Поэтому мы разрабатывали поиск с учетом его дальнейшего расширения на популярные технологии. Так работа с поисковым backend'ом осуществляется через отдельный интерфейс, который может быть реализован разработчиком для подключения необходимого поискового решения. Из коробки AlterVega уже содержит реализацию базового backend, backend для Zend Lucene и Sphinx backend. Единство интерфейса Конечно же страницы поиска не должены выпадать из общей концепции разработанного интерфейса. Компоновка страницы, визуальное оформление элементов результата поиска, стилистика вспомогательных инструментов - все выдержано в единой концепции. Это позволит пользователю быстро разобраться в возможностях поиска и использовать его максимально эффективно. Надеемся, что вам понравится результат проделанной нами работы, а вашим пользователям также будет доставлять удовольствие использование поисковой системой форума AlterVega, как и нам.

Надежная защита от распространенных хакерских атак крайне важная характеристика современного продукта, тем более если продукт предназначен для использования в достаточно агрессивной среде, такой, как Интернет. При разработке продукта мы учитывали основные возможные направления атак: SQL/Code Injection, XSS, CSRF. Также мы постарались проработать политику безопасности и в самой системе. Сначала о политике безопасности: уникальная связка для авторизации в системе: email + пароль. Email, не публикуется системой, таким образом имеется два неизвестных ключа, в отличие от связки: login + пароль, где зачастую login отображается системой; пароли в системе не короче 6 символов, при регистрации имеется подсказка о сложности вводимого пароля, позволяющая пользователю оценить надежность пароля; изменение email и пароля должно подтверждаться вводом текущего пароля; сессия пользователя привязывается к его IP и браузеру; максимальное количество одновременных авторизаций ограничено 1 авторизацией; AlterVega реализует ролевую систему прав, реализация выделена в отдельный компонент, который используется всеми остальными компонентами приложения для работы с правами пользователя; принятые соглашения по работе с внешними данными для команды разработчиков продукта. Последний пункт направлен на противодействие основным направлениям атак. Защита от SQL/Code Injection Работа с внешними данными через глобальные массивы запрещена. Вместо этого разработчик получает удобный объект для получения данных из запроса. Объект обладает рядом методов, позволяющих проверить (validate) и/или привести (filter) входные данные к нужному типу (число, строка, email, дата и т.п.). Внутри компонентов AlterVega работа с внешними данными ведется только через этот объект. Вот так, например, выглядит код начала действия получения информации о профиле пользователя: // в этом блоке проверяется, что сделан AJAX запрос // при любом другом типе запроса, система его отклонит if( !$this->_request->isAjaxRequest() ) { throw new jE_Http_Exception( jE::translate( 'user' )->{'Страница не найдена'}, 404 ); } // в этой строчке получаются входные данные из запроса, отправленного методом POST $ids = explode( '_', $this->_request->post->getString( 'ids', '' )); // а здесь на эти данные накладывается фильтр (массив с целыми числами) $ids = jE_Filter_Intarray::filter( $ids ); // обработанные данные отдаются в сервис, который строит необходимые запросы // и возвращает данные для отображения $statuses = $this->_user_service->getUsersStatus( $ids ); Помимо приведения к основным типам все входные данные проверяются на соответствие установленным настройками системы лимитам. Процесс более глубокой проверки также унифицирован и используется разработчиками повсеместно. Вот пример кода, отвечающего за регистрацию нового пользователя: // создается объект формы, которая знает каким образом // должна осуществлятся валидация данных, необходимых для // создания сущности пользователя $form = new User_Form_Register; if( $this->_request->isPost() ) { // объект формы заполняется данными $form->fill( $this->_request->post ); // производится запуск всех валидаторов формы // которые проверяют данные из HTML-формы if( $form->isValid() ) { try { // осуществляется попытка создания пользователя // с использование уже проверенных данных $user = $this->_user_service->create( array ( 'email' => $form->email->getValue(), 'name' => $form->name->getValue(), 'password' => $form->password->getValue(), ) ); } catch( Exception $e ) { $form->addProcessingError( jE::translate( 'user' ) ->{'Не удалось создать пользователя'} ); } } } Для составления SQL запросов используется встроенное, развиваемое расширение PHP - PDO. В нашей системе используется механизм подготовленных запросов с подстановкой переменных в запрос с указанием их типа. Защита от XSS При разработке шаблонов представления приложения нами были приняты следующие правила: Правило 0: пользовательские данные можно вставлять только в разрешенных местах шаблона Пользовательские данные можно вставлять только согласно правилам 1-3, запрещено <script>...НЕЛЬЗЯ...</script> внутри описания скрипта <!--...НЕЛЬЗЯ...--> внутри комментария <div ...НЕЛЬЗЯ...=value /> в имени аттрибута тега <НЕЛЬЗЯ... href="/uri" /> в имени тега <style>...НЕЛЬЗЯ...</style> внутри описания CSS Правило 1: делать HTML escape прежде чем вставлять пользовательские данные в тело HTML тега Правило 2: делать JavaScript escape прежде чем вставлять пользовательские данные в значения переменных JavaScript Правило 3: там где данные подразумевают наличие HTML, делать санитаризацию таких данных Санитаризацию мы стараемся делать как на стороне клиента, так и на сервере. HTML Sanitaizer у нас рабоает по принципу белого списка, в нем разрешены только определенные теги, определенные аттрибуты у тегов и определенные значения этих аттрибутов. Все остальное считается некорректным вводом и удаляется. Правило 4: использовать HTTPOnly флаг для cookie Методики воздействия XSS совершенны до тех пор, пока не находится новый вектор атаки неизвестный до настоящего времени. Поэтому чтобы снизить ущерб от неизвестных XSS AlterVega использует защищенные cookie. Данные cookie не доступны из JavaScript и поэтому не могут быть перехвачены в результате XSS-атаки. Защита от CSRF Все "опасные" действия, изменяющие состояние пользовательского профиля, контента и т.п. мы осуществляем только методом POST с передачей уникального для каждого пользователя token'а, который проверяется на стороне сервера при выполнении "опасной" операции. По аналогичной методике сделана защита при авторизации через социальные сервисы, что предотвращает возможность подделки процесса авторизации одного пользователя другим. Аудит Принятие соглашений и внедрение методик в разработку не имело бы эффективности, если бы не постоянное code review новой функциональности, а так же периодических автоматизированных проверок продукта. При code review разработчики стараются находить ошибки, отступления от принятых правил в коде коллег, благодаря чему осуществляется аудит кода. А при помощи сканеров безопасности мы осуществляем автоматизированные проверки, что позволяет контролировать целостность защиты после добавления новых возможностей в систему.

Растут мощности компьютеров, удобство браузеров, скорость интернета, технологии также не стоят на месте. Ушла пора прикреплять по одному файлу к сообщению на форумах. Теперь в некоторых системах стало возможно, наконец, прикреплять несколько файлов к сообщению. Где-то это делается по-одному через кнопку "Обзор" и выбираем файл на компьютере и так далее. Где-то и вовсе нужно иметь установленный Flash Player. Относительно недавно системы загрузки файлов в подобных системах начали получать возможность мульти-загрузки файлов к сообщению за раз. То есть через кнопочку "Обзор" можно выбрать не один, а сразу несколько файлов. И все они (если у пользователя есть на это права) будут прикреплены к сообщению. В AlterVega удобство работы с прикрепляемыми файлами на порядок выше. Мы предлагаем пользователям современных браузеров просто накидывать выделенные в соседнем окне компьютера файлы на нужную область загрузки, и они автоматически начнут подгружаться к сообщению. О ходе загрузки "уведомляют" соответствующие индикаторы загрузки. Через быстрые кнопки "Вставить в текст" и "Удалить" можно вставить сообщение непосредственно среди вашего текст, или же удалить ошибочно загруженный или ненужный файл. http://altervega.ru/forums/upload/forum/2011/10-04/7a44624939baf4501c1e9cfe83c0d768.png Кроме этого работает интерактивная оптимизация загруженных картинок. Например, вы загружаете 20 фотографий и хотите их удобно разместить в сообщении. В некоторых браузерах можно изменять размер прямо на самой картинке, на некоторых через редактор текста иконкой "изображение". http://altervega.ru/forums/upload/forum/2011/10-04/7d644d0a19ad084ceecf205204e7a00b.png В старых браузерах, которые не поддерживают данные способы прикрепления файлов, мультизагрузка все равно доступна, не менее простая и удобная форма. -- http://altervega.ru/images/av_sm.png AlterVega. Вместе мы построим империи виртуальной жизни.

В нашем продукте отменена обязательная активация регистрации через e-mail, которая сейчас существует на большинстве форумов и систем. Периодические проблемы с недоставкой писем с форума к регистрирующемуся, неправильный ввод адреса электронной почты, просто проблемы с почтой, или попадание письма в спам. Все это проблемы могут служить отказом или задержкой в регистрации нового участника на вашем форуме или другой системы. Посетитель просто не закончит регистрацию и уйдет от вас. А спам боты уже давно научились обходить эту защиту... Именно поэтому в AlterVega отменена обязательная активация регистрации по e-mail для начала работы с форумом. Ненужное "препятствие" отменено. Ваши пользователи регистрируются через простейшую форму (логин пароль e-mail) и сразу же могут участвовать в обсуждениях (открывать новые темы, пользоваться функциями форума). Это очень важно для "вхождения" посетителя на ваш форум, вы не потеряете потенциального участника или заинтересованного. Это удобно для ваших посетителей. Для того, чтобы пользователи все же указывали правильные e-mail адреса, в системе есть подтверждение введенного e-mail адреса. Оно не обязательно и нужно только для того, чтобы на этот e-mail адрес стали приходить уведомления. Таким образом пользователь, указав левый e-mail, обманывает только себя самого, никого не подставив под уведомления с форума. Кроме этого пользователю, пока он не активировался, показывается небольшая плашка, которая тем не менее не закрывает от него форум, а просто рекомендует активировать e-mail. Там же можно изменить e-mail, если он ошибься при регистрации, или же выслать письмо по активации повторно. http://altervega.ru/forums/upload/forum/2011/10-04/02e5fed0fea5a5a05fa58225c1e30dd3.png Скоро весь мир придет к этому. Ваши пользователи будут первыми, кто почувствует этот комфорт. -- http://altervega.ru/images/av_sm.png AlterVega. Вместе мы построим империи виртуальной жизни.

Вот так устанавливается наш продукт http://www.youtube.com/watch?v=xdXdkUt2P7A

Мы еще много будем рассказывать об идеологии продукта. А пока частично коснемся концепции интерфейса системы. Почему он такой, каким вы его видите. Интерфейс системы AlterVega (далее AV) нацелен в первую очередь на удобство работы его участников с ним. Основной идеей интерфейса является его внешняя простота. Это дает массу плюсов: возможность быстро начать работу с системой, возможность быстро разобраться с новыми функциями системы. Основной целью, которую мы ставили при проектировании интерфейса, было удобство для участников сообщества. Мы хотели создать максимально простой и удобный интерфейс, но в тоже время не забыть про навыки, которыми уже владеют пользователи форумных систем. Для решения этой задачи мы обратились за помощью к лучшим проектировщикам в России, которые помогли нам создать то, что вы сейчас видите. В результате получилось сделать оптимальное решение, упростить и ускорить работу привычного интерфейса форумов. Созданы необходимые зоны для плавного и удобного "вливания" каждого посетителя вашего сообщества в активного участника. Интерфейс построен с использованием общераспространенных, хорошо известных современному пользователю паттернов, он лишен основных недостатков аналогичных систем. Мы не забыли и об администраторах. Система построена так, чтобы администратор смог быстро индивидуализировать сообщество, а управлять форумом - без постоянных обращений к руководству администратора. AV российский продукт, его интерфейс полностью адаптирован под требования российских пользователей. Вы наверняка уже заметили правильную морфологию, числа, склонение, а также эффективное применение дат. В применении тех или иных элементов интерфейса есть логичность, которой так не хватает всем аналогам. Мы интегрировали систему с популярными российскими сервисами, например простая авторизация через Яндекс, Рамблер, ЖЖ, mail.ru, ВКонтакте и другие. Планируется и модули Я.RSS, Sitemap, Pingback и другое. Простейший пример быстрого брендирования http://altervega.ru/forums/upload/forum/2011/10-07/7dce0cb6fb698d2f523c2dabb476f77c.png