[2.3.x]Антибот - защита от ботов и спама

[Aldin]

Название: Антибот - защита от ботов и спама

Добавил: Aldin

Добавлен: 29 Окт 2008

Обновлен: 18 Ноя 2008

Категория: IP.Board 2.3.x

 

Возможности системы bot @ stop

 

Модуль позволяет проверять в системе bot @ stop и отсекать регистрации:

1. По IP-bot использованном ботом на других ресурсах.

2. По e-mail активированных ботом

3. По IP известных нашей системе публичных proxy-серверов.

4. По UserAgent.программ рассылки спама

5. IBDS (Intelligent Bot Detecting System) - автоматически детектировать и распознавать программы для спама на базе анализа регистраций у всех участников системы.

 

Вы выбираете удобный и приемлемый для себя способ фильтрации в любой комбинации, по одному, нескольким или сразу всем пунктам.

 

Системные требования

PHP 4 или 5

активные модули PHP:

- mbstring

- socket

allow_url_fopen = 1

 

Платформы: Linux, BSD, all *nix на windows-платформе работа не гарантирована.

 

Скачайте архив с модулем последний версии. Внутри содержится текстовый фаил install_ru.txt с подробной инструкцией

 

Общею статистику и ручную демо-проверку можно увидеть тут:

check.antibot.org.ua

 

Последнюю версию можно найти тут:

antibot.org.ua

 

Форум поддержки тут:

forum.antibot.org.ua

 

 

Нажмите здесь, чтобы скачать файл

[Aldin]

Предупреждая будущие вопросы

 

1. Регулярно есть попытки регистраций с localhost, *.lan и подобных доменов. Мод не работает с локальными адресами и об этом внятно говориться в момент регистрации, будьте внимательны!

 

2. Еще не забывайте выставлять права на запись логов (CHMOD 666 или 777) для файла /antibot/log/antibot.log В этом файле фиксируются все запросы и ответы и данные из него могут быть полезны в случае непонятных ситуаций.

 

3. В большинстве случаев у админов ресурсов не принято размещать ссылку на используемый мод. Может это связано с менталитетом или еще по каким причинам, но пожалуйста, не ленитесь и не забывайте размещать ссылку на наш сайт, в первую очередь это выгодно для вас же, т.к. чем больше пользователей будет в системе - тем надежней она будет работать.

[FatCat]

1. По IP-bot использованном ботом на других ресурсах.

Предположим на минуту, что я злой спамер.

2 гипотетических ситуации:

 

1.

Я выхожу в инет из NAT-сети - один айпишник на микрорайон, тысячи людей под одним айпишником. Спамлю. Бан по IP по целой сетке форумов.

И весь микрорайон отвалился от форумов.

 

2.

Я выхожу с дозвона и спамлю вволю, каждый раз перевтыкая модем и меняя айпишники.

Я отспамился и ушел, а потом клиенты дозвонного провайдера забанены навечно.

 

 

 

ИМХО, чтобы писать защиту, нужно сначала представить себя в роли атакующего и прикинуть, как лучше атаковать...

[Aldin]

FatCat, очень хорошо представили и исследовали тему, даже подумываем купить лицензии различных спам-прог для исследования.

 

Блокировка по IP не вечная, а на определенное время, но реалтайм. Т.е. спамер успеет зарегистрироваться на некоторых ресурсах и разослать некоторое количества спама, но очень малое и ему нужно будет переподключаться (искать прокси и т.д.), кстати, хочу заметить, что с модема много спама не разошлешь, там скоростя не очень то.

 

Естественно, что нет полной гарантии непопадания невинных в спам-лист, но пользователь переадресовывается на страничку, где ему в доступной форме объясняют ситуацию и предлагают варианты решения или заполнить форму с данными о своем провайдере и отправить нам для разбирательства.. Понятное дело, что неприятно и не стоит рисковать, если у вас на форуме зарегистрировано 10 пользователей и 7 из них боты, а каждая регистрация является радостным событием. Или вы считаете, что это не оправданный риски и лучше заставить каждого потенциального пользователя при регистрации рассматривать пятна Роршаха и проходить тест на IQ?

 

Сильно сомневающиеся могут включить фильтрацию только по мейлу или юзерагент, что теоретически работает безошибочно.

 

Ну и еще как аргумент, в скором будущем планируем поддерживать интерактивную связь с провайдерами, лично мне не известен ни один провайдер, который официально позволил бы рассылать спам со своих айпишников и при распространении системы, провайдерам будет логично применять карательные меры к спамерам, чтобы не страдали другие пользователи. В этом направлении ведется работа и делается интерфейс для провайдеров с возможностью видеть своих спамеров.

Кстати, эта система рассчитывалась не только для IPB и уже пишем моды для других форумов и блогов.

[FatCat]

Где-то в другом топике прозвучала гениальная фраза: "Как бы сделать, чтобы бот не увидел форум".

А ведь у этого вопроса есть положительный ответ...

[Aldin]

Где-то в другом топике прозвучала гениальная фраза: "Как бы сделать, чтобы бот не увидел форум".

А ведь у этого вопроса есть положительный ответ...

 

установить на localhost?

[Arhar]

Вообще посмотрев код мода и установщик, увидел большой труд и высокий уровень мода, посему, несмотря на действительно высокую вероятность испортить жизнь нормальным людям, у мода есть положительные стороны. Сказанное же

планируем поддерживать интерактивную связь с провайдерами

наверно будет более главной чертой мода, чем собственно бан, ибо достаточно провайдеру натянуть глаз на жопу спамеру, можно будет уже смело открывать этот ip, удаляя его из черного списка. А для преодоления риска можно сделать настройку, по которой на форуме не будет прекращаться доступ с этого ip, но он будет отправлен в список для дальнейших разборок.

По емеилу же не очень большая защита, ибо боты регистрируют такие емеилы, как набор букв, а комбинаций таких для алфавита из 27 символов если мы выбираем любые 8, можно составить 563800301064000 слов, если я не ошибаюсь и правильно считать (С из n по m= (n!/(m!(n-m)!) ))

[Aldin]

По емеилу же не очень большая защита, ибо боты регистрируют такие емеилы, как набор букв, а комбинаций таких для алфавита из 27 символов если мы выбираем любые 8, можно составить 563800301064000 слов, если я не ошибаюсь и правильно считать (С из n по m= (n!/(m!(n-m!)) ))

 

Смысл-то в проверенных емэйлах. На множестве форумов включен approve на мейл, и спамерам недостаточно будет просто генерировать мыла, а еще и регистрировать их и проверять приходящие на них ссылки активации. А это тоже время и другие усилия... сейчас среднесуточная статистика блокировки по мейлу 3-7% от всех запросов, но думаю, что это будет не долго т.к. ботописатели тоже не спят.

[Sannis]

На множестве форумов включен approve на мейл, и спамерам недостаточно будет просто генерировать мыла, а еще и регистрировать их и проверять приходящие на них ссылки активации. А это тоже время и другие усилия... сейчас среднесуточная статистика блокировки по мейлу 3-7% от всех запросов, но думаю, что это будет не долго т.к. ботописатели тоже не спят.

Уже как 2 года они умеют это делать и успешно делают, так что врядли это можно пресечь...

[Aldin]

На множестве форумов включен approve на мейл, и спамерам недостаточно будет просто генерировать мыла, а еще и регистрировать их и проверять приходящие на них ссылки активации. А это тоже время и другие усилия... сейчас среднесуточная статистика блокировки по мейлу 3-7% от всех запросов, но думаю, что это будет не долго т.к. ботописатели тоже не спят.

Уже как 2 года они умеют это делать и успешно делают, так что врядли это можно пресечь...

 

если не использовать, то не поможет

 

Скажу как человек, который перековырял кучку спамерских прог, сейчас используется набор мейлов, как правило, регистрированных вручную, версии новее могут и мейлы регистрировать, но это усложняет цепочку и себестоимость соответственно.

 

Давайте представим всю цепочку... при необходимости регистрации реального нового мейла для каждой попытки регистрации на форуме нужно все это отслеживать... в итоге фримейлам тоже не нужна куча одноразовых мейлов и они будут усложнять (и уже усложняют) регистрации... есть конечно фримеил сервисы, которые честно показывают статистику количества своих пользователей и гордятся, что у них уже миллион, при это не говоря, что большинство этих пользователей боты, но это скорее исключение, чем правило

 

В ближайшем будущем все может быть и мы не делаем упор на мейлы, но на данный момент этот метод работает как дополнительный и его срабатывание не оставляет сомнений.

[DerSpinner]

а у меня вопрос. а идеальная система от ботов - не передалка регистрационноый страницы?

[Aldin]

а у меня вопрос. а идеальная система от ботов - не передалка регистрационноый страницы?

 

Вы уверены, что не ошиблись топиком со своим вопросом? А то я вот после нескольких минут медитация на эти строчки так и не понял, о чем речь.

[DerSpinner]

эм. не ошибся.просто зачем придумывать экстрасистемы,когда можно просто сделать незнакомую ботам систему. и все=)

[FatCat]

DerSpinner, это будет уже принципиально иной механизм защиты. Наверное лучше открыть новый топик на эту тему...

[Aldin]

Сегодня порадовал вот такой факт:

Пришел меил от пользователя

 

уважаемый админ, я не бот, а реальный человек, прошу разблокировать IP адрес.

 

Вроде не радостное событие ложного срабатывания, но...

Посмотрели провайдера, связались с ним и передали логи доказывающие спам с его IP с фиксацией времени. Реакция провайдера была молниеносной и открытой, со спамером была проведена "воспитательная работа" и IP разблокирован.

[tonio]

а у меня вопрос. а идеальная система от ботов - не передалка регистрационноый страницы?

 

У меня стоит тупая менюшка на странице регистрации из двух пунктов: Ты человек? Да/Нет (по умолчанию "Нет"). С момента установки не было замечено ни одного бота. Кому интересно могут посмотреть тут: http://www.in-trance.info/ipb.html?act=Reg&CODE=00

Изменено 9 Ноября 2008 пользователем tonio

[Aldin]

У меня стоит тупая менюшка на странице регистрации из двух пунктов: Ты человек? Да/Нет (по умолчанию "Нет"). С момента установки не было замечено ни одного бота. Кому интересно могут посмотреть тут: http://www.in-trance.info/ipb.html?act=Reg&CODE=00

 

И как давно используется этот метод защиты?

[Osoznanie]

У меня стоит тупая менюшка на странице регистрации из двух пунктов: Ты человек? Да/Нет (по умолчанию "Нет")

Как по мне, это сейчас наиболее эффективно для борьбы с ботами нацеленными на все форумы.

У меня стоит вопрос: "Какой сейчас год" , ни один бот не прорвался. Другой вопрос, если бы бот специально писали под мой форум, тогда было бы тяжелее наверное.

[FatCat]

Как по мне, это сейчас наиболее эффективно для борьбы с ботами нацеленными на все форумы.

Ваш метод эффективен потому, что используется на малом числе форумов.

Будет много форумов с такой защитой - ботописатели проломят ее за пять минут.

 

В чем преимущество мода от Aldin - это активная саморазвивающаяся система защиты.

[vlad7]

У меня стоит тупая менюшка на странице регистрации из двух пунктов: Ты человек? Да/Нет (по умолчанию "Нет"). С момента установки не было замечено ни одного бота. Кому интересно могут посмотреть тут: http://www.in-trance.info/ipb.html?act=Reg&CODE=00

 

Как так сделать ?

[Sannis]

У меня стоит тупая менюшка на странице регистрации из двух пунктов: Ты человек? Да/Нет (по умолчанию "Нет"). С момента установки не было замечено ни одного бота. Кому интересно могут посмотреть тут: http://www.in-trance.info/ipb.html?act=Reg&CODE=00

 

Как так сделать ?

Документацию надо читать иногда.

Прекращаем оффтопик.

Все следующие сообщения не по теме мода будут наказываться.

[Aldin]

Новости

 

2 недели ушло на решение вопроса обеспечения аптайма системы и сегодня эта система была внедрена.

Мы отказались от системы запросов на резервные сервера по недоступности основного и написали свою систему зеркалирования исходя из собственных нужд, которая исключает потерю данных и поддерживает актуальность реалтайм информации на всех серверах.

Теперь все запросы направляются на одни домен, которому присваивается в NS несколько IP. Что позволяет сбалансировать нагрузки и увеличить скорость ответов.

 

На данный момент работает 2 сервера, один в России, другой в Украине. По мере нарастания клиентов будут добавляться новые сервера на разных площадках. В планах на ближайшее будущее установка сервера в Европе.

 

 

Теперь о самой системе: На данный момент удалось усовершенствовать алгоритм, который позволяет отсекать от 60 до 85% (начинали с менее 50%) регистраций ботов. За время работы из более 20 тыс. запросов было зафиксировано 4 обращения о "ложном" срабатывании. О двух из которых было сообщено провайдерам которые любезно откликнулись и провели воспитательную работу с "несознательными" пользователями, после чего случаи спама с IP этих провайдеров больше не фиксировались.

 

Ближайшие планы:

1. Улучшение алгоритма анализа и срока жизни IP в черном списке. Отделение IP провайдеров рунета для более скрупулезного анализа.

2. В самые ближайшие дни выйдет обновление мода под IPB, потом займемся модами для других форумов.

[Eps]

У меня стоит тупая менюшка на странице регистрации из двух пунктов: Ты человек? Да/Нет (по умолчанию "Нет"). С момента установки не было замечено ни одного бота. Кому интересно могут посмотреть тут: http://www.in-trance.info/ipb.html?act=Reg&CODE=00

 

Как так сделать ?

Это обсуждалась тема поиском воспользоваться нужно

[Sannis]

Кстати, а в antibot.log статус Clear даётся хорошим адресам? Не хочется быть бесплатной базой для рассылки для тех же спамеров

[Aldin]

Кстати, а в antibot.log статус Clear даётся хорошим адресам? Не хочется быть бесплатной базой для рассылки для тех же спамеров

 

эээ. таки да. спасибо, решим.