Выбор blacklist'ов для защиты от спама.

Содержание.

Введение.

Глобального решения проблемы спама в ближайшее время не предвидится, а потому, каждому администратору почтового сервера (MTA) приходится самостоятельно искать методы борьбы с этой заразой. Все известные (используемые или обсуждаемые) сейчас методы борьбы со спамом можно разделить на несколько групп:

• Проверка на наличие в черных или белых списках. Это могут быть как локальные списки, так и внешние, использующие DNS запросы. Одна из первых систем MAPS RBL (теперь предоставляет платные услуги).
• Фильтрация почты, построенная на анализе содержимого сообщения. Методы анализа могут быть самые разные, но для этого придется принять на сервере всю почту (см. SpamAssassin, DCC).
• Временный отказ в приеме почты, рассчитанный на повторную отправку сообщения нормальным MTA (см. Evan Harris, A. Gorev). Если применение этого подхода станет массовым, спамеры легко найдут способ его обойти.
• Генерация уникального ключа, который должен использовать отправитель для подтверждения своего сообщения. Могут возникнуть проблемы при организации легальных рассылок или покупок через Интернет. В основном, применяется на стороне клиента (см. В. Бакланов).

Каждый из этих подходов имеет свои плюсы и минусы. На практике, чаще всего, используется некоторая комбинация перечисленных методов. Если добавить к этому правильную настройку почтового сервера и защиту от вирусов (см. DrWeb, ClamAV), то вполне можно добиться более или менее приемлемого результата.

Использование черных списков построенных на DNS запросах (DNSBL), получило достаточно широкое распространение, хотя существуют разные мнения об эффективности и правомочности их использования (см. П. Диденко). Практически все, используемые в настоящее время MTA, дают возможность применить этот метод. Косвенным доказательством эффективности такого подхода служит то, что сервера поддерживающие службы DNSBL, регулярно подвергаются атакам спамеров (см. slashdot.org, membrana.ru).

Кроме уменьшения количества мусора в почтовых ящиках, этот метод позволяет существенно снизить объем почтового трафика, так как отказ в приеме почты происходит на начальном этапе SMTP соединения, еще до передачи самого сообщения. Конечно, есть вероятность потерять нужную почту, но есть вероятность и того, что вы, разгребая кучи мусора в своем ящике, удалите что-то полезное. И если в первом случае отправитель получит сообщение от сервера о том, почему его сообщение не было доставлено, во втором, он будет уверен что вы прочитали его письмо. Для того, чтобы добиться действительно положительного эффекта, необходимо очень серьезно подойти к выбору используемых blacklist'ов. На настоящий момент существует огромное количество подобных списков. Достаточно полные перечни можно найти на серверах www.declude.com и www.moensted.dk.

Проверить самостоятельно качество всех известных списков, практически невозможно, да наверное, и не нужно. Попробуем использовать чужой опыт и сделать на его основе свой выбор. Для начала, сформулируем требования, которым, на наш взгляд, должны удовлетворять эти службы:

• Предоставлять бесплатный доступ. Многие сервисы в настоящее время стали платными, что значительно снизило число их пользователей, и тем самым создало более комфортные условия для спамеров, с которыми они боролись.
• Быть достаточно эффективными, т.е. содержать информацию о существенной части спамерских машин, открытых релеев, прокси и т.д. Иначе, нет никакого смысла их использовать.
• Проводить понятную и разумную (в меру агрессивную) политику занесения в свои списки, по возможности, сообщать администратору о проблемах на его сервере. В противном случае, велика вероятность потерять полезную почту.
• Предоставлять простой и быстрый механизм исключения из списков, после того, как решены проблемы, послужившие причиной занесения в список.
• Располагать службой поддержки, или просто отвечать на письма, для решения возникающих проблем.

Рейтинг blacklist'ов.

На сервере www.sdsc.edu Jeff Makey регулярно публикует свой собственный рейтинг. Собирая из почтовых лог файлов адреса, он проверяет их по большому списку blacklist'ов и считает количество срабатываний. При таком подходе, высокое место в рейтинге может быть обусловлено не только качеством сервиса, но и агрессивностью политики, проводимой данной службой. Подтверждением этому служит список служб, занявших первые места (на 8 ноября 2003 года):

t1.dnsbl.net.au

Первое место в рейтинге. По отзывам, неплохой сервис, но, к сожалению, платный. Используют собственные списки и внешние базы: Orid, Ucepn, SpamSites, Dsbl, Sorbs, SpamHaus, ORDB.

block.blars.org

Второе место. Доступ свободный. Проводят довольно агрессивную политику. Заносят в базу крупные блоки адресов тех провайдеров, в сетях которых замечены спамеры.

www.five-ten-sg.com

Третье и четвертое места. Используют свою локальную базу спамеров и несколько внешних (например, Spews). Предлагают за 50$ в год почтовый ящик защищенный от спама.

cbl.abuseat.org

Пятое место. Бесплатный доступ. Очень лаконичны. Критерии занесения в свои списки не обсуждают. Механизм исключения из списков не совсем понятен.

Уже этих примеров достаточно, чтобы понять, что такой подход (количественный) не даст нам решения проблемы. Но эти данные позволяют оценить эффективность той или иной системы. Кроме того, здесь есть список тех служб, которые сам автор рейтинга использует на своем сервере (учитывая, что автор давно и серьезно занимается этой проблемой, можно с определенной степенью доверия отнестись к его рекомендациям):

dsn.rfc-ignorant.org

Доступ бесплатный. Проверяет на соответствие требованиям RFC. Если принимается сообщение с пустым полем "FROM: <>", домен заносится в черный список. При проверке предполагается, что существует адрес 'postmaster@domain', что тоже является требованием RFC.

sbl.spamhaus.org

Доступ свободный. Проводимая политика четко сформулирована. Исключение из списков производится оперативно, если вы не являетесь злостным спамером. Включает списки спамеров, спамерских сетей, серверов и сервисов используемых для рассылки спама.

list.dsbl.org

Сервис бесплатный. Содержит информацию об открытых релеях, открытых прокси, web-формах позволяющих отправлять письма по различным адресам. Сами тестирование не проводят, но имеют команду доверенных пользователей, которые могут инициировать занесение IP адреса в список.

bl.spamcop.net

Пока бесплатна. Система принимает жалобы на спам от любого пользователя, зарегистрированного на сервере. На основе этих данных принимает решение о внесении источника спама в список. Исключение из списков происходит автоматически, в течении 48 часов с момента прекращения сообщений о СПАМе с вашего сервера. По сравнению с предыдущими системами, их политика более агрессивна, но она понятна, а оперативность включения в список новых источников спама, многое искупает.

Программа SpamPal.

В последнее время, среди пользователей электронной почты, популярна программа SpamPal. Она дает возможность фильтровать почту на клиентской машине. Среди многих интересных возможностей, предусмотрена и фильтрация по внешним blacklist'ам. Список используемых листов регулярно обновляется, и снабжен краткими комментариями. Вот список сервисов DNSBL используемых этой программой на данный момент (19 ноября 2003 года).

Текст описаний перенесен из программы без изменений.

sbl.spamhaus.org

Spamhaus SBL - список известных спаммеров, групп спаммеров, операторов спама и спам-сервисов. Данные SBL подтверждены свидетельством, которое полностью удовлетворяет команду Spamhaus Project team: это IP или сетевой блок, который принадлежит спаммерским сетям, операторам, сервисам и т.п.

relays.ordb.org

База открытых ретрансляторов, непрофессиональная организация, которая создает список открытых машин (или небезопасных) ретрансляторов SMTP. Эти ретрансляторы (вероятно!) используются для пересылки ненужной, бесполезной почты или служат проводниками для таковой.

bl.spamcop.net

Один из экспериментальных сервисов, который содержит небольшой список спаммерских сайтов, использующий сообщения сервиса SpamCop. Скоро доступ к списку будет ограничен, но пока к нему доступ есть, и его можно использовать в своих интересах.

blacklist.spambag.org

Сайт spambag.org - это авторский список в сети, автор очень надеется, что его работа не останется незамеченной обществом. Он рассматривает деятельность, такую как рассылка спама, почтовые бомбы, атака почтовых серверов, и сбор email-адресов на сайтах как антисоциальное поведение, как оскорбительное отношение к другим людям.

formmail.relays.monkeys.com

Этот сервис DNSBL содержит список небезопасных сайтов, на которых есть скрип 'Matt's Formmail' (использующийся на некотором количестве сайтов). Спаммеры используют такой сервис для своей грязной работы. Если Вы получаете партии спама, происходящие из формы такого скрипта, этот список Вам должен помочь!
ПРИМЕЧАНИЕ: Этот список редко обновляется. Поэтому те сайты, на которых такой скрипт имелся, но потом был убран, могут по-прежнему находиться в списке. Используйте его на свой страх и риск.

proxies.relays.monkeys.com

Список разных открытых небезопасных прокси-серверов, которые могут использоваться для доступа к другим серверам с целью рассылки почты/спама.

blackholes.easynet.nl (закрывается с 1 декабря 2003 г., см. google.com, inet-admins)

Список IP-адресов, постоянно являющихся источниками спама, открытых ретрансляторов, открытых прокси, взломанных почтовых серверов.

ipwhois.rfc-ignorant.org

Это список некоторых частей Интернета, которые несовместимы с RFC954. Сюда, например, относятся IP-адреса, содержащие некорректную или не обновленную информацию в IP-записях whois, и IP- адреса, которые вообще не отвечают на запросы сервиса WHOIS. Этот список может не включать распространителей спама. Но подразумевается, что в него попадают сайты, не рекомендуемые для использования нормальными пользователями.

dnsbl.njabl.org

Это не еще один поддельный список ... В него включены открытые ретрансляторы, почтовые серверы, открытые прокси, небезопасные скрипты и известные спаммеры.

opm.blitzed.org

Список открытых и небезопасных Wingate, SOCKS и HTTP-прокси.

list.dsbl.org

Распределенный список сервера Boycott. Еще один список открытых прокси, ретрансляторов и небезопасных скриптов.

spam.dnsrbl.net

Доменный "черный список" реального времени. Список частей Интернета, откуда рассылается почта тем, кто даже не имеет понятия, для чего эти письма нужны.

dnsbl.isoc.bg

Болгарская система предотвращения спама. Сделана для защиты болгарских пользователей.

dnsbl.sorbs.net

SORBS - еще один акроним для спама и Open Relay Blocking System. Это не очень корректный список, хотя по описанию он помогает останавливать письма с Open Proxy servers и Open SOCKS серверов, знакомые как Open Relays.

map.spam-rbl.com

Этот "черный список" использует отчеты находящиеся на сайте www.spam-rbl.com. Он содержит списки адресов, которые используются для пересылки спама. Оригинальность списка Spam-RBL состоит в том, что он прибегает к помощи администраторов, а это дает большую вероятность точного отделения правильных адресов от спама. Список обновляется пару раз в день.

www.blackholes.us

Этот список позволяет фильтровать почту по странам, по провайдерам, по сервисам. Например, в список стран, которые можно зафильтровать, включены Корея, Китай, Гонконг, Тайвань, Япония, Таиланд, Аргентина, Бразилия, Нигерия, Россия, Малайзия, Сингапур, Турция.

cbl.abuseat.org

The CBL takes its source data from very large spamtraps, and only lists IPs exhibiting characteristics which are specific to open proxies of various sorts.

В программе есть возможность использовать готовые наборы blacklist'ов, выбирая необходимую нам степень защиты. При выборе наименее строгой политики, предлагается использовать:

• ORDB - список открытых релеев,
• SpamHaus - список спамеров,
• Monkeys.com - список открытых прокси.

Подведение итогов.

Теперь мы располагаем достаточной информацией для принятия взвешенного решения. Вот один из возможных вариантов выбора. Для максимально корректного отношения к возможному корреспонденту, можно использовать:

• sbl.spamhaus.org
• relays.ordb.org
• proxies.relays.monkeys.com

Немного ужесточаем требования к отправителю и добавляем:

• list.dsbl.org
• dsn.rfc-ignorant.org
• bl.spamcop.net

Учитываем национальную специфику добавив:

• www.blackholes.us - блокировка по странам. Китай, Корея, Нигерия, ...
• www.dul.ru - Российский список DialUp адресов. Адреса вносят в базу сами провайдеры.

Конечно, эти предложения в достаточной мере субъективны. Используя полученную информацию вы можете составить свой список, который будет больше соответствовать вашим требованиям и задачам. При составлении своего списка blacklist'ов нельзя руководствоваться принципом чем больше, тем лучше. Во-первых, это может привести к значительным задержкам в работе сервера. Во-вторых, некоторые списки уже включают в себя данные из других списков. Стоит еще отметить, что ситуация в этой области меняется очень быстро, какие-то службы становятся платными, кто-то исчезает совсем, появляются новые интересные проекты. А потому, приходится регулярно возвращаться к этому вопросу.

Словарь терминов.

DNS - Domain Name System (Доменная система имен)

Распределенная база данных, обеспечивающая преобразование доменных имен компьютеров в числовые Internet-адреса и наоборот с целью определения местоположения компьютеров в сети. Подробное описание приведено в документах RFC 830, 882, 883, 974.

DNSBL - DNS-based Black List (Черные списки основанные на DNS запросах)

Динамически обновляющийся список IP адресов серверов, с помощью которых производились рассылки незапрошенной почты. Информация доступна через стандартный DNS запрос.

MTA - Mail (message) Transport (transfer) Agent (Агент передачи почты (сообщений))

Более общее название почтового сервера. В последнее время часто употребляется, когда хотят подчеркнуть, что речь идет не просто о программе в которой реализована поддержка протокола SMTP, а именно о специализированном сервере, занимающемся приемом и передачей почтовых сообщений.

Open Relay (Открытый Релей)

Открытый почтовый сервер (открытый релей) это почтовый сервер, который позволяет проходить через себя почтовым сообщениям, в которых ни получатель, ни автор сообщения не являются локальными пользователями.

RFC - Request for Comments (Запрос для комментариев)

Совокупность публикуемых документов, в которых излагаются стандарты, проекты стандартов и принципиально согласованные идеи по деятельности Internet. Эти документы фактически регламентируют функционирование Internet. Первый RFC вышел в 1969 году. Общее число RFC на сегодня превышает две тысячи.

SMTP - Simple Mail Transfer Protocol (Простой протокол пересылки почты)

Стандартный протокол электронной почты Internet. Определен в RFC 821. Описания соответствующих форматов сообщений приведены в RFC 822.

Ссылки по теме.

ofisp.org - нормы пользования Сетью.

www.ietf.org - сборник RFC.

www.antispam.ru - сервер на русском языке, посвященный борьбе со спамом.

rbls.org - multi-RBL check. Проверка по большому списку blacklist'ов.

company.yandex.ru - статья "Принципы и технические методы работы с незапрашиваемой корреспонденцией".

subscribe.ru - электронный журнал "Спамтест". Все о борьбе со спамом. (RBL: вред или польза?)

bio.fizteh.ru - статья "Борьба со спамом: история и методы".

spfilter.sourceforge.net - программное обеспечение для синхронизации blacklist'ов из различных источников.

www.eserv.ru - сборник ссылок на антиспамерские программы и описание антиспамерских техник.