Представлен (https://rspamd.com/announce/2017/06/12/rspamd-1.6.0.html) релиз системы фильтрации спама Rspamd 1.6 (https://rspamd.com), предоставляющей средства для оценки сообщений по различным критериям, включая правила, статистические методы и чёрные списки, на основе которых формируется итоговый вес сообщения, используемый для принятия решения о необходимости блокировки. Rspamd поддерживает практически все возможности, реализованные в SpamAssassin, и имеет ряд особенностей, позволяющих фильтровать почту в среднем в 10 раз быстрее, чем SpamAssassin, а также обеспечивать лучшее качество фильтрации. Код системы написан на языке Си и распространяется (https://github.com/vstakhov/rspamd) под лицензией BSD.
Rspamd построен с использованием событийно-ориентированной архитектуры (Event-driven) и изначально рассчитан на применение в высоконагруженных системах, позволяя обрабатывать сотни сообщений в секунду. Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua. Расширение функциональности и добавление новых типов проверок реализуется через модули, которые могут создаваться на языках Си и Lua. Например, доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL. Для упрощения настройки, создания правил и отслеживания статистики предоставляется административный web-интерфейс.
Основные новшества:
- Встроенная поддержка протокола Milter, позволяющая обойтись без надстройки Rmilter (https://rspamd.com/rmilter/), развитие которой прекращено. Встроенный Milter может использоваться в двух режимах - Proxy для крупных систем и Self-scan для небольших конфигураций (данный режим отличается существенным упрощением настройки). Режим Proxy требует отдельного сканирующего слоя, в то время как в режиме "self-scan" обработчик rspamd_proxy сканирует сообщение собственными силами и взаимодействует с MTA, такими как Postfix и Sendmail, напрямую при помощи протокола Milter;
- Полная поддержка цифровых подписей и меток ARC (http://arc-spec.org/) (Authenticated Received Chain), позволяющих (https://dmarc.org/presentations/ARC-Overview-2016Q2-v03.pdf) гарантировать, что сообщение было подписано и затем перенаправлено через ряд заслуживающих доверия шлюзов. Реализованный в Rspamd модуль ARC поддерживает как верификацию, так и создание подписей для исходящих сообщений. Настройка модуля ARC очень похожа на модуль dkim_signing;
- Новая модель хранения статистики в БД Redis, упрощающая выборку необходимых токенов и определение времени их жизни. В выпуске Rspamd 1.6 новая схема хранения статистики позиционируется как экспериментальная, но в будущем выпуске она будет включена по умолчанию, а также будут предоставлены инструменты для преобразования старого хранилища без потери данных;
- Задействован новый алгоритм определения устаревших записей для внутренних кэшей. Вместо ранее применяемого классического алгоритма LRU (Least Recently Used) в ноой версии задействован алгоритм LFU ( Least Frequently Used), при котором фактором актуальности записи является не последнее обращение, а частота обращений. При новом алгоритме в кэше дольше сохраняются наиболее часто используемые записи, что положительно отражается на производительности кэширования;
- В модуле DMARC (http://rspamd.com/doc/modules/dmarc.html) появилась поддержка отправки отчётов для определённых доменов и правил. Администратору предоставлены гибкие возможности по настройке содержимого отчётов и частоты их отправки. Отчёты позволяют увеличить качество взаимодействия с ресурсами, использующими DMARC (например, paypal.com), в том числе дают возможность отследить и отреагировать на некоторые попытки фишинга;
- Представлен новый плагин spamtrap (https://rspamd.com/doc/modules/spamtrap.html), позволяющий выхватить письмо со спамом по заданным признакам, например можно использовать для обучения фильтров на основе работы ловушек спама (honeypots);
- Внесена большая порция улучшений в модуль url_redirector (http://rspamd.com/doc/modules/url_redirector.html), выполняющий проверку пробросов на спамерские ссылки, скрытые через применение сервисов редиректа URL;
- В прокси добавлена поддержка сжатия данных при отправке сообщений на уровень сканирования;
- Внесена порция оптимизаций производительности: для регулярных выражений Hfilter задействована библиотека hyperscan (https://01.org/hyperscan), обеспечено кэширования хэшей тел сообщений DKIM, добавлено кэширование результатов работы алгоритма стемминга Snowball.
URL: https://rspamd.com/announce/2017/06/12/rspamd-1.6.0.html
Новость: http://www.opennet.dev/opennews/art.shtml?num=46685
Вариант для распечатки
on 16-Июн-17, 15:47 
