The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  вход/выход  слежка  RSS
"Релиз системы фильтрации спама Rspamd 1.3"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от opennews on 25-Июл-16, 22:09 
Доступен (https://rspamd.com/announce/2016/07/25/rspamd-1.3.0.html) релиз системы фильтрации спама Rspamd 1.3 (https://rspamd.com), предоставляющей средства для оценки сообщений по различным критериям, включая правила, статистические методы и чёрные списки, на основе которых формируется итоговый вес сообщения, используемый для принятия решения о необходимости блокировки. Код системы написан на языке Си и распространяется (https://github.com/vstakhov/rspamd) под лицензией BSD.


Rspamd построен с использованием событийно-ориентированной архитектуры (Event-driven) и изначально рассчитан на применение в высоконагруженных системах, позволяя обрабатывать сотни сообщений в секунду. Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua. Расширение функциональности и добавление новых типов проверок реализуется через модули, которые могут создаваться на языках Си и Lua. Например, доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL. Для упрощения настройки, создания правил и отслеживания статистики предоставляется административный web-интерфейс.


Основные новшества:


-  Возможность работы в режиме прокси, перенаправляющего запросы к другим экземплярам Rspamd. Наиболее интересной возможностью применения нового режима является организация тестирования экспериментальных конфигураций. В частности, кроме отправки запросов на основной стабильный сервер, прокси может дополнительно зеркалировать определённый процент запросов на тестовые серверы, сравнивать принятые решения и отражать изменения в логе. Кроме того, прокси может шифровать трафик и обеспечивать быстрый механизм перенаправления локальных соединений.
-  Добавлена поддержка зеркалирования хранилищ шаблонов для проверки по хэшам нечеткого соответствия (fuzzy (https://rspamd.com/doc/modules/fuzzy_check.html)), которая позволят применять master-slave реплицирование, создавать распределённые отказоустойчивые хранилища  и формировать коллекции хэшей через объединение разных источников.

-  Возможность применения протокола HTTPS для доступа к HTTP-ресурсам, таким как базы OpenPhish (https://openphish.com) и PhishTank (https://phishtank.com), используемые в модуле выявления фишинга;

-  Поддержка применения кластера из СУБД Redis во всех модулях Rspamd с распределением запросов на серверы, обслуживающие операции чтения и записи;

-  Расширение возможностей фильтрации коннтента. Добавлена поддержка извлечения списка файлов из некоторых типов архивов (zip, rar), что позволяет блокировать известные типы нежелательных вложений, которые пытаются скрыть через передачу в заархивированном виде. В плагин mime_types добавлена поддержка таких косвенных признаков вредоносной активности, как дублирование расширений  (filename.pdf.exe), упаковка архива в архиве и применение расширений из чёрного списка. В плагине multimap реализовано сканирование содержимого сообщений, что можно использовать для блокирования типовых шаблонов, заданных в форме регулярных выражений;

-  Встроенная поддержка серых списков, не требующая задействования внешних приложений, таких как Rmilter. Rspamd теперь может самостоятельно добавлять задержку при приёме подозрительных сообщений.

-  Добавлен модуль Replies, реализующий функциональность Rmilter по сохранению идентификаторов исходящих сообщений и автоматического добавления в белый список приходящих ответов, связанных с сохранёнными идентификаторами;

-  Поддержка формирования подписей DKIM (https://ru.wikipedia.org/wiki/DKIM) в доплнение к ранее поддерживаемым проверкам корректности подписей DKIM;
-  В WebUI добавлен график для наглядной оценки объёма обработанных обращений, построенный с использованием библиотеки d3.js (https://d3js.org/). В интерфейс также добавлены средства для тренировки шаблонов нечеткого соответствия.

URL: https://rspamd.com/announce/2016/07/25/rspamd-1.3.0.html
Новость: http://www.opennet.dev/opennews/art.shtml?num=44849

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Релиз системы фильтрации спама Rspamd 1.3"  +4 +/
Сообщение от ононим88 on 25-Июл-16, 22:09 
отличный антиспам. после DSPAM великолепен. пользуюсь с версии 1.0, проблем нет.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Михрютка (ok) on 25-Июл-16, 22:55 
+1
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

14. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Аноним (??) on 26-Июл-16, 13:41 
> пользуюсь с версии 1.0
> проблем нет

Это был случай так называемого вранья. ©

Конфиги перелопачивают каждую минорную версию.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

16. "Релиз системы фильтрации спама Rspamd 1.3"  +2 +/
Сообщение от Vsevolod Stakhov email on 26-Июл-16, 14:04 
Удивительно, но на каждую новость про rspamd прибегает некий аноним и рассказывает прохладную былину про "перелопачивание конфигов в каждой минорной версии". Пруфов при этом не приводится, зато каждый раз упоминается какуя-то древняя версия, когда у проекта было три с половиной юзера.

Более того, с учетом того, что есть все эти local.d и override.d, я вообще не понимаю проблемы. Но неизвестный аноним неутомим - он считает своим долгом поделиться своими страданиями. Понимаю: страдать вообще проще, чем думать.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

18. "Релиз системы фильтрации спама Rspamd 1.3"  +1 +/
Сообщение от Аноним (??) on 26-Июл-16, 14:48 
Какая удобная избирательная амнезия. Неув. Vsevolod, я неоднократно тыкал носом во вполне конкретные косяки. Вот, кстати, про упомянутые local.d/override.d, раз уж его здесь упомянули: https://github.com/vstakhov/rspamd/issues/563

Кстати, чем они отличаются по смыслу?

Поменять дефолтный score, так чтоб он остался работать в следующей версии - это нефиговый квест.

Сначала всё лежало в одном файле, metrics.conf, там последовательно тусовались: имена symbol'ов, группы symbol'ов, форматирование (табы/пробелы). В таких условиях поменять долбаный score патчем - нереально, потому что в файле плывёт ВСЁ. Только руками.

https://github.com/vstakhov/rspamd/commits/master/conf/metri...

конкретные примеры г-ноедства:
https://github.com/vstakhov/rspamd/commit/1deaf3b4e9e49ef4cb...
https://github.com/vstakhov/rspamd/commit/90df2efa3cffccbeac...
https://github.com/vstakhov/rspamd/commit/cba8dc9d42473547eb...
https://github.com/vstakhov/rspamd/commit/9074b2eb2691d895a8...
https://github.com/vstakhov/rspamd/commit/39bd57635fb6b75c75...
^^ вот это особо эпичный пример, как можно взять и радикально поменять веса в минорной версии. Называется "все остальные, откалибровавшие свой порог reject'а - соcyт"

Эпопея с settings:

https://github.com/vstakhov/rspamd/issues/409
https://github.com/vstakhov/rspamd/issues/367

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

19. "Релиз системы фильтрации спама Rspamd 1.3"  +4 +/
Сообщение от Vsevolod Stakhov email on 26-Июл-16, 15:55 
На все предъявы ответ один: не надо лезть руками в дефолтные конфиги, и рассчитывать на беспробленое обновление. Точка.

Веса правил меняют в том числе и в SA, почему меняют - тоже понятно.

Весь остальной пост точно также лишен смысла, если учесть, что в документации много раз пишется, что дефолтные конфиг может меняться. Ну а там уж выбор пользователя: либо жить с дефолтным конфигом и менять его при каждом апдейте, делая настройки через override.d/local.d, либо затюнить самому, и не давать пакетному менеджеру ничего трогать. Оба варианта работают, и у меня есть пользователи, которые предпочитают либо тот, либо иной метод.

Обратная совместимость не ломалась с версии 0.8.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

53. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Аноним (??) on 29-Июл-16, 09:11 
хреновину написали вы, без обид.
в DSPAM не движок или сервисы первичны а Сообщество что развивает все это.
это как например попытаться ворваться и ...ть dmoz например или другие сервисы, вроде списка peter lowe или листа malwaredomain итд итп.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

5. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Мелкософтник on 25-Июл-16, 23:20 
> Возможность работы в режиме прокси, перенаправляющего запросы к другим экземплярам Rspamd.

Это же умеет Gor и Haproxy тоже

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Релиз системы фильтрации спама Rspamd 1.3"  +7 +/
Сообщение от Михрютка (ok) on 26-Июл-16, 00:02 
>> Возможность работы в режиме прокси, перенаправляющего запросы к другим экземплярам Rspamd.
> Это же умеет Gor и Haproxy тоже

и nginx тож. кстати как у них с классификацией спама?

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

10. "Релиз системы фильтрации спама Rspamd 1.3"  +1 +/
Сообщение от Аноним (??) on 26-Июл-16, 09:32 
Пробовал. Плохо. Правда, удалось запилить веб-капчу, которая каждом отправителю показывается с предложением ввести ответ на формулу из области квантовой физики... так что отлуп пока 100%.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

23. "Релиз системы фильтрации спама Rspamd 1.3"  +2 +/
Сообщение от _ (??) on 26-Июл-16, 16:32 
До чего дошёл прогресс ... отправителю по SMTP _ВНЕЗАПНО_ показывается капча HTTP[s]-ная %-\
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

27. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Аноним (??) on 26-Июл-16, 20:04 
> До чего дошёл прогресс ... отправителю по SMTP _ВНЕЗАПНО_ показывается капча HTTP[s]-ная
> %-\

Большое дело сыцлку почтой кинуть?

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

30. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от _ (??) on 26-Июл-16, 20:15 
Кому?!  :)
Зачем?! :)
Если мне вместо акцепт или режект (согласно RFC) что по поняшное будет всякие ссыли сувать - оно попадёт в пожизненный блэклист на всём до чего дотянусь, и автоматом зарепортится в абуз :)
И это правильно, малыш! (С)
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

9. "Релиз системы фильтрации спама Rspamd 1.3"  +9 +/
Сообщение от А (??) on 26-Июл-16, 07:21 
Который год уже то, что поставляется в deb-пакетах, странно в настройке. Тупо не те конфиги в комплекте, что нужны, судя по документации на сайте. Чувствуется, что программа - та еще угадайка, только надо догадаться до всего, в т.ч и до того, каких файлов не хватает и что в них надо указать.

В общем, делаем для себя, а на сайт выкладываем по остаточному принципу, и абы что.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Релиз системы фильтрации спама Rspamd 1.3"  –4 +/
Сообщение от Аноним (??) on 26-Июл-16, 09:45 
Ну собственно автор так и работает, для себя так как ему за это платят, вы ему за это не платите вот вам и абы что. Радуйтесь что хотя бы что то на халяву получили.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

12. "Релиз системы фильтрации спама Rspamd 1.3"  +2 +/
Сообщение от Vsevolod Stakhov email on 26-Июл-16, 10:50 
Какие не те и какие нужны?

Мне довольно часто приходилось ставить rspamd на разные VM'ки с дебианами, и проблемы возникали только с тем, чтобы вспомнить, как этот проклятый systemd просить сделать что-то. На сайт также выкладывается только то, что я сам постоянно использую.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

13. "Релиз системы фильтрации спама Rspamd 1.3"  +2 +/
Сообщение от Аноним88 on 26-Июл-16, 11:07 
обновлял 1.1.x версию, на 1.2.0 - были проблема с обновлением, из коробки не работало, забил.
потом обновил 1.1.х на 1.2.8 - никаких проблем, все взлетело автоматом.
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

15. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Аноним (??) on 26-Июл-16, 13:43 
> выкладывается только то, что я сам постоянно использую

Вот именно.

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

31. "Релиз системы фильтрации спама Rspamd 1.3"  +1 +/
Сообщение от Аноним (??) on 26-Июл-16, 20:18 
А вот и главный виновник торжества )), благодарствуем
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

17. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Аноним (??) on 26-Июл-16, 14:21 
пользуюсь полгода - очень доволен. быстрая, мало ресурсов ест. с док-цией да, есть проблемы, но если собираешь прогу сам, то легко разобраться что к чему,и проблем с настройкой и поддержкой больше не возникает.

кстати, не знаю как у вас, а у меня весь спам, который приходит имеет валидные spf и dkim, из за чего я решил выставить им оценку в 0, и честно говоря стало немного лучше.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Vsevolod Stakhov email on 26-Июл-16, 16:00 
> пользуюсь полгода - очень доволен. быстрая, мало ресурсов ест. с док-цией да,
> есть проблемы, но если собираешь прогу сам, то легко разобраться что
> к чему,и проблем с настройкой и поддержкой больше не возникает.

А какие проблемы с документацией, если не секрет?

> кстати, не знаю как у вас, а у меня весь спам, который
> приходит имеет валидные spf и dkim, из за чего я решил
> выставить им оценку в 0, и честно говоря стало немного лучше.

Да, у меня такая же ситуация. Спамеры уже давно научились использовать ec2 и всякие абузоустойчивые хостинги, настраивая SPF/DKIM/DMARC. Наверное, надо бы подумать над правилом, которое убирает всякий позитивный эффект от SPF/DKIM/DMARC для определенных сетей или доменов. Подумаю на досуге.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

21. "Релиз системы фильтрации спама Rspamd 1.3"  +1 +/
Сообщение от Аноним (??) on 26-Июл-16, 16:21 
>А какие проблемы с документацией, если не секрет?

когда я начинал пользоваться вашей программой, документация на сайте во многих случаях была устаревшей. чтобы разобраться приходилось изучать конфиги и смотреть код. на самом деле это даже было интересно :)
а так, спасибо за годную софтину!

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

37. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Аноним (??) on 27-Июл-16, 03:36 
> надо бы подумать над правилом, которое убирает всякий позитивный эффект от SPF/DKIM/DMARC для определенных сетей или доменов

Не надо вообще учитывать позитивные результаты от них. Только негативные.

> А какие проблемы с документацией, если не секрет?

Вот пример документации: https://rspamd.com/doc/modules/chartable.html
Первый же очевидный вопрос: а что именно матчит этот модуль? хидеры/mime/вложения?

Пример ещё более невнятной документации: https://rspamd.com/doc/modules/emails.html

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

42. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Онанимус on 27-Июл-16, 10:27 
> Пример ещё более невнятной документации: https://rspamd.com/doc/modules/emails.html

Описан в общем списке:
https://rspamd.com/doc/modules/index.html

Там все просто, поэтому, видимо, с описанием не заморочились.

Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

48. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Vsevolod Stakhov email on 27-Июл-16, 15:46 
>> А какие проблемы с документацией, если не секрет?
> Вот пример документации: https://rspamd.com/doc/modules/chartable.html
> Первый же очевидный вопрос: а что именно матчит этот модуль? хидеры/mime/вложения?
> Пример ещё более невнятной документации: https://rspamd.com/doc/modules/emails.html

Я исправил документацию по этим модулям.

Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

24. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Аноним88 on 26-Июл-16, 16:34 
пришли скрин с диаграммой из веб-админки по соотношению спам/возможно спам/грейлист/нормальные письма.
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

25. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от alexpn (ok) on 26-Июл-16, 18:59 
Кто юзал под нагрузкой ? как ресурсы жрет ?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

40. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Аноним (??) on 27-Июл-16, 09:24 
Ресурсы не жрет под нагрузкой 3% CPU и очень мало памяти.
RegEx от Intel использует SIMD
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

26. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от alexpn (ok) on 26-Июл-16, 19:49 
что-то Ubunta никак
Configuring incomplete, errors occurred!
See also "/home/src/rspamd/rspamd.build/CMakeFiles/CMakeOutput.log".
root@alexpn:/home/src/rspamd/rspamd.build# ldconfig
root@alexpn:/home/src/rspamd/rspamd.build# cmake ../
-- Configuring for Linux
-- Check for luajit 5.1
-- Fallback from luajit to plain lua
-- Check for lua 5.1
CMake Error at CMakeLists.txt:630 (MESSAGE):
  Lua not found, lua support is required
даже после
apt install lua5.1
странно ... лан завтра докулупаю
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

29. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Vsevolod Stakhov email on 26-Июл-16, 20:12 
Так для убунты есть же пакеты? Ну и в самих исходниках есть директория debian/, в которой есть правила сборки пакета. Если же по какой-то причине хочется собирать руками, то вам нужны вот такие пакеты:

make
ca-certificates
сmake
libevent-dev
libglib2.0-dev
libgmime-2.6-dev
libpcre3-dev
libssl-dev
libcurl4-openssl-dev
libsqlite3-dev
perl
libmagic-dev
ragel
libfann-dev

Хотя учтите, что в таком случае вы получите rspamd без hyperscan и некоторых других полезных вещей, и именно поэтому я рекоммендую использовать готовые пакеты.

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

34. "Релиз системы фильтрации спама Rspamd 1.3"  +3 +/
Сообщение от xl32 (ok) on 27-Июл-16, 03:19 
Я вот, если честно, не осилил. Документация для новичка непонятна вкрай. CentOS 7.
Непонятно, как тестировать, да и даже как запустить.
systemctl start rspamd.service не работал.
Гугление помогло в гитхабе найти то, что сервис активируется через сокет:

systemctl start rspamd.socket

Иначе выдаёт абсолютно невнятную ошибку о том, что не может слушать на некоем сокете. Ну куда это годится?

Jul 26 22:33:00 hz rspamd: (main) <f80549>; main; systemd_get_socket: cannot get systemd variable 'LISTEN_FDS'
Jul 26 22:33:00 hz rspamd: (main) <f80549>; main; spawn_workers: cannot listen on systemd socket systemd:1: No such file or directory
Jul 26 22:33:00 hz rspamd: (main) <f80549>; main; spawn_workers: cannot create listen socket for controller at systemd:1

Перезапускать же его так нельзя.
Опытым путём разобрался, правила перечитывает по systemctl restart rspamd.service.
Сразу же захотел завайтлистить адреса из спамассасина.
Это такой страшный квест, что ппц. Создал /etc/rspamd/local.d/whitelist.conf

Что в него писать?

rules {
    "WHITELIST" = {
        domains = "${CONFDIR}/wl_map.inc";
        score = -10;
        description = "Mail comes from the whitelisted domain";
    }
}

Не пашет. Попробовал и в override.d засунуть, и WHITELIST на WHITELIST_SPF менять... Не помогает на тестовом письме с доменом из wl_map.inc.

Получилось сделать через multimap wl_from { type = "from"; map = "$CONFDIR/local_wl_from.map.inc"; symbol = "LOCAL_WL_FROM"; description = "Sender from listed in local from whitelist"; regexp = true;}
Но только с регулярками, без regexp = true не ест ни один домен. Какой формат этого мэпа? Нигде ж не пишут.

Простите за сумбурное изложение, но нужна quick start дока о запуске, тестировании и релоаде конфигов. И базовых вещах: вайтлист/блеклист по адресам и доменам.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

41. "Релиз системы фильтрации спама Rspamd 1.3"  –2 +/
Сообщение от Аноним (??) on 27-Июл-16, 09:25 
systemd гогно, что автор не так обяснил?

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

43. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от xl32 (ok) on 27-Июл-16, 12:02 
Whitelist/blacklist, например.
В гугле десяток разных решений для разных версий. Все перепробовал, одно заработало.
Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

44. "Релиз системы фильтрации спама Rspamd 1.3"  +1 +/
Сообщение от Vsevolod Stakhov email on 27-Июл-16, 13:30 
> Я вот, если честно, не осилил. Документация для новичка непонятна вкрай. CentOS
> 7.
> Непонятно, как тестировать, да и даже как запустить.
> systemctl start rspamd.service не работал.
> Гугление помогло в гитхабе найти то, что сервис активируется через сокет:
> systemctl start rspamd.socket

https://rspamd.com/doc/faq.html#how-to-start-rspamd-using-sy...

> Иначе выдаёт абсолютно невнятную ошибку о том, что не может слушать на
> некоем сокете. Ну куда это годится?

Согласен, сообщение об ошибке можно улучшить.

> Jul 26 22:33:00 hz rspamd: (main) <f80549>; main; systemd_get_socket: cannot get systemd
> variable 'LISTEN_FDS'
> Jul 26 22:33:00 hz rspamd: (main) <f80549>; main; spawn_workers: cannot listen on
> systemd socket systemd:1: No such file or directory
> Jul 26 22:33:00 hz rspamd: (main) <f80549>; main; spawn_workers: cannot create listen
> socket for controller at systemd:1
> Перезапускать же его так нельзя.
> Опытым путём разобрался, правила перечитывает по systemctl restart rspamd.service.

Тут также вопросы к Лене.

> Сразу же захотел завайтлистить адреса из спамассасина.

Можно было вырезать релевантный кусок из SA и вставить его в конфигурацию плагина spamassassin.

>[оверквотинг удален]
> from the whitelisted domain";
>     }
> }
> Не пашет. Попробовал и в override.d засунуть, и WHITELIST на WHITELIST_SPF менять...
> Не помогает на тестовом письме с доменом из wl_map.inc.
> Получилось сделать через multimap wl_from { type = "from"; map = "$CONFDIR/local_wl_from.map.inc";
> symbol = "LOCAL_WL_FROM"; description = "Sender from listed in local from
> whitelist"; regexp = true;}
> Но только с регулярками, без regexp = true не ест ни один
> домен. Какой формат этого мэпа? Нигде ж не пишут.

По умолчанию `type = from` матчит полностью адрес. Вам были нужны фильтры: https://rspamd.com/doc/modules/multimap.html#map-filters

> Простите за сумбурное изложение, но нужна quick start дока о запуске, тестировании
> и релоаде конфигов. И базовых вещах: вайтлист/блеклист по адресам и доменам.

https://rspamd.com/doc/quickstart.html

Хотя про листы там нет информации - попробую добавить. В любом случае спасибо за отзыв.

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

45. "Релиз системы фильтрации спама Rspamd 1.3"  +1 +/
Сообщение от xl32 (ok) on 27-Июл-16, 13:40 
Спасибо за ответ. Этот quick start очень объёмный и не содержит указанных вещей: формата мэпов, живых полных примеров с доменами и емылами, это же самое главное!

Не указано как тестировать. Пример:

1) добавить в конкретный файл local.d/whitelist.conf такие строки, создать такой файл с вайтлистом, вот пример;
2) релоаднуть конфигурацию демона такой командой;
3) проверить на тестовом письме с помощью rspamc < test-email.msg.

Спасибо за интересный софт, извиняюсь за резкую критику. Вчера два часа колупал, считаю безуспешно полностью. Считаю себя не особо глупым, но модуль whitelist полностью убил :-)
Уже понимаю, что кастомные записи добавить туда безумно сложно, а пользоваться нужно вместо него multimap. Для меня это неочевидно совершенно :-)

Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

46. "Релиз системы фильтрации спама Rspamd 1.3"  +1 +/
Сообщение от Vsevolod Stakhov email on 27-Июл-16, 14:34 
> Спасибо за ответ. Этот quick start очень объёмный и не содержит указанных
> вещей: формата мэпов, живых полных примеров с доменами и емылами, это
> же самое главное!

Вы правы, информацию о мапах обязательно надо добавить и привести примеры работы. Попробую это в ближайшее время сделать.

> Не указано как тестировать. Пример:
> 1) добавить в конкретный файл local.d/whitelist.conf такие строки, создать такой файл с
> вайтлистом, вот пример;
> 2) релоаднуть конфигурацию демона такой командой;
> 3) проверить на тестовом письме с помощью rspamc < test-email.msg.

Справедливо, добавлю.

> Спасибо за интересный софт, извиняюсь за резкую критику. Вчера два часа колупал,
> считаю безуспешно полностью. Считаю себя не особо глупым, но модуль whitelist
> полностью убил :-)
> Уже понимаю, что кастомные записи добавить туда безумно сложно, а пользоваться нужно
> вместо него multimap. Для меня это неочевидно совершенно :-)

Вроде, ничего безумно сложного нет, но у меня искаженное восприятие автора :) В любом случае, если у вас возникает вопрос, то лучше его просто задать (https://rspamd.com/support.html) - например, в IRC вам могут ответить за пару минут.

Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

47. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от xl32 (ok) on 27-Июл-16, 15:03 
И всё же, как? Вот пример списка, как его добавить в модуль whitelist?

whitelist_from noreply@geektimes.ru
whitelist_from *@elance.com
whitelist_from *@elanceonline.com
whitelist_from *@upwork.com
whitelist_from *@hetzner.de

С блэклистом разобрался, сделал на LUA

config['regexp']['FROM_MCLARENS'] = {
    re = 'From=/\@(billingers\.biz\.ua|kolinges\.eu|stmiron\.co\.ua|interboxe\.eu|interstelloz\.co\.ua|forbestio\.co\.ua|fendirtoon\.co\.ua|goddis\.co\.ua|intermagazin\.co\.ua|jmtier\.co\.ua|fiolon\.co\.ua|jokiolo)',
    score = 20,
    description = 'UA mclarens.co.ua spammers',
    group = 'my symbols'
}

Выглядит ядовито и многословно, это я укоротил список доменов. Если скажете, как правильно сделать как в spamassassin, буду очень благодарен. Посмотрите, одна строка — одна маска.

blacklist_from phpbbaid@gmail.com
blacklist_from phpbbspprt840@gmail.com
blacklist_from i@ipartsbuy.com
blacklist_from Support@VMBox.Co
blacklist_from *@eforchina.com
blacklist_from *@jd.com

Про модуль spamassassin понял, но хотелось бы нативным способом...

Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

49. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от alexpn (ok) on 27-Июл-16, 18:25 
да чую тот еще геммор
поставил spamassign пока
исходники мне так и не поддались с номаными опциями
Буду думать !
дока просто зачетная ..... аффтор молодец
Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

51. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Vsevolod Stakhov email on 27-Июл-16, 21:06 
> да чую тот еще геммор
> поставил spamassign пока
> исходники мне так и не поддались с номаными опциями
> Буду думать !
> дока просто зачетная ..... аффтор молодец

Понимаете, тут какое дело, - я у всех желающих поканпилять всегда интересуюсь: а почему не устраивают готовые пакеты, порты, портеджи, pkgsrc и иже с ними. И практически никогда я не получаю вменяемых ответов.

Тут бесполезно ругать доку или автора - если не получается канпилять, а использовать нормальные методы не позволяет религия, то этот проект просто не для вас, и продолжать напрягать себя и всех вокруг бессмысленно.

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

50. "Релиз системы фильтрации спама Rspamd 1.3"  +1 +/
Сообщение от Vsevolod Stakhov email on 27-Июл-16, 21:01 
> И всё же, как? Вот пример списка, как его добавить в модуль
> whitelist?

Модуль whitelist предназначен для другого: он как раз позволяет сделать проверку по SMTP From с учетом, например, удачной проверки DKIM/SPF/DMARC. Впрочем, я планирую добавить этот функционал и в multimap: https://github.com/vstakhov/rspamd/issues/765

Для вашей конкретной задачи я бы сделал такие правила multimap:

spam_from_header {
  type = "header"; # Берем From из заголовка
  header = "From"; # Имя заголовка
  filter = "email:addr"; # Извлекаем адрес: Vasya Pupkin <pupkin@example.com> -> pupkin@example.com
  map = "/tmp/from.map"; # Имя файла, где будем вести список
  symbol = "SPAMFROM"; # Имя символа
  description = "Spam From header"; # Описание (для webui)
  regexp = true; # Включаем regexp'ы (желательно также иметь билд с гиперсканом)
}

Дальше в файле "/tmp/from.map" можно добавлять выражения (это также можно делать из морды):

/^.*user@domain.*$/
user2@domain2
# commented line

Изменения в этом файле автоматически перезагружаются rspamd (также можно выложить его где-то через веб-сервер и загружать со всего кластера по http с обновлением только при модификациях). Если вы допустили ошибку, то изменения откатываются к последней "хорошей" комбинации, а об ошибке пишется в лог.

Если вам нужен не header from, а smtp from, то меняется только type = "from", остальное можно не трогать. Для задания веса можно написать в `local.d/metrics.conf` что-то вроде такого:

group "My maps" {
  symbol "SPAMFROM" {
    score = 5.0;
    description = "Map of bad from patterns";
  }
}

Надеюсь, что объяснил достаточно подробно. Да, все это также можно было сделать и через модуль whitelist, а также через простейшее правило на lua.

Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

52. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от xl32 (ok) on 28-Июл-16, 13:21 
Громадное спасибо, сам бы не догадался.
Сегодня опробую.
Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

54. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Аноним (??) on 30-Июл-16, 06:33 
Сколько клевых вещей недокументированных, и вопрос будет-ли вообще документированы...
Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

57. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Vsevolod Stakhov email on 31-Июл-16, 17:45 
Что из описанного не документировано тут: https://rspamd.com/doc/modules/multimap.html?
Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

55. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от xl32 (ok) on 30-Июл-16, 11:39 
Пользуюсь сборкой из вашего репозитория для CentOS 7.
Работает очень круто, спасибо.
А как добавить в whitelist (тот, где обязательная проверка на DKIM) свой список доменов, не испортив штатный и не потеряв свои при обновлении?
Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

58. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Vsevolod Stakhov email on 31-Июл-16, 17:47 
> Пользуюсь сборкой из вашего репозитория для CentOS 7.
> Работает очень круто, спасибо.
> А как добавить в whitelist (тот, где обязательная проверка на DKIM) свой
> список доменов, не испортив штатный и не потеряв свои при обновлении?

В 1.3 есть такая фича: https://github.com/vstakhov/rspamd/issues/616, то есть, для каждой мапы можно добавлять несколько источников. Это даже реализовано, но пока плохо протестировано, а потому я решил пока повременить с повсеместным внедрением этой возможности.

Ответить | Правка | ^ к родителю #55 | Наверх | Cообщить модератору

56. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от xl32 (ok) on 30-Июл-16, 11:48 
> Изменения в этом файле автоматически перезагружаются rspamd (также можно выложить его где-то

Мне пришлось рестартить вручную, изменения не перечитывал, в логах пусто. Может он редко это делает?

Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

59. "Релиз системы фильтрации спама Rspamd 1.3"  +/
Сообщение от Vsevolod Stakhov email on 31-Июл-16, 17:50 
>> Изменения в этом файле автоматически перезагружаются rspamd (также можно выложить его где-то
> Мне пришлось рестартить вручную, изменения не перечитывал, в логах пусто. Может он
> редко это делает?

Изменения в списке (то есть, самой map'е) должны перечитываться - в логах об этом также пишется. Интервал проверки - от 10 до 20 секунд. Изменения конфигурации, к сожалению, все еще требуют полного перезапуска Rspamd. В будущем я планирую все-таки починить graceful reload, но пока вот так.

Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру