форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы Разговоры, обсуждение новостей (Public)
Изначальное сообщение		[Проследить за развитием треда]

"Варианты антиспам-фильтров. Все имеют право на жизнь?"

Сообщение от Inspiration (ok) on 14-Июн-06, 09:06

Очень внимательно читаю конференцию на opennet.ru ( http://www.opennet.dev/openforum/vsluhforumID3/3588.html ). В самой конференции обсуждались плюсы и минусы как SpamAssassin, так и Kaspersky Antispam. Данные типы антиспам-фильтров основаны на лингвистическом анализе содержимого письма, но у меня возникла идея... Несомненно, она вероятно не нова, но мне кажется, что она не лишена права на жизнь. Как известно, только сам конечный пользователь сам может сказать, пришедшее письмо спам или не спам. Несомненно, можно научить "компьютер" делать это за него, но, простите, я считаю, что это "слабое подобие правой руки", ибо всё равно 100% точности не получить. Но "компьютеру" можно дать правило, которое пользователь УЖЕ создал. Что бы не лезть в дебри, посмотрите, пожалуйста, алгоритм работы того, что у меня в голове: 1. Отправляется письмо. 2. На сервере получателя проверяются всякие там RBL и т.д. (пока они ещё работают). 3. Проверяется, есть ли отправитель в белом списке. 4. Если отправитель в белом списке, то письмо доставляется в инбокс (грубо говоря). Если нет, то далее. 5. Если в белом списке отправителя нет, то генерируется случайное число (или комбинация чисел-букв). 6. Сервер делает reply письма отправителю, но в тело письма и в тему письма вставляет сгенерированное в п.5 число. 7. Письмо маркируется как "Неавторизированное" (любым способом. Начиная с добавления в тему маркера и заканчивая header-ом в заголовке). 8. Письмо доставляется в инбокс (но, несомненно, правила на основе маркера могут его доставить в иное место). Х. Пользователь, проверив неавторизованное письмо, может добавить адресата в белый список. Или он добавится автоматически в чёрный, спустя какое-то указанное время. ХХ. Если сервер получает ответ от отправителя, и присутствует в нужном месте сгенерированное в п.5 число, то адресат автоматически заносится в белый список. Что мы в итоге получаем? Плюсы. 1. Полное отсутствие ложных срабатываний. 2. Скорость работы сервера может быть очень и очень существенной, т.к. не требуются ресурсоёмкие лингвистические анализы. 3. Прозрачность работы фильтра - всё просто и логично. Минусы. 1. Первоначально всё равно требуется проверять спам на наличие нужных сообщений. 2. Некоторый паразитный трафик (что в текущий момент, учитывая скоростные каналы связи, не так критично). Несомненно, можно добавить условие - письма, изначально содержащие в себе (в теме, например) указанный маркер, сразу будут попадать в белый список... Например, один мой знакомый, которого спам достал "по самое немогу", установил фильтр, в котором удаляются все письма, кроме тех, которые содержат в себе слово "Маяк" (Это название фирмы, в которой он работает). Естесственно, он всем, кому даёт свой адрес, говорит, что письма отсылать только так (даже на визитке напечатано). Прекрасно понимаю, что он и потеряет много (например, опечатался кто-то), но... Нет в жизни идеала! В моём случае, если кто-то "опечатался" или просто "ключа" нет, то отправитель получит уведомление... И если это действительно важно, то либо сам подтвердит себя, либо будет ждать, пока получатель это сделает. Как мне кажется, мой вариант антиспам-фильтра не требует особо глубокого знания языков программирования. IMHO, всё логично... Что бы добавлять кого-то в белый список, пользователь может, например, отправить письмо на whitelist@domain.com, в теме которого указать адрес, который надо занести в "белый" список. Аналогично можно поступить и с "чёрным" списком... Для работы фильтра можно использовать базу SQL, которая, как известно, при нормальной установке работает достаточно быстро. Имея белый список можно разрешить фильтру пропускать сообщения от серверов, обеспечивающих необходимые (и только необходимые!) рассылки. Конечно, письма на добавление в список принимаются только от локальных пользователей. Для проверки всего списка достаточно будет отправить письмо с темой, например, STATUS на тот же whitelist@domain.com и автоматом получить таблицу с адресами, временем занесения в базу и т.д. Вероятно, есть возможность аналогичным реализовать добавление целого домена, но данный вариант будет прекрасно работать, если вести отдельно списки для каждого пользователя. В принципе, администратор может управлять списками для всего своего почтового сервера... Господа, жду комментариев :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Сообщения по теме

[Сортировка по времени, UBB]

1. "Варианты антиспам-фильтров. Все имеют право на жизнь?"

Сообщение от Аноним on 15-Июн-06, 03:02

Ты только что изобрел велосипед еще раз, а именно - систему авторизации тех кто в контакт листе :).Примерно это есть в ICQ или MSN... посмотрите на них :) Если б в ICQ запрос на авторизацию на 100% был бы сделан так как должен, это было бы так: - Чтобы послать сообщение юзеру - вы должны быть авторизоавны у этого юзера. - Неавторизованные юзеры могут послать только запрос на авторизацию.Остальные их сообщение до получения авторизации автоматически спускаются в трэш а лучше отвергаются на уровне сервера. - Для обмена сообщениями (письмами) нужна непременная авторизация.Это угробит спамеров на корню.Мало идиотов авторизуют спамера как корреспондента на будущее и надолго оставят его там %) - Чтобы спамеры обломались слать запросы на авторизацию с спамом(как это бывает иногда в icq), запрос должен приходить пустой - никакого текста в нем не позволено кроме адреса\идентификатора юзера.Врядли много юзеров будут специально из мазохизма добавлять непонятно кого в контакты и долго держать юзера который им спамит в контакт-листе (у вас это назыавется whitelist). Все зашибись.Кроме того что это скорее должен быть протокол типа ICQ чем протокол типа POP3 и SMTP :) :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	2. "Варианты антиспам-фильтров. Все имеют право на жизнь?"
	Сообщение от Inspiration (ok) on 15-Июн-06, 07:17
	Согласен, идея не нова, как я уже высказался ранее. Согласен также с тем, что это "угробит спамеров на корню". В данном случае я всего лишь представил систему доставки писем с подтверждением. Несомненно соглашусь и с мнением господина Игоря Аршанова - такая система подойдёт НЕ ДЛЯ ВСЕХ. В основном предназначена для тех, у кого не особо обширный круг почтовых контактов. Например, пиарщикам, журналистам, продовцам такая система не поможет, т.к. получения письма для них куда важнее, чем для отправителя. Но, как бы там ни было, в любом случае, имхо, от спама можно избавиться или... или по крайней мере отмаркеровать его. На текущий момент я пробовал несколько различных антиспам фильтров и ВСЕ они допускают ошибки. Причём, к сожалению, не одну на 100 тысяч... Само собой, ни одно важное письмо я заблокировать (как администратор почтового сервера) не имею права. Пусть этим занимается пользователь! А я буду вести списки и маркировать.. Вопрос! Кто знает работающий на данном принципе антиспам-фильтр под FreeBSD в связке с CGP?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	3. "Варианты антиспам-фильтров. Все имеют право на жизнь?"
	Сообщение от Аноним on 15-Июн-06, 12:12
	> Например, пиарщикам, журналистам, продовцам такая система не поможет Помогла бы если ее сделать ОБЯЗАТЕЛЬНОЙ, на ВСЕХ серверах и у ВСЕХ юзеров и т.п. - тогда ВСЕ из круга общения даже пиарщиков начинали бы общение с непременного запроса на авторизацию(оно стало бы неизбежной данностью и ни для кого не представляло бы проблем, ну как в ICQ примерно - там же никто на это не жалуется).А уж далее... просто это уже не был бы SMTP который по любому объективно пора на свалку истории как несоответствующий современным требованиям. Кстати для облегчения юзерской участи можно примерно так сделать:пока не подтверждена авторизация, все почта от неавторизованного юзера просто метится как именно неавторизованная (подозорительная) почта но таки доставляется юзеру.Что с ней делать - сразу в трэш\junk или почитать опосля всей прочей после "авторизованной" - да уже дело юзеря.Можно указать какое-то требование для своих легитимных юзеров (скажем включить в сабж нечто определенное)что заставит почтовик рассмотреть это как вполне легитимную почту(спамерам напряжно под индивидуальные закидоны каждого получателя настраиваться). А после получения авторизации автоматически метить то что на сервере валяется и вообще все что от этого юзера уже пришло как авторизованное (неподозрительное) - доставляется без проверки на спам вообще во избежании ложного удавливания сообщений и из соображений что юзер тоже не мазохист и долго спамера не продержит у себя как авторизованного юзера :).В таком виде SMTP уже не столь сильно надо перетрясать... (но идеально если и сервера и юзерский софт это поддержат - тогда оно будет и удобно в юзеже юзерами и спамерам крантец обеспечится автоматически и самое забавное что они ничего с этим не смогут поделать).
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	4. "Варианты антиспам-фильтров. Все имеют право на жизнь?"
	Сообщение от Inspiration (ok) on 15-Июн-06, 12:37
	>Кстати для облегчения юзерской участи можно примерно так сделать:пока не подтверждена авторизация, >все почта от неавторизованного юзера просто метится как именно неавторизованная (подозорительная) >почта но таки доставляется юзеру.Что с ней делать - сразу в >трэш\junk или почитать опосля всей прочей после "авторизованной" - да уже >дело юзеря.Можно указать какое-то требование для своих легитимных юзеров (скажем включить >в сабж нечто определенное)что заставит почтовик рассмотреть это как вполне легитимную >почту(спамерам напряжно под индивидуальные закидоны каждого получателя настраиваться). >А после получения авторизации автоматически метить то что на сервере валяется и >вообще все что от этого юзера уже пришло как авторизованное (неподозрительное) >- доставляется без проверки на спам вообще во избежании ложного удавливания >сообщений и из соображений что юзер тоже не мазохист и долго >спамера не продержит у себя как авторизованного юзера :).В таком виде >SMTP уже не столь сильно надо перетрясать... Именно это у меня и написано :) Вся мысль-то родилась и обрела очертания такого типа потому, что я использую ComminuGate Pro. Прицепить к нему антиспам можно либо через CLI, либо через стандартный хелперный интерфейс. До CLI я ещё не дожил, знаний маловато, но вот хелпер... Это само то! Простота взаимодействия только радует :) Кстати, я считаю, что и старый добрый SMTP ещё поработает.   К моему огромному сожалению, никто не откликнулся - а есть ли данного типа уже рабочее ПО? Посему читаю самоучитель Perl и надеюсь в скором времени осилить системку :)
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	5. "Варианты антиспам-фильтров. Все имеют право на жизнь?"
	Сообщение от _KAV_ (ok) on 15-Июн-06, 12:47
	>К моему огромному сожалению, никто не откликнулся - а есть ли данного >типа уже рабочее ПО? Посему читаю самоучитель Perl и надеюсь в >скором времени осилить системку :) На похожем принципе работает greylisting. Перепаши, чтоб пропускал не по повторному запросу, а по ответу на авторизацию.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	6. "Варианты антиспам-фильтров. Все имеют право на жизнь?"
	Сообщение от Аноним on 16-Июн-06, 09:35
	> Кстати, я считаю, что и старый добрый SMTP ещё поработает. Да он то поработает но именно поэтому ваши требования будут выглядеть для юзеров не нормальной вещью которая стандартна в протоколе и по любому required а "закидоном конкретно вон той шарашки\юзера".
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	7. "Варианты антиспам-фильтров. Все имеют право на жизнь?"
	Сообщение от Inspiration (ok) on 16-Июн-06, 10:46
	>> Кстати, я считаю, что и старый добрый SMTP ещё поработает. >Да он то поработает но именно поэтому ваши требования будут выглядеть для >юзеров не нормальной вещью которая стандартна в протоколе и по любому >required а "закидоном конкретно вон той шарашки\юзера". Ну слава Карлсону меня это мало волнует. Давным давно выстроена такая политика - как сказал администратор, так и будет. К тому же спорный вопрос, что лучше - или обязательная авторизация (первый раз, заметьте), или получать по 50 писем спама в сутки, который хотя и обрабатывается SpamAssassin-ом, но всё же коряво и с ошибками. Я сегодня уже беседовал со своим прямым шефом (вцелом он самый главный в компании), ему эта идея очень даже понравилась и он выделил как бюджет, так и всесторонную помощь. Так же беседовал с некоторыми сотрудниками. С теми, кто сильно на спам жалуется, с теми, кто не жалуется в принципе (стесняются что ли?). Единогласно согласились с тем, что система имеет право на жизнь и что в текущий момент это одно из немногих (единственных не скажу) средств избавиться от спама фактически на все 100%. Что в плане технической реализации. Сам обработчик писать буду на Perl (поправьте, если я не верно выбрал язык, всё равно учить...). Привяжу белые списки к MySQL и... Я ранее создал портал, который достаточно защищён и на котором крутятся базы данных. На этом портале добавлю обработчики белых списков (т.е. юзеры смогут изменять, добавлять, удалять адресатов). Аналогично автоматом будут сделаны базы тех, кто отправил письмо, но не авторизировался. Думаю достаточно будет  указать отправителя, тему сообщения и дату отправки. Пользуясь данной фишкой пользователи смогут САМИ контролировать что и как. Т.е. если письмо не дойдёт до них (а я решил неавторизированные удалять сразу), то пусть смотрят список и, если надо, добавляют отправителя в whitelist. Хих. Шеф спросил, если он так "забьёт" всех, кто у него в contact list, то они будут прекрасно и прозрачно ходить, а остальные нет? Ответил ему отвердительно, на что он улыбнулся и сказал - а остальные не ***ут :)
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	8. "Варианты антиспам-фильтров. Все имеют право на жизнь?"
	Сообщение от Inspiration (ok) on 21-Июн-06, 16:55
	Знаете, ребята, а ведь написал! Написал фактически всё! Только последнее осталось - хочу новую штучку приделать. Что бы, когда адресат не зарегистрирован, сообщение не удалялось, а помещалось в буфер. На неделю, например. И после регистрации отправителя доставлялось адресату. На самом деле, это было бы чертовски удобно!
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	9. "Варианты антиспам-фильтров. Все имеют право на жизнь?"
	Сообщение от rapido (ok) on 26-Янв-07, 19:32
	>Знаете, ребята, а ведь написал! >Написал фактически всё! Только последнее осталось - хочу новую штучку приделать. Что >бы, когда адресат не зарегистрирован, сообщение не удалялось, а помещалось в >буфер. На неделю, например. И после регистрации отправителя доставлялось адресату. На >самом деле, это было бы чертовски удобно! Добрый день. И как ваша система? Работает?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]