The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Основатели ClamAV представили LibreS3, открытую реализацию х..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Основатели ClamAV представили LibreS3, открытую реализацию х..."  +/
Сообщение от opennews (??) on 02-Май-14, 10:35 
Анонсирован (http://www.skylable.com/2014/04/libres3-released/) первый выпуск проекта LibreS3 (http://www.skylable.com/products/libres3/release/0-1/), в рамках которого развивается открытая реализация облачного сервиса хранения Amazon S3 (http://ru.wikipedia.org/wiki/Amazon_S3). LibreS3 позволяет развернуть на своих серверах сервис хранения данных, полностью совместимый (https://wiki.skylable.com/wiki/Main_Page) с клиентскими библиотеками для Amazon S3 и построенными на их основе инструментами, такими как python-boto, s3cmd и DragonDisk. Исходные тексты LibreS3 написаны на языках Си и OCaml, код  распространяется (http://gitweb.skylable.com/gitweb/?p=sx.git;a=tree) под лицензией GPLv2 (библиотеки под LGPL). Платформа может быть использована в Linux, OS X и различных BSD-системах.

Стоит отметить, что проект развивается командой разработчиков, в своё время покинувших (http://www.opennet.dev/opennews/art.shtml?num=34141) проект ClamAV для развития своих новых идей. Среди разработчиков Skylable числятся (http://www.skylable.com/contact/) Томаш Койм (Tomasz Kojm), основатель свободного антивирусного пакета ClamAV, и ещё три разработчика, стоящих у истоков проекта.


Для организации хранения данных на группе серверов применяется  распределённое кластерное хранилище Skylable Sx, первый выпуск которого представлен (http://www.skylable.com/2014/04/skylable-sx-beta-released/) одновременно с LibreS3. Skylable Sx также является свободным проектом и берёт на себя выполнение задач по репликации данных между узлами и дедупликации идентичных данных на разных узлах кластера. Skylable Sx позволяет объединить в единое виртуальное хранилище дисковое пространство с нескольких серверов. Для обеспечения отказоустойчивости и сохранности информации наборы данных реплицируются на несколько разных серверов. Число копий, которые будут храниться на разных серверах, определяются администратором при конфигурации системы.


Для защиты данных применяется техника шифрования на стороне клиента, при которой на серверы системы информация поступает уже в зашифрованном виде, что исключает перехват данных в случае получения спецслужб или злоумышленников к серверам хранения. Кроме того, опционально может быть использовано шифрование разделов на серверах, но в этом случае теряется эффективность от использования дедупликации. Обмен данными между клиентом и сервером и между узлами  шифруется с использованием HTTPS. Для экономии дискового пространства  используется сжатие данных на лету.

Skylable Sx состоит из следующих компонентов:


-  sxhttpd - демон, обслуживающий запросы по протоколу HTTP, используемому как для обращения клиентов, так и для взаимодействия узлов хранения.
-  sx.fcgi - работающий с использованием FastCGI процесс, непосредственно обрабатывающий запросы и распределяющий их среди дочерних процессов-обработчиков:

-  Менеджер выполнения работ - планирует передачу блоков данных и выполняет команды администрирования);
-  Менеджер передачи блоков данных - передаёт данные между узлами хранения и отдаёт данные клиентам;
-  Сборщик мусора - выполняет поиск и чистку блоков данных, потерявших актуальность или не связанных с файлами.


<center><iframe width="640" height="360" src="//www.youtube.com/embed/j9okrCYAsFQ?rel=0" frameborder="0" allowfullscreen></iframe></center>

URL: http://www.skylable.com/2014/04/libres3-released/
Новость: http://www.opennet.dev/opennews/art.shtml?num=39691

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


2. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +/
Сообщение от YetAnotherOnanym (ok) on 02-Май-14, 11:06 
Не понял - какая дедупликация, если каждый шифрует данные на своей стороне со своим собственным ключом? И какое вообще "сжатие на лету" для зашифрованных данных? Вроде как зашифрованное не жмётся в принципе?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  –1 +/
Сообщение от my on 02-Май-14, 11:16 
> Вроде как зашифрованное не жмётся в принципе?

С чего это вдруг?

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

8. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +2 +/
Сообщение от Andrew Kolchoogin (ok) on 02-Май-14, 12:26 
> С чего это вдруг?

Ну, вообще-то, Шнайер утверждает, что именно это свойство криптотекста является «маркером» для его поиска в потоке данных – берём поток, пытаемся компрессировать, если не компрессируется – пытаемся распаковать всеми известными нам архиваторами, не распаковывается => ciphertext.

А с математической точки зрения ciphertext не должен компрессироваться для закрытия known plaintext-атак: скажем, если взять DES в режиме Electronic Codebook, тогда ciphertext будет компрессироваться так же, как и исходный файл, но: почему это плохо, наглядно показано здесь: http://en.wikipedia.org/wiki/Electronic_codebook#Electronic_...

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

9. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  –1 +/
Сообщение от pavel_simple (ok) on 02-Май-14, 13:43 
Шнайер не писал такой херни
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +/
Сообщение от Аноним (??) on 02-Май-14, 15:07 
Более того, можно зашифровать а потом избыточности добавить. Забавно, правда? :)
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

14. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +2 +/
Сообщение от DeadLoco (ok) on 02-Май-14, 15:50 
> С чего это вдруг?

Чем лучше криптование, тем выше энтропия результирующего потока. Чем выше энтропия входного потока, тем ниже эффективность архивации. В случае максимальной энтропии входного потока эффективность компрессии равна нулю.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

20. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +1 +/
Сообщение от Аноним (??) on 03-Май-14, 10:19 
> Чем лучше криптование,

По таким заявкам сразу видно эксперта в отрасли.

> тем выше энтропия результирующего потока.

Лишь один из критериев, не более. То-есть, если данные после шифрования поддаются отличению от случайных данных - алгоритм "совсем фуфло", завалится на статистическом анализе. Это просто один из начальных критериев отстрела совсем фуфельных алгоритмов, но о стойкости алгоритма мало чего говорит само по себе.

> эффективность компрессии равна нулю.

Это не значит что после шифрования нельзя добавить избыточности, которую получатель просто выбросит.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

15. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +3 +/
Сообщение от плавализнаем on 02-Май-14, 17:17 
> С чего это вдруг?

Из общей теории информации же. Шифрование - повышение энтропии. Сигнал с высокой энтропией компрессии не поддается.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

4. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +3 +/
Сообщение от тоже Аноним email(ok) on 02-Май-14, 11:25 
> Вроде как зашифрованное не жмётся в принципе?

Например, текст, зашифрованный шифром Цезаря, сожмется ровно так же, как и оригинал.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

6. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +1 +/
Сообщение от YetAnotherOnanym (ok) on 02-Май-14, 11:49 
А, ну это да, тут не возразишь :D
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

11. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +1 +/
Сообщение от Аноним (??) on 02-Май-14, 15:09 
> А, ну это да, тут не возразишь :D

А как насчет такого варианта: шифруем нормальным шифром. Потом дублируем каждый символ 5 раз. На приемнике убиваем 4/5 символов. Да, зашифрованный текст распухнет в 5 раз но будет прекрасно жаться, до 5 раз примерно :)

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

12. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +/
Сообщение от A.Stahl (ok) on 02-Май-14, 15:29 
Тот, кто говорил что плохая сжимаемость признак шифровки, скорее всего имел в виду, что это ОДИН ИЗ МНОГИХ признаков шифровки.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +2 +/
Сообщение от YetAnotherOnanym (ok) on 02-Май-14, 15:41 
Для чего? Криптостойкость это не повысит, для устойчивости к потерям есть более вменяемые методы (вроде того же Рида-Соломона), размазать по другим данным (стеганография) - тоже не похоже. Специально раздуть массив данных ради возможности его сжать - это какое-то странное упражнение.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

18. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +/
Сообщение от Аноним (??) on 02-Май-14, 23:07 
> Для чего?

Для нагибания детектирования шифрования по сжимаемости, разумеется. А вы что подумали? :)

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

5. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +/
Сообщение от mrd (??) on 02-Май-14, 11:41 
Велосипед изобрели. OpenStack и ceph уже давно умеют S3.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

19. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +/
Сообщение от Ю.Т. on 03-Май-14, 09:14 
Построить что-то полезное в openstack слишком трудоёмко. Если недобор по кадрам, нереально.

Здесь вот тоже конструктор, похоже.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

22. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +/
Сообщение от Cykooz email on 05-Май-14, 18:22 
Тыкали мы этот S3 поверх Swift из OpenStack - реализация не полная и для реальных web-проектов не достаточна, даже после применения дополнительных патчей.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +2 +/
Сообщение от Аноним (??) on 02-Май-14, 12:23 
Отличная новость! Ещё и лицензия правильная, да и выбор языков разработки приятен.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

16. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +/
Сообщение от Аноним (??) on 02-Май-14, 18:16 
Где ссылка на гитхаб?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +10 +/
Сообщение от Аноним (??) on 02-Май-14, 21:40 
вот: http://github.com
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

21. "Основатели ClamAV представили LibreS3, открытую реализацию х..."  +/
Сообщение от Анонимоус on 03-Май-14, 23:32 
Что вы, коллега, товарищ просит ссылку на новость на гитхабе.
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру