The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"OpenNews: Объединение нескольких файловых систем средствами ..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"OpenNews: Объединение нескольких файловых систем средствами ..."  +/
Сообщение от opennews on 29-Апр-08, 10:09 
В материале (http://rm.pp.ru/info/mhddfs) представлен пример использования mhddfs (http://packages.debian.org/mhddfs), модуль файловой системы для FUSE, позволяющий объединить несколько обычных файловых систем в одну большую "виртуальную", которая будет содержать в себе не только все файлы объединённых ФС, но и всё их свободное место. Кроме того, в отличии от других подобных модулей, этот не ограничивает возможность записи на виртуальную объединённую ФС, а автоматически распределяет новые файлы по тем физическим дискам, где ещё есть свободное место.

URL: http://rm.pp.ru/info/mhddfs
Новость: http://www.opennet.dev/opennews/art.shtml?num=15592

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от kapany3 on 29-Апр-08, 10:09 
А как со скоростью работы? На сколько падает производительность?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от rm (??) on 29-Апр-08, 10:30 
> На сколько падает производительность?

Не тестировал, но на глаз - абсолютно не падает. При записи на виртуальную ФС в "top" видно три-четыре нитки процесса "mhddfs", каждая из которых грузит CPU на 0.5-1%.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от fresco (??) on 29-Апр-08, 10:15 
Где код-то скачать можно? А то ссылки попадаются токана debian -- там она пропатченная, какой-то странной версии и вообще не вызывает доверия.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от rm (??) on 29-Апр-08, 10:32 
> Где код-то скачать можно? А то ссылки попадаются токана debian -- там она пропатченная, какой-то странной версии

Автор лично мантайнит пакет для Debian, соотв-но там можно ожидать вполне актуальные и прямые исходники.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от fresco (??) on 29-Апр-08, 10:41 
Ага, принято
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Ссылка на сайт автора"  +/
Сообщение от rm (??) on 29-Апр-08, 10:56 
http://mhddfs.uvw.ru/
только что случайно обнаружил в дебиановском Copyright-файле :D
странно, что в описании пакета она не указана.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от автор mhddfs on 29-Апр-08, 11:05 
спасибо за интерес к моей поделке :)

>только что случайно обнаружил в дебиановском Copyright-файле :D
>странно, что в описании пакета она не указана.

да, раньше в Debian файл copyright и был (и остается) основным местом где надо url проекта располагать, это теперь добавили поля в файл debian/control.

кстати то что урла там нет - бага, надо бы добавить :)

>А как со скоростью работы? На сколько падает производительность?

mhddfs пока хватает места на диске - просто транслирует запросы "вышестоящим" файловым системам, и до этих пор падения производительности не должно быть никакого.
однако возможны ситуации (mhddfs "старается" в них попадать как можно реже), когда файл сперва писался на один носитель, потом там кончилось место и он перемещается на другой. вот это перемещение будет добавлено к времени записи очередного блока.

на больших файлах возможно будет заметно, но я пока в дискомфортные ситуации не попадал


PPS: кстати в FUSE есть бага с mmap/write. если кто планирует пускать на mhddfs (или на любой FUSE-системе) rtorrent, то придется обновить кернел до 2.6.25-mm

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от Аноним (??) on 29-Апр-08, 15:40 
>mhddfs пока хватает места на диске - просто транслирует запросы "вышестоящим" файловым
>системам, и до этих пор падения производительности не должно быть никакого.

А как жи лишние контекст свичи? Хотя на больших блоках, думается, незаметно будет.
График с разным размером блока чтения/записи напрямую/через mhddfs не помешал бы.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

10. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от автор mhddfs on 29-Апр-08, 15:50 
>А как жи лишние контекст свичи? Хотя на больших блоках, думается, незаметно
>будет.

они конечно есть, но по сравнению с собственно записью/чтением это мелочи.

mhddfs я писал для домашнего сервера, а он у меня слабенький (Р500/128)
сейчас примерно 1ТБ данных крутит, зеркала debian в локалку, фильмы итп
и просадки производительности не увидел :)


>График с разным размером блока чтения/записи напрямую/через mhddfs не помешал бы.

а вот это если бы кто сделал, то было бы неплохо

есть какая-то программа готовая которая умеет такую фигню изготавливать?

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от iav email(ok) on 29-Апр-08, 19:50 
Да, http://www.iozone.org/
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

13. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от автор mhddfs on 30-Апр-08, 12:24 
нифига не понял я в этом iozone

там за каким-то фигом накручен какой-то мрачный exel-формат
ума не приложу чем его открыть можно

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

15. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от iav email(ok) on 30-Апр-08, 19:25 
Открыть его можно почти любой современной элетронной таблицей - KOffice, OpenOffice, GNUmeric.
кроме того, если не указывать ключа, то он эти же данные валит не в эксел, а прямо в консоль.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

12. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от Аноним (??) on 30-Апр-08, 11:25 
а можно ли объединять ей несколько смонтированных по сети дисков? и если можно, что происходит если один из дисков становится недоступным?

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

14. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от автор mhddfs on 30-Апр-08, 12:36 
>а можно ли объединять ей несколько смонтированных по сети дисков? и если
>можно, что происходит если один из дисков становится недоступным?

можно, но надо понимать что делаешь :)

предположим у вас есть сетевой диск, что происходит когда какое-то приложение пытается на него записать но диск не доступен? будет делать ретраи или возвращать ошибки?

mhddfs тут всего-лишь приложением выступает

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

8. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от Demetrio on 29-Апр-08, 11:35 
Это похоже на GPFS от IBM?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

16. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от Vitto74 email(ok) on 06-Июн-10, 10:56 
Примонтировал таким образом к /home два жестких диска в результате перестали сохранятся ключи пользователей и я подозреваю, что это не все сюрпризы.
Ubuntu 10.04.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от adrianov email on 10-Июн-10, 18:47 
Пробовал соединить таким образом несколько директорий, подмонтированных с помощью CIFS (Samba), скорость доступа упала разительно, по сравнению с каждой из них в отдельности.

Тестировал с помощью
dd if=/dev/zero of=test bs=1M count=100

Скорость записи на каждую самба в отдельности была 10-12 Мб/с.
На объединённую директорию - 2-3 Мб/с.

Машина - PentiumD 3.4 GHz.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Объединение нескольких файловых систем средствами FUSE модул..."  +/
Сообщение от Аноним (??) on 27-Дек-13, 00:41 
опробовал тест записи на объединенную из 3 винтов директорию и тест на подмонтированный винт. Падение в среднем 5% по сравнению с чистой записью на винт.
После обновления FreeBSD на ядро 9.2 с 9.1 модуль работал, диски монтировались, можно было зайти по самбе, но при попытке натравить трансмиссию на объединеную директорию ядро падало в page fault. Помогла очистка от модуля, всех используемых им библиотек и перекомпиляция с нуля.

Очень жду прозрачное освобождение винтов, в т.ч. в предбэдовом состоянии.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру