The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Копирование большого каталога"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Резервное копирование / Linux)
Изначальное сообщение [ Отслеживать ]

"Копирование большого каталога"  +/
Сообщение от Макс (??) on 23-Июл-10, 14:35 
На слабом сервере CentOS с SATA дисками и с файловой системой ext3 имеется каталог с большим количеством файлов и подкаталогов - 270 тыс файлов общим объемом 20 Gb. На сервере под Apache2 вертятся сайты и при копирование этого каталога на отдельный диск бэкапа  возникает конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как скопировать этот каталог.
Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Копирование большого каталога"  +/
Сообщение от vg (??) on 23-Июл-10, 15:03 
если на другой сервер, то можно попробовать через rsync
rsync имеет опцию "bwlimit", которой задается скорость скачивания
сделать данную скорость довольно маленькой
rsync долго будет делать файл-листинг - тут диск будет тормозить
но потом все будет нормально

также, можно копировать частями

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Копирование большого каталога"  +/
Сообщение от MAx on 23-Июл-10, 16:55 
>если на другой сервер, то можно попробовать через rsync
>rsync имеет опцию "bwlimit", которой задается скорость скачивания
>сделать данную скорость довольно маленькой
>rsync долго будет делать файл-листинг - тут диск будет тормозить
>но потом все будет нормально
>
>также, можно копировать частями

К сожаления, копировать надо на свой сервер, с учетом того, что свободного места на дисках мало.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Копирование большого каталога"  +/
Сообщение от Bosh on 23-Июл-10, 19:39 
http://www.tolaris.com/2010/04/23/using-lvm-to-make-a-live-c.../
http://tldp.org/HOWTO/LVM-HOWTO/snapshots_backup.html

>На слабом сервере CentOS с SATA дисками и с файловой системой ext3
>имеется каталог с большим количеством файлов и подкаталогов - 270 тыс
>файлов общим объемом 20 Gb. На сервере под Apache2 вертятся сайты
>и при копирование этого каталога на отдельный диск бэкапа  возникает
>конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как
>скопировать этот каталог.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Копирование большого каталога"  +/
Сообщение от Bosh on 23-Июл-10, 19:40 
http://backuppc.sourceforge.net/info.html

>На слабом сервере CentOS с SATA дисками и с файловой системой ext3
>имеется каталог с большим количеством файлов и подкаталогов - 270 тыс
>файлов общим объемом 20 Gb. На сервере под Apache2 вертятся сайты
>и при копирование этого каталога на отдельный диск бэкапа  возникает
>конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как
>скопировать этот каталог.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Копирование большого каталога"  +/
Сообщение от SDenis (??) on 23-Июл-10, 19:47 
>На слабом сервере CentOS с SATA дисками и с файловой системой ext3
>имеется каталог с большим количеством файлов и подкаталогов - 270 тыс
>файлов общим объемом 20 Gb. На сервере под Apache2 вертятся сайты
>и при копирование этого каталога на отдельный диск бэкапа  возникает
>конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как
>скопировать этот каталог.

Рекурсивно, по-файлово. И хранилище сменить.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Копирование большого каталога"  +/
Сообщение от SDenis (??) on 23-Июл-10, 19:58 
>>На слабом сервере CentOS с SATA дисками и с файловой системой ext3
>>имеется каталог с большим количеством файлов и подкаталогов - 270 тыс
>>файлов общим объемом 20 Gb. На сервере под Apache2 вертятся сайты
>>и при копирование этого каталога на отдельный диск бэкапа  возникает
>>конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как
>>скопировать этот каталог.
>
>Рекурсивно, по-файлово. И хранилище сменить.

Вдогонку:

http://www.opennet.dev/docs/RUS/bash_scripting_guide/c6407.html

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Копирование большого каталога"  +/
Сообщение от MAx on 23-Июл-10, 21:55 
Все было бы хорошо, только при копировании даже 10 файлов начинает быстро уменьшаться free memory и сервер падает. Такие опыты уже проводились. В корне этого каталога 240 тыс файлов и еще есть подкаталоги. Размер файла каталога почти 1 Гб. Если написать скрипт и после копирования каждого файла сделать sleep 1, то понадобится 66 часов. Надо придумать что-то другое.
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Копирование большого каталога"  +/
Сообщение от SDenis (??) on 24-Июл-10, 17:42 
>Все было бы хорошо, только при копировании даже 10 файлов начинает быстро
>уменьшаться free memory и сервер падает. Такие опыты уже проводились. В
>корне этого каталога 240 тыс файлов и еще есть подкаталоги. Размер
>файла каталога почти 1 Гб. Если написать скрипт и после копирования
>каждого файла сделать sleep 1, то понадобится 66 часов. Надо придумать
>что-то другое.

Тогда, IMHO, винты на другую машину. Данные можно спасти c dd.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "Копирование большого каталога"  +/
Сообщение от MAx on 24-Июл-10, 23:25 
Тоже невозможно. Винты на одном сервере, вот на нем все можно делать. Если остановить Apache, то проблем не будет, но 20 гигов будут переписываться долго.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "Копирование большого каталога"  +/
Сообщение от obl (ok) on 19-Апр-11, 00:48 
> Все было бы хорошо, только при копировании даже 10 файлов начинает быстро
> уменьшаться free memory и сервер падает. Такие опыты уже проводились. В
> корне этого каталога 240 тыс файлов и еще есть подкаталоги. Размер
> файла каталога почти 1 Гб. Если написать скрипт и после копирования
> каждого файла сделать sleep 1, то понадобится 66 часов. Надо придумать
> что-то другое.

сделай sleep после 10 файлов и понадобится 6.6 часов? :)
100 файлов - 0.66 часов

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

10. "Копирование большого каталога"  +/
Сообщение от ACCA (ok) on 25-Июл-10, 22:36 
[...]
>конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как
>скопировать этот каталог.

За какие именно дисковые ресурсы происходит конфликт? Если у тебя два процесса в Unix не могут поделить диск, наверное дело не в ресурсах.


Варианты:

1. find /home/of/this/mess > file.lst ; cpio -p /destination/directory < file.lst
2. написать свою программу копирования, например на Perl, которая медленно будет читать
   каталог и потом медленно копировать файл за файлом.
3. навести порядок в корневом каталоге, чтобы там было не 240тыс. файлов, а, скажем, 676
   каталогов от aa до zz. Сделать хардлинки от файлов в этих каталогах. Переделать
   сервера, чтобы находили файлы на новых местах. Стереть 240тыс. файлов из корня.
   Получить управляемую систему.


Возможно, перед этим придётся выполнить:

0. нанять админа с прямыми руками, а старого перевести в операторы backup.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру