https://opennet.me/openforum/vsluhforumID1/89432.html На слабом сервере CentOS с SATA дисками и с файловой системой ext3 имеется каталог с большим количеством файлов и подкаталогов - 270 тыс файлов общим объемом 20 Gb. На сервере под Apache2 вертятся сайты и при копирование этого каталога на отдельный диск бэкапа возникает конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как скопировать этот каталог.<br> https://opennet.me/openforum/vsluhforumID1/89432.html#11 Mon, 18 Apr 2011 20:48:25 GMT &gt; Все было бы хорошо, только при копировании даже 10 файлов начинает быстро <br>&gt; уменьшаться free memory и сервер падает. Такие опыты уже проводились. В <br>&gt; корне этого каталога 240 тыс файлов и еще есть подкаталоги. Размер <br>&gt; файла каталога почти 1 Гб. Если написать скрипт и после копирования <br>&gt; каждого файла сделать sleep 1, то понадобится 66 часов. Надо придумать <br>&gt; что-то другое.<br><br>сделай sleep после 10 файлов и понадобится 6.6 часов? :)<br>100 файлов - 0.66 часов <br> https://opennet.me/openforum/vsluhforumID1/89432.html#10 Sun, 25 Jul 2010 18:36:41 GMT [...]<br>&gt;конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как <br>&gt;скопировать этот каталог. <br><br>За какие именно дисковые ресурсы происходит конфликт? Если у тебя два процесса в Unix не могут поделить диск, наверное дело не в ресурсах.<br><br><br>Варианты:<br><br>1. find /home/of/this/mess &gt; file.lst ; cpio -p /destination/directory &lt; file.lst<br>2. написать свою программу копирования, например на Perl, которая медленно будет читать<br> каталог и потом медленно копировать файл за файлом.<br>3. навести порядок в корневом каталоге, чтобы там было не 240тыс. файлов, а, скажем, 676<br> каталогов от aa до zz. Сделать хардлинки от файлов в этих каталогах. Переделать<br> сервера, чтобы находили файлы на новых местах. Стереть 240тыс. файлов из корня.<br> Получить управляемую систему.<br><br><br>Возможно, перед этим придётся выполнить:<br><br>0. нанять админа с прямыми руками, а старого перевести в операторы backup.<br> https://opennet.me/openforum/vsluhforumID1/89432.html#9 Sat, 24 Jul 2010 19:25:45 GMT Тоже невозможно. Винты на одном сервере, вот на нем все можно делать. Если остановить Apache, то проблем не будет, но 20 гигов будут переписываться долго. <br><br><br><br> https://opennet.me/openforum/vsluhforumID1/89432.html#8 Sat, 24 Jul 2010 13:42:04 GMT &gt;Все было бы хорошо, только при копировании даже 10 файлов начинает быстро <br>&gt;уменьшаться free memory и сервер падает. Такие опыты уже проводились. В <br>&gt;корне этого каталога 240 тыс файлов и еще есть подкаталоги. Размер <br>&gt;файла каталога почти 1 Гб. Если написать скрипт и после копирования <br>&gt;каждого файла сделать sleep 1, то понадобится 66 часов. Надо придумать <br>&gt;что-то другое. <br><br>Тогда, IMHO, винты на другую машину. Данные можно спасти c dd.<br> https://opennet.me/openforum/vsluhforumID1/89432.html#7 Fri, 23 Jul 2010 17:55:10 GMT Все было бы хорошо, только при копировании даже 10 файлов начинает быстро уменьшаться free memory и сервер падает. Такие опыты уже проводились. В корне этого каталога 240 тыс файлов и еще есть подкаталоги. Размер файла каталога почти 1 Гб. Если написать скрипт и после копирования каждого файла сделать sleep 1, то понадобится 66 часов. Надо придумать что-то другое.<br> https://opennet.me/openforum/vsluhforumID1/89432.html#6 Fri, 23 Jul 2010 15:58:20 GMT &gt;&gt;На слабом сервере CentOS с SATA дисками и с файловой системой ext3 <br>&gt;&gt;имеется каталог с большим количеством файлов и подкаталогов - 270 тыс <br>&gt;&gt;файлов общим объемом 20 Gb. На сервере под Apache2 вертятся сайты <br>&gt;&gt;и при копирование этого каталога на отдельный диск бэкапа возникает <br>&gt;&gt;конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как <br>&gt;&gt;скопировать этот каталог. <br>&gt;<br>&gt;Рекурсивно, по-файлово. И хранилище сменить. <br><br>Вдогонку:<br><br>http://www.opennet.ru/docs/RUS/bash_scripting_guide/c6407.html<br> https://opennet.me/openforum/vsluhforumID1/89432.html#5 Fri, 23 Jul 2010 15:47:40 GMT &gt;На слабом сервере CentOS с SATA дисками и с файловой системой ext3 <br>&gt;имеется каталог с большим количеством файлов и подкаталогов - 270 тыс <br>&gt;файлов общим объемом 20 Gb. На сервере под Apache2 вертятся сайты <br>&gt;и при копирование этого каталога на отдельный диск бэкапа возникает <br>&gt;конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как <br>&gt;скопировать этот каталог. <br><br>Рекурсивно, по-файлово. И хранилище сменить.<br> https://opennet.me/openforum/vsluhforumID1/89432.html#4 Fri, 23 Jul 2010 15:40:59 GMT http://backuppc.sourceforge.net/info.html<br><br>&gt;На слабом сервере CentOS с SATA дисками и с файловой системой ext3 <br>&gt;имеется каталог с большим количеством файлов и подкаталогов - 270 тыс <br>&gt;файлов общим объемом 20 Gb. На сервере под Apache2 вертятся сайты <br>&gt;и при копирование этого каталога на отдельный диск бэкапа возникает <br>&gt;конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как <br>&gt;скопировать этот каталог. https://opennet.me/openforum/vsluhforumID1/89432.html#3 Fri, 23 Jul 2010 15:39:12 GMT http://www.tolaris.com/2010/04/23/using-lvm-to-make-a-live-copy-of-a-backuppc-pool/<br>http://tldp.org/HOWTO/LVM-HOWTO/snapshots_backup.html<br><br>&gt;На слабом сервере CentOS с SATA дисками и с файловой системой ext3 <br>&gt;имеется каталог с большим количеством файлов и подкаталогов - 270 тыс <br>&gt;файлов общим объемом 20 Gb. На сервере под Apache2 вертятся сайты <br>&gt;и при копирование этого каталога на отдельный диск бэкапа возникает <br>&gt;конфликт за дисковые ресурсы, вплоть до падения сервера. Посоветуйте, пожалуйста, как <br>&gt;скопировать этот каталог.