Добрый день!
На сервере лежат важные данные, которые не получается вытащить. Лежат в пуле на zfs.
Пул был успешно примонтирован командой:
ubuntu@ubuntu:/$ sudo zpool import -R /pool -f rpool -m
В ZFS данные видны:
ubuntu@ubuntu:/$ zpool list
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
rpool 2.72T 1.43T 1.29T - - 59% 52% 1.00x DEGRADED /pool
ubuntu@ubuntu:/$ zfs list
NAME USED AVAIL REFER MOUNTPOINT
rpool 1.43T 1.20T 104K /pool/rpool
rpool/ROOT 419G 1.20T 96K /pool/rpool/ROOT
rpool/ROOT/pve-1 419G 1.20T 419G /pool
rpool/data 1.01T 1.20T 96K /pool/rpool/data
rpool/data/base-9000-disk-1 738M 1.20T 738M -
rpool/data/base-9001-disk-1 696M 1.20T 696M -
rpool/data/vm-100-disk-1 123G 1.20T 89.5G -
rpool/data/vm-100-state-kasper 6.60G 1.20T 6.60G -
rpool/data/vm-100-state-snp2019_01_29 56K 1.20T 56K -
rpool/data/vm-100-state-snp2020_02_13 5.09G 1.20T 5.09G -
rpool/data/vm-100-state-snp2020_02_14 5.92G 1.20T 5.92G -
rpool/data/vm-1003-cloudinit 76K 1.20T 76K -
rpool/data/vm-1003-disk-1 817M 1.20T 1.42G -
rpool/data/vm-1004-cloudinit 76K 1.20T 76K -
rpool/data/vm-1004-disk-1 818M 1.20T 1.43G -
При попытке монтирования:
ubuntu@ubuntu:~$ zfs mount rpool/data
cannot mount 'rpool/data': filesystem already mountedubuntu@ubuntu:~$ sudo mount /pool/rpool/data/vm-100-disk-1 /100
mount: /100: special device /pool/rpool/data/vm-100-disk-1 does not exist.ubuntu@ubuntu:/$ zfs mount /dev/zd416/zd416p1
cannot open '/dev/zd416/zd416p1': leading slash in nameubuntu@ubuntu:/$ sudo zfs mount rpool/data/vm-100-disk-1 /100
too many arguments
usage:
mount
mount [-lvO] [-o opts] <-a | filesystem>For the property list, run: zfs set|get
For the delegated permission list, run: zfs allow|unallow
ubuntu@ubuntu:/$ sudo zfs mount rpool/data/vm-100-disk-1
cannot open 'rpool/data/vm-100-disk-1': operation not applicable to datasets of this type
Прошу помочь, что я делаю не так?
zfs mount -azfs list -t all
> zfs mount -a
> zfs list -t allubuntu@ubuntu:/pool/dev/mapper$ sudo zfs mount -a
ubuntu@ubuntu:/pool/dev/mapper$ zfs list -t all
NAME USED AVAIL REFER MOUNTPOINT
rpool 1.43T 1.20T 104K /pool/rpool
rpool/ROOT 419G 1.20T 96K /pool/rpool/ROOT
rpool/ROOT/pve-1 419G 1.20T 419G /pool
rpool/data 1.01T 1.20T 96K /pool/rpool/data
rpool/data/base-9000-disk-1 738M 1.20T 738M -
rpool/data/base-9000-disk-1@__base__ 8K - 738M -
rpool/data/base-9001-disk-1 696M 1.20T 696M -
rpool/data/base-9001-disk-1@__base__ 8K - 696M -
rpool/data/vm-100-disk-1 123G 1.20T 89.5G -
rpool/data/vm-100-disk-1@kasper 29.6G - 65.0G -
rpool/data/vm-100-disk-1@snp2020_02_13 875M - 89.5G -
rpool/data/vm-100-disk-1@__replicate_100-2_1581627600__ 65.9M - 89.5G -
rpool/data/vm-100-disk-1@__replicate_100-1_1581628095__ 17.3M - 89.5G -
rpool/data/vm-100-disk-1@__replicate_100-0_1581628245__ 121M - 89.5G -
rpool/data/vm-100-disk-1@snp2020_02_14 556M - 89.5G -
rpool/data/vm-100-state-kasper 6.60G 1.20T 6.60G -
rpool/data/vm-100-state-kasper@__replicate_100-2_1581627600__ 0B - 6.60G -
rpool/data/vm-100-state-kasper@__replicate_100-1_1581628095__ 0B - 6.60G -
rpool/data/vm-100-state-kasper@__replicate_100-0_1581628245__ 0B - 6.60G -
rpool/data/vm-100-state-snp2019_01_29 56K 1.20T 56K -
rpool/data/vm-100-state-snp2020_02_13 5.09G 1.20T 5.09G -
rpool/data/vm-100-state-snp2020_02_13@__replicate_100-2_1581627600__ 0B - 5.09G -
rpool/data/vm-100-state-snp2020_02_13@__replicate_100-1_1581628095__ 0B - 5.09G -
rpool/data/vm-100-state-snp2020_02_13@__replicate_100-0_1581628245__ 0B - 5.09G -
rpool/data/vm-100-state-snp2020_02_14 5.92G 1.20T 5.92G -
rpool/data/vm-1003-cloudinit 76K 1.20T 76K -
rpool/data/vm-1003-disk-1 817M 1.20T 1.42G -
rpool/data/vm-1004-cloudinit 76K 1.20T 76K -
rpool/data/vm-1004-disk-1 818M 1.20T 1.43G -
rpool/data/vm-101-disk-1 20.7G 1.20T 12.7G -
rpool/data/vm-101-disk-1@haspSnap 3.88G - 11.1G -
rpool/data/vm-101-disk-1@testsnp 2.88G - 11.4G -
rpool/data/vm-101-disk-1@snp2020_02_13 204M - 12.7G -
rpool/data/vm-101-disk-1@snp2020_02_14 136M - 12.7G -
rpool/data/vm-101-state-haspSnap 1.66G 1.20T 1.66G -
rpool/data/vm-101-state-snp2019_01_29 56K 1.20T 56K -
rpool/data/vm-101-state-snp2020_02_13 1.20G 1.20T 1.20G -
rpool/data/vm-101-state-snp2020_02_14 1.22G 1.20T 1.22G -
rpool/data/vm-101-state-testsnp 1.62G 1.20T 1.62G -
......
rpool/swap 8.50G 1.20T 5.62G -
Каталог /pool/rpool/data из mc - пустой.
В каталоге /dev/zvol/rpool/data вижу список виртуальных машин, но скопировать оттуда ничего не могу.
Одна из машин ссылается на /dev/zd32
ubuntu@ubuntu:/dev$ sudo mount /dev/zd32 /100
mount: /100: /dev/zd32 already mounted or mount point busy.
ubuntu@ubuntu:/dev$ mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
udev on /dev type devtmpfs (rw,nosuid,relatime,size=98970152k,nr_inodes=24742538,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=19803164k,mode=755)
/dev/sr0 on /cdrom type iso9660 (ro,noatime,nojoliet,check=s,map=n,blocksize=2048)
/dev/loop0 on /rofs type squashfs (ro,noatime)
/cow on / type overlay (rw,relatime,lowerdir=//filesystem.squashfs,upperdir=/cow/upper,workdir=/cow/work)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup2 on /sys/fs/cgroup/unified type cgroup2 (rw,nosuid,nodev,noexec,relatime,nsdelegate)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
bpf on /sys/fs/bpf type bpf (rw,nosuid,nodev,noexec,relatime,mode=700)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=30,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=24285)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,pagesize=2M)
mqueue on /dev/mqueue type mqueue (rw,nosuid,nodev,noexec,relatime)
debugfs on /sys/kernel/debug type debugfs (rw,nosuid,nodev,noexec,relatime)
fusectl on /sys/fs/fuse/connections type fusectl (rw,nosuid,nodev,noexec,relatime)
configfs on /sys/kernel/config type configfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /tmp type tmpfs (rw,nosuid,nodev,relatime)
tmpfs on /run/user/999 type tmpfs (rw,nosuid,nodev,relatime,size=19803160k,mode=700,uid=999,gid=999)
gvfsd-fuse on /run/user/999/gvfs type fuse.gvfsd-fuse (rw,nosuid,nodev,relatime,user_id=999,group_id=999)
/dev/fuse on /run/user/999/doc type fuse (rw,nosuid,nodev,relatime,user_id=999,group_id=999)
/var/lib/snapd/snaps/core_7917.snap on /snap/core/7917 type squashfs (ro,nodev,relatime,x-gdu.hide)
/var/lib/snapd/snaps/core18_1223.snap on /snap/core18/1223 type squashfs (ro,nodev,relatime,x-gdu.hide)
/var/lib/snapd/snaps/gnome-3-28-1804_71.snap on /snap/gnome-3-28-1804/71 type squashfs (ro,nodev,relatime,x-gdu.hide)
/var/lib/snapd/snaps/gnome-calculator_501.snap on /snap/gnome-calculator/501 type squashfs (ro,nodev,relatime,x-gdu.hide)
/var/lib/snapd/snaps/gnome-characters_317.snap on /snap/gnome-characters/317 type squashfs (ro,nodev,relatime,x-gdu.hide)
/var/lib/snapd/snaps/gnome-logs_81.snap on /snap/gnome-logs/81 type squashfs (ro,nodev,relatime,x-gdu.hide)
/var/lib/snapd/snaps/gtk-common-themes_1353.snap on /snap/gtk-common-themes/1353 type squashfs (ro,nodev,relatime,x-gdu.hide)
rpool/ROOT/pve-1 on /pool type zfs (rw,noatime,xattr,noacl)
/dev/rpool on /pool/rpool type zfs (rw,noatime,xattr,noacl)
rpool/ROOT on /pool/rpool/ROOT type zfs (rw,noatime,xattr,noacl)
/dev/rpool/data on /pool/rpool/data type zfs (rw,noatime,xattr,noacl)
А Вы, собственно, понимаете что делаете?
Судя по Вашим действиям и вопросам, Вы представления не имеете
о ZFS, как собственно и о монтировании вообще.Sorry, ничего личного.
> А Вы, собственно, понимаете что делаете?
> Судя по Вашим действиям и вопросам, Вы представления не имеете
> о ZFS, как собственно и о монтировании вообще.
> Sorry, ничего личного.С zfs ранее не работал, сейчас вникаю, но ввиду срочности вопроса интересуюсь у экспертов. У вас есть возможность показать свой уровень, если для Вас это такая простая задача.
Я пытаюсь сделать резервную копию данных с zfs для восстановления сервера.
В теории, чтобы мне сделать бекап исходных данных, надо:
1. Создать диск ZFS
2. Сделать снапшот массива.
3. Создать клон исходного массива на новый.
Правильно рассуждаю?
>> А Вы, собственно, понимаете что делаете?
>> Судя по Вашим действиям и вопросам, Вы представления не имеете
>> о ZFS, как собственно и о монтировании вообще.
>> Sorry, ничего личного.
> С zfs ранее не работал, сейчас вникаю, но ввиду срочности вопроса интересуюсь
> у экспертов. У вас есть возможность показать свой уровень, если для
> Вас это такая простая задача.На будущее, не советую пользоваться дешевыми детскими цеплялками.
> Я пытаюсь сделать резервную копию данных с zfs для восстановления сервера.
Начните с изучения ZFS, поймете как выглядят Ваши вопросы.
Никого не интересует срочность Ваших вопросов, это Вам не ntfs, убить неверными
действиями по незнанию, легко, а вот восстановить, ой как непросто.Вот вам отправные точки:
- что есть пул (создание и тд и тп команда: zpool)
- что есть dataset (dataset=filesystem создание и тд и тп команда: zfs)
- что есть zfs volume (zvol)
- zfs send и zfs recv
>[оверквотинг удален]
> На будущее, не советую пользоваться дешевыми детскими цеплялками.
>> Я пытаюсь сделать резервную копию данных с zfs для восстановления сервера.
> Начните с изучения ZFS, поймете как выглядят Ваши вопросы.
> Никого не интересует срочность Ваших вопросов, это Вам не ntfs, убить неверными
> действиями по незнанию, легко, а вот восстановить, ой как непросто.
> Вот вам отправные точки:
> - что есть пул (создание и тд и тп команда: zpool)
> - что есть dataset (dataset=filesystem создание и тд и тп команда: zfs)
> - что есть zfs volume (zvol)
> - zfs send и zfs recvБлагодарю за подсказку.
Сейчас ситуация такая:
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
backup 3.62T 435K 3.62T - - 0% 0% 1.00x ONLINE -
rpool 2.72T 1.43T 1.29T - - 59% 52% 1.00x DEGRADED /poolubuntu@ubuntu:/pool$ sudo zfs share -a
ubuntu@ubuntu:/pool$ sudo zfs send -R rpool/data/vm-163-disk-1@snp2020_02_14 | zfs receive -vFd backup
receiving full stream of rpool/data/vm-163-disk-1@nas1cSnap into backup/data/vm-163-disk-1@nas1cSnap
cannot receive new filesystem stream: permission denied
>[оверквотинг удален]
> 0% 1.00x ONLINE -
> rpool 2.72T 1.43T 1.29T
> -
> - 59% 52%
> 1.00x DEGRADED /pool
> ubuntu@ubuntu:/pool$ sudo zfs share -a
> ubuntu@ubuntu:/pool$ sudo zfs send -R rpool/data/vm-163-disk-1@snp2020_02_14 |
> zfs receive -vFd backup
> receiving full stream of rpool/data/vm-163-disk-1@nas1cSnap into backup/data/vm-163-disk-1@nas1cSnap
> cannot receive new filesystem stream: permission deniedу zfs receive нет прав
>[оверквотинг удален]
>> rpool 2.72T 1.43T 1.29T
>> -
>> - 59% 52%
>> 1.00x DEGRADED /pool
>> ubuntu@ubuntu:/pool$ sudo zfs share -a
>> ubuntu@ubuntu:/pool$ sudo zfs send -R rpool/data/vm-163-disk-1@snp2020_02_14 |
>> zfs receive -vFd backup
>> receiving full stream of rpool/data/vm-163-disk-1@nas1cSnap into backup/data/vm-163-disk-1@nas1cSnap
>> cannot receive new filesystem stream: permission denied
> у zfs receive нет правДа, большое спасибо, не было времени написать результат. Получилось вытащить бекапы следующим образом:
sudo zfs allow -u ubuntu send,snapshot rpool/data
sudo zfs snapshot rpool/data/vm-102-disk-1@102disk1of3
sudo zfs send -R rpool/data/vm-102-disk-1@102disk1of3 | zfs receive -vFd backup
Также удалось вторую копию снять, отправив по SSH
>[оверквотинг удален]
>> rpool 2.72T 1.43T 1.29T
>> -
>> - 59% 52%
>> 1.00x DEGRADED /pool
>> ubuntu@ubuntu:/pool$ sudo zfs share -a
>> ubuntu@ubuntu:/pool$ sudo zfs send -R rpool/data/vm-163-disk-1@snp2020_02_14 |
>> zfs receive -vFd backup
>> receiving full stream of rpool/data/vm-163-disk-1@nas1cSnap into backup/data/vm-163-disk-1@nas1cSnap
>> cannot receive new filesystem stream: permission denied
> у zfs receive нет правДа, большое спасибо, не было времени написать результат. Получилось вытащить бекапы следующим образом:
sudo zfs allow -u ubuntu send,snapshot rpool/data
sudo zfs snapshot rpool/data/vm-102-disk-1@102disk1of3
sudo zfs send -R rpool/data/vm-102-disk-1@102disk1of3 | zfs receive -vFd backup
Также удалось вторую копию снять, отправив по SSH
>[оверквотинг удален]
> 0% 1.00x ONLINE -
> rpool 2.72T 1.43T 1.29T
> -
> - 59% 52%
> 1.00x DEGRADED /pool
> ubuntu@ubuntu:/pool$ sudo zfs share -a
> ubuntu@ubuntu:/pool$ sudo zfs send -R rpool/data/vm-163-disk-1@snp2020_02_14 |
> zfs receive -vFd backup
> receiving full stream of rpool/data/vm-163-disk-1@nas1cSnap into backup/data/vm-163-disk-1@nas1cSnap
> cannot receive new filesystem stream: permission deniedцитата из гугля:
"A: Это происходит потому, что только команда echo выполняется в повышенными правами, а результат перенаправляется в файл уже с правами обычного пользователя. Чтобы добавить что-нибудь в privileged_file, нужно выполнить такую команду:
$ echo 1| sudo tee -a privileged_file >/dev/null"