Установил FreeBSD 11.1 Stable, решил поставить на ZFS (зеркало) как в wiki написано. Все поднялось, но стали пропадать каталоги. Первый раз пропал /usr/src. Переустановил систему. Теперь пропал /boot, не вижу его вообще в zfs list. Как правильно работать с zfs?

• FreeBSD 11.1 ZFS,BarS, 04:39 , 27-Окт-17
  • FreeBSD 11.1 ZFS,BarS, 04:47 , 27-Окт-17
    • FreeBSD 11.1 ZFS,lavr, 10:12 , 27-Окт-17
      • FreeBSD 11.1 ZFS,BarS, 13:01 , 27-Окт-17
        • FreeBSD 11.1 ZFS,lavr, 13:55 , 27-Окт-17
          • FreeBSD 11.1 ZFS,lavr, 14:00 , 27-Окт-17
          • FreeBSD 11.1 ZFS,BarS, 03:58 , 30-Окт-17
            • FreeBSD 11.1 ZFS,lavr, 10:43 , 30-Окт-17
              • FreeBSD 11.1 ZFS,BarS, 13:46 , 30-Окт-17
                • FreeBSD 11.1 ZFS,BarS, 13:48 , 30-Окт-17
                  • FreeBSD 11.1 ZFS,lavr, 14:02 , 30-Окт-17
                    • FreeBSD 11.1 ZFS,BarS, 16:34 , 30-Окт-17
                      • FreeBSD 11.1 ZFS,lavr, 16:54 , 30-Окт-17
                • FreeBSD 11.1 ZFS,universite, 16:15 , 30-Окт-17
  • FreeBSD 11.1 ZFS,butcher, 17:44 , 27-Окт-17
• FreeBSD 11.1 ZFS,Аноним, 05:06 , 27-Окт-17
• FreeBSD 11.1 ZFS,universite, 08:01 , 27-Окт-17
  • FreeBSD 11.1 ZFS,BarS, 10:10 , 27-Окт-17
    • FreeBSD 11.1 ZFS,universite, 20:57 , 27-Окт-17

> Установил FreeBSD 11.1 Stable, решил поставить на ZFS (зеркало) как в wiki
> написано. Все поднялось, но стали пропадать каталоги. Первый раз пропал /usr/src.
> Переустановил систему. Теперь пропал /boot, не вижу его вообще в zfs
> list. Как правильно работать с zfs?

Хотя система грузится, но каталога /boot нет (файл ссылки в корне валяется)

ссылка bootpool/boot и появился каталог пустой /bootpool

> ссылка bootpool/boot и появился каталог пустой /bootpool

старые руководства... видимо...
Мы ж не ведаем какое ты использовал.

Сделай виртуалку, установи в ней релиз и срисуй логи установки
из /tmp/bsdinstall*

Получишь кошерную установку.

По мне так, создание rpool во FreeBSD и illumos'ах практически не
отличаются.

> старые руководства... видимо...
> Мы ж не ведаем какое ты использовал.
> Сделай виртуалку, установи в ней релиз и срисуй логи установки
> из /tmp/bsdinstall*
> Получишь кошерную установку.
> По мне так, создание rpool во FreeBSD и illumos'ах практически не
> отличаются.

вот видео установки (ставил по нему)

https://www.youtube.com/watch?v=hGjrRRfEHdM

>> старые руководства... видимо...
>> Мы ж не ведаем какое ты использовал.
>> Сделай виртуалку, установи в ней релиз и срисуй логи установки
>> из /tmp/bsdinstall*
>> Получишь кошерную установку.
>> По мне так, создание rpool во FreeBSD и illumos'ах практически не
>> отличаются.
> вот видео установки (ставил по нему)
> https://www.youtube.com/watch?v=hGjrRRfEHdM

советую сделать передышку... ;)
"видео по установке FreeBSD RAID1 используя gmirror"

Ну ведь написал, создай ВМ и в ней выполни установку FreeBSD 11.1 - все через меню!
Root on ZFS: single (mirror и тд и тп) - не перегружайся,
выйди в shell и скопируй по сети /tmp/bsdinstall_log - Все,
выпиши из него gpart/zpool/zfs - разбери и все станет понятно!
Потратишь времени по 5 минут на каждую установку:
- zroot on single disk
- zroot mirror
ну если захочешь то zroot on raidz...

bsdinstall подправили под общепринятую установку Bootable rpool,
как в разных illumos-based с учетом BE и возможного использования beadm.

ps. Забей на видео и старые руководства (хотя полезно их посмотреть
и прочуствовать и осмыслить различие)

pps. И да, в 11-Stable - тот же bsdinstall (и не нужно ручных манипуляций),
а захочешь по своему создать некоторые из datasets, никто не запрещает.

Вот пример лога:
...
DEBUG: f_getvar: var=[vdev_choice] value=[stripe] r=0
DEBUG: dialog_menu_layout: ZFSBOOT_VDEV_TYPE=[stripe]
...
DEBUG: /usr/libexec/bsdinstall/zfsboot: Last Chance!
DEBUG: zfs_create_boot: poolname=[zroot] vdev_type=[]
DEBUG: zfs_create_boot: Initializing temporary fstab(5) file...
DEBUG: zfs_create_boot: :> "/tmp/bsdinstall_etc/fstab"
DEBUG: zfs_create_boot: retval=0 <no output>
DEBUG: zfs_create_boot: printf "$FSTAB_FMT" "# Device" "Mountpoint" "FStype" "Options" "Dump" "Pass#" >> "/tmp/bsdinstall_etc/fstab"
DEBUG: zfs_create_boot: retval=0 <no output>
DEBUG: zfs_create_boot: Expanding supplied size values...
DEBUG: zfs_create_boot: ZFSBOOT_SWAP_SIZE=[2g] swapsize=[2147483648]
DEBUG: zfs_create_boot: ZFSBOOT_BOOT_POOL_SIZE=[2g] bootsize=[2147483648]
DEBUG: zfs_create_boot: zpool destroy "zroot"
DEBUG: zfs_create_boot: retval=1 <output below>
cannot open 'zroot': no such pool
...
DEBUG: zfs_create_boot: Preparing disk partitions for ZFS pool...
DEBUG: zfs_create_boot: With 4K sectors...
DEBUG: zfs_create_boot: sysctl vfs.zfs.min_auto_ashift=12
DEBUG: zfs_create_boot: retval=0 <output below>
vfs.zfs.min_auto_ashift: 9 -> 12
...
DEBUG: zfs_create_diskpart: Destroying all data/layouts on `da0'...
DEBUG: zfs_create_diskpart: gpart destroy -F "da0"
DEBUG: zfs_create_diskpart: retval=0 <output below>
da0 destroyed
DEBUG: zfs_create_diskpart: graid delete "da0"
DEBUG: zfs_create_diskpart: retval=1 <output below>
graid: Array 'da0' not found.
DEBUG: zfs_create_diskpart: zpool labelclear -f "/dev/da0"
DEBUG: zfs_create_diskpart: retval=1 <output below>
failed to read label from /dev/da0
DEBUG: zfs_create_diskpart: gpart create -s gpt "da0"
DEBUG: zfs_create_diskpart: retval=0 <output below>
da0 created
...
DEBUG: zfs_create_diskpart: Creating GPT layout...
---------------------------------------------------
DEBUG: zfs_create_diskpart: gpart create -s gpt "da0"
DEBUG: zfs_create_diskpart: retval=0 <output below>
da0 created
DEBUG: zfs_create_diskpart: gpart add -a 4k -l gptboot0 -t freebsd-boot -s 512k "da0"
DEBUG: zfs_create_diskpart: retval=0 <output below>
da0p1 added
DEBUG: zfs_create_diskpart: gpart bootcode -b "/boot/pmbr" -p "/boot/gptzfsboot" -i 1 "da0"
DEBUG: zfs_create_diskpart: retval=0 <output below>
partcode written to da0p1
bootcode written to da0
DEBUG: zfs_create_diskpart: gpart add -a 1m -l swap0 -t freebsd-swap -s 2147483648b "da0"
DEBUG: zfs_create_diskpart: retval=0 <output below>
da0p2 added
DEBUG: zfs_create_diskpart: zpool labelclear -f "/dev/da0p2"
DEBUG: zfs_create_diskpart: retval=1 <output below>
failed to read label from /dev/da0p2
DEBUG: zfs_create_diskpart: gpart add -a 1m -l zfs0 -t freebsd-zfs "da0"
DEBUG: zfs_create_diskpart: retval=0 <output below>
da0p3 added
DEBUG: zfs_create_diskpart: zpool labelclear -f "/dev/da0p3"
DEBUG: zfs_create_diskpart: retval=0 <no output>
DEBUG: zfs_create_diskpart: printf "$FSTAB_FMT" "/dev/da0p2" "none" "swap" "sw" "0" "0" >> "/tmp/bsdinstall_etc/fstab"
DEBUG: zfs_create_diskpart: retval=0 <no output>
DEBUG: zfs_create_boot: Creating root pool...
-----------------------------------------------
DEBUG: zfs_create_boot: zpool create -o altroot=/mnt -O compress=lz4 -O atime=off -m none -f "zroot"   da0p3
DEBUG: zfs_create_boot: retval=0 <no output>
DEBUG: zfs_create_boot: Creating ZFS datasets...
------------------------------------------------
DEBUG: zfs_create_boot: zfs create -o mountpoint=none "zroot/ROOT"
DEBUG: zfs_create_boot: retval=0 <no output>

заметь, выделены этапы (подчеркивание от меня), ну что еще нужно - только
осмыслить и никаких видео, хошь, модифицируй установку под себя, хошь
в ручную, а хошь через bsdinstall скриптинг:

# man bsdinstall

вдогонку, чтобы понять что монтируется, а что нет и в каком случае,
почитай про создание пула zpool с altroot и -m
про legacy и про zfs properies mountpoint и canmount

все встанет на свои места

Значит ошибка повторилась, ставил просто - выбрал zfs, mirror zfs, автоматическое разбиение с mbr, после установки нет каталога boot, сейчас буду смотреть логи.

> Значит ошибка повторилась, ставил просто - выбрал zfs, mirror zfs, автоматическое разбиение
> с mbr, после установки нет каталога boot, сейчас буду смотреть логи.

извини, просмотрел что MBR...
у тебя два пула и тот который bootpool - не монтируется,
сделай следующее:

- импортируй bootpool
# zpool import -f bootpool
- после чего посмотри, должен появиться второй пул с монтирование в /bootpool
# zpool list
# zfs list
- если все ok, добавь в /boot/loader.conf
...
# define zpool cache
zpool_cache_load="YES"
zpool_cache_type="/boot/zfs/zpool.cache"
zpool_cache_name="/boot/zfs/zpool.cache"

- перегрузись
# shutdown -r now

должно все завестись

"В то время, когда космические корабли ...", ты все еще используешь MBR...
:)

> "В то время, когда космические корабли ...", ты все еще используешь MBR...
> :)

Подскажи еще (давно с фряхой не работал, по 9 только), теперь не sc а vt по умолчанию и utf8 Локализовал консоль как у тебя на сайте описано, все отлично, но в mc не работают функциональные клавиши.

>> "В то время, когда космические корабли ...", ты все еще используешь MBR...
>> :)
> Подскажи еще (давно с фряхой не работал, по 9 только), теперь не
> sc а vt по умолчанию и utf8 Локализовал консоль как у
> тебя на сайте описано, все отлично, но в mc не работают
> функциональные клавиши.

vt + utf8

>>> "В то время, когда космические корабли ...", ты все еще используешь MBR...
>>> :)
>> Подскажи еще (давно с фряхой не работал, по 9 только), теперь не
>> sc а vt по умолчанию и utf8 Локализовал консоль как у
>> тебя на сайте описано, все отлично, но в mc не работают
>> функциональные клавиши.
> vt + utf8

mc запускаешь в одной из виртуальных консолей?

если хочешь, пиши на lavr@unix1.jinr.ru

ps. монтирование bootpool исправил?

> ps. монтирование bootpool исправил?

Монтирование не исправил, думаю ты правильно написал, не знал как сделать импорт пула, поставил систему на gmirror. Интересная вещь, freebsd-update не работает в stable, нет каталога обновления с ключом. Прикольно. Завтра отпишусь. Сколько десятилетий ты уже на сайте однако :)

>> ps. монтирование bootpool исправил?
> Монтирование не исправил, думаю ты правильно написал, не знал как сделать импорт
> пула, поставил систему на gmirror.

я так и подумал - gmirror было лишним звеном!
мало того - в видео, создается gmirror на сырые диски, затем уже ГОТОВОЕ ЗЕРКАЛО
размечается по схеме GPT.

Затем ты поверх ставишь ZFS на MBR?! :) / масло масляное

Если хочешь зеркало zroot (привычнее rpool/root pool/корневой пул),
то и делай его средствами ZFS и забей на gmirror.

прим: zroot - принятое название корневого пула в FreeBSD

Можешь установить систему на ZFS - на один диск, будет stripe,
или на два диска: zfs mirror. (и никакой gmirror не нужен, зачем лишние
прослойки)

Под swap можешь выделить сырую партицию или потом в ZFS создать том (ZVOL).
Раньше со swap на zvol были какие-то проблемы, уже не помню...

При установке, ZFS Auto:
- если MBR или UEFI, создается ДВА ПУЛА: bootpool (содержимое /boot)
и zroot - вся система
Унификация для установщика, но можешь сделать разметку руками и систему
установить руками в нужной тебе конфигурации, в FreeBSD это просто.

Установщик:
Если MBR или UEFI + swap partition, создаются
партиции:
- для boot - bootpool
- для swap
- для zroot

Отсюда ошибка или фича инсталлятора, import пула bootpool

Это ошибка, в случае разметки GPT - ее нет, как исправить - я отписал.

> Интересная вещь, freebsd-update не работает в
> stable, нет каталога обновления с ключом. Прикольно.

# man freebsd-update
бинарный апдейт работает только для RELEASE'ов.

> Завтра отпишусь. Сколько десятилетий
> ты уже на сайте однако :)

еще немного и на пенсию :)

>> "В то время, когда космические корабли ...", ты все еще используешь MBR...
>> :)
> Подскажи еще (давно с фряхой не работал, по 9 только), теперь не
> sc а vt по умолчанию и utf8 Локализовал консоль как у
> тебя на сайте описано, все отлично, но в mc не работают
> функциональные клавиши.

в самой консоли или ssh терминале?

>> Установил FreeBSD 11.1 Stable, решил поставить на ZFS (зеркало) как в wiki
>> написано. Все поднялось, но стали пропадать каталоги. Первый раз пропал /usr/src.
>> Переустановил систему. Теперь пропал /boot, не вижу его вообще в zfs
>> list. Как правильно работать с zfs?
> Хотя система грузится, но каталога /boot нет (файл ссылки в корне валяется)

Звучит так, что у вас непорядок с порядком монтирования. Т.е. например /boot находится в отдельном датасете, монтируется, система грузится, а потом монтируется корневой датасет и перекрывает собой /boot. Такая же ситуация возможна с /usr.

>FreeBSD 11.1

дежавю?

http://www.opennet.dev/openforum/vsluhforumID1/97030.html#1

> Установил FreeBSD 11.1 Stable, решил поставить на ZFS (зеркало) как в wiki
> написано. Все поднялось, но стали пропадать каталоги. Первый раз пропал /usr/src.
> Переустановил систему. Теперь пропал /boot, не вижу его вообще в zfs
> list. Как правильно работать с zfs?

FreeBSD 11.1-STABLE #0 r324209
У меня все хорошо.

> FreeBSD 11.1-STABLE #0 r324209
> У меня все хорошо.

Верю, но я только систему поставил, pkg install несколько пакетов и исходники скачал, сначала не заметил, хотел FreeBSD-update сделать, а он пишет ядро не определено, глянь, а бута то и нету....

>> FreeBSD 11.1-STABLE #0 r324209
>> У меня все хорошо.
> Верю, но я только систему поставил, pkg install несколько пакетов и исходники
> скачал, сначала не заметил, хотел FreeBSD-update сделать, а он пишет ядро
> не определено, глянь, а бута то и нету....

Значит, неправильно систему поставили.
На виртуалке потренируйтесь.
Если баг при инсталле воспроизводится, то оформляйте PR.