Состоялся (http://forum.proxmox.com/threads/23780-Proxmox-VE-4-0-released!) релиз Proxmox Virtual Environment 4.0 (http://www.proxmox.com), специализированного Linux-дистрибутива на базе Debian GNU/Linux, нацеленного на развертывание и обслуживание виртуальных серверов с использованием LXC и KVM, и способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix XenServer. Размер установочного iso-образа (http://www.proxmox.com/downloads/) 678 Мб. Начиная с выпуска 3.1 по умолчанию предлагается платный репозиторий Enterprise, возможность использовать бесплатный репозиторий сохранена (http://pve.proxmox.com/wiki/Package_repositories) и он является достаточно стабильным, но создатели дистрибутива не гарантируют качество его работы не рекомендуют к промышленному использованию.Proxmox VE предоставляет средства для развёртывания полностью готовой системы виртуальных серверов промышленного уровня с управлением через web-интерфейс, рассчитанный на управление сотнями или даже тысячами виртуальных машин. Дистрибутив имеет встроенные инструменты для организации резервного копирования виртуальных окружений и доступную из коробки поддержку кластеризации, включая возможность миграции виртуальных окружений с одного узла на другой без остановки работы. Среди особенностей web-интерфейса : поддержка безопасной VNC-консоли; управление доступом ко всем доступным объектам (VM, хранилище, узлы и т.п.) на основе ролей; поддержка различных механизмов аутентификации (MS ADS, LDAP, Linux PAM, Proxmox VE authentication).
<center><iframe width="640" height="360" src="https://www.youtube.com/embed/T0yP2cSVRBI?rel=0" frameborder="0" allowfullscreen></iframe></center>
В новом выпуске (http://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_4.0):
- Пакетная база синхронизирована с Debian Jessie 8.2 (прошлый выпуск был основан на Debian Wheezy). Ядро Linux обновлено до версии 4.2. QEMU обновлён до версии 2.4.
- Добавлен менеджер кластеров высокой доступности (HA), позволяющий (http://pve.proxmox.com/wiki/High_Availability_Cluster_4.x) развернуть готовый кластер в несколько кликов в графическом интерфейсе. После создания кластера виртуальные машины зеркалируются одновременно на несколько серверов и в случае выхода из строя одного сервера, выполняемые на нём виртуальные машины автоматически запускаются на другом узле кластера.- Полная поддержка IPv6.
- Для управления изолированными контейнерами вместо OpenVZ задействован инструментарий LXC. Конвертация (http://pve.proxmox.com/wiki/Convert_OpenVZ_to_LXC) OpenVZ в LXC поддерживается через процедуру резервного копирования с последующим восстановлением.
- Добавлено распределенное реплицируемое блочное устройство DRBD9 (https://www.opennet.dev/opennews/art.shtml?num=42447) с drbdmanage;
- Множество исправлений и обновлений пакетов.Ветка Proxmox VE 3.x будет поддерживаться до конца поддержки Debian Wheezy (прекращение выпуска обновлений безопасности ожидается в апреле 2016 г.).
URL: http://forum.proxmox.com/threads/23780-Proxmox-VE-4-0-released!
Новость: http://www.opennet.dev/opennews/art.shtml?num=43101
> вместо OpenVZ задействован инструментарий LXC.Опенвз таки скатился.
Не факт. И еще сильнее я сомневаюсь в том, что LXC уже закатился.
Кто нибудь сравнивал с oVirt?
тестил обе две. сложилось впечатление, что они из разных весовых: ovirt можно поставить на одну ноду весь, но лучше этого не делать (минимальная поддерживаемая установка предполагает три ноды), да и RH серьёзная фирма. PVE как-то не впечатлил, но многие пользуются (что лично меня удивляет - сейчас бесплатна виртуализация на любой вкус: vmware для ретроградов, hyper-v для тех у кого много виндов, xenserver для всех)
> тестил обе две. сложилось впечатление, что они из разных весовых: ovirt можно
> поставить на одну ноду весь, но лучше этого не делать (минимальная
> поддерживаемая установка предполагает три ноды), да и RH серьёзная фирма. PVE
> как-то не впечатлил, но многие пользуются (что лично меня удивляет -
> сейчас бесплатна виртуализация на любой вкус: vmware для ретроградов, hyper-v для
> тех у кого много виндов, xenserver для всех)У proxmox удобный web инитерфейс , + под копотом обычный дебиан, единственное отличие ведро от красношляпа. У меня он стоит на одной ноде, мне больше и не нужно.
Для руления vmware (esxi) нужна винда и есть проблемы если ставите на обычное десктопное железо (soft raid не поддерживает). Предлагать hyper-v вообще не прелично на данном ресурсе.
А xen мне не интересен ибо мне больше нравится kvm.Вобщем мое мнение для случаев где не нужно много нод и нужен простой веб интерфейс. самое оно.
> преличноЗато прилично, видимо, писать с ошибками.
Hyper-V, кроме что рулить им нужно с винды, а скриптование вызывает головуную боль своими некороткими названиями команд, вообще вполне себе решение - повеселее иных гипервизоров. И, что интересно, развивается очень серьезно.
А PVE очень многим хватает, и работает он неплохо, весьма. Тем более что из коробки уже есть zfs - очень приятно, сегодня ОЗУ купить порой быстрее и дешевле, чем аппаратный RAID, тем более что аппаратный RAID еще и менее надежный, по факту (scrube сделать на них - ой какая проблема порой).
> Зато прилично, видимо, писать с ошибками.
> scrubescrub
Hyper-V в ТОПКУ! Это я вам как практикующий админ этого ... решения говорю. Причём железа - уссытесь от зависти! И всё одно - пурген ...
опишите свои проблемы с hyper-v, а я, как практикующий админ практикующему админу помогу с их решением (у меня 20 гостей на 3 хостах и ни одного нарекания за все три года). с proxmox были проблемы при отключении света ( четыре раза подряд на выходных - внутри гостей фс превратилась в какаху )
Эм... При проблемах с питанием фича "превратить в какаху" фс гостей (а так же другие фичи из опции "destroy them all") поставляется в комплекте к любой системе виртуализации.
Не с того конца проблемы решаете.
на hyper-v 2008 который даже не vhdx, никаких проблем не было
По ходу с репрезентативностью тоже проблемы.
сформулирую корректнее: захотелось мне kvm с человеческим лицом - поставил я proxmox. от предыдущего админа осталась пара систем крутящихся в hyper-v 2008 r2 (в них были хитрожёлтые системы с активацией, привязанной к железу, реактивация была на тот момент невозможна). вот и стояли они рядом, в одной стойке, к одному бесперебойнику подключенные. и свет вместе теряли. вот только внутри proxmox получилась каша, а проприетарное дерьмо внутри hyper-v как работало, так и работает. и это с учётом того, что нормальные виртуальные диски с защитой от потери данных (vhdx) появились только в hyper-v 2012 (т.е. использовался дубовый vhd). такие пироги.
> такие пироги.Вставлю свои пять копеек. За полтора года работы Hyper-V ни разу не подвел. Равно как и proxmox. Стоят рядышком. Оба как одиночные хосты на supermicro и Xeon 1230. И сбои электропитания были, и обновления порой раз в три месяца. Норм. Но есть у proxmox преимущество - ему не нужен ни домен, ни что-то еще. Установил, открыл браузер и вперед. Hyper-V без домена не любит, хотя и может. В общем, и тем и другим доволен в плане стабильности. Если бы MS сделала бы веб-интерфейс без бубнов, цены бы не было, честное слово.
> опишите свои проблемы с hyper-v, а я, как практикующий админ практикующему админу
> помогу с их решением (у меня 20 гостей на 3 хостах
> и ни одного нарекания за все три года). с proxmox были
> проблемы при отключении света ( четыре раза подряд на выходных -
> внутри гостей фс превратилась в какаху )Продумывать резервное питание ни кто не отменял... У меня ~450 гостей под pve (все kvm), особых нареканий за 2,5 года нет.
> Для руления vmware (esxi) нужна виндаНе правда, уже давно рулить можно через веб клиент на любой платформе.
> Не правда, уже давно рулить можно через веб клиент на любой платформе.Без богомерзкого флэша?
да? наверное, я что-то не умею...6-я вСфера:
"To view this page ensure that Adobe Flash Player version 11.5.0 or greater is installed."
"Your browser-OS combination is not supported. Some features might not work correctly.
A minimum of IE10, Firefox 30 or Chrome 35 are required on Windows.
A minimum of Firefox 30 or Chrome 35 are required on Mac OS X.
Read the vSphere Web Client help for details."как видите, про Linux - вообще на звука.
Ну речь шла о том, что рулить можно только из винды, а это не правда, как минимум mac os поддерживается, да и на linux, при наличии, конечно, богомерзкого adobe flash вполне можно рулить, некоторые функции правда будут не доступны. А еще, если извратиться немного то можно запустить vsphere client под wine.
> Ну речь шла о том, что рулить можно только из винды, а
> это не правда, как минимум mac os поддерживается, да и на
> linux, при наличии, конечно, богомерзкого adobe flash вполне можно рулить, некоторые
> функции правда будут не доступны. А еще, если извратиться немного то
> можно запустить vsphere client под wine.Шурупы с прямым щлицом, тоже можно ножницами закручивать.
И вообще, у vmware, все виды управляющих консолей тормозные с отвратительным юзабилити.
В этом отношении, web-морда и cli proxmox уделывают vmware.
> Шурупы с прямым щлицом, тоже можно ножницами закручивать.
> И вообще, у vmware, все виды управляющих консолей тормозные с отвратительным юзабилити.Не все. Классический толстый vSphere client - вполне нормальный по скорости. Что в данном случае понимается под юзабилити - не знаю.
> В этом отношении, web-морда и cli proxmox уделывают vmware.
Если сравнивать раскладное кресло-диван и табурет с точки зрения на что можно быстрее и проще сесть - то, наверное, табурет действительно лучше. Но вот с точки зрения удобства я бы не стал их сравнивать, по очевидным причинам.
Внесу корректировочку в 4.0 теперь ядро от Ubuntu в том числе из-за LXC
> Внесу корректировочку в 4.0 теперь ядро от Ubuntu в том числе из-за
> LXCСПС за инфу. на днях пощупаю )
> Внесу корректировочку в 4.0 теперь ядро от Ubuntu в том числе из-за
> LXCКто сказал, что прямо-таки именно из убунту?
Сравниваем:Там "ввирху":
"Релиз Proxmox VE 4.0 [...]
[...] Ядро Linux обновлено до версии 4.2"
https://packages.debian.org/search?keywords=linux&searchon=s...
Source Package linux
[...]
jessie (kernel): 3.16.7-ckt11-1+deb8u4 [security]
sid (kernel): 4.2.3-1
experimental (kernel): 4.3~rc3-1~exp1
http://packages.ubuntu.com/search?searchon=sourcenames&keywo...
Пакет исходного кода linux
[...]
vivid-updates (devel): 3.19.0-30.34
wily (devel): 4.2.0-14.16
http://forum.proxmox.com/threads/22533-Proxmox-VE-4-0-beta1-...
> сейчас *бесплатна* виртуализация на любой вкус: vmware для ретроградов, hyper-v для тех у кого много виндов"Бесплатность" и того и другого варианта - весьма условна. В первом вообще лишь совсем недавно сняли ограничения для бесплатной версии по памяти и процам. И никакой кластеризации, естественно, ни в том, ни в другом "бесплатном" варианте.
>И никакой кластеризации, естественно, ни в том, ни в другом "бесплатном" варианте.В hyperv есть кластеризация и в бесплатном варианте.
>>И никакой кластеризации, естественно, ни в том, ни в другом "бесплатном" варианте.
> В hyperv есть кластеризация и в бесплатном варианте.Возможность существования такого кластера без домена AD появилась совсем недавно (в 2012), но и она - прямо скажем, далека от идеала. А если делать по-нормальному с доменом - оно уже слегка небесплатно.
и сколько нынче за samba4 берут? я просто не в курсе, бесплатно скачал и AD развернул...
> и сколько нынче за samba4 берут? я просто не в курсе, бесплатно
> скачал и AD развернул...Хорошая шутка, Евгений Ваганович!
>> и сколько нынче за samba4 берут? я просто не в курсе, бесплатно
>> скачал и AD развернул...
> Хорошая шутка, Евгений Ваганович!а по делу есть что сказать? или вы думаете что ваша некомпентность распространяется на всех?
> а по делу есть что сказать? или вы думаете что ваша некомпентность
> распространяется на всех?Высказавшийся не по делу человек хочет, чтобы я высказался по делу... Хм...
Вас в детстве не научили, что на тупые вопросы никто умных ответов давать не будет?
ок, специально для вас сформулирую проще: существует бесплатная реализация АД, которая называется samba. она делает ваш аргумент про платность hyper-v окончательно несостоятельным.
> ок, специально для вас сформулирую проще: существует бесплатная реализация АД, которая
> называется samba. она делает ваш аргумент про платность hyper-v окончательно несостоятельным.Формулирую специально для вас - работа кластеров MS CS на доменах Samba не поддерживается и не гарантируется.
Хочется ходить по минному полю, рискуя в любой момент получить "сюрпризик" от MS - пожалуйста.
>> ок, специально для вас сформулирую проще: существует бесплатная реализация АД, которая
>> называется samba. она делает ваш аргумент про платность hyper-v окончательно несостоятельным.
> Формулирую специально для вас - работа кластеров MS CS на доменах Samba
> не поддерживается и не гарантируется.
> Хочется ходить по минному полю, рискуя в любой момент получить "сюрпризик" от
> MS - пожалуйста.ок, постараюсь еще проще: дискуссия была о платности (это о деньгах, если что). вы сморозили откровенную чушь про то, что hyper-v платный, я ваши нелепые домыслы опроверг, и вы начали притягивать за уши еще большую чушь, вместо того чтобы просто признать свою неправоту. я, в отличии от вас, всю виртуализацию протестировал, в т. ч. и hyper-v с самбой, которая крутилась прямо в нем, мое мнение обосновано - hyper-v стоит того чтобы его защищать. ну а про поддержку вообще смешно: расскажите мне как школьники, пилящие pve, поддерживают своих бесплатников, а я послушаю.
> ок, постараюсь еще проще: дискуссия была о платности (это о деньгах, если что).Нет, дискуссия была слегка не об этом. Но мы же видим то, что нам удобнее.
> вы сморозили откровенную чушь про то, что hyper-v платный,
Где?
> я ваши нелепые домыслы опроверг,
Где?
> и вы начали притягивать за уши еще
> большую чушь, вместо того чтобы просто признать свою неправоту.Я неправ в том, что не признал что именно? Что делать поддерживаемым производителем Hyper-V способом кластер в домене является платным решением? Это я как раз признал. :-)
> я, в отличии от вас, всю виртуализацию протестировал,
Прямо всю-всю? :-)
> в т. ч. и hyper-v с самбой, которая крутилась прямо в нем, мое мнение обосновано -
> hyper-v стоит того чтобы его защищать.Так, дайте осознать - вы защищаете продукт Microsoft на ресурсе, посвященном открытым технологиям, настаивая при этом на использовании не поддерживаемых MS способов организации доменов, чтобы обеспечить работу кластера, который может работать совсем без домена? Мне кажется, у нас наметился лауреат Специальной Олимпиады. :-)
А винда, с которой вы все это админите - тоже бесплатная? ;-)> ну а про поддержку вообще смешно: расскажите мне как школьники, пилящие pve, поддерживают своих бесплатников, а
> я послушаю.А причем тут это? У PVE свои клиенты, у MS свои. Использовать неподдерживаемые решения - плохо всегда, вне зависимости от ситуации. Не стану даже утруждать себя тем, чтобы объяснять почему. Любому, кто работал в серьезных компаниях, ответ на этот вопрос очевиден.
>> сейчас *бесплатна* виртуализация на любой вкус: vmware для ретроградов, hyper-v
> "Бесплатность" и того и другого варианта - весьма условна. В первом вообще
> лишь совсем недавно сняли ограничения для бесплатной версии по памяти и
> процам. И никакой кластеризации, естественно, ни в том, ни в другом "бесплатном" варианте.Это - да :-( Но при этом хайпер - *О*НО на любом железе!
А ESXi 5.5 у меня на HP DL 360 G5/ 32GB (max limit для бесплатки да :) отпахал 3 года хостя всяких линуксов\фрях на edge ...
____ВООБЩЕ____ без единой проблемы! После такого опыта всё остальное воспринимаешь как пластмассовые совочки забытые в песочнице :)
> А ESXi 5.5 ... отпахал 3 годаХм... Вообще-то, первый GA 5.5 вышел два года тому назад.
> ____ВООБЩЕ____ без единой проблемы! После такого опыта всё остальное воспринимаешь как
> пластмассовые совочки забытые в песочнице :)Ну, потому там такие конские бабки за лицензии и хотят. VMware - одна из немногих компаний, которая за многаденег дает относительно беспроблемные решения, которые почти не требуют к себе какого-либо внимания. Вопрос лишь в том - многие ли хотят зарывать тонны нефти в CAPEX, покупая варь, или проще/выгоднее спустить в OPEX на зарплаты кул-одминов oVirt на Федоре, или чего-то подобного.
И я далек от того, чтобы утверждать какой из вариантов "правильный" - каждому свое. :-)
А уже на DL180 G6 тот же ESXi 5.5 любит показывать сиреневые экраны, такие дела.
> А уже на DL180 G6 тот же ESXi 5.5 любит показывать сиреневые
> экраны, такие дела.А у нас в квартире газ, а у вас? :-)
>[оверквотинг удален]
>> "Бесплатность" и того и другого варианта - весьма условна. В первом вообще
>> лишь совсем недавно сняли ограничения для бесплатной версии по памяти и
>> процам. И никакой кластеризации, естественно, ни в том, ни в другом "бесплатном" варианте.
> Это - да :-( Но при этом хайпер - *О*НО на любом
> железе!
> А ESXi 5.5 у меня на HP DL 360 G5/ 32GB (max
> limit для бесплатки да :) отпахал 3 года хостя всяких линуксов\фрях
> на edge ...
> ____ВООБЩЕ____ без единой проблемы! После такого опыта всё остальное воспринимаешь как
> пластмассовые совочки забытые в песочнице :)Пост ни о чем.
Десяток proxmox-ов (начинаю с версии 1.7) разбросанные по всему миру, юзаю ококо 5 лет, самые разные задачи, от обычного железа до HP DL360,DELL PowerEdge R730, гостей более 2-х сотен, ни единой проблемы. Своевременные бекапы, работали из коробки, ни разу не пригодились. Рестор использую для развертывания готовых образов.
Попробовал поставить ESXi 5, программного raid нет, бекапов нет.
> Попробовал поставить ESXi 5, программного raid нет, бекапов нет.ESXi - "голый" гипервизор, он почти ничего не умеет делать сам. Он больше подходит на системах, где, хотя бы, DAS нормальный есть, а лучше ферма серверов с общим стораджем, именно там раскрываются все его возможности.
В качестве стендэлона с локальным стораджем на обычных винтах и без аппаратного RAID - он объективно ничем не лучше proxmox, скорее даже хуже.
> Кто нибудь сравнивал с oVirt?Ставил год назад. По мне так оно для больших кластеров. Если нужно 1 - 3 ноды то луше proxmox.
Веб интерфейс жрет кучу ресурсов (ели мне не изменяет память там tomcat под копотом) и сильно перегружен. Вобщем ovirt и proxmox для разных задач.
Для мелких контор: Если речь идёт об 1 хосте с аппаратным рейдом - то проще php-virtualbox.
Звучит подобно стёбу, но это слишком просто.
> Для мелких контор: Если речь идёт об 1 хосте с аппаратным рейдом
> - то проще php-virtualbox.
> Звучит подобно стёбу, но это слишком просто.У виртуального ящика проблемы с производительностью
И не только. Я имел в виду, что навращать его на 1 машине проще, даже чем поставить прохмох.Если о себе, то на 1 ноде хватит прохмоха или даже просто virsh, а на чём-то большем - только опенстек
Пробовал оба.Задача была получить HA кластер для виртуалок.
oVirt - более сложен в развертывании, конфигуровании, но ничего непреодолимого в нем нет.
Вообще оставил достаточно положительное впечатление.Proxmox - в продакшене больше года. На нем и остановились. Кластеры по три ноды в каждом (больше нам не надо). Виртуалки мигрируются, перезапускаются на другом ноде если один валится, в общем работает все как надо.
Выбор в пользу Proxmox был сделан по простой причине: у Proxmox есть резервное копирование виртуалок прямо из коробки, а у oVirt - нет вообще. Все что пытались найти для продакшена не годится, у Proxmox-а же все бекапится и восстанавливается как должно быть.
Кроме того, у Proxmoxа есть еще и снепшоты виртуалок.
По интерфейсу же - у обоих WEB-gui, но для тонкой настройки в Proxmox-е надо лазить в консоль.Собсна.
oVirt поможет понять идеологию корпоративной платформы виртуализации - Датацентры, Кластеры, СХД.
HA на oVirt хорошо работает и на 2-х нодах.
PVE можно сравнить с ESXi - дешево, сердито и понятно.
oVirt = мануалы|форумы + вдумчивое чтение
Эту версию не тестил.
Предыдущая (3.5, еслти не ошибся) - очень нестабильно себя вела при попытке создания бекапов и попытках восстановления с них.
Это первое, что я проверяю.
p.s. До сих пор ищу нормальный бесплатный гипервизор, который VMWare диски бы "понимал". Пока таки юзаю ESXi .
>> Добавлен менеджер кластеров высокой доступности (HA), позволяющий развернуть готовый кластер в несколько кликов в графическом интерфейсе. После создания кластера виртуальные машины зеркалируются одновременно на несколько серверов и в случае выхода из строя одного сервера, выполняемые на нём виртуальные машины автоматически запускаются на другом узле кластера.надо понимать - наконец то нормальный полноценный кластер?
>> Для управления изолированными контейнерами _вместо_ OpenVZ задействован инструментарий LXC. Конвертация OpenVZ в LXC поддерживается через процедуру резервного копирования с последующим восстановлением.
прямо так - вместо? опенвз больше не будет работать?
напомните пожалста, чем лхц так плох?
а то например опенвз как то глючно работает с железными сетевухами, не всегда их видит (конкретный случай - Intel I350 из 4 портов у меня видело только один) а уж на тему как в опенвз добиться работы iptables nat, mangle - вообще мануалов куча, из серии шаманства
Ты новость читал? Да, вместо.
Openvz не имеет отношения к драйверам сетевой карты, большой привет ядру линукса, драйверам от производителя сетевушки и прокладке между первым и вторым.
> опенвз добиться работы iptables nat, mangle - вообще мануалов куча, из
> серии шаманстваno problem
или надо iptables внутри контейнера?
> или надо iptables внутри контейнера?именно, в чем смысл на ноде делать файрвол если там чаще всего локальный приватный адрес?
The best. Vmware отдыхает.
> The best. Vmware отдыхает.Для небольших компаний - однозначно. Для более-менее крупного бузинеса - слишком овощное решение.
В крупном и среднем бузинесе уже давно опенстек.
> В крупном и среднем бузинесе уже давно опенстек.Смотря где. Для частных облаков с виндовыми виртуалками - варь пока еще впереди. Но как будет дальше - непонятно, потому что рынок активно меняется.
> Для частных облаков с виндовыми виртуалкамиздесь и опенстек, и хипстер-в, и vmare. Но сейчас даже самые закостенелые и махровые проприерасты потихоньку осваивают опенстек, даже в банках, а это даже меня удивляет.
С учетом перехода openvz -> lxc думаю, что раньше 4.1 трогать не стоит. Кстати, в эту версию они вкорячили ядро от убунты 15.10.
Кто-то обновлялся уже? На сколько страшно происходит процесс обновления кластера и как часто он при этом разваливается? Даунтайм виртуалок какой прогнозировать на кластер из пяти нод и ~пол сотни виртуалок?
в нашей работе всегда надо прогнозировать самый худший вариант - так легче и безболезннее будет приступить к неизбежным исправленияма учитывая мое сообщение выше - мне почему то кажется что это вообще другой вид кластера и оно вообще несовместимо
Да вот меня тоже всё чаще посещает мысль, что проще рядом ещё один кластер собрать, раскатать виртуалки на нём, а старый потушить и сделать реинсталл и присоединить к свежему кластеру, но тут остро сказывается дефицит железа.
> Да вот меня тоже всё чаще посещает мысль, что проще рядом ещё
> один кластер собрать, раскатать виртуалки на нём, а старый потушить и
> сделать реинсталл и присоединить к свежему кластеру, но тут остро сказывается
> дефицит железа.В шапке что-то было про миграцию через бекапы. За сутки наверно можно все перенести
Сутки я только CEPH буду обновлять (это в лучшем случае).
> Да вот меня тоже всё чаще посещает мысль, что проще рядом ещё
> один кластер собрать, раскатать виртуалки на нём, а старый потушить и
> сделать реинсталл и присоединить к свежему кластеру, но тут остро сказывается
> дефицит железа.зачем тушить весь кластер? надо его размонтировать, одну машину вывести из кластера, на ней установить новый прохмох, и по одному гостю перекидывать туда
потом следущий комп итд5 нод - никак нельзя назвать "дефицитом железа"
указаная тобой цель как я понял - нулевой даунтайм виртуалок, про то, сколько времени у тебя уйдет на весь процесс - ты не говорил выше )
Обновил в виртуалке, так как nested kvm я не настраивал, то там был openvz. Соотвественно, без даунтайма никак, кластер при обновлении тоже развалится. Основная претензия - отказ от venet и необходимость настраивать бриджи, а также танцы с бубном при необходимости иметь на одном контейнере и внешний, и внутренний адреса. А, теперь ещё для задания лимитов контейнера надо создавать образ диска, так что с хоста внутрь без шаманства не влезешь.
Так что подожду и подумаю, может, в итоге проще будет на Virtuozzo перейти.
в опенвз как раз все просто залезть внутрь до того как оно запустится - по умолчанию всё находится в /var/lib/vz/private
Ура товарищи, вот как раз собираюсь строить новый кластер, предыдущий исчерпал себя. 15 нод кластера в продакте, 2.5 года, аптайм уже от пол года до года на нодах, главное условие не используйте LVM, только ceph.
почему не надо использовать LVM?
потому, что "эксперты по PVE" не читали best practices по kvm
Подробнее пожалуйста, что конкретно не так?
В какой-то момент прилетает lock на одном из томов LVM, в итоге весь rgmanager ставится раком на кластере, fence не отрабатывает так как не видит проблем, clustat рапортует что все гуд, group_tool ls тоже самое, а lvm стоит раком, потом начинается зловещий поиск какая нода заблокировала том.
Также посмотрите внимательно pvestatd, он раз в 10 секунд дергает всю инфу о машинах с lvm томов и так на каждой ноде, в итоге пока у тебя мало нод все работает сносно, как только количество нод вырастает начинается такие чудеса что LVM стоит раком.
Под LVM для кластера подразумевается clvm кто еще не понял, штука очень редкая как оказалось и глючная, к тому же не дает достаточно информации чтобы понять какая именно нода дала сбой в работе.
у меня LVM на 6 нодах, около 200 виртуалок, полет нормальный
Использую pve 3.3 с одной нодой как тестеровочную среду для серверного продукта. Железо десктопное, 4 ядра, 16 гигов. Мало, но KSM решает вопрос. Виртуалки в основном виндовые с ms sql (да-да, таймер оттюнил первым делом)), но есть и контейнеры для hg репозитория, мемкеша, фейк-емейл сервера, хранилища общих образов, бекапов баз данных. Постоянно работаю со снепшотами. В целом хотелось бы большей производительности qcow2. Образы вм лежат на xfs в raid 0. Пробовал сначала ext4 - производительность хуже, перешел на xfs. Бекапы очень удобны, но есть большой минус конкретно для меня: архивируется только актуальное состояние вм, снепшоты не сохраняются. В целом доволен, хорошая штука.
Обновление ProxmoxVE 3.4 до 4.
http://vasilisc.com/upgrade-proxmox-3-4-to-4