для того чтобы сервак грузился и с /dev/sda и с /dev/sdb нужно загрузчик установить на оба диска и в BIOS прописать порядок загрузки HDD0->HDD1->...статья рабочая - но без возможности перезагрузки и работи после вихода из строя одного HDD (sda) - в топку
ситуация на нормально настроенном сервере
1 вышел из строя sda
2 с помощью mdadm удаляем его из raid
3 если успользуется SATA диск (а на большинстве серверов так оно у есть) меняем sda на новый дыск
4 добавляем новый диск в raid
5 ждем пока засинхронизируется
6 reboot
имеем downtime сервера до 5 минут
PS я специально не указывал команды mdadm и sfdisk(если у вас в рейде были не диски а разделы) чтобы не усложнять
PPS для перевода сервака на raid - перегружаться с установочного/восстановительного CD не обязательно.