Еще добавить в плане скорости хотелось.Вот прямо сейчас на Линухе может крутиццо тысяча процессов без особых проблем (ну, нужно соотв. памяти... все понятно).
И переключение между ними происходят ОЧЕНЬ часто. И нечего. И все живут, рады и счастливы.
Те несколько десятков процессов, которые драйвера в ядре, как либо радикально НЕ изменят картину с переключаениями контекстов. Больше проблем будет разве что с вводом/выводом у драйверов. Но это уже детали реализации.
Так что, как видишь, вынос драйверов в отдельные процессы радикально не изменит картину с переключениями.