В статье "Linux System Call Howto" кратко, на примере, показано как добавить в Linux ядра 2.4 и 2.6 собственный обработчик системного вызова и использовать его в пользовательском приложении.