В статье "Avoiding Trojans and Rootkits" описано как используя netstat, nmap и утилиты проверки контрольных сумм файлов определить наличие троянских программ в системе.