Лежащие на диске модули жить совершенно не мешают.
Сборка правильного ядра, включающего нужные драйвера - на самом деле, уже давно перестала быть тривиальным и быстрым квестом и я лучше предоставлю это развлечение мантайнерам ядра в дистрибутиве.