Hay cajas como el mac mini que albergan placas bases mini-ITX y que llevan fuente de alimentación externa o una picoPSU sin ventilador. El único ventilador el del micro que lo puedes regular (siempre bajo la premisa de menos ruido más temperatura, pero tampoco es que se calienten mucho) y apenas hace ruido.
También puedes optar por una caja más grande y poner un disipador mejor, ya depende del espacio.
Si lo quieres para virtualizar querrás un bicho potente de micro que soporte las extensiones de virtualización, tipo el i7 3770 o el 3770K, que además gasta poco por su tecnología de fabricación.
Disco duro un SSD, no suena y es lo más rápido, de 256 GB al menos o se te quedará corto.
Y eso es mi PC, caja mini-itx, placa base Asrock Z77 ITX, 16 GB de RAM, SSD 256 GB Vertex 4 y el 3770. Con una fuente de 150W va bien y apenas hace ruido.