+1 para el freenas, es absurdamente fácil. Sino una Ubuntu server o Debian a pelo con samba y para lo que necesites ssh, aparte le metes un mldonkey y tienes un leech-o-matic del copón.
Sobre hardware, hay placas mini DTX zotac Atom con 6 satas, con un pcie x16 y un pcie x1, con lo cual puedes poner dos controladoras más, las hay bastante asequibles, que te pueden añadir otros cuatro puertos más.
Mírate la de mi firma, yo cambié mi anterior Opteron por lo que tengo ahora y ahorro 4€ al mes.
Un saludo.