Busca fuentes pasivas. Además no te vayas a la más barata/mala, porque una mala fuente de alimentación (o una fuente montada al revés) puede causar interferencias en el sonido del equipo.
Nexus Value 430 Enermax Modu/Pro 82 Seasonic S12 II Bequiet E6 Corsair HX/VX
Hay pasivas como la Silverstone Nightjar, que no son tan calientes como parece. Son caras, pero estan bien estudiadas, justo para que no ocurra lo que comentais.
Lo que si es cierto, es que una de las fuentes recomendadas anteriormente seran tambien muy silenciosas. Seguro que despues de cambiar la fuente, habra otros componentes que seran mas ruidosos, como el disco duro.