Tienes la mala suerte de que tu tarjeta de sonido integrada está cogiendo interferencias del propio PC. Aunque puedas pensar que no, esto es bastante habitual, es molesto y tiene poca solución, aunque placas base modernas ponen algo más de cuidado y aíslan un poco el circuito de audio no siempre solucionan eso del todo.
Cualquier componente del PC (fuente, gráfica, discos) o todo en conjunto puede estar produciéndose ese ruido.
Tendrás que usar una tarjeta de sonido que sea decente y tenga unos mínimos de aislamientos o usar tarjetas de sonido externas USB.