No es raro, si tienes la función del ventilador inteligente (CPU Smart FAN Control) activado es normal.
Desde la bios puedes regular la activación del ventilador a la temperatura que le indiques, incluso puedes desactivar esa función y que funcione todo el rato, pero no lo aconsejo.
Al ser un disipador tocho, apenas necesita darle aire en IDLE.
Por ejemplo, tengo una Sapphire R9 390 tri-x, los 3 ventiladores permanecen apagados para no hacer ruido cuando no se le exije potencia a la gráfica, cuando le doy chicha ya si se activan.
A si que no te ralles, es completamente normal.
Saludos