bueno 51º en idle es una barbaridad la verdad y en full no quiero ni pensarlo... de la caja no te fies demasiado porque es complicado colocar la sonda para que te de la temp exacta de la cpu... antes de meterte a cambiar el disipador prueba con las soluciones que te comentan, aparte de pegarle una buena limpieza al disipador actual por si acaso...
el thermalright en si no mete ruido, es pasivo, pero con un ventilador silencioso (los mas comunes son el Noctua NF-P12 o el Nexus PWM) apenas se oye nada...
no es demasiado complicado de colocar, tendrias que sacar la placa, quitar el disipador que ya tengas, limpiar la cpu (con un bastoncillo de los oidos y un poco de alcohol por ejemplo) de pasta y darle pasta termica nueva (la AS5 suele ser la mejor opcion), colocar la parte de sujeccion trasera, poner el disipador sobre el procesador y meter 4 tornillos y luego acoplarle el ventilador y conectar este a la placa...
sin embargo, salvo que vayas a ocear la cpu me parece una solucion algo exagerada (sale por 45-50€ mas los 10-20€ del ventilador), hay soluciones por 30€ que pueden con tranquilidad con el Q6600 incluso medianamente oceado, el Xigmatech que te recomiendan mas arriba o el OCZ Vendetta 2 y si quieres algo con mas chicha esta el Scythe Zipang...