Mala decisión la tuya, mejor haberte comprado una 1080.
Pero bueno, ya que te la has comprado te explico como hacer undervolt.
1- Abres Radeon WattMan
2- En Control de voltaje (mV) lo pones en Manual
3- Vas bajando los valores de 5 en 5 o 10 en 10 en el último estado que es el que importa, si ves que el valor del estado 6 iguala o supera al estado 7, simplemente igualalos.
4- Abre algún software de benchmark o algún juego muy GPU demandante.
5- Si es estable durante 10 minutos vuelve al paso 3, si no, sube el voltaje hasta que sea estable.