pues no debieras tener problemas con ningún vídeo HD, incluso a 1080p con bitrate altos, esa 8600GT puede decodificarlos son problemas... aparte el disipador es bastante bueno...
lo primero que te recomendaría es una limpieza a fondo y un cambio de pasta térmica... es posible que esté muy seca y ya no funcione, con lo cual a poco que le pidas a la CPU, se va a calentar bastante...
lo segundo, deduzco si la cpu se calienta, que la 8600GT no está trabajando como debe, decodificando ella el vídeo y dejando libre la CPU... has de activar la aceleración DXVA, con ésto es probable que la gran parte de los mkv no te vuelvan a dar problemas... lo suyo es el usar el códec Cyberlink o el CoreAVC, pero lamentablemente son de pago... había uno libre con soporte DXVA, aunque no recuerdo el nombre...