Esos pantallazos me los pegaba a mi una Nvidia 6800XT bajo Windows XP y en 2d, en 3d no daba problemas, en otros sistemas operativos como Windows 7 tampoco daba problemas, nunca llegué a entender el porqué.
Ahora tengo una His 5770 como la tuya y no tengo ningún problema (tengo que reconocer que me has metido un poco de miedo xD)
A ver si lo solucionas, un saludo!