Todo es posible, pero me parece raro. Si no recuerdo mal, tu tarjeta llevaba integrado en el propio chip el transmisor DVI y, aunque no demasiado bueno, dudo que solo trabaje a 1024x768. De hecho, muchos fabricantes no usaban el interno y montaba un transmisor externo, generalmente el sil164, el cual soporta hasta 1600x1200.
En fin, que para descartar el tema soft, yo probaría con lo del live-cd de linux.