La verdad, no creo que merezca la pena. Yo estoy con una 480 y realmente poquitos juegos me piden "mas".
De hecho si me falla algo suele ser el procesador xD... Ni OC le tengo puesto a la grafica. Aunque claro, yo no quiero mas de 60 FPS para nada, mi ojo es paquetorro y no nota esas cosas xD
Pero vamos, una 580 que tira mas aun... Sinceramente, no creo que haya mas motivos para cambiarla que el antojo/capricho, y la fuerza del que tienes solo la puedes evaluar tu

El watch dogs es que pide una barbaridad de vram para las texturas a topem 3 gigas o algo asi. Diria que pide demasiado para lo que ofrece xD... Pero no me he encontrado muchos otros casos en los que la vram que tienen esas graficas se quede corta. Quiza en el futuro la cosa vaya cambiando (De hecho, ojala, que ya va siendo hora de ver un avance decente en materia grafica, que llevamos varios años semiestancados), pero a dia de hoy.... Yo esperaria y pillaria cuando hiciera falta. Que aunque sea en 6 meses en 6 meses tienes cosas mejores en el mercado

A no ser claro que encuentres comprador a precio aceptable para la 580, eso ya seria otro tema...