Yo miraría el puerto de la gráfica que tiene la placa base y le metería la tarjeta gráfica más potente que te puedas permitir.
Bajo mi modesta opinión cambiando el procesador vas a notar poco y el procesador es la pieza que más vale. Cambiando la gráfica te aseguras que vas a ampliar bastante el abanico de juegos que podrás correr.
Con 4GB de RAM está bien para funcionar.
La otra opción que te queda es un salto generacional del Hardware y tendrías que comprarte otra torre. DDR3, SATA3, un disco duro de estado sólido no iría nada mal, etc. Pero yo sinceramente me cambiaría de gráfica y aprovecharía todo lo que puedas tu equipo actual.
Un saludo!!