Perdona, no supe buscar bien el modelo de placa base, ahora me queda claro, en efecto sólo funciona con DDR2, siendo incompatible con DDR3 (algunas placas base son duales: aceptan DDR2 y DDR3).
Practicamente todos coincidiremos en que no compensa comprar memoria DDR2 ahora mismo para un equipo de vida limitada. DDR2 es muy cara (mucho más que DDR3) porque ya no se fabrica, (ocurre algo muy similar con las tarjetas AGP) y además la mayoría de módulos a la venta no funcionan a 1066Mhz como en el caso de la memoria de tu equipo; lo hacen a 800Mhz, con lo que la obligarán a funcionar a esa velocidad, perdiendo 266Mhz.
No soy un entendido pero me parece que no hay ningún problema en usar una HD 7870 o HD 7850 con tu placa Ashrock, la placa base no es compatible con memoria de sistema DDR3, pero la tarjeta gráfica funciona en un área distinta, independiente de la memoria global o de sistema. No encuentro que especificaciónes tiene el puerto PCIE de tu placa, (velocidad, por ejemplo, 1.1/1.2/2.1 -podría ser 1.2-), más que un problema de compatibilidad lo és de aprovechamiento de los recursos de la tarjeta, pero esto no va a dificultar que la tarjeta funcione de forma correcta en tu PC, tan sólo es posible que tu placa base Asrock no le sacará el mismo partido a la tarjeta gráfica -HD 7850- que una placa base más reciente, perdiendo un leve porcentaje de rendimiento, pienso que nada importante que llegue a significar un problema, como sabrás hay usuarios que han conectado una Voodoo 3 3000 PCI en un 486 a 90Mhz, o una Geforce 7800 en un Pentium III a 900Mhz, haciendo que el 486 ejecute Quake III o Unreal, y el Pentium III Crysis 1 (a 3 frames), poder siempre se puede, distinto es que vaya en consonancia con la lógica, por esa razón la teoría de los cuellos de botella, si bien es real, al mismo tiempo tambien es relativa y no debe tomarse al pié de la letra.
En el primer mensaje pensé que la placa era más reciente, de todas formas una HD 7850 de Gigabyte ya es muy buena tarjeta para tu ordenador -por ahora juegos en calidad media/alta a 720p- con un precio contenido de 160€, y considerando la placa base creo que todo lo que pase de ahí empezará a verse obstaculizado por el Phenom en según que juegos (los más cpudependientes como siempre se dice, y con la nueva generación esto va a hacerse más patente). Investigar la opción de overclocking no es tan complejo como puede parecer en un principio, además tu placa base lo admite
http://www.asrock.com/feature/OCTuner/index.es.asp Es barato porque sólo supone 30€ en un ventilador, y el rendimiento a ganar puede ser del 10/15% en muchos juegos siempre que subas hasta 400/500Mhz que es lo máximo razonable en un micro no pensado para esta práctica. Un buen ventilador es el Cooler Master Hyper Evo.
La fuente de alimentación como te dijeron es fundamental para utilizar una HD 7850, puedes mirar tu modelo de fuente abriendo la caja del PC. Debe ofrecer al menos 500W y pertenecer a un buen fabricante como Tacens, Cooler Master, Aerocool o Corsair. Si no es así es obligatorio cambiarla, te sugiero una AeroCool Templarius Imperator de 550W (40€).
Saludos
