Si quieres aprovechar de verdad las memorias ddr3, necesitaras usar triple channel. Esto significa que tendras que comprar 3 stick de memoria, algunos fabricantes de hecho, ya las venden de 3 en 3.
Entonces deduzco que tu intención es montar un pc de 12 GB de ram... para empezar. Creo que es un poco excesivo. Yo empezaria por 3 sticks de2 GB cada uno y mas tarde ya ampliaría.
En cuanto al windowsxp64, dio muchísimos problemas al principio por falta de drivers y por que hay muchos programas que no se compilaban para el.
Hoy en día si solo vas a usar software actual podría ser una buena opción, pero dado que se esta hablando de montar un pc potente, como ya te han comentado, ponte vista, que al menos trae directx10.