No sé si es peor el remedio que la enfermedad. El XP de 64bits es un sistema bastante malo y para la mayoría de hardware no hay drivers decentes.
La cosa cambia un pco (bastante) con Vista64, ya que los fabricantes al verse obligados a hacer drivers para Vista los hacen para los dos sistemas. En Vista64 pocas son las incompatibilidades que vas a tener, entre otras cosas porque el emulador de 32bits funciona bastante mejor que en XP64.
Si quieres tener los 4gb yo pasaría del XP64, lo tuve durante bastante tiempo y todo eran problemas.
El Vista ya tiene un año y está bastante maduro aunque muchos digan lo contrario.