Yo creo que la mayoria de la gente que dice que xp64 da problemas no lo ha probado.
Yo lo tengo con el SP2 y ningun problema con nada. Eso si, de rendimiento diria que el mismo o muy similar al de 32bits y aplicaciones nativas para 64bits hay pocas.
A no ser que tengas mas de 2 gigas de ram no merece la pena cambiar.