Con 32 bits estas desperdiciando la mitad de la ram. NINGUN sistema de 32 bits puede usar más de 4GB de ram por simple limitacion de la arquitectura. Asi que ahora mismo tienes 4 GB muertos de la risa.
Ademas, los propios 64bits tienen instrucciones propias que ayudan al rendimiento.
