Si lo que busca es velocidad, debería ponerle 4 GiB de memoria RAM, ¡Pero aviso! La SWAP debe estar en el disco duro, ¿motivo? Las SSD están muy limitadas en escrituras, y con la swap en la SSD se la va a carga rápido. También deberá crear particiones para los logs y demás en el disco duro.
Por último, recomendar que si quiere un sistema rápido, tal vez debería ver otras alternativas a Ubuntu, por ejemplo Debian mismo, Mandriva, o Gentoo o Arch que le va a ofrecer un rendimiento impecable.
Un saludo.