Lo de la memoria puede ser porque la compartas con la tarjeta de video integrada (si es que tienes una integrada). Si es así podrías cambiar la cantidad de memoria que compartes en la BIOS.
En cuanto a lo del dll, prueba a entrar en modo seguro (creo que entrará), e intenta sustituir éste archivo que estará en windows/system327 por el original del cd de instalación.
Puede que en el registro haya alguna referencia a eso.
Tambien te aconsejaría que le pasaras algún antivirus porque puede ser que tengas alguno residente (existen virus que resisten el formateo).
Si no te funciona, probaría a intentar reparar el sistema con el mismo cd de instalación.
Por último te recomendaría XP sp2. Hay formas de instalarlo en equipos de poca memoria haciendo algunos cambios, pero no sé realmente si luego funciona bien el SO. Si te interesa, MP o lo comentamos en el hilo.