¿Con qué juegos estás probando? Yo te aconsejo primero probar con algún juego sencillo, que no requiera instalación, como el "Alley Cat".
Deberías copiar el dosxbox en el disco duro de la Xbox. Dentro, créate una carpeta llamada "Juegos". Y dentro de la carpeta "Juegos", crea una carpeta para cada juego (en nuestro caso, creamos una a la que llamamos "Cat" por ejemplo).
Entonces ejecutamos el dosxbox, y con "Select game" seleccionamos el juego al que queremos jugar. Seleccionaremos el fichero que tenga extensión "EXE" normalmente ("cat.exe" por ejemplo). Luego el emulador nos muestra las opciones de configuración (de eso hablaremos más adelante), ahí creo que hay que pulsar "B" (te lo digo de memoria) y... a jugar.
¿Has conseguido jugar a este juego? Si es así, ya podemos pensar en cosas más complicadas, por ejemplo redefinir teclas (podemos asignar cada botón de nuestro mando, a la tecla que queramos). Y respecto a las opciones de configuración, en principio déjalas como están. Si tienes algún problema con algún juego, podemos ir deshabilitando las cosas que no vayamos a usar (por ejemplo, la emulación de determinados dispositivos de sonido) o cambiando los tipos de memoria a usar (XMS/EMS/UMB). También se pueden subir los ciclos para que vaya un poco más rápido, pero esta opción no es mágica, y a veces al tocarla, el juego no va del todo bien... Ten en cuenta que este emulador no se ha actualizado desde hace muchos años, y no está demasiado optimizado.
Si tienes problemas con algún juego en particular, habría que ver si con alguna configuración en concreto sí que funciona bien.
Para buscar información, en internet te aconsejo que pongas "dosxbox" entre comillas en el google (las comillas, para forzar a google a que busque "dosxbox" y no "dosbox"... porque google a veces se pasa de listo, y se cree que te has equivocado al teclear, mostrándote los resultados de "dosbox" que es el emulador para PC).
Por último, hay juegos que requerían ser instalados en el disco duro de nuestro PC para poder jugarlos. En nuestro caso, tendremos que hacer LO MISMO en el emulador: ejecutar el instalador (muchas veces llamado "setup.exe") y luego ya podremos jugar. O bien, instalar el juego en tu PC (por ejemplo usando "D-Fend Reloaded") y copiando en la Xbox la carpeta que se haya instalado en el PC, tal cual. Mucha gente dice que este método es mejor (instalar en PC, y copiar la carpeta instalada en la Xbox). En todo caso, te recomiendo que empieces probando con algún juego sencillo, que no requiera instalación, y ya más adelante pruebes cosas más avanzadas...
