diria q eso es pq el 1º te muestra la imagen a 640*480 (pantalla completa)
mientras q el otro, te reescala la imagen a la resolucion original del monitor (q sera mas elevada y pierdes parte de la pantalla)
q lujazo la Dreamcast por VGA Box, recuerdo q era increible la nitidez con la q se veia con ese cacharrito, sin duda el mejor VGA box de la historia de las consolas (o almenos con el q mas mejoraba la calidad de imagen)
Solucion a tu problema no se si habra, ya q DC no tenia selector de resoluciones como si tiene la Xbox.
Prueba a mirar la configuracion del monitor, a ver si sale algo