Haz lo siguiente, a mi me fue bien, es una chorrada pero funciona:
Enciende la consola con el cable VGA conectado, aunque te salga lo de señal no permitida, tu sigue.
Espera unos 25 segundos, y haz esta combinacion con el mando:
Derecha, derecha, derecha, A, A, Arriba, Arriba, Arriba, Arriba, Arriba, Arriba, A,Arriba,A. Ya esta.
Con esto lo habras configurado a 640x580.
Prueba a ver.