He notado que cada vez que desenchufas el cable HDMI la PS3 se autoconfigura para mostrar de nuevo la señal a la mínima resolución y preguntarte si puede ponerse a más.
Pero por lo que dices, parece que el problema venga de tu monitor ¿has mirado si tiene alguna opción de configuración? ¿Y por qué no nos das más datos, como el modelo del monitor o si la has probado en otra tele?