En las propiedades de los iconos, si es cierto que hay una opción para ponerlos en modo Ventana/Pantalla completa, pero es solo para los juegos antiguos de MS-DOS (me parece).
La forma más facil para cambiar entre modo ventana y pantalla completa, suele ser, teniendo arrancado el juego, pulsar ALT+Enter.
Si no hay problemas, con esta combinación deberías poder alternar entre pantalla completa y ventana. También el juego en concreto en que lo hagas, debe poder ponerse en los 2 modos, esto, aunque doy por sentado que en todos los juegos se puede hacer (es decir, pienso que es algo generico, por así decirlo), quizá haya alguna excepción por ahí.
Salu2