El Chromecast en principio no pinta nada porque el mando se conecta con el router directamente por WiFi (idealmente WiFi 5GHz).
La cosa es si esa desconexión es de verdad del mando o es un problema con los servidores.
Entiendo que hay buena cobertura donde juegas, prueba a poner el CCU por Ethernet si puedes o probar el mando en otro dispositivo (móvil, PC....), por ir descartando.
Edit: A mí no se me ha desconectado nunca y tengo el router a dos habitaciones, eso sí, el CCU lo tengo por Ethernet, así no se pelean por el espectro radioeléctrico