Yo pondria un simple switch y un AP WiFi [punto de acceso WiFi].
Como sea, en las opciones de tu modem/router deshabilita la funcion de DHCP [el servicio de enrutamiento] y asi tendras un switch y AP WiFi en un solo aparato, conecta tu cable de red a uno de los puertos del modem/router y ya tendras red WiFi y podras conectar otros aparatos a los otros puertos restantes del modem/router, y todos ellos seran manejados por el modem/router que tengas en la planta baja y les dara salida a internet.