Necesitas un router wifi. Al router wifi tiene que ir conectado el modem de ono que seguramente tendrás.
Con ese montaje hecho podrás conectar cada ordenador de la forma que quieras. Si tienes un ordenador lo podrás conectar por cable al router (así te ahorrarás comprar una tarjeta de red inalámbrica). El otro ordenador, lo podrás conectar por Wifi.
Aunque las opciones son varias, es decir, puedes conectar los dos por wifi o los dos por cable, como quieras.
De esa manera cada ordenador se podrá conectar independiente de si el otro está encedido o no, lo que tendrás que tener encendido, evidentemente, es el router.
Sobre las tarjetas de red wifi yo recomiendo especialmente las PCI, valen un poco más que los pinganillos USB pero su conexión con el ordenador es más estable y no dependerá del bus USB, al que solemos tener conectados más cosas.
Acerca de routers, quitando el de un amigo que creo que está poseído, los routers de Lynksis suelen salir buenos y su precio es ajustado. Podrás encontrar algunos modelos de conceptronic por la mitad de precio, pero allá tu con tu paciencia y tu salud mental si pretendes configurarlo.