eN EFECTO, PODRAS USAR EL router para lo que propones independientemente tengs o no conexion a internet, aunque puedes usar tambien un simple swich y hacer la configuracion manual, vamos al panel de control>vamos al panel de control>Conexiones_de_red, 2click a la conexion LOCAL que aparece, en la nueva ventana pulsar sobre el boton propiedades y 2click en "Protocolo de Internet TCP/IP" y elegimos usar la siguiente IP:
IP usamos por ejemplo 192.168.1.x donde X corresponde a un numero entre 1-250, cada mauina debera tener este ultimo numero unico y no haber 2 con el mismo o habra conflictos el la red.
Submascara de RED, usaran 255.255.255.0
Puerta de enlace, usaran la IP de la computadora que sea el servidor del juego.
Igualmente recuerden que todos deberan tener el mismo grupo de trabajo y todos estar conectados al swich, de esto se pueden poner varios swichs en serie.