Y si lo tienes cerca de un pc, mejor que lo conectes por cable.
Normalmente los routers vienen con una guia que te explicará como lo tienes que configurar, es seleccionar la operadora de una lista y poner el nombre de usuario y la contraseña (que en telefónica puedes poner lo que te de la gana, porque pongas lo que pongas conecta (simepre que no esté vacío ninguno de los campos)).
Como mucho te pedirá seleccionar el VPI y el VCI si no lo tiene en la lista, pero eso te conectas a internet y en el google lo encuentras seguro (creo que eran 8 y 32 para telefónica).
Y luego a los ordenadores desde windows les asignas una ip estática (puedes dejarlos con dinámica para que las asigne el router, pero es mejor estática) que esté en el mismo rango 192.168.1.10 y 192.168.1.11 por ejemplo y la del router de puerta de enlace.