Uf, entonces complicamos la cosa más aun que con cable de ordenador a ordenador, o la dejamos igual...
Vamos por partes. ¿Qué router tienes? Hay dos opciones: o tienes X tomas Ethernet, o X Ethernet y 1 WAN.
Sea como fuere, la WAN no la vas a usar, ya que si usas esta el ordenador/servidor (el que tiene el módem) tendría que tener 2 cables Ethernets conectados.
Cada ordenador tiene que llevar un ethernet al router, si el router tiene DHCP deja la configuración IP de los ordenadores en "Obtener una dirección IP automáticamente", ya se encargará el router de darle a cada equipo la dirección que deba.
Hecho esto los ordenadores ya se verán, pero para que tengan ambos salida a internet tendrás que compartir igualmente la conexión como si fuesen con cable cruzado.
Yo creo que para hacer esto, y si solo va a haber dos puestos, lo mejor es un cruzado entre ambos equipos, ya que con el router tendrás que abrir puertos y tal vez tengas algún que otro problemilla si no tiene autoasignación de IP (DHCP).
Un saludo.