ya puedes tirar tu modem ADSL xDDDDD
con tu placa base (x lo menos mi P4S800 jjeje) tienes una tarjeta de red a la que conectar al router y sino puedes comprarte una que son muy baratas....
Haz eso con los dos PC's y ten en cuenta que cada uno tiene que tener ahora una IP como 192.168.1.x (que la x sea diferente en cada uno) , y no tienen que tener la IP de tu ADSL como hacias antes con el modem.
PD: Si el router lo has comprado y no es de tu compañía deberás ponerle la IP, DNS.... del ADSL (lo q le ponias al modem) al router
Saludos, y si quieres mas info pregunta