Claro que se puede, aunque uno tenga Linux y otro Windows, por el hecho de conectarlos al router o switch ya están en red. Cada uno tiene una dirección IP y ambos están en la misma subred, con eso ya se considera que están en red.
Ahora lo que tienes que pensar es qué uso vas a darle a que estén en red: jugar online, compartir archivos, o simplemente compartir conexión a internet.