La pregunta no es si se puede apagar un escritorio, la pregunta mejor dicho es?
Puedo desactivar el entorno grafico en Linux? -> Si
Como? Depende del entorno grafico que tengas cargado, por ejemplo para Ubuntu que usa como gestor grafico lightdm puedes hacerlo como el compañero te dice
sudo service lightdm stop
Como se que entorno grafico tengo, bueno pues aqui la forma mas rapida es mirar por internet un poco.
Notaras la diferencia? Pues depende, si tienes el servidor saturado y apagas la interfaz grafica, esos megas de ram liberados se notaran algo, pero si tu servidor tiene una carga de trabajo baja, no lo vas a notar.
Yo optaria por instalar una de estas dos, Debian te resultara mas comoda porque Mint se basa en ella, por lo que muchas cosas ya sabras como se hacen. Centos es mas estilo Red Hat Linux por lo que quiza al principio tengas que buscar y buscar como hacer cosas que ya sabias hacer, por lo que mi recomendacion es. Comienza con Debian y estate un añito con ella, trasteando, instalando etc... cuando mas o menos lo lleves bien, prueba a hacer el salto a Centos y aprender los cambios que hay.
Debian
Centos