Claro, es mas, hay varios tutos por ahi, eso si, normalmente se recomiendo eliminar la interfaz grafica y usar solo interfaces web y ssh.
jdownloader tiene interfaz web y es posible instalarlo mediante comandos de manera remota.
Si quieres usar vnc hay de todos los tipos y sabores, ya sea para acceder mediante una interfaz web o un visor nativo instalado, eso si, para ello debera estar corriendo un entorno de escritorio (interfaz grafica).
Este es algo espeso para lo que tu buscas tal vez, pero leerlo no te ira mal ^^
hilo_manual-servidor-en-debian_1260240Pero si usas VNC, te bastara con hacer la primera instalacion con un monitor, habilitar VNC (con pass o datos que quieras) y habilitar el autologueo de sesion para no tener que meter user y pass al principio, ya esta

.
Luego es quitar todo efecto grafico no deseado (ej: compiz) y otros servicios indeseados.
Dependiendo de tu conocimiento y potencia del equipo podras hacer lo que desees.
Pero recuerda, si solo es para jdownloader y almacenar ficheros..., te montas jdownloader via web y un ftp (si eso también samba para compartir en red

).
Asi podras controlar las descargar y archivos alli almacenados sin problemas.