Si sabes un poquillo de linux (aunque creo que no, pero no estoy seguro) te recomiendo que te montes una arch al gusto, tal vez puedas tenerlo con xfce sin instalarle todo el montón. Si no, un gestor de ventanas (me gusta openbox, pero no he probado muchos) y a correr, si es sólo para unas pocas aplicaciones no te tendrás que complicar mucho.
Donde digo arch, digo debian y otras. El caso es no instalar todo el escritorio por defecto, sólo lo que necesites de verdad.