Te pueden reclamar perfectamente lo que hayas cobrado y no trabajado.
Según entiendo leyendo tu post, ¿has cobrado ya el mes de octubre por adelantado (me extrañaría que te pagasen ese mes por adelantado)??? ¿O hablas de septiembre? Lo lógico es que te hayan pagado septiembre, que ya lo has trabajado, así que no deberías devolver nada de ahí.
Si no respetas el preaviso de 15 días, lo que pierdes es el finiquito, que es el dinero del tiempo que llevas trabajado y aún no has cobrado, es decir, vacaciones que tienes acumuladas pero no disfrutadas, plus de antigüedad y cosas así. En cambio, si has cobrado algo por adelantado que no te pertenecía (es difícil, porque generalmente se pagan todos los conceptos una vez que los has trabajado), te tocará devolverlo.
El caso más claro es con las vacaciones y donde es más fácil que surja alguna complicación en este sentido. Legalmente corresponden 30 días naturales de vacaciones por año trabajado. Es decir, si curras 6 meses habrás generado 15 días de vacaciones. Ahora bien, lo que suele ocurrir es que la mayor parte de la gente gasta el grueso de sus vacaciones en verano. Imaginemos que de las 4 semanas que te corresponden te tomas 3 en julio. Sin embargo, solo has currado 7 meses, por lo que hasta ahí no has generado 3 semanas de vacaciones, sino solo dos y un día (así a ojo), por lo que te estás cogiendo días festivos que aún no te has ganado. Si te piras en Agosto de la empresa, le estás debiendo esos días de vacaciones que te has tomado de más.
No sé si queda muy claro, pero vamos, es el mejor ejemplo que se puede poner. Salvo con el tema de las vacaciones, es difícil que tengas que devolver dinero (en tu caso habría que ver cómo está el tema vacaciones, aunque a esta altura del año probablemente no debas nada), aunque por supuesto perderás el finiquito si no avisas con los quince días, pero ese es dinero que la empresa te debe a tí, no al revés.
Suerte