Pues sí, se puede joder un pendrive así.
En Windows XP en principio no debería de haber problemas, porque a no ser que se habilite el "rendimiento avanzado del disco" está preparado para ser desconectado en caliente. En Vista pasa tres cuartos de lo mismo. Pero en las distriuciones de linux que he probado (ubuntu, mandriva, debian...) este "rendimiento avanzado" está activado por defecto, por lo que se debe desmontar el volumen antes de sacar el pendrive.
No obstante, en mi caso ha habido pendrives más propensos a romperse por estos temas que otros.