No puedes hacer nada. Cambiar el adaptador.
Ten en cuenta que un usb da máximo 5V. Hay dispositivos que no usan casi nada y otros que tragan más.
Probablemente el aparato no distribuya bien los V entre las salidas y al stick le llega poca energía. Tienes algo más conectado allí?
Quita el resto de cosas y comprueba si va rápido estando él solo. Si te pasa, ya sabes, no puedes cargar tanto el aparato.
En esos dispositivos a lo sumo se suelen conectar sticks de memoria y algún bluetooth o ratón, porque no dan para más.
Saludos
