No, ya se ha tratado en otros hilos. Lo que se supone es que el circuito de carga del dispositivo va a requerir más o menos energía en cada momento. Lo que cuenta es que el adaptador de corriente pueda suministrar la energía que solicita el dispositivo. Si puede suministrar más no pasa nada, es como si abres un grifo poco en vez del todo, el vaso no se va a llenar antes.
Y por esa razón no va a cargar más rápido, eso depende del circuito de carga del dispositivo. Lo que habitualmente se llama "cargador" no es un cargador sino un simple adaptador de corriente alterna a 5V de continua.