Sí lo vas a notar, pues un disco duro conectado de forma nativa, da sobre los 100MB/s (algo más si es bueno), y el límite teórico del USB2.0 son 80MB/s, aunque dependiendo de la carcasa y de la placa, puede no llegar a él ni de cerca. Aunque es algo que puedes comprobar con el Cristal Disk Mark.
Además de en los tiempos de carga, en los juegos que carguen cosas "en caliente" podrás notar pequeños tirones, fallo de texturas o incluso popping, si la velocidad de transmisión es muy lenta.
Salu2