Puedes hacerlo sin problemas, pero eso si, como comentas, los tiempos de carga se veran afectados muy mucho.
Si fuera 3.0 la cosa cambiaria, por que pasarias de una tasa de como mucho 30mb/s en 2.0 a mas de 100mb/s en el 3.0.
Si tu placa no tiene USB 3.0 te recomendaria pillar una PCI con 3.0, no son muy caras y notaras mucho la diferencia de carga.