Yo creo que es porque cuando navegas se realizan varias conexiones para bajarse el contenido html, las imágenes, etc y en cada conexión se bajan muy pocos datos. Por definición, el protocolo TCP utiliza un "arranque lento" para cada conexión, así que aunque tengas una mayor velocidad de transmisión, el mismo protocolo es el que hace que no te bajes todos los datos a la misma velocidad desde el principio.
Si a esto le añades que el navegador necesita un tiempo para renderizar la página y mostrarla, llegas a lo que dices: mayor velocidad de transmisión no implica una apreciable mejoría en la navegación.