No quiere decir que tu grafica este "guardando" esos 3,8gb y impide al resto del pc usarlos, es la cantidad maxima que puede usar en caso de que la necesitara para mover datos.
Si no vamos, gente como yo con 8gb y tu misma grafica, tendriamos entre 2 y 1,5gb de memoria disponible, cuando en realidad tenemos entre 6 y 6,5gb.
Y obviamente no va a usar ram como Vram, mientras tenga los 3gb disponibles.