Yo diría que se coge del sistema cuando falta, el problema es que repercute bastante en el rendimiento, ya hablamos de una ram mas lenta que las de una gráfica y que encima está accediendose a ella para otras tareas. Supongo que a la gráfica le debe costar casi el doble de tiempo leer la misma cantidad de datos desde la RAM del PC que desde la VRAM.