Pues practicamente TODO. La gráfica se limita a rellenar poligonos y aplicarles mapas, que es una tarea repetitiva y pesada que de hacerla la CPU se comería mucho tiempo, y que es la parte "visual" mas espectacular, pero la CPU tiene que montarse todo el posicionamiento de los objetos, cargar los mapas, enviar las instrucciones a la gráfica para su relleno, mover los poligosos con el motor de 3D que use el juego, y en lo que hace a la pantalla enviar los datos para el movimiento de cada objeto que contenga el juego, incluyendo fondos, disparos, colisiones, etc...
Vamos, que en un juego 3d curra y MUCHO. Eso si, el proceso de relleno de poligonos, texturas, iluminación y demás no... ahi entra la gráfica