Tampoco exageremos, que el FX 8xxx podra con una RX 480 y la 1060 de 6GB, pero si el problema ya es por un cuellod e botella para esa tarjeta de video GTX 1080ti. Aqui la cosa es ver si el FX [mejor dicho la tarjeta madre] no esta haciendo Thermal throttling, y con ello bajando su frecuencia de trabajo y con ello bajando el vapuleado IPC que tiene. Otra tambien, si es windows 7 el sistema que usas, debes tener dos actualizaciones para que el schedullerde windows use correctamente los 8 nucleos, sino solo esta usando 4.
Eso si, aunque le saquemos todo el poder al FX 8xxx te dara cuello de botella, pero ya deberias tener FPS minimos mas altos.
A esto si juegas a 1080p o a mas quita el antialiasing, que a esas resoluciones ya no tienen sentido su uso, y al quitarlo le quitas tambien una gran carga al procesador.
Y la ultima recomendacion
@cristus, ve pensando en cambiar de procesador [y con ello en tarjeta madre y RAM] donde lo mejor es que lo cambies por un RyZEN R5 1600 [6 nucleos y 12 hilos] o mejor un R7 1700 [8 nucleos y 16 hilos].
Ejejmplo, aqui un RyZEN usando solo 4 nucleos y 8 hilos en Quake Champions a 1440p y una GTX 1080ti
https://www.youtube.com/watch?v=QJHxJD4HPTI.