¿Que fuente de alimentación tienes?, a pesar de que es muy dificil, quizá a la tarjeta no le está llegando toda la energía que necesita. La GTX 770 pide como mínimo (considerando el consumo del resto de componentes del PC) una fuente de 550W siendo de un fabricante conocido como Corsair, Aerocool o Cooler Master. Si por ejemplo tu fuente tiene 650/700W pero pertenece a un marca desconocida/blanca, tendrás que sustiturla porque es dificil -o imposible según el modelo- que suministre la cantidad de energía adecuada (en realidad estará ofreciendo 400W).
Una segunda posibilidad:
RFactor es un juego de 2005 y la GTX 770 una tarjeta con sólo pocos meses de vida, no sé si es una explicación ni entiendo demasiado del tema, pero en los últimos diez/doce años se a comprobado que muchos juegos no fueron programados contemplando la posibilidad de ser compatibles con tarjetas que no fueran las actuales en ese momento o tarjetas de la siguiente generación. Por ejemplo tengo entendido que Metal Gear 2 da problemas con tarjetas de 2003/2004, hasta el punto de no poder ejecutarse en una Geforce 7600 (lanzada en 2006) -esto lo hablé con un amigo hace seis años, no lo he comprobado por mi mismo-.
Es muy posible que, entre otras cosas, por la programación/estructura del juego y la versión de DirectX que usa por defecto la GTX 770, Rfactor no funcione como debería porque el juego no está preparado para ejecutarse en una tarjeta tan nueva, no sería por tanto un problema de potencia sino de programación, y 'entendimiento' entre tarjeta y juego.
Desconozco como solucionarlo, tal vez con un parche para adaptar/imponer la versión DirectX (8) que usa Rfactor a la GTX 770. En su momento leí hilos hablando de este problema,
este por ejemplo. La mayoría de esos hilos ya no existen.
Hay utilidades como
3D Analizer que mejoran el rendimiento de los juegos, llegando incluso a emular efectos por software en caso de que un juego los recame y la tarjeta no los incluya (T&L, o Pixel/verter shader), dudo que te sirva pero lo puedes probar.
De todas formas la perdida de velocidad es mínima salvo en los segundos en los que baja a 30fps, 150 fps está bastante bien, es la parte buena

Como sabrás hace un año apareció RFactor 2, por lógica será más compatible con tu tarjeta.
Tal vez sacrificando un poco la resolución (reduciéndola) y la calidad gráfica (sobre todo si usas filtros) ganes algunos frames más, de hecho es la forma más sencilla de confirmar si la brecha de tiempo entre juego y gráfica es la causa, seguramente por mucho que bajes la calidad y la resolución apenas haya diferencia.
Saludos