Cantidad de RAM de la GPU mientras tengas la necesaria para lo que pide la configuración de ese juego, tener más ciertamente no mejora el rendimiento, lo que importa mientras no llegues al tope de capacidad, son otros factores cómo sobretodo el ancho de banda de esta (TI 484 GB/s Vs. "no TI" 320GB/s) y luego la interface de memoria (352-bit Vs. 256-bit). Conforme vayas subiendo las opciones del juego de nivel bajo a ultra, y subiendo la resolución, se irá llenando más la RAM, seguramente lo que más ocupa son el tamaño de las texturas, pero 4K creo que también necesita más RAM que las resoluciones más bajas, así que realmente habrá juegos en los que la diferencia a nivel de cantidad de memoria entre jugar en una 1080 TI o la 1080 será nula, dependerá si el juego con una configuración concreta requiere más de 8 GB para sacar provecho a los 3 GB extras de la 1080 TI, pero recordando también que esta funciona a 11 GHz y la "no TI" a 10 GHz, por lo que al final termina dando mejor rendimiento, no solo por el tamaño de la RAM.
Los Cores pues imagino que sí influyen en el rendimiento de los juegos y mucho. Sobre tu pregunta sobre más MHz y menos rendimiento, cómo ejemplo pues lo mismo que hay procesadores i3 con 2 núcleos (cores) y más GHz que rinden peor en multicore que un i5/i7 (con HT) con 4 núcleos y menos GHz, pero una cosa es como aprovechen en los juegos los cores de la CPU, que por desgracia a veces no optimizan para provechar todos, y otra los de la GPU, que aquí creo que sí se tienen en cuenta siempre. No soy un experto sobre el tema, pero supongo que también influye, entre otras cosas, que tenga más cantidad de TMUs (procesado de texturas) y ROPs (estos se encarga por ejemplo del antialiasing via GPU -> MSAA).
Al final es todo el conjunto lo que cuenta en el rendimiento, y cómo esté aprovechado, no nos podemos basar solo en un mayor nº en un solo aspecto concreto de algo tan complejo. Por eso mejor mirar una medición global de rendimiento cómo los TFLOPS (11,5 Vs. 9 en modelos base), o comparar el resultado de alguna aplicación en plan Fire Strike de 3DMark (27830 Vs. 21980 en modelos base y mismo hardware).
El marketing nos quiere hacer creer que los 4K son ya lo normal, pero yo creo que 4K hoy en día no hay tarjeta gráfica que pueda con ellos sobradamente, la 1080 TI puede pero justito, la 1080 pues seguramente en algunos juegos ya no llegará a los 60 FPS donde la TI podía por los pelos, y así pues ir bajando opciones gráficas, o conformarse con menos FPS. Juegos mal optimizados, o con mods a tope, ni de coña.