[HILO] El hiperrealismo en videojuegos SUPER UPSCALERS por IA ( El DLSS del futuro )

Responder
El hiperrealismo en videojuegos
SUPER UPSCALERS por IA ( El DLSS del futuro )
Imagen
Abro este hilo porque me parece de relevancia para el futuro ir siguiendo el tema.

La cuestión es que el realismo en los videojuegos ya existe desde hace tiempo, hay pruebas de concepto reales, incluso hablamos de renderizados en tiempo real como los de deepface live, el problema es que se necesita casi todo el poder de cómputo de la GPU para procesar esos gráficos y para lograr una tasa de fps relativamente decentes es necesaria una 3090 para arriba.
Imagen

Los superscalers son modelos generativos de IA que lo que hacen es reimaginar el frame pixel por pixel, esto nos ofrece la oportunidad de poder dibujar imágenes hiperrealistas en videojuegos basados en modelos entrenados con imágenes realistas. Estos también pueden hacer uso de otros datos, como los que ofrece un juego, donde hay geometría, sombras, iluminación, entonces pueden ser mucho más precisos.

Actualmente los supescalers no pueden generar imágenes en tiempo real, por lo que habrá que esperar unos 2-5 años a que salgan modelos cada vez más livianos a la par que la tecnología avanza y salen tarjetas gráficas más potentes capaces de mover esos modelos.

De momento tenemos algunos ejemplos de lo que será el futuro de este tipo de renderizado por IA:

En este ejemplo de gran turismo para PSX 1 podemos ver como el juego pasa visualmente a un juego fotorrealista que no es posible en la actualidad.

GRAN TURISMO 1 PSX1
Imagen
GRAN TURISMO 1 PSX1 pasado por filtro AI que reconstruye la imagen
Imagen

En estas otras capturas podemos ver a Grand Theft Auto 6 con gráficos hiperrealistas sin casi variar la estética del juego ni los elementos de este, respetando el frame original, y eso que este proceso por el momento se hace a través de un fotograma del tráiler, no es un sistema ni un modelo que tiene en cuenta geometría del entorno ni nada más como si tiene DLSS.

GRAND THEFT AUTO 6 ORIGINAL
Imagen
GRAND THEFT AUTO 6 RENDERIZADO POR IA
Imagen

GRAND THEFT AUTO 6 ORIGINAL
Imagen
GRAND THEFT AUTO 6 RENDERIZADO POR IA
Imagen

GRAND THEFT AUTO 6 ORIGINAL
Imagen
GRAND THEFT AUTO 6 RENDERIZADO POR IA
Imagen


TOMB RAIDER PSX
Imagen

THE LAST OF US 1
Imagen

Los primeros en gozar de esto seremos nosotros, los jugadores de PC, aunque al principio posiblemente se va a necesitar de GPUs muy potentes y es posible que solo podamos aplicar ese filtro en un juego por streaming, veremos como va la cosa.


Puede que esta tecnología venga de la mano de nvidia o de una compañía de terceros asociada a nvidia o incluso ni eso.

Aquí tenemos un ejemplo de INTEL con una IA que fue entrenada con fotos de Cityscapes Dataset, un data set de capturas de carreteras en Alemania, por eso el cielo se siente más apagado.



Aquí tenemos otro ejemplo, este si es renderizado en tiempo real con deepface live, que es un swap de rostros para crear deepfakes en tiempo real
Uala, que pasada, ¿no?

Esto a mi me parece super interesante más de cara a juegos antiguos que modernos.

Silent Hill, Sega Touring Car, etc

La imágen de Gran Turismo es [flipa]

Aunque para juegos no realistas, ¿se podría hacer tambien conservando el estilo orginal?

Curiosidad máxima por como quedaría un Mario 64.
@7Force la ia tiene parámetros donde puedes pedirle que sea más o menos creativa a la hora de reimaginar el frame


Yo creo que con juegos muy antiguos será mucho más problema, no dudo que se pueda, pero se necesitarán parámetros muy exagerados y en algunos no funcionará tan bien, piensa que tiene que reimaginar una cara y quedarse con esa cara para que sea igual otras veces, cada semilla puede reimaginarla un poco distinta, no es lo mismo que darle una base muy fiel y casi real y aplicarle el filtro solo un poco.
Imagen
Imagen
Imagen

También supongo que si esto viniera de nvidia los propios devs de los juegos podrían quizás controlar los parámetros de la IA para darle más realismo por ejemplo cuando es un primer plano de alguien y esas cosas, darle menos exageración cuando es un plano muy alejado donde puede reimaginar cosas muy locas.
Yo también lo veo muy interesante para juego más antiguos, coincido con que la imagen de GT1 es brutal!!!
También me ha sorprendido lo realista de la imagen de Ellie en su forma original respecto a la IA
Impresionante. Hará falta un pc puntero. Ahorrando para la serie tope de gama de Nvidia GTX6000 series.( Las gtx 5000 ya irán justas sólo con path tracing).
Wishful thinking.

Veo muy optimista una previsión de 2 años vista, cuando hoy por hoy ni siquiera se aprovecha bien el ray tracing y las compilaciones de juegos se siguen pensando en las consolas, como para pensar en que una compañía, léase Take-Two te vaya a sacar el GTA VI en pc con esa tecnología y hecho a la perfección "porque somos buena gente y queremos que todos los peceros disfruten de sus maquinotes".

Y a más años vista, me parece elucubrar por elucubrar, podría pasar cualquier cosa el tema de las ias está muy en el aire aún. Hacer un superescalado de fotos hoy por hoy no es difícil, ahora ponte a renderizar toda una peli ya no digamos un videojuego donde tienes que tener en cuenta las decisiones del jugador. Lo veo bastante utópico.

Para que 4 frikis se junten a hacer un remake chusco del San Andreas, pues oye, lo veo guay. Pero que una empresa se gaste dinerales en entrenar a la ia y en aplicar esa tecnología a un juego en desarrollo...eso no lo veo tan a corto ni a medio plazo.
Veremos como va evolucionando la idea. Por ahora como concepto está interesante. Habrá que seguir de cerca ésta tecnología.
Yo no me espero 'mejoras via IA' en un juego generado en marcha, incluso de manera nativa, en todavía bastantes años. 5-10 y estoy siendo tremendamente optimista. Y mejoras mínimas ojo.

Antes de eso igual algún juego indie que consuma pocos recursos nos de la sorpresa, pero no aguantaría mucho la respiración, y desde luego no para ofrecer 'graficazos', sino que la imagen que se busque generar sea tirando a poco más que low poly.

Y no digamos ya emuladores que puedan mejorar sobre la marcha lo que ya se tiene, y a un framerrate que no te haga arrancarte los ojos. Van a tener que pasar bastantes años. Por lo menos los entusiastas siempre podrán tirar de mods con lo que vaya saliendo, pero echándole mucha paciencia y ganas, algo que el jugador medio no tiene ni en broma.

Uno de los problemas en juegos que le verán las que mas beneficiarian económicamente de esto, las grandes empresas, es que en consolas con lo que hay ahora no pueden hacer prácticamente nada. Va a ser interesante si la siguiente generación de consolas cuida este tema, y colateralmente en PC le acaban dedicando los recursos que merece.

... lo que sin duda a AMD les debe de estar poniendo la piel de gallina, porque van MUY por detrás de NVIDIA y su CUDA. Como quince años por detrás... solo por eso, seguramente las siguientes generaciones de ps/xbox se pasarán de amd a nvidia, al menos si deciden apostar algo por estas cosas y amd no consigue ponerse algo al dia.
@Ekir el DLSS es una mejora vía IA

@Ashenbach bueno, 2-5 años para que se asiente en parte, por lo menos en gamas altas. Los primeros conceptos podrían venir por ejemplo de streaming, por ejemplo, aplicas el filtro a un juego jugado en cloud ya que solo procesas el vídeo y no el juego completo, por lo que la GPU tiene más recursos, o usar dual GPU, sería para los más entusiastas.

Si te soy sincero veo esto antes de 2 años.

No vendrá por parte de Rockstar, venderá o por parte de una compañía de terceros o de NVIDIA, INTEL, etc... y cada vez saldrán más modelos y habrá más oferta.

Lo suyo sería usarlo como un DLSS, jugar a 1080p o 720p y escalar a 2K-4K.

No lo veo aún para juegos retro, a excepción de alguno muy básico como carreras de coches, pienso que los rostros son más complicados y generar una alucinación o algo muy exagerado, digo algo bien hecho, pero deformando completamente el original, y mantener ese aspecto, no creo que sea sencillo, pero en un juego moderno donde solo tienes que aplicar el filtro levemente si.


Esto, por ejemplo, no lo veo tan viable a corto plazo:

MGS1
Imagen
Imagen

STALKER
Imagen
Ya que supone reimaginar demasiado el frame, y no es porque cueste más, es porque dará resultado a más aberraciones.

También tienes que pensar que ese solid snake no mueve los ojos, no es lo mismo tener como referencia una animación de ojos como la que puede tener un GTAVI como la de este juego de PSX, por ejemplo, por eso digo que estas alucinaciones con juegos retro tan hiperrealistas no las veo a corto plazo para nada, y a largo tampoco, por eso he dicho que en un juego de coches si podría funcionar mejor porque es más básico.

Un juego moderno ofrece mucha más información a la IA que uno retro, por lo que la alucinación no tiene que ser tan pronunciada.

A corto plazo veo algo más así en un juego retro
Imagen
Y si te fijas la IA ya está generando algunas aberraciones en el monstruo que no son fieles al frame original.
Yo lo veo poco viable y poco realista en dos años, una cosa es renderizar una imagen y otra muy distinta es renderizar un videojuego en tiempo real con todo el gasto de recursos y el cálculo que supone, sin contar el tiempo que va a tomar entrenar a una IA para que pueda transformar una imagen en movimiento y en tiempo real sin fallos ni glitches visuales

10 años me parece un periodo más realista, más aún pensar que esto se va a poder aplicar como un reshade cualquiera en apenas 24 meses, si aplicar path tracing vía modding ya es tremendamente demandante, meter esto ya ni te cuento

No obstante, tiene buena pinta, el fotorealismo por fin se podría convertir en una realidad, pero vamos, que para esto falta años todavía, con un poco de suerte cuando lleguemos a la serie 7000 ya es una realidad
Interesantísimo tema, muchas gracias por el curro del post. En una década veremos cosas que no somos capaces ni de imaginar, aunque el trailer de GTA VI es una buena muestra de las cosas que nos esperan en el futuro ( si alguien se puede gastar millonadas en desarrollo de nuevas tecnologías para videojuegos, esa es Rockstar ).

Algún programa que recomiendes para hacer pruebas caseras ?
Para poder ver eso en tiempo real como poco faltan 20 años
@Kujusca ahora mismo está deepfece live, que permite generar rostros realistas mediante face swap en tiempo real, y luego tienes magnific AI, es una IA de pago creada por un murciano, seguro que hay más cosas por ahí

De hecho los face swappers también van a jugar un papel crucial en esto:

Imagen
Imagen
Imagen
Imagen
Imagen
Imagen
katatsumuri escribió:@Ekir el DLSS es una mejora vía IA

@Ashenbach bueno, 2-5 años para que se asiente en parte, por lo menos en gamas altas. Los primeros conceptos podrían venir por ejemplo de streaming, por ejemplo, aplicas el filtro a un juego jugado en cloud ya que solo procesas el vídeo y no el juego completo, por lo que la GPU tiene más recursos, o usar dual GPU, sería para los más entusiastas.

Si te soy sincero veo esto antes de 2 años.

No vendrá por parte de Rockstar, venderá o por parte de una compañía de terceros o de NVIDIA, INTEL, etc... y cada vez saldrán más modelos y habrá más oferta.

Lo suyo sería usarlo como un DLSS, jugar a 1080p o 720p y escalar a 2K-4K.

No lo veo aún para juegos retro, a excepción de alguno muy básico como carreras de coches, pienso que los rostros son más complicados y generar una alucinación o algo muy exagerado, digo algo bien hecho, pero deformando completamente el original, y mantener ese aspecto, no creo que sea sencillo, pero en un juego moderno donde solo tienes que aplicar el filtro levemente si.


Esto, por ejemplo, no lo veo tan viable a corto plazo:

MGS1
Imagen
Imagen

STALKER
Imagen
Ya que supone reimaginar demasiado el frame, y no es porque cueste más, es porque dará resultado a más aberraciones.

También tienes que pensar que ese solid snake no mueve los ojos, no es lo mismo tener como referencia una animación de ojos como la que puede tener un GTAVI como la de este juego de PSX, por ejemplo, por eso digo que estas alucinaciones con juegos retro tan hiperrealistas no las veo a corto plazo para nada, y a largo tampoco, por eso he dicho que en un juego de coches si podría funcionar mejor porque es más básico.

Un juego moderno ofrece mucha más información a la IA que uno retro, por lo que la alucinación no tiene que ser tan pronunciada.

A corto plazo veo algo más así en un juego retro
Imagen
Y si te fijas la IA ya está generando algunas aberraciones en el monstruo que no son fieles al frame original.



Yo el tema de las aberraciones lo veo poco problemático, y mas teniendo en cuenta la mentalidad empresauria. Los ingenieros y desarrolladores diran: Mira, queda bonico pero genera muchos errores de diseño y algunas cosas sin sentido. Entonces llegará el inversor y dira: Esa mierda de defecto? si hasta parece mas chulo y no se nota nada, además nos ahorramos muchas pelas en diseñadores... palante chicos! Como si los viera venir [+risas]
@polipeta yo creo que antes aparecerán IAs que clonen juegos y sus motores a motores más actuales y les cambien los assets directamente, esto está chulo como prueba de concepto en imagen para juegos viejos o en juegos con bastante detalle para tiempo real.




PD: Ya hay IA's que clonan juegos.
Qué barbaridad!

Joder si saliera ese FF VIII mejorado con IA sería un fap constante [tadoramo] [tadoramo]

Me encanta este hilo @katatsumuri [beer]
Aún está lejos de ser perfecto pero ya es mucho

Imagen
Creo que puede estar cerca, pero ha de ser una IA entrenada exclusivamente para un juego en concreto.

Por ejemplo mediante etiquetas o id,s que lw digan a la IA qué personaje están recordando, para tener continuidad y menos problemas de glitches.

Personajes, objetos, entornos, enemigos... Entrenar a la IA para que sepa identificar todo lo que va a mostrar el juego de principio a fin.
¿Qué le han hecho al T-Rex? [carcajad] [carcajad] [carcajad] [carcajad] [carcajad]

Imagen
19 respuestas
Responder
Volver a Juegos