[HILO] DLSS5 - SUPER UPSCALERS por IA I El DLSS del futuro I Hiperrealismo en videojuegos

@D_a_r_zz_ _
si quieres podemos seguir hablando de nuestros temas personales en este hilo, no tengo ningún problema
hilo_darz-y-su-obsesion-con-katatsumuri_2520863#p1756052143

Dejo un ejemplo de como el DLSS podría alterar un juego de PS2 sin parecer fotorrealista (no mirar a las letras), y clicar para ampliar las imágenes a 4K:


Aquí con PSX, con un arte diferente a lo que se ve por parte de NVIDIA

Dejamos el hilo para hablar del topic y todo lo que sea problemas con otros usuarios, en feedback.

El problema del DLSS 5 (seria bueno que le pongan un nombre propio a la tecnología esta) no es el realismo como tampoco lo es la IA generativa de imágenes y videos. El problema esta precisamente en aquello que lo aleja del realismo y lo vuelve artificial.
Agregar mas detalles no lo hace necesariamente mas realista y aun cuando lo haga (al menos en parte), eso no significa que su problema sea el realismo aplicado sino la falta de coherencia entre los elementos.

Ahora, como cada imagen tiene un resultado completamente aparte, creo que lo mejor es diseccionar esos resultados para que se entienda cual es el problema en cada caso.

Con la imagen meme de RER creo que es bastante claro cual es el problema y es el mismo de la IA generativa de imágenes y videos, puede ser algo mas realista en algunos aspectos, pero es tremendamente artificial en otros. Eso sin mencionar que modifica enormemente el modelado base por algo que tiene pinta además de artificial, de genérico y algo robótico (hay toda una serie de sensaciones que genera la IA generativa que es difícil de explicar y no esta del todo relacionada al valle inquietante o al menos no al del realismo).

Del mismo lado, pero sin la parte de realismo añadido, esta la imagen de la profesora de Hogwarts donde lo que hace la tecnología/filtro es agregar detalles y volver aun mas artificial de lo que es el conjunto, cosa que no es un problema en si mismo sino en ese caso la falta de coherencia con demás elementos (cosa que no ocurre con las dos imágenes que hay del personaje propio).

Hasta ahora los mejores ejemplos de esta tecnología están (además de las mencionadas de Hogwars) en las capturas de FIFA, donde lo único que se modifica es la iluminación del jugador, las de AC Shadows donde mejora notablemente la iluminación de los escenarios (habrá que ver que hacen con los PJs) y las escenas "oscuras" de RER donde claramente a los modelados no les cambian nada pero si mejora enormemente la manera cinematográfica en que se iluminan.

Bueno, logicamente esto ira mejorando y puliendose.. recordemos como eran las primeras imagenes por IA respecto a las actuales.

Otra cosa, aqui algunos creen que el filtro convertira a todos los juegos en un aspecto tipo "video de gemini/grok" y lo dudo. La IA no hace solo imagenes fotorealistas, al contrario, puede adoptar muchisimos estilos visuales.

La pregunta es por que Nvidia lo promociono con eso.

Si muestran 4 comparaciones y de esas 4, 2 se ven mal y una masomenos, la culpa no es del publico sino de la compañía.

Ukognos escribió:La pregunta es por que Nvidia lo promociono con eso.

Si muestran 4 comparaciones y de esas 4, 2 se ven mal y una masomenos, la culpa no es del publico sino de la compañía.

Basicamente creo por dos motivos:

1. Por una parte, se nota algo hecho de puerta para adentro y hecho sin haber tenido en cuenta opiniones, no de jefazos de compañias de juegos, sino de desarrolladores y artistas para algo que pretende de alguna forma cambiar el estilo visual de un juego. Lo que demuestra un poco el estado actual de Nvidia de estar "alejados de la realidad" y pensar que todo lo que hacen va a ser acogido como la nueva venida de cristo.

2. El mercado gaming para Nvidia ya no es ni siquiera ya secundario para ellos, sino que tiene pinta de ser casi residual. Ya practicamente todo lo que ganan es con IA, centros de datos, y las inversiones circulares entre las empresas que estan metidas ahi. Solo hay que ver que en la ultima conferencia del Jensen Juan, la parte del DLSS (no el gaming, el DLSS) se la ventiló en 3 minutos. Dentro de una charla de hora y pico. Así que toda la parte de gaming le sirve a Jensen Juan solo para decir que son los putos amos ahi. Pero a la hora de su modelo de negocio actual, les importa poco. Y menos aun lo que opinen de ello. Solo hay que ver que despues de todas las criticas, su respuesta no fue decir "esto va a mejorar en el futuro" o "esto era una demo pequeña que no representa el producto final". Sino que mas o menos dijo que todos estabais equivocados, y lo visto era la polla en vinagre.

1- Entiendo que lo hayan desarrollado por cuenta propia, el tema es que lo publicitan acompañados y no precisamente de estudios pequeños.

2- Esto es valido para Nvidia, pero como dije antes, los estudios la apoyaron e irónicamente la única que no se quemo mostrando los cambios en personajes (y si algo bastante interesante en escenarios) fue Ubisoft (la que no se quiso meter y se entiende por que es la que venia acompañando a Nvidia en todo que es CDPR).
Capcom que en la furiosa actualidad es la compañía del momento prácticamente se suicido, Bethesda fue a fondo y hay que decir que salió relativamente bien parada (el relativamente es por culpa de Oblivion), EA podría haber salido mejor parada si no es por los artifacts que no sabemos si los genera el DLSS5 o el FG y otro que se suicido fue Warner (existe?).

@Ukognos Ten en cuenta que estos estudios no se habrán metido en el publirreportaje por amor al arte. Seguramente hacer estas cosas es porque ya tengan un contrato con Nvidia con el que, a costa de publicitar con sus juegos las nuevas tecnologías, luego tengan algún tipo de soporte o acceso prioritaria que economicamente les favorezca.

También hay que tener en cuenta otra cosa, y es que este video no está dirigido ni al publico gamer ni a desarrolladores, sino a posibles inversores. Normalmente estas cosas se presentan primero a puerta cerrada a desarrolladores o prensa. Cosa que no hicieron, estando aun la GDC fresca. Y a partir de como se ve el ambiente ahí, se va modificando el producto para la presentación oficial.

Aquí directamente llamaron a un canal de Youtube que saben que tiene mucha más difusión que sus canales oficiales, para que la gente con pasta lo vea y diga "IA? videojuegos? Con esto nos hacemos ricos, muchachos!. Hay que meter dinero ahí".

Y todo eso no quita que tenían algo horrendo frente a sus ojos y no supieron verlo. O querían asustar a alguien (o no les importaba hacerlo) o son unos imbéciles. No hay mas opciones que esas.

Lo gracioso del tema es que un tio en reddit ha visto que parte del problema es que el filtro del DLSS5 le mete unos valores del HDR tremendamente altos. Que es lo que pasa si los corriges para que el filtro tenga la misma tonalidad que el juego original? Pues que el cambio no se nota tanto

Imagen Original



Imagen con el DLSS5



Imagen con el DLSS5, corrigiendo el tone mapping



Es posible que Nvidia exagerara el HDR del filtro para que el cambio fuese muy (demasiado) evidente con respecto a la imagen original? Y se pasaron tanto de frenada que al final el resultado acaba siendo demasiado IA slop?

- Jensen Juan, hemos usado la IA para mejorar las imagenes de los juegos. Se va a usted a cagar encima con el resultado

- ... Pero si se ve igual! Súbele el HDR a nivel 11, niño!

El album con todas las comparativas https://imgur.com/a/dlss-5-fixing-post-bLIDOSx

A mi la verdad que me parece una locura lo que consigue


Otro vídeo de Hogwarts legacy



A mi forma de ver el modelo respeta bastante el concepto original del juego, es que no hay punto de comparación, la forma en como trata los materiales no tiene nada que ver con las limitaciones del motor, le mete un revamp bastante bien y es raro porque impresiona, se hace raro verlo porque nunca antes habíamos llegado a eso.

De hecho ahora he pensado sobre el tema del gore planteado con esos visuales, sentir ya que lo que ves es carne real es un tema que igual se produce más adelante porque aún no hemos visto nada, porque no es lo mismo verlo tal y como lo hemos visto hasta ahora que sentir que es la realidad, que parezca el rincón del narco o parecido.

La barrera entre realidad y ficción pues es más impresionante, imagina atropellar a alguien o algo, esto podría aún llevarnos más a un dogma que ya llevábamos mucho arrastrando porque puede escandalizar y cierta corriente usarlo como atizador.

El problema de esta tecnología es que va a crear un apartheid total entre los que tengan 1.500 mortadelos para una RTX 6800 y los que no. Porque unos van a jugar al juego que va a parecer ultralow y los otros ultrahigh.
Desde el punto de vista del accionista de Nvidia esto está muy bien, como gamer, esto es una basura. Que le vendan una IA a los estudios de desarrollo que aplique esa mejora a los assets del juego, aumentando la calidad en origen, y luego lo pueda jugar así con la gráfica que me de la real gana.
Pudiendo comprar la gráfica que quisiera, esto me parece horrible para el hobby. Va a dejar fuera a mucha más gente.
Y con los estudios ya sabemos lo que va a pasar, por ahorrar costes no van a invertir lo que deben en hacer el juego bien hecho y ya luego que se lo apañe la IA al consumidor: RTX required!

Chevii escribió:El problema de esta tecnología es que va a crear un apartheid total entre los que tengan 1.500 mortadelos para una RTX 6800 y los que no. Porque unos van a jugar al juego que va a parecer ultralow y los otros ultrahigh.
Desde el punto de vista del accionista de Nvidia esto está muy bien, como gamer, esto es una basura. Que le vendan una IA a los estudios de desarrollo que aplique esa mejora a los assets del juego, aumentando la calidad en origen, y luego lo pueda jugar así con la gráfica que me de la real gana.
Pudiendo comprar la gráfica que quisiera, esto me parece horrible para el hobby. Va a dejar fuera a mucha más gente.
Y con los estudios ya sabemos lo que va a pasar, por ahorrar costes no van a invertir lo que deben en hacer el juego bien hecho y ya luego que se lo apañe la IA al consumidor: RTX required!

Es una tecnología opcional como muchas otras que tiene NVIDIA.
La tecnología tardará de 5 a 10 años en madurar, nacerá siendo algo curioso, pero dudo que sea algo que una persona se pueda tomar en serio, se ha visto que tiene problemas de consistencia, y esto solo se arreglarla cuando el control sea más exhaustivo, lo que puede tardar.

Lo pintas muy catastrofista ¿Y qué harán con las consolas? Piensa eso, no tiene sentido, porque una consola no moverá algo así hasta la próxima generación, que será en unos 10 años.

En multiplataforma han colgado este vídeo que muestra cosas que hace raras

Y eso que solo hemos visto vídeos controladísimos en imágenes estáticas, no hemos visto un gameplay extenso sin control ¿Qué ocurrirá con las caras cuando te gires y te vuelvas a girar? Pues eso, aún está por ver.


Sobre el vídeo remarco que ojalá solo sea lo poco que analiza, pero es que será peor, lo más grave es lo de la luz de RE9, que se ve encendida, se ha dejado muchas cosas, en Leon en el frame se dibujan más estrellas de las que hay, y en el fifa hay números que se ven raro, y lo de los carteles es algo que está por ver.

Aquí se ve más o menos bien, pero no han mostrado mucho y la verdad que me espero lo de siempre.


Esto lo tendrían que haber vendido como una tecnología adicional para ciertos juegos, para un mundo abierto y que una vez lo terminas pues puedes activar ese modo para experimentarlo, o para algunos juegos con personajes más planos, como los de deporte.


Algo que me sorprende es que se dice mucho que el chaval de Hogwarts de 15 que lo convierte a más mayor, si, parece de 20, pero es que en el modelo original parece de la misma edad, tampoco parece un chaval de 14-15

Yo soy de la opinión de que probablemente se está malentendiendo el propósito de DLSS5. Lo de la presentación fue una muestra de ejemplo en bruto, arbitraria y sin control. Pero si los desarrolladores tienen control sobre cómo se emplea la tecnología, el resultado final debería ser diferente a lo que hemos visto.

Quiero decir, no es necesario aplicar DLSS5 en todo, solo en rostros, hasta cierto grado y para conseguir cierto objetivo.

Pongamos por ejemplo que el desarrollador solo tiene que hacer un rostro sencillo y fácil, algo como esto:



Y le pasa DLSS5 con unos parámetros específicos para que genere un rostro realista y consistente. El ahorro es considerable, tanto para el desarrollo como para los recursos necesarios.

Imaginadlo de esta manera, indies con pocos recursos haciendo juegos con el nivel gráfico de, por ejemplo, Death Stranding 2.

No creo que DLSS5 vaya destinado a convertir los juegos en hiperrealistas, sino en facilitar el desarrollo de la parte gráfica.

@Abrams el tema es que, como ya han confirmado desde Nvidia, el DLSS5 funciona a nivel imagen final (y vectores de movimiento), no a nivel motor. Por eso han insistido tanto en lo de "no cambia la geometria". Claro que no cambia la geometría, porque lo que estas haciendo es pintar encima de la geometria. Si le dices que los personajes pesan 100kg mas, la geometria original siempre va a estar ahi, pero le vana redibujar encima esa imagen que ele estas pidiendo

Y sobre aplicar ciertos parametros de forma individualizada por personaje, es complicado por lo que he dicho antes: Es decir, si tu creas 5 NPCS básicos, no le puedes decir el DLSS5: el NPC 1 es un viejo con muchas arrugas, el NPC 2 es una muchacha tailandesa, etc... Porque cuando aparezca cada NPC en pantalla, el DLSS5 no sabe distinguir cual es el NPC 1 y cual es el NPC 2, porque no trabaja sobre el motor. Sabe distinguir que eso es una arbol, eso es un perro, y eso es una persona. Pero a menos que tengas dos personajes totalmente diferentes, no va a poder distinguir uno de otro para aplicarle a uno unos parametros diferente que al resto. Como mucho, le puedes decir que cuando aparezca una persona con el pelo rubio, la cara tiene que tener x detalles.

Lo que puede hacer son cosas a nivel global, como decirle que esta imagen me la conviertas en un atardecer anarajado, y te cambia toda la iluminacion de la escena. O decirle que los arboles tienen que tener aspecto otoñal. O que cuando aparezca una papelera, sea de color rosa metalizado.

Al final, esto no deja de ser un Reshade potenciado con la IA. Con el problema de que la IA te puede cambiar por completo lo que esta en pantalla si le da por ahi. Ya se han visto ejemplos de lo enseñado donde confunde sombras con partes del cuerpo o de la ropa.

@Abramss es que eso es lo que he comentado antes, que a nivel motor tarde o temprano funcionará así, los juegos tendrán ese personaje que tu dices, aunque la geometría se ajustará posiblemente más a lo que se busca, porque de hecho será muy fácil generar geometría con IA parecida a la referencia artística del personaje, sea como sea este.

Entonces tu tendrás un dataset de imágenes de ese personaje, con varias perspectivas de ese personaje, y cuando te acerques a este la IA lo identificará en el espacio de la escena, por el propio motor, no por el frame final, y agarrará la referencia de la imagen y lo reconstruirá incluso a la lejanía sobre el mesh, este no tendrá textura o tendrá una textura muy básica de referencia, pero actualmente no funciona así, funciona como han dicho, es un efecto de post procesado que solo toma el frame final y los vectores de movimiento, que no está mal para lo que es, pero obviamente está lejos de que haya un control fino sobre la escena, así que actúa principalmente como un embellecedor.

Piensa que actualmente la tecnología solo tiene dos referencias muy vagas para calcular lo que dibuja.


Sobre lo que dice Fonso que dibuja sobre el frame y no cambia la geometría, eso es importante, porque no quieres que la cambie realmente, pero eso no lo hace tampoco, porque si la cambia en algunos casos, cambia la forma de los labios, por ejemplo, y eso es porque realmente no tiene la geometría como referencia, porque si la tuviera se ajustaría a esta bien y no le cambiaría la forma de los labios a Grace, y eso es un problema en parte, aunque un filtro embellecedor generativo se puede ajustar muy bien para que los cambios sean mínimos, para que se ajuste a la forma del frame final, hay ejemplos en la primera página con GTA VI, pero no es lo más óptimo a nivel de precisión y control.