Que la SIGGRAPH 2020 se vaya a desarrollar de forma virtual no obsta la presentación de interesantísimas novedades en lo que respecta a nuevas tecnologías gráficas con posibles aplicaciones en el mercado de consumo. Así, si hace nada tuvimos constancia de los avances de Facebook en el desarrollo de visores holográficos de realidad virtual, ahora el departamento de I+D de la red social ha dado a conocer una tecnología de supersampling que promete reducir drásticamente los requisitos de hardware.
El uso de técnicas de supersampling para elevar la resolución gráfica final de escenarios de realidad virtual no es nueva, pero la complejidad de los cálculos necesarios para implementarla ha hecho que muchos desarrolladores se inclinen por explorar vías como el renderizado foveado, que sigue los ojos del usuario para reducir el detalle gráfico ahí donde la vista no presta atención. La técnica desarrollada por Facebook es radicalmente distinta.
El paper publicado por Facebook Research describe el uso de redes neuronales para introducir una imagen a muy baja resolución y reconstruirla con hasta dieciséis veces más píxeles, generando de nuevo los detalles perdidos mediante una inteligencia artificial entrenada con imágenes nativas a alta resolución. Dicho de forma muy simplificada, el ordenador o visor autónomo renderiza en realidad una imagen a baja resolución que después es escalada a alta resolución mediante IA.
Más de un jugador estará teniendo un dejá vu en estos momentos. A grandes rasgos (e incluso no tan grandes), el funcionamiento de la tecnología de Facebook es análogo al Deep Learning Super Sampling o DLSS incorporado por Nvidia en sus tarjetas GeForce RTX, pero según los ingenieros de la red social, su método introduce menos artefactos visuales y no utiliza "tecnologías propietarias y/o hardware que pueden no estar disponibles en todas las plataformas".
La descripción inicial del paper detalla que el supersampling de Facebook es "fácil de integrar en motores de juego modernos", aunque todavía está muy lejos de poder ser explotado comercialmente. Aún debe ser refinado y aún queda la duda del hardware necesario (las pruebas de entrenamiento neuronal y generación se realizaron con una GeForce Titan V), pero a priori parece una técnica prometedora, tanto en solitario como potencialmente en combinación con otras como el foveado.
El uso de técnicas de supersampling para elevar la resolución gráfica final de escenarios de realidad virtual no es nueva, pero la complejidad de los cálculos necesarios para implementarla ha hecho que muchos desarrolladores se inclinen por explorar vías como el renderizado foveado, que sigue los ojos del usuario para reducir el detalle gráfico ahí donde la vista no presta atención. La técnica desarrollada por Facebook es radicalmente distinta.
El paper publicado por Facebook Research describe el uso de redes neuronales para introducir una imagen a muy baja resolución y reconstruirla con hasta dieciséis veces más píxeles, generando de nuevo los detalles perdidos mediante una inteligencia artificial entrenada con imágenes nativas a alta resolución. Dicho de forma muy simplificada, el ordenador o visor autónomo renderiza en realidad una imagen a baja resolución que después es escalada a alta resolución mediante IA.
Más de un jugador estará teniendo un dejá vu en estos momentos. A grandes rasgos (e incluso no tan grandes), el funcionamiento de la tecnología de Facebook es análogo al Deep Learning Super Sampling o DLSS incorporado por Nvidia en sus tarjetas GeForce RTX, pero según los ingenieros de la red social, su método introduce menos artefactos visuales y no utiliza "tecnologías propietarias y/o hardware que pueden no estar disponibles en todas las plataformas".
La descripción inicial del paper detalla que el supersampling de Facebook es "fácil de integrar en motores de juego modernos", aunque todavía está muy lejos de poder ser explotado comercialmente. Aún debe ser refinado y aún queda la duda del hardware necesario (las pruebas de entrenamiento neuronal y generación se realizaron con una GeForce Titan V), pero a priori parece una técnica prometedora, tanto en solitario como potencialmente en combinación con otras como el foveado.
Esto me da a entender que posiblemente este ejemplo lo resuelve tan bien porque estaría contenido en los datos de entrenamiento, si le das a la IA otra imagen que no haya visto antes probablemente los resultaros no serán tan buenos ni por asomo.
Tienes toda la razón aquí, aunque por lo visto es aplicado a juegos... y ya me estoy imaginando que los datos de entrenamiento esten incluido en cada juego, valla que el intento de esto es ya no renderizar a altas resoluciones... si no hacer un supersampling para dar la idea de alta resolución..
No se que pensar, lol, estoy contrariado en emociones, heh.
manos.
De hecho, ese sofá y esa habitación... jejeje
Un saludo
Lo dices por esto??? [carcajad] [carcajad] [carcajad]
(imagen)
Jajajaja
La entrada es una imagen en movimiento por lo que no basta con fijarse en un único fotograma si no que la red neuronal puede utilizar varios fotogramas para descifrar el contenido original.
Lo que nosotros vemos como "ruido" que no permite entender las letras es un ruido que solo se produciría de esa forma si en la imagen original aparece BERLIN, si apareciera OSLO el ruido sería distinto.
En este otro vídeo de YouTube se puede ver algo parecido y puede ayudar a comprender el proceso: https://www.youtube.com/watch?v=eTUmmW4ispA [ENG]