ESRGAN - La I.A. que se usa para reescalar imagen y vídeo en alta definición.

El Space Ace para mi gusto es el mejor de la saga, es el más intuitivo.

Te ha quedado de 10 @SIRDRAK, gracias.

Impresionante y con el doblaje en español es la ostia.

Pero, ¿En su tiempo ya estaba doblado al español? Es que siempre lo he visto en inglés.

Saludos.

AlterNathan escribió:Pero, ¿En su tiempo ya estaba doblado al español? Es que siempre lo he visto en inglés.

Saludos.

FX Interactive (La antigua Dinamic) reeditó una versión de la Trilogía de Dragon's Lair 1 & 2 y Space Ace localizadas completamente al castellano, SIRDRAK lo que ha hecho es pillar ese audio y meterlo en el Laserdisc originario que ha reescalado con IA.

Te pasé mi telegram en el hilo de MiSTer, si te interesan, ya sabes.

Saludos.

DJ Deu escribió:

AlterNathan escribió:Pero, ¿En su tiempo ya estaba doblado al español? Es que siempre lo he visto en inglés.

Saludos.

FX Interactive (La antigua Dinamic) reeditó una versión de la Trilogía de Dragon's Lair 1 & 2 y Space Ace localizadas completamente al castellano, SIRDRAK lo que ha hecho es pillar ese audio y meterlo en el Laserdisc originario que ha reescalado con IA.

Te pasé mi telegram en el hilo de MiSTer, si te interesan, ya sabes.

Saludos.

Efectivamente... Y ahora, después de unas cuantas horas sin parar, por fin he terminado también la versión 4:3... Lo más fácil habría sido, puesto que tengo una versión original ya dividida en los mini-vídeos, procesarlos directamente con la IA a vídeos y habría sido super rápido. Sin embargo, como quiero hacerlo lo mejor posible, de nuevo he vuelto a hacerlo por el método de procesar el vídeo a fotogramas separados en png (trabajo de chinos), aunque eso si, esta vez algo más fácil al estar separados en carpetas por cada vídeo y no tener que preocuparme del audio que ya lo dejé listo en la versión 16:9. Con todo incluso he editado algunos fotogramas con Photoshop, ya que el Video Enhance AI tiene un defecto que aún no han corregido: En ocasiones aparecen manchas brillantes en las imagénes con colores muy 'fluorescentes' (fucsia y verde neón, por ejemplo) por errores del procesado (esto, por ejemplo, no pasa con Gigapixel AI). La mayoría de las veces no es importante porque son pocas y en fotogramas puntuales, que pasan tan rápido que casi no se notan, pero hay veces en las que un fotograma puede quedar muy contaminado (sobre todo si hay flashes y cosas parpadeantes, que en estos juegos abundan a montones), así que he aprovechado para corregir los más notorios. Ahora he terminado de hacer las pruebas en Daphne, grabar un pequeño vídeo de muestra y subir unas capturas, que os dejo aquí para que veáis lo bién que se ve:



Y las capturas:






























Y me voy a la cama que estoy muerto jejeje

HOLA, solo pasarme a decir que sigo el hilo desde casi el principio y dar mis felicitaciones por este currazo con resultados impresionantes, saludos

Esto es un portento. Estáis haciendo un trabajo impresionante.

Ya os podían contratar las empresas para remasterizar juegos antiguos. Esto es un paso de gigante.

Hoy, un pequeño experimento con la intro de la versión de PSX de Brain Dead 13, un juego del estilo de los Dragon's Lair pero que no salió en laserdisc, sino directamente en ms-dos y en consolas, por lo que su calidad de vídeo es muy muy mala:

SIRDRAK escribió:Hoy, un pequeño experimento con la intro de la versión de PSX de Brain Dead 13, un juego del estilo de los Dragon's Lair pero que no salió en laserdisc, sino directamente en ms-dos y en consolas, por lo que su calidad de vídeo es muy muy mala:

hola genial tu trabajo, precisamente estoy con videos de poca calidad intentando sacar el mejor resultado tanto en animación como acción real,de hecho con animación se pueden conseguir resultados decentes partiendo incluso de capturas temblorosas o con colores cagados, aunque ahí uso mas edición aunada con la ia para colores y demás defectos que la ia se salta. un saludo.
PD :ahora estoy con los x-men y si encuentro donde tengo el disco duro con d&d, será la siguiente, re-saludos

SIRDRAK escribió:Hoy, un pequeño experimento con la intro de la versión de PSX de Brain Dead 13, un juego del estilo de los Dragon's Lair pero que no salió en laserdisc, sino directamente en ms-dos y en consolas, por lo que su calidad de vídeo es muy muy mala:

Se ve mejor de lo esperado, el boom de estos programas será cuando hagan calidades excelentes a partir de contenido de calidad baja/media.

DJ Deu escribió:

SIRDRAK escribió:Hoy, un pequeño experimento con la intro de la versión de PSX de Brain Dead 13, un juego del estilo de los Dragon's Lair pero que no salió en laserdisc, sino directamente en ms-dos y en consolas, por lo que su calidad de vídeo es muy muy mala:

Se ve mejor de lo esperado, el boom de estos programas será cuando hagan calidades excelentes a partir de contenido de calidad baja/media.

Cuando llegue eso, será el momento de organizarse y restaurar entre muchos, centenas de series y de pelis viejunas que nunca han sido reeditadas. ^ ^

Si fuera posible, a mí también me molaría mucho restaurar las cinemáticas de los juegos de generaciones pasadas. Pero no sé si una vez restaurado el material, podría reintroducirse nuevamente en los juegos de por ejemplo, PS1 o PS2.

Pues sí, y parece que poco a poco empieza a haber mejoras... Una cosa que olvidé comentar es que en la última versión de Video Enhance AI (la 1.2.3.) por fin han mejorado el modelo Gaia-HQ para imagen real, que antes prácticamente no se notaba y ahora por fin se aprecian mejoras visibles en los vídeos de acción real, y además también es más rápido, aunque en mi opinión, sigue dando mejor resultado para todo todavía el Gaia HQ CG de los dibujos animados. También están saliendo muchas versiones nuevas de Gigapixel AI (que ya va por la 4.9.3.) y donde también he apreciado mejoras sutiles en el procesado de las imágenes. También he leído en los foros de Topaz de que ya andan probando una beta del Video Enhance AI que por fin tendría diferentes opciones para la codificación del vídeo de salida (a ver si añaden soporte de H.265 y toquetear calidades y bitrrates para que no sea necesario usar el sistema de codificar a fotogramas independientes si quieres un vídeo de más calidad).

Me estoy quedando flipado, ¡esto es una revolución! Le va a venir de maravilla estas técnicas a la VR para relajar potencias..

Voy a echar un vistazo a este tema, imaginar que uno de mis animes favoritos, Taro el niño dragón, se le pueda aplicar esto y tenerlo a calidad hd....¡guau!. Personalmente, sobre el framerate, prefiero en el original. En los juegos da igual, pero en animación y pelis si.

DJ Deu escribió:

SIRDRAK escribió:Hoy, un pequeño experimento con la intro de la versión de PSX de Brain Dead 13, un juego del estilo de los Dragon's Lair pero que no salió en laserdisc, sino directamente en ms-dos y en consolas, por lo que su calidad de vídeo es muy muy mala:

Se ve mejor de lo esperado, el boom de estos programas será cuando hagan calidades excelentes a partir de contenido de calidad baja/media.

Siempre me pareció el mejor juego del género. Para ms-dos salió en castellano, no sé si en el resto de sistemas también

bueno, hay telegram de esto?

Chicos, con un I7 3770 a 3,40GHz,8 de RAM y una Radeon 7870 estoy fuerisima para poder usar estos programas no es cierto?El topaz me tira error y se me cierra.

tortoclas escribió:Chicos, con un I7 3770 a 3,40GHz,8 de RAM y una Radeon 7870 estoy fuerisima para poder usar estos programas no es cierto?El topaz me tira error y se me cierra.

El problema es que estos programas tiran mucho de CUDA o de los Tensor Cores de las tarjetas nVidia, por lo que si tienes una AMD apenas sacan beneficios de rendimiento y te ves obligado a tirar de CPU. No obstante, el Video Enhance AI te debería funcionar a pesar de todo (aunque eso sí, tardando de 10 a 15 veces más en procesar los vídeos). Si se trata de imágenes, el Gigapixel AI aun no usando GPU y tratándose de imágenes sueltas es bastante usable en cualquier equipo (de hecho yo incluso lo uso en un 2 en 1 con un Core M 7Y30). Si el Video Enhance AI te dá problemas y no te funciona con las últimas versiones, prueba con alguna antigua como la 1.1.0 o la 1.1.1, que funcionan muy bién.

Muchas gracias SIRDRAK voy a probar.

A raiz del hilo sobre qué versión del juego Popful Mail de Pc-88/Pc-98/Pc Engine CD/Sega MegaCD es mejor, se me ocurrió pasar un vídeo musical promocional que hicieron para la versión de Mega CD de 240p y 29'97 fps a 1080p y 59'94 fps:



La verdad es que es increíble lo que llegan a mejorar algunos planos totalmente pixelados...

No soy de mucho comentar en Elotrolado pero esto me parece una de las cosas más impresionantes que he visto en los últimos años.

Bueno, pues comentar que hoy ha salido una versión nueva del Video Enhance AI muy mejorada, y directamente han pasado de la versión 1.2.3. a la 1.3.8. así de golpe... Han añadido dos modelos nuevos a los ya existentes que parecen prometedores, Theia-Detail y Theia-Fidelity, los antiguos parece que codifican ahora algo más rápido, Gaia-HQ ya se nota más el efecto que antes, Se puede hacer zoom a las previews para ver la diferencia en detalle de una parte concreta de la imagen, permite codificar los vídeos a fotogramas independientes ahora también en jpg (se pierde un poco de calidad pero se evita el problema de ocupar cantidades inmensas de espacio en el disco duro, y el resultado sigue siendo mejor que codificar directamente a mp4), y ahora permine definir el nombre de la salida (antes lo asignaba de forma automática)... Muy interesante todo.

Decir que llevo un par de días haciendo el primer experimento de reescalar una película entera de fullHD a UHD usando Gaia-HQ, concretamente la peli de Sonic, y parece que se nota bastante... He aquí una captura de muestra usando la nueva versión del Video Enhance AI (hacer click para verla en su tamaño real)... Llevo casi dos días y ya me falta sólo 20 horas para terminar:



Por supuesto estoy usando el método de codificar el vídeo a fotogramas independientes en png para sacar la mejor calidad posible, y la carpeta ya ocupa cerca de 800 GB... Y pasará de 1 TB cuando esté la película completa (99 minutos).

DJ Deu escribió:

Interesante... Se nota que ha usado el Gigapixel AI para el proceso... Con el Video Enhance AI en lo que respecta a dibujos animados, parece que el resultado es mejor... De hecho he probado a codificar el resultado con la última versión del programa (la 1.5.1) y el resultado es mejor que en ese vídeo (y eso que sólo lo he pasado a 1080p). Además en esta versión por fín han pasado del codec H.263 al H.264 y de un bitrate de 15 MB a otro de 50 MB (con lo cual ya no es necesario codificar a secuencia de imágenes, pues ya tiene el mp4 la calidad necesaria). Para la próxima versión dicen que van a añadir la posibilidad de configurar la salida de vídeo (es decir, que puedas elegir la calidad y el bitrate). Mi prueba:



También decir que es una pena lo que le hace YouTube a los vídeos con la codificación a veces. El que tengo en local se vé mucho mejor... La pixelación que se ve en los cielos nocturnos es inexistente en el vídeo que obtuve con Video Enhance AI.

A partir de ahora todo el mundo puede subir los fotogramas sin depender de CUDA, han sacado una versión de DAIN que funciona bajo Vulkan y encima va más rápida.

https://github.com/nihui/dain-ncnn-vulkan

Saludos.

@DJ Deu

Una duda, ¿esa escena de Blade Runner está reescalada con ESRGAN? Lo pregunto porque parece que se ve poco nítida y falta de detalles en comparación con la original.

Scotfield escribió:@DJ Deu

Una duda, ¿esa escena de Blade Runner está reescalada con ESRGAN? Lo pregunto porque parece que se ve poco nítida y falta de detalles en comparación con la original.

A mí también me ha llamado la atención porque reconozco en el vídeo el tipo de procesado que hace Topaz Video Enhance AI... De hecho, he estado haciendo algunas pruebas y el resultado es idéntico. El problema del vídeo original, que estaba codificado con lo que permitía la época, de forma similar a cuando se codifica a una versión con menos colores y se compensa los faltantes mediante la famosa técnica de dithering (usando tramas de puntos o pixels para simular colores intermedios), es que tiene patrones de puntos por toda la imagen. La pérdida de texturas viene porque usando los modelos usuales que mejor resultado dan (Gaia CG y Gaia HD), dichas tramas de puntos no desaparecen, por lo que deben haber usado uno de los modelos nuevos Theia, que permiten modificar parámetros y aumentar o disminuir el difuminado, hasta que las tramas de puntos no se ven, pero a costa de perder un poco de detalle.

Estoy prácticamente seguro de que han usado el Video Enhance AI. Unas muestras de lo que comento en mis pruebas:

Si usamos GaiaCG, mantenemos e incluso aumentamos el detalle de algunas texturas, pero como se puede ver en esta imagen a continuación, no se eliminan las tramas de puntos del vídeo original, con lo que quedan unos patrones de líneas horizontales y verticales bastante apreciables incluso en la preview (hacer click para ver a tamaño completo):



En cambio, usando el Theia Fidelity y aumentando el parámetro reducción de ruido de 30 (por defecto) a 60, las tramas de puntos desaparecen pero se pierde un poco el detalle de algunas texturas, consiguiendo el resultado exacto del vídeo de antes, cómo podéis ver en estas capturas (no olvidéis verlas a tamaño completo):






Incluso me atrevería a decir que han sido demasiado agresivos subiendo el parámetro de reducción de ruido, porque en algunas escenas, por ejemplo, se pierde por completo la textura de la pared decorada de fondo detrás del dueño de la tienda de animales, mientras que en mi aproximación aún se aprecian bien dichas texturas.

Pese a difuminar la imagen, yo sigo preferiendo esa mejora.

Andaba aburrido y he hecho un experimento con el Time Traveler.

Y he de decir que el resultado me gusta más con la compresión de Youtube aplicada, sin ella se veía algo más nitido para mi gusto y con ello aún se aprecian más los defectos.

Tampoco se puede hacer mucho con el metraje que hay.

Ah y lamento que se me ha ido un poco la mano con el aspect ratio del vídeo de la izquierda, es lo que tiene hacerlo "artesanalmente"



Saludos.

La verdad que el esrgan ahce muy buenas cosas, hace tiempo que lo vi aunque la verdad que no tengo ni idea de como funciona e incluso no se siquiera si es un programa o algo asi.

Yo tengo bastantes videos VHS de la familía convertidos a digital y me encataría hacer este reescalado, pero no sé si esperarme a que la cosa avance más o empezar ahora, la verdad es que no me corre prisa...

Paboh escribió:Yo tengo bastantes videos VHS de la familía convertidos a digital y me encataría hacer este reescalado, pero no sé si esperarme a que la cosa avance más o empezar ahora, la verdad es que no me corre prisa...

Pues me parece una buena idea. No se me había ocurrido eso, y hace tiempo que tengo videos pendientes de digitalizar, precisamente porque la inevitable perdida de calidad, que según dicen se produce en el proceso, me frenaba un poco. Me lo apunto como opción.

gynion escribió:

Paboh escribió:Yo tengo bastantes videos VHS de la familía convertidos a digital y me encataría hacer este reescalado, pero no sé si esperarme a que la cosa avance más o empezar ahora, la verdad es que no me corre prisa...

Pues me parece una buena idea. No se me había ocurrido eso, y hace tiempo que tengo videos pendientes de digitalizar, precisamente porque la inevitable perdida de calidad, que según dicen se produce en el proceso, me frenaba un poco. Me lo apunto como opción.

Lo he probado y no funciona.

logitech888 escribió:

gynion escribió:

Paboh escribió:Yo tengo bastantes videos VHS de la familía convertidos a digital y me encataría hacer este reescalado, pero no sé si esperarme a que la cosa avance más o empezar ahora, la verdad es que no me corre prisa...

Pues me parece una buena idea. No se me había ocurrido eso, y hace tiempo que tengo videos pendientes de digitalizar, precisamente porque la inevitable perdida de calidad, que según dicen se produce en el proceso, me frenaba un poco. Me lo apunto como opción.

Lo he probado y no funciona.

Bueno, algo se podrá hacer, como interpolación de fotogramas o alguna mejora de imagen. No hace falta que sea un reescalado a 4K, sino algunas pequeñas mejoras, para que al menos se vean algo mejor.

@gynion
El resultado que obtuve es el mismo que cuando aplico la IA a fotos escaneadas. La IA no se entera.
Es decir, aumenta la resolución aplicando la IA no a la imagen en sí, a lo que el ser humano interpreta como imagen (personas, objetos, etc...) sino a una patrón que está por encima de ella y que entiendo que se "superpone" al escanear las fotos. Con el vídeo pasa un poco más o menos lo mismo, aunque en este caso al menos no empeora el resultado, cosa que en las fotos si lo hace.

Un saludo.

@logitech888

Ya. Por lo que dices, me da que para imagen real capturada de un video casero hará falta un proceso más artesanal, con mayor intervención humana. En dibujos animados será mucho más fácil aplicar un tratamiento más automático.

Pos bueno, ya saldrá algo.

Saludos.

Uno de los mejores reescalados que he visto.

DJ Deu escribió:

Uno de los mejores reescalados que he visto.

Brutal... Se debe sin duda a la muy buena calidad del vídeo de origen (fíjate que no tiene ni un solo defecto de compresión y las zonas de colores planos son completamente uniformes, el único pixelado que hay es el debido a la baja resolución) que con este tipo de animación parece que funciona de maravilla.

SIRDRAK escribió:

DJ Deu escribió:

Uno de los mejores reescalados que he visto.

Brutal... Se debe sin duda a la muy buena calidad del vídeo de origen (fíjate que no tiene ni un solo defecto de compresión y las zonas de colores planos son completamente uniformes, el único pixelado que hay es el debido a la baja resolución) que con este tipo de animación parece que funciona de maravilla.

Creo que el que hizo el upscale no lo hizo con el Topaz, usó varias herramientas para acabar pasándole como la final el ESRGAN.

Por eso se ve tan increible, que por cierto como único defecto es que ha eliminado la animación de la cascada del original.

DJ Deu escribió:

SIRDRAK escribió:

DJ Deu escribió:

Uno de los mejores reescalados que he visto.

Brutal... Se debe sin duda a la muy buena calidad del vídeo de origen (fíjate que no tiene ni un solo defecto de compresión y las zonas de colores planos son completamente uniformes, el único pixelado que hay es el debido a la baja resolución) que con este tipo de animación parece que funciona de maravilla.

Creo que el que hizo el upscale no lo hizo con el Topaz, usó varias herramientas para acabar pasándole como la final el ESRGAN.

Por eso se ve tan increible, que por cierto como único defecto es que ha eliminado la animación de la cascada del original.

Cierto, pero fíjate también en lo que digo en el vídeo original... Lo más probable es que lo haya grabado el mismo a partir del juego original con alto bitrate, porque llama la atención lo limpio que está. A ver si acaba el atasco de las 3080 y recibo la mía antes de jubilarme a ser posible... Por cierto, que en las últimas versiones del Video Enhance AI me tarda el doble en codificar los vídeos (y creo que es desde una de las últimas actualizaciones de los drivers de nVidia, porque no he cambiado de versión del programa)

Ahora que tengo la RTX 3080, por fin he podido hacer algunas pruebas aprovechando que Topaz ha sacado una nueva versión de Video Enhance AI compatible con estas tarjetas gráficas (los anteriores no funcionaban correctamente y aún no funciona tampoco DAIN, aunque el día 11 sale una versión de DAIN compatible con las 30xx). Voy a comentar mis impresiones, pero antes, voy a enumerar las novedades de esta versión 1.7:

- Compatibilidad con las RTX 30XX y las nuevas gráficas de AMD. También se ha mejorado la compatibilidad con gráficas de AMD anteriores, que han ganado notablemente en rendimiento.

- Nuevos modelos Artemis mejorados y Gaia HQ y Gaia CG revisados.

- La velocidad de procesado se ha mejorado notablemente, al menos para las nuevas gráficas, al hacer uso de los Tensor Core de las RTX. Sin embargo, no todo es tan bonito como parece (después comento sobre esto).

- El motor del programa es completamente nuevo. La pega es que ya no es compatible con Windows 7 (las versiones anteriores sí lo eran).

Sobre el papel, todo parece muy bonito, pero ahora veremos que la realidad es bien distinta. Voy a empezar por los puntos positivos:

- Con mi nueva gráfica y gracias al uso de los Tensor Cores, la velocidad de procesado se ha incrementado en ocasiones hasta x4 o x5. Ahora tardo en procesar cinco minutos de vídeo, aumentando su tamaño x3 o x4 lo mismo que tardaba antes en procesar un minuto de vídeo con la GTX 1080.

- El consumo de recursos (sobre todo VRAM) es menor que en las versiones anteriores.

Ahora vamos con los negativos y el por qué no recomiendo instalar esta versión del programa:

- Primera cagada y bien gorda: Han tocado el Gaia CG, el mejor de los modelos que hacía maravillas desde las versiones primigenias del programa y que hasta el día de hoy no era superado por ningún otro, y se lo han cargado. Ha perdido mucha nitidez y se producen errores en las texturas a veces (peores que el famoso tramado de versiones anteriores). Los desarrolladores dicen que están trabajando para arreglarlo.

- Segundo problema serio para los no poseedores de una RTX o una gráfica AMD: Se dan muchos casos de gente a la que el procesado resulta más lento que en versiones anteriores, problema que empezó a aparecer desde la 1.6 (de hecho yo lo sufrí con la otra gráfica), llegando a veces a ser el doble para el mismo tipo de trabajo y modelo.

En resumen, que toca seguir esperando a las nuevas versiones que saquen o usando versiones más antiguas (si no tienes una RTX 30XX claro).

Quiero usar esto para restaurar videos históricos de mi ciudad, por donde empezar?

Esta tecnología estaría muy bien para jugar por ej. al Doom, donde los escenarios se ven pixelados, pero lo de los enemigos es que ya te sangran los ojos.

keverson303 escribió:Quiero usar esto para restaurar videos históricos de mi ciudad, por donde empezar?

Precisamente hace poco hice una prueba con un vídeo de escenas de Japón de 1913, dentro de las limitaciones que comenté antes con la versión actual de Video Enhance AI (con versiones anteriores se consiguen mejores resultados, pero mi RTX 3080 no es compatible con ellas). Básicamente mi consejo es hacer lo siguiente:

- Buscar en Youtube un vídeo antiguo de tu ciudad. Puedes usar programas como VSO Downloader para descargarlo.
- Rara vez los vídeos que encuentres estarán a su resolución y tasa de fotogramas original (lo ideal es que el vídeo esté en 640x480). ya que frecuentemente los suelen reencodear a 30 fps cuando esos vídeos solían moverse entre 16 y 22 fps (y no de forma constante ya que la grabación/reproducción la hacía manualmente un operador con una manivela, por lo que dependía de la velocidad con la que iba moviendo esta). Por esa razón, el primer paso es cambiar su tasa de fotogramas que luego interpolaremos con DAIN (otro programa que usa una IA para multiplicar el número de fotogramas) para conseguir 60 fps. Mi recomendación es pasar el vídeo a 15 fps y luego en DAIN multiplicarlos x4.
- Antes de pasar el vídeo por DAIN, si este está a una resolución mayor (es común encontrar los vídeos en Youtube ya a 1080p o 720p, aunque su resolución visual sigue siendo la misma), es necesario pasarlo a 480p, por dos razones: DAIN tiene problemas para codificar bién vídeos en los que la altura o la anchura sea superior a los 900 pixels, y con los vídeos 'tal cual' a esas resoluciones mencionadas, Video Enhance AI casi no hace cambios. Sin embargo desde una resolución inferior sí que es bastante más notable el resultado.
- Una vez has pasado el vídeo por DAIN y lo has transformado de 15 fps a 60 fps, el siguiente paso es reescalarlo con Topaz Video Enhance AI. Recomiendo usar versiones anteriores a la actual, sobre todo alguna como la 1.5.1 (en la 1.6.1. se multiplicó el tiempo de procesado), siempre que no tengas una gráfica de la serie 30XX de nVidia, que como digo sólo son compatibles con la última. El mejor resultado se suele conseguir con el modelo Gaia-CG, aunque recomiendo usar la preview para ir viendo cómo sería el resultado con cada modelo para conseguir el mejor posible.
- Por último, de manera opcional, se puede colorear el vídeo también usando IA si el original es en blanco y negro, pero esto ya no es tan fácil de hacer porque requiere que seas desarrollador y que tengas conocimientos para ello (con lo que escapa a mis capacidades), y además todavía está muy verde y tiene que mejorar bastante para que el resultado sea aceptable. Para ello recomiendo visitar el Github de Deoldify, que es como se llama.


Y aquí mi vídeo de Japón en 1913:



Tuve que usar el modelo Theia-Detail para conseguir un resultado aceptable, pero seguro que habría sido mucho mejor si Gaia-CG funcionara correctamente... Espero que en próximas versiones lo arreglen, porque es el mejor y el más versátil.

@SIRDRAK ¿podrías indicarnos los pasos y los programas a seguir, o los tutoriales que has utilizado?

Karaculo escribió:@SIRDRAK ¿podrías indicarnos los pasos y los programas a seguir, o los tutoriales que has utilizado?

En realidad es bastante sencillo... Resumiendo sería lo siguiente:

- Buscas una fuente de buena calidad... Cuanto mejor calidad tenga el vídeo original, mejor serán los resultados.

- Si quieres aumentar el número de fotogramas del vídeo, es imprescindible descargar DAIN, un programa gratuito que usa IA para interpolar los fotogramas y multiplicar los fps x2, x4 o x8. Se puede descargar de aquí: https://www.patreon.com/DAINAPP Ahora precisamente acaba de salir la versión 1.0 y se acaba de convertir en Opensource. Es bastante sencillo de utilizar y ha mejorado bastante en las últimas versiones (ahora más abajo explico un poco cómo se usa). Es el primer paso a dar antes de reescalar el vídeo porque DAIN tiene problemas con los archivos de vídeo de resoluciones grandes (antes daba problemas si alguna de las dimensiones del vídeo superaban los 900 pixels, pero en las últimas versiones parece que se ha solucionado porque he podido procesar vídeo a 1280x720 sin problemas). También DAIN es más lento que Video Enhance AI, por eso es mejor usarlo antes y no después de reescalar.

- Una vez que tenemos el vídeo ya con un número mayor de fotogramas (o si no vamos a variar sus fps), lo siguiente es hacer el reescalado mediante IA, para lo que vamos a usar el Video Enhance AI. Sin embargo, hay que advertir que es un programa de pago y muy caro (199 $) aunque no es complicado de conseguir 'por otras vías'. Hoy por hoy, no sólo es el mejor programa de reescalado de video por IA sino que es el único en su género (vamos que no hay alternativas, comerciales o no, de otras empresas). Se puede usar en su lugar otro programa de la misma empresa, Gigapixel AI, que es mucho más barato, pero implica mucho más trabajo extra y es notablemente más lento, ya que es un programa de reescalado de imágenes (en resumen, hay que extraer primero todos los fotogramas del vídeo a imágenes independientes y procesarlos todos en batch para, terminado el proceso, volver a transformarlos en vídeo con un editor de vídeo tipo Vegas Pro o similar, ocupando una verdadera burrada de espacio en el disco duro y tardando muchísimo más en hacer el procesado). Por los motivos que mencioné unos mensajes antes, no recomiendo usar las versiones 1.7.0 o 1.7.1 a no ser que tengas una gráfica nVidia de la serie 30XX, ya que no son compatibles con las versiones anteriores del software. Si ese no es el caso, mi recomendación es usar la 1.6.1 o la 1.3.8., que son las que mejores resultados parecen dar. La 1.6.1. tiene la ventaja de que permite seleccionar el bitrrate del vídeo final, lo que ahorra espacio y trabajo si quieres conseguir un vídeo de la máxima calidad posible. Su uso, en cualquier caso es extremadamente sencillo: Basta con seleccionar el vídeo que queremos procesar, elegir la resolución que queremos que tenga el video final, y seleccionar uno de los modelos disponibles hasta dar con el que mejor resultado proporcione (para ello basta con pulsar en Preview al seleccionar uno de los modelos para que procese 60 fotogramas). Usualmente el más versátil y que mejores resultados da es Gaia-CG, que en teoría es para dibujos animados/Gráficos de ordenador, pero funciona muy bien con los de imagen real. Una vez elegido el modelo ideal para ese vídeo en concreto, basta con dar a Procesar para empezar a procesar el vídeo.
El programa también dá la posibilidad de sacar el resultado como fotogramas independientes, ya sea en png, en Tiff y otros formatos. Esto es útil en versiones anteriores a la 1.6.1., ya que no daban opción a elegir el bitrrate del vídeo final cuando se elegía mp4 (estaba en unos 30 MB de bitrrate), y si querías mayor calidad era preferible obtener los fotogramas independientes y convertirlos luego en vídeo con Vegas Pro o similar.

- Finalmente, es útil y recomendable usar programas de edición de vídeo como Premiere o Vegas Pro para editar el vídeo resultante si es necesario (por ejemplo, convertir una secuencia de fotogramas en vídeo y añadir la pista de audio del vídeo de origen).

Respecto al DAIN, su manejo también es muy sencillo... En la ventana que se nos abre, deberemos indicar primero el vídeo que se quiere procesar, elegir uno de los modelos (si es imagen real o se trata de animación/gráficos de ordenador, básicamente), indicar la carpeta de salida y por cuánto queremos multiplicar el número de fotogramas. Luego hay en varias pestañas opciones que podemos elegir como que genere una versión del vídeo incluyendo el audio del original, que si el resultado pasa de 60 fps haga una versión del vídeo a 60 fps, o indicarle que es una animación cíclica para el caso de gifs o sprites, por ejemplo.

Básicamente no hay más... Eso sí, hay que echarle muchísima paciencia porque procesar los vídeos es algo que consume muchas horas, tanto para el interpolado de fotogramas como para el reescalado de vídeo, pero los resultados merecen la pena.

@SIRDRAK

Muchas gracias por la explicación tan detallada. Me molaría mucho utilizarlo para series antiguas, sobre todo de anime y otros dibujos. Pero con mi 1050ti no sé si se podrá hacer algo. Aparte de que reescalar todo ese contenido tiene que llevar una burrada de tiempo.

SirAzraelGrotesque escribió:@SIRDRAK

Muchas gracias por la explicación tan detallada. Me molaría mucho utilizarlo para series antiguas, sobre todo de anime y otros dibujos. Pero con mi 1050ti no sé si se podrá hacer algo. Aparte de que reescalar todo ese contenido tiene que llevar una burrada de tiempo.

Con tu gráfica es perfectamente posible... Te animo a que lo hagas como hice yo con los juegos de Don Bluth cuando tenía la 1080.

SIRDRAK escribió:

SirAzraelGrotesque escribió:@SIRDRAK

Muchas gracias por la explicación tan detallada. Me molaría mucho utilizarlo para series antiguas, sobre todo de anime y otros dibujos. Pero con mi 1050ti no sé si se podrá hacer algo. Aparte de que reescalar todo ese contenido tiene que llevar una burrada de tiempo.

Con tu gráfica es perfectamente posible... Te animo a que lo hagas como hice yo con los juegos de Don Bluth cuando tenía la 1080.

Quién sabe, a lo mejor me animo a probar.