Pues ya lo tendríamos
MIRAGE - LA IA CAPAZ DE REPLICAR MOTORES GRÁFICOS https://blog.dynamicslab.ai/El futuro de los videojuegos no lo construyen nivel por nivel diseñadores expertos: lo imaginan, lo generan y lo juegan todos, en tiempo real. (
*lo dice el artículo).
Aquí he agarrado una imagen de Barcelona y he pegado un PNG de una imagen de un personaje de google, porque si no ponía un personaje la vista era en primera persona.

Resultado, el personaje se convierte en un muñeco animado y la imagen en un entorno tridimensional por el cual es posible andar.

Creo que el otro día
@SOTN preguntó por algo así, aunque aún está lejos de ser algo perfecto, pero es sorprendente el resultado de lo que puede hacer con una simple imagen, tanto convertir el entorno en tridimensional como animar a un personaje plano.
Descubre Mirage : el primer motor generativo en tiempo real del mundo que permite la creación de contenido generado por usuarios (CGU) en vivo mediante modelos de mundo de IA de vanguardia. Diseñado para una jugabilidad dinámica, interactiva y sostenida, permite generar y modificar mundos enteros en vivo, mediante lenguaje natural, teclado o control.
https://x.com/DynamicsLab_AI/status/1940459356514050172Mirage admite varios géneros, y hoy lanzamos dos demos jugables: Caos urbano (estilo GTA) y Derrape costero (estilo Forza Horizon) ; ambas se generan completamente sobre la marcha. No son experiencias predefinidas, sino simulaciones jugables en tiempo real, creadas por cada jugador.
Mirage se sitúa a la vanguardia de la IA. Comparado con proyectos recientes, como AI Doom y Genie de Google, AI Minecraft de Decart y AI Quake II de Microsoft, Mirage ofrece varias ventajas distintivas:
Permite contenido generado por el usuario (UGC) a través de la entrada de texto en cualquier momento durante el juego, lo que marca un salto significativo más allá de los enfoques anteriores de generación de juegos basados en modelos mundiales.
Produce imágenes más fotorrealistas, yendo más allá de los estilos pixelados o en bloques de los sistemas anteriores.
Admite experiencias interactivas mucho más largas, con secuencias jugables que se extienden más allá de los diez minutos.
Si bien Mirage aún tiene sus limitaciones (como podrá notar en las demostraciones), confiamos en que, a medida que continuamos ampliando las fronteras de la tecnología generativa en tiempo real, desempeñará un papel decisivo en el futuro de los juegos.
UGC 2.0: El auge del juego generativoLos juegos tradicionales están preescritos: la ciudad está diseñada, las misiones están guionadas y la experiencia, en última instancia, es finita. Mirage rompe esta barrera al permitir a los jugadores crear nuevas experiencias dinámicamente mientras juegan.
Usando lenguaje natural, teclado o control, los jugadores podrán solicitar un callejón para escapar, generar un vehículo o expandir el horizonte de la ciudad sobre la marcha. El juego responde al instante, integrando estos elementos generados por el usuario a la perfección en la simulación. El mundo no es solo interactivo, sino que evoluciona junto con el jugador.
Esto es UGC 2.0 :Donde cualquiera puede generar sus propios juegos a partir de un simple mensaje de texto.
Donde los jugadores crean, evolucionan y remodelan el juego en vivo mientras juegan.
Y donde cada experiencia es única, dinámica y nunca predefinida.
Construido sobre IA de última generación
Mirage se basa en investigación de vanguardia sobre modelos mundiales, con un modelo de difusión autorregresiva a gran escala basado en transformadores, capaz de generar secuencias de videojuegos controlables y de alta fidelidad. Este marco tecnológico integra varias innovaciones clave:
Una Fundación Capacitada en Juegos

Mirage se basa en una sólida base de entrenamiento diseñada para comprender y generar experiencias de juego enriquecedoras. Esta base parte de la recopilación a gran escala de diversos datos de juegos de internet, lo que proporciona la amplitud necesaria para abarcar una amplia gama de mecánicas y estilos de juego.
Para complementar esto, desarrollamos una herramienta especializada de registro de datos que captura interacciones de juego de alta calidad grabadas por humanos. Estas sesiones seleccionadas enriquecen el conjunto de datos con ejemplos detallados y de alta fidelidad, cruciales para entrenar un modelo que capte los comportamientos complejos de los jugadores y la lógica contextual del juego.
Los datos recopilados y registrados se incorporan a un canal de entrenamiento vertical, un enfoque de entrenamiento específico para cada dominio, centrado en los juegos. Esto permite que el modelo internalice en profundidad las reglas del mundo del juego, los patrones sistémicos y las dinámicas interactivas.
El resultado es un modelo capaz de generar contenido de juego coherente, realista y flexible, yendo más allá de las limitaciones de los juegos tradicionales ya creados.
La generación interactiva se une al control en tiempo realMirage redefine la interacción en tiempo real al integrar el procesamiento de indicaciones a nivel de cuadro en su núcleo. Esto permite a los jugadores introducir comandos o indicaciones que se interpretan inmediatamente en el contexto del juego.
Jugable en cualquier lugar a través de juegos en la nube:Sistema de entrada dinámico: Mirage procesa la entrada del jugador (principalmente a través del teclado y texto) con una latencia ultrabaja para una respuesta casi instantánea.
Salida en tiempo real: las actualizaciones visuales se transmiten al navegador a través de un canal de comunicación dúplex completo, donde la entrada y la salida fluyen en paralelo, lo que elimina retrasos y garantiza una interacción fluida.
Bajo el capó, Mirage está equipado con un modelo Transformer causal personalizado, aumentado con:
-Codificadores visuales especializados
-Codificación posicional revisada
-Una estructura optimizada para secuencias interactivas extendidas
Tomando como base tanto los modelos LLM como los de difusión, Mirage facilita la generación de contenido coherente y de alta calidad. Aplicamos una estrategia de destilación avanzada al componente de difusión que garantiza velocidad y calidad.
Los jugadores pueden remodelar el entorno en cualquier momento usando lenguaje natural, lo que activa actualizaciones instantáneas del mundo. Una ventana de contexto extensa, alimentada por caché KV, mantiene la consistencia visual, incluso mientras el mundo evoluciona en tiempo real.
Capacidades clave-Jugable a 16 FPS: participa en interacciones en tiempo real en definición estándar (SD).
-UGC dinámico: los jugadores pueden alterar el mundo usando comandos de lenguaje natural.
-Jugabilidad extendida: Mirage genera una jugabilidad interactiva de varios minutos de duración con un aspecto visual consistente.
-Transmisión en la nube: Juega al instante en cualquier plataforma, desde cualquier lugar. Sin necesidad de descargas.
-Rejugabilidad infinita: cada partida es única.
-Control multimodal: acepta texto, teclas y entrada del controlador.
--------------------------------------------------Obviamente aún está muy lejos de lograr algo de calidad, pero es bastante bestia que pueda replicar tan fácilmente de esa forma motores gráficos. De hecho no es algo nuevo, ya lo habíamos visto antes con algún juego 2D o de forma muy limitada con GTA V, pero ahora se nota un progreso bastante más grande.
Esto puede abrir un gran abanico de cara a llevar juegos antiguos a motores más actualizados.
De todas formas tampoco me extrañaría si les tiran eso porque se ve a leguas que han usado determinados juegos para replicarlos, lo cual infringiría el copyright.
Lo curioso es que en las demos puedes añadir imágenes de juegos y te genera el fondo con esa imagen, yo he tenido que convertirlas a 720p jpg para que las agarre.
Ejemplos:
LE DOY COMO INPUT UNA IMAGEN DEL JUEGO DE TORRENTE[/b]