[HILO] Inteligencia artificial en videojuegos

1, 2, 3
Pues ya lo tendríamos

MIRAGE - LA IA CAPAZ DE REPLICAR MOTORES GRÁFICOS https://blog.dynamicslab.ai/
El futuro de los videojuegos no lo construyen nivel por nivel diseñadores expertos: lo imaginan, lo generan y lo juegan todos, en tiempo real. (*lo dice el artículo).

Aquí he agarrado una imagen de Barcelona y he pegado un PNG de una imagen de un personaje de google, porque si no ponía un personaje la vista era en primera persona.
Imagen

Resultado, el personaje se convierte en un muñeco animado y la imagen en un entorno tridimensional por el cual es posible andar.
Imagen
Creo que el otro día @SOTN preguntó por algo así, aunque aún está lejos de ser algo perfecto, pero es sorprendente el resultado de lo que puede hacer con una simple imagen, tanto convertir el entorno en tridimensional como animar a un personaje plano.

Descubre Mirage : el primer motor generativo en tiempo real del mundo que permite la creación de contenido generado por usuarios (CGU) en vivo mediante modelos de mundo de IA de vanguardia. Diseñado para una jugabilidad dinámica, interactiva y sostenida, permite generar y modificar mundos enteros en vivo, mediante lenguaje natural, teclado o control.
https://x.com/DynamicsLab_AI/status/1940459356514050172
Mirage admite varios géneros, y hoy lanzamos dos demos jugables: Caos urbano (estilo GTA) y Derrape costero (estilo Forza Horizon) ; ambas se generan completamente sobre la marcha. No son experiencias predefinidas, sino simulaciones jugables en tiempo real, creadas por cada jugador.

Mirage se sitúa a la vanguardia de la IA. Comparado con proyectos recientes, como AI Doom y Genie de Google, AI Minecraft de Decart y AI Quake II de Microsoft, Mirage ofrece varias ventajas distintivas:

Permite contenido generado por el usuario (UGC) a través de la entrada de texto en cualquier momento durante el juego, lo que marca un salto significativo más allá de los enfoques anteriores de generación de juegos basados ​​en modelos mundiales.
Produce imágenes más fotorrealistas, yendo más allá de los estilos pixelados o en bloques de los sistemas anteriores.
Admite experiencias interactivas mucho más largas, con secuencias jugables que se extienden más allá de los diez minutos.
Si bien Mirage aún tiene sus limitaciones (como podrá notar en las demostraciones), confiamos en que, a medida que continuamos ampliando las fronteras de la tecnología generativa en tiempo real, desempeñará un papel decisivo en el futuro de los juegos.

UGC 2.0: El auge del juego generativo
Los juegos tradicionales están preescritos: la ciudad está diseñada, las misiones están guionadas y la experiencia, en última instancia, es finita. Mirage rompe esta barrera al permitir a los jugadores crear nuevas experiencias dinámicamente mientras juegan.

Usando lenguaje natural, teclado o control, los jugadores podrán solicitar un callejón para escapar, generar un vehículo o expandir el horizonte de la ciudad sobre la marcha. El juego responde al instante, integrando estos elementos generados por el usuario a la perfección en la simulación. El mundo no es solo interactivo, sino que evoluciona junto con el jugador.

Imagen

Esto es UGC 2.0 :
Donde cualquiera puede generar sus propios juegos a partir de un simple mensaje de texto.
Donde los jugadores crean, evolucionan y remodelan el juego en vivo mientras juegan.
Y donde cada experiencia es única, dinámica y nunca predefinida.

Construido sobre IA de última generación
Mirage se basa en investigación de vanguardia sobre modelos mundiales, con un modelo de difusión autorregresiva a gran escala basado en transformadores, capaz de generar secuencias de videojuegos controlables y de alta fidelidad. Este marco tecnológico integra varias innovaciones clave:

Una Fundación Capacitada en Juegos

Imagen

Mirage se basa en una sólida base de entrenamiento diseñada para comprender y generar experiencias de juego enriquecedoras. Esta base parte de la recopilación a gran escala de diversos datos de juegos de internet, lo que proporciona la amplitud necesaria para abarcar una amplia gama de mecánicas y estilos de juego.

Para complementar esto, desarrollamos una herramienta especializada de registro de datos que captura interacciones de juego de alta calidad grabadas por humanos. Estas sesiones seleccionadas enriquecen el conjunto de datos con ejemplos detallados y de alta fidelidad, cruciales para entrenar un modelo que capte los comportamientos complejos de los jugadores y la lógica contextual del juego.

Los datos recopilados y registrados se incorporan a un canal de entrenamiento vertical, un enfoque de entrenamiento específico para cada dominio, centrado en los juegos. Esto permite que el modelo internalice en profundidad las reglas del mundo del juego, los patrones sistémicos y las dinámicas interactivas.

El resultado es un modelo capaz de generar contenido de juego coherente, realista y flexible, yendo más allá de las limitaciones de los juegos tradicionales ya creados.

La generación interactiva se une al control en tiempo real
Mirage redefine la interacción en tiempo real al integrar el procesamiento de indicaciones a nivel de cuadro en su núcleo. Esto permite a los jugadores introducir comandos o indicaciones que se interpretan inmediatamente en el contexto del juego.

Jugable en cualquier lugar a través de juegos en la nube:

Sistema de entrada dinámico: Mirage procesa la entrada del jugador (principalmente a través del teclado y texto) con una latencia ultrabaja para una respuesta casi instantánea.
Salida en tiempo real: las actualizaciones visuales se transmiten al navegador a través de un canal de comunicación dúplex completo, donde la entrada y la salida fluyen en paralelo, lo que elimina retrasos y garantiza una interacción fluida.

Bajo el capó, Mirage está equipado con un modelo Transformer causal personalizado, aumentado con:

-Codificadores visuales especializados
-Codificación posicional revisada
-Una estructura optimizada para secuencias interactivas extendidas

Tomando como base tanto los modelos LLM como los de difusión, Mirage facilita la generación de contenido coherente y de alta calidad. Aplicamos una estrategia de destilación avanzada al componente de difusión que garantiza velocidad y calidad.

Los jugadores pueden remodelar el entorno en cualquier momento usando lenguaje natural, lo que activa actualizaciones instantáneas del mundo. Una ventana de contexto extensa, alimentada por caché KV, mantiene la consistencia visual, incluso mientras el mundo evoluciona en tiempo real.

Capacidades clave
-Jugable a 16 FPS: participa en interacciones en tiempo real en definición estándar (SD).
-UGC dinámico: los jugadores pueden alterar el mundo usando comandos de lenguaje natural.
-Jugabilidad extendida: Mirage genera una jugabilidad interactiva de varios minutos de duración con un aspecto visual consistente.
-Transmisión en la nube: Juega al instante en cualquier plataforma, desde cualquier lugar. Sin necesidad de descargas.
-Rejugabilidad infinita: cada partida es única.
-Control multimodal: acepta texto, teclas y entrada del controlador.

Imagen

--------------------------------------------------

Obviamente aún está muy lejos de lograr algo de calidad, pero es bastante bestia que pueda replicar tan fácilmente de esa forma motores gráficos. De hecho no es algo nuevo, ya lo habíamos visto antes con algún juego 2D o de forma muy limitada con GTA V, pero ahora se nota un progreso bastante más grande.

Esto puede abrir un gran abanico de cara a llevar juegos antiguos a motores más actualizados.

De todas formas tampoco me extrañaría si les tiran eso porque se ve a leguas que han usado determinados juegos para replicarlos, lo cual infringiría el copyright.

Lo curioso es que en las demos puedes añadir imágenes de juegos y te genera el fondo con esa imagen, yo he tenido que convertirlas a 720p jpg para que las agarre.

Ejemplos:

LE DOY COMO INPUT UNA IMAGEN DEL JUEGO DE TORRENTE[/b]
Imagen
Me encantaría que esto avance y alguien haga un mapa basandose en Google Maps y poder jugar un sim racing por calles reales.

El mapa en los sims racings es un punto importante para mi, además de un buen motor de físicas.

Me encantaría hacer ciertas carreteras que no he encontrado en ningún juego (ni mods)

Un Flight Simulator, pero simracing usando el mundo entero como pista...

Creo que solo es posible con IA.
@xDarkPeTruSx creo que eso ya es posible con gaussian splatting, de hecho no me extrañaría que ya haya mapas así creados con IA

Aquí con elementos 3D superpuestos https://youtu.be/tZdNkPIvASA

El problema es que aún son necesarios refiners que mejoren la calidad final de los entornos, texturas, inconsistencias, deformidades, no dudo que google u otras empresas gordas los tengan. También hay versiones avanzadas que permiten separar partes de los elementos, por lo que podría haber una IA que por ejemplo genera árboles, te quita los del gaussian que son estáticos y te mete vegetación en movimiento, con físicas, o directamente te convierte en un asset independiste la del entorno.

En algún momento google street view pasará a ser así, no funcionará con imágenes, será una reconstrucción tridimensional con IA a partir de imágenes, totalmente interactiva.

Hacer eso con el mundo entero es jodido porque sería mucho espacio y no cualquiera se lo puede permitir, creo que Flight ya ocupa 2 petabytes de información satélite, pero no sé, igual con Forza Horizon 6 o 7 hacen algo así viendo lo que se ha hecho con Flight Sim 2020; me refiero a que algo así raramente vendrá de un particular, tiene que venir de una empresa grande que se pueda permitir un hosting tremendo como para albergar grandes partes del mundo.

En el hilo de juegos de PC hay un hilo de sim racing y vi algún mapa que parecía hecho con Gaussian splats, pero claro, son mapas cerrados, pero se ven muy bien.
katatsumuri escribió:@xDarkPeTruSx creo que eso ya es posible con gaussian splatting, de hecho no me extrañaría que ya haya mapas así creados con IA

Aquí con elementos 3D superpuestos https://youtu.be/tZdNkPIvASA

El problema es que aún son necesarios refiners que mejoren la calidad final de los entornos, texturas, inconsistencias, deformidades, no dudo que google u otras empresas gordas los tengan. También hay versiones avanzadas que permiten separar partes de los elementos, por lo que podría haber una IA que por ejemplo genera árboles, te quita los del gaussian que son estáticos y te mete vegetación en movimiento, con físicas, o directamente te convierte en un asset independiste la del entorno.

En algún momento google street view pasará a ser así, no funcionará con imágenes, será una reconstrucción tridimensional con IA a partir de imágenes, totalmente interactiva.

Hacer eso con el mundo entero es jodido porque sería mucho espacio y no cualquiera se lo puede permitir, creo que Flight ya ocupa 2 petabytes de información satélite, pero no sé, igual con Forza Horizon 6 o 7 hacen algo así viendo lo que se ha hecho con Flight Sim 2020; me refiero a que algo así raramente vendrá de un particular, tiene que venir de una empresa grande que se pueda permitir un hosting tremendo como para albergar grandes partes del mundo.

En el hilo de juegos de PC hay un hilo de sim racing y vi algún mapa que parecía hecho con Gaussian splats, pero claro, son mapas cerrados, pero se ven muy bien.



Está genial.


Si, yo me refiero a mapas cerrados. No se lo que ocuparía, pero por decir algo, un mapa de toda cataluña y que pudieras conducir con físicas simples del mapa, pero buenas físicas de conducción. El mapa en si es por darle más inmersión, pero lo importante para mi en un sim racing es como se siente el asfalto cuando llueve, nieva, humedad, curvas, etc...
103 respuestas
1, 2, 3