[HILO] Inteligencia artificial en videojuegos

1, 2, 3
Pues ya lo tendríamos

MIRAGE - LA IA CAPAZ DE REPLICAR MOTORES GRÁFICOS https://blog.dynamicslab.ai/
El futuro de los videojuegos no lo construyen nivel por nivel diseñadores expertos: lo imaginan, lo generan y lo juegan todos, en tiempo real. (*lo dice el artículo).

Aquí he agarrado una imagen de Barcelona y he pegado un PNG de una imagen de un personaje de google, porque si no ponía un personaje la vista era en primera persona.
Imagen

Resultado, el personaje se convierte en un muñeco animado y la imagen en un entorno tridimensional por el cual es posible andar.
Imagen
Creo que el otro día @SOTN preguntó por algo así, aunque aún está lejos de ser algo perfecto, pero es sorprendente el resultado de lo que puede hacer con una simple imagen, tanto convertir el entorno en tridimensional como animar a un personaje plano.

Descubre Mirage : el primer motor generativo en tiempo real del mundo que permite la creación de contenido generado por usuarios (CGU) en vivo mediante modelos de mundo de IA de vanguardia. Diseñado para una jugabilidad dinámica, interactiva y sostenida, permite generar y modificar mundos enteros en vivo, mediante lenguaje natural, teclado o control.
https://x.com/DynamicsLab_AI/status/1940459356514050172
Mirage admite varios géneros, y hoy lanzamos dos demos jugables: Caos urbano (estilo GTA) y Derrape costero (estilo Forza Horizon) ; ambas se generan completamente sobre la marcha. No son experiencias predefinidas, sino simulaciones jugables en tiempo real, creadas por cada jugador.

Mirage se sitúa a la vanguardia de la IA. Comparado con proyectos recientes, como AI Doom y Genie de Google, AI Minecraft de Decart y AI Quake II de Microsoft, Mirage ofrece varias ventajas distintivas:

Permite contenido generado por el usuario (UGC) a través de la entrada de texto en cualquier momento durante el juego, lo que marca un salto significativo más allá de los enfoques anteriores de generación de juegos basados ​​en modelos mundiales.
Produce imágenes más fotorrealistas, yendo más allá de los estilos pixelados o en bloques de los sistemas anteriores.
Admite experiencias interactivas mucho más largas, con secuencias jugables que se extienden más allá de los diez minutos.
Si bien Mirage aún tiene sus limitaciones (como podrá notar en las demostraciones), confiamos en que, a medida que continuamos ampliando las fronteras de la tecnología generativa en tiempo real, desempeñará un papel decisivo en el futuro de los juegos.

UGC 2.0: El auge del juego generativo
Los juegos tradicionales están preescritos: la ciudad está diseñada, las misiones están guionadas y la experiencia, en última instancia, es finita. Mirage rompe esta barrera al permitir a los jugadores crear nuevas experiencias dinámicamente mientras juegan.

Usando lenguaje natural, teclado o control, los jugadores podrán solicitar un callejón para escapar, generar un vehículo o expandir el horizonte de la ciudad sobre la marcha. El juego responde al instante, integrando estos elementos generados por el usuario a la perfección en la simulación. El mundo no es solo interactivo, sino que evoluciona junto con el jugador.

Imagen

Esto es UGC 2.0 :
Donde cualquiera puede generar sus propios juegos a partir de un simple mensaje de texto.
Donde los jugadores crean, evolucionan y remodelan el juego en vivo mientras juegan.
Y donde cada experiencia es única, dinámica y nunca predefinida.

Construido sobre IA de última generación
Mirage se basa en investigación de vanguardia sobre modelos mundiales, con un modelo de difusión autorregresiva a gran escala basado en transformadores, capaz de generar secuencias de videojuegos controlables y de alta fidelidad. Este marco tecnológico integra varias innovaciones clave:

Una Fundación Capacitada en Juegos

Imagen

Mirage se basa en una sólida base de entrenamiento diseñada para comprender y generar experiencias de juego enriquecedoras. Esta base parte de la recopilación a gran escala de diversos datos de juegos de internet, lo que proporciona la amplitud necesaria para abarcar una amplia gama de mecánicas y estilos de juego.

Para complementar esto, desarrollamos una herramienta especializada de registro de datos que captura interacciones de juego de alta calidad grabadas por humanos. Estas sesiones seleccionadas enriquecen el conjunto de datos con ejemplos detallados y de alta fidelidad, cruciales para entrenar un modelo que capte los comportamientos complejos de los jugadores y la lógica contextual del juego.

Los datos recopilados y registrados se incorporan a un canal de entrenamiento vertical, un enfoque de entrenamiento específico para cada dominio, centrado en los juegos. Esto permite que el modelo internalice en profundidad las reglas del mundo del juego, los patrones sistémicos y las dinámicas interactivas.

El resultado es un modelo capaz de generar contenido de juego coherente, realista y flexible, yendo más allá de las limitaciones de los juegos tradicionales ya creados.

La generación interactiva se une al control en tiempo real
Mirage redefine la interacción en tiempo real al integrar el procesamiento de indicaciones a nivel de cuadro en su núcleo. Esto permite a los jugadores introducir comandos o indicaciones que se interpretan inmediatamente en el contexto del juego.

Jugable en cualquier lugar a través de juegos en la nube:

Sistema de entrada dinámico: Mirage procesa la entrada del jugador (principalmente a través del teclado y texto) con una latencia ultrabaja para una respuesta casi instantánea.
Salida en tiempo real: las actualizaciones visuales se transmiten al navegador a través de un canal de comunicación dúplex completo, donde la entrada y la salida fluyen en paralelo, lo que elimina retrasos y garantiza una interacción fluida.

Bajo el capó, Mirage está equipado con un modelo Transformer causal personalizado, aumentado con:

-Codificadores visuales especializados
-Codificación posicional revisada
-Una estructura optimizada para secuencias interactivas extendidas

Tomando como base tanto los modelos LLM como los de difusión, Mirage facilita la generación de contenido coherente y de alta calidad. Aplicamos una estrategia de destilación avanzada al componente de difusión que garantiza velocidad y calidad.

Los jugadores pueden remodelar el entorno en cualquier momento usando lenguaje natural, lo que activa actualizaciones instantáneas del mundo. Una ventana de contexto extensa, alimentada por caché KV, mantiene la consistencia visual, incluso mientras el mundo evoluciona en tiempo real.

Capacidades clave
-Jugable a 16 FPS: participa en interacciones en tiempo real en definición estándar (SD).
-UGC dinámico: los jugadores pueden alterar el mundo usando comandos de lenguaje natural.
-Jugabilidad extendida: Mirage genera una jugabilidad interactiva de varios minutos de duración con un aspecto visual consistente.
-Transmisión en la nube: Juega al instante en cualquier plataforma, desde cualquier lugar. Sin necesidad de descargas.
-Rejugabilidad infinita: cada partida es única.
-Control multimodal: acepta texto, teclas y entrada del controlador.

Imagen

--------------------------------------------------

Obviamente aún está muy lejos de lograr algo de calidad, pero es bastante bestia que pueda replicar tan fácilmente de esa forma motores gráficos. De hecho no es algo nuevo, ya lo habíamos visto antes con algún juego 2D o de forma muy limitada con GTA V, pero ahora se nota un progreso bastante más grande.

Esto puede abrir un gran abanico de cara a llevar juegos antiguos a motores más actualizados.

De todas formas tampoco me extrañaría si les tiran eso porque se ve a leguas que han usado determinados juegos para replicarlos, lo cual infringiría el copyright.

Lo curioso es que en las demos puedes añadir imágenes de juegos y te genera el fondo con esa imagen, yo he tenido que convertirlas a 720p jpg para que las agarre.

Ejemplos:

LE DOY COMO INPUT UNA IMAGEN DEL JUEGO DE TORRENTE[/b]
Imagen
Me encantaría que esto avance y alguien haga un mapa basandose en Google Maps y poder jugar un sim racing por calles reales.

El mapa en los sims racings es un punto importante para mi, además de un buen motor de físicas.

Me encantaría hacer ciertas carreteras que no he encontrado en ningún juego (ni mods)

Un Flight Simulator, pero simracing usando el mundo entero como pista...

Creo que solo es posible con IA.
@xDarkPeTruSx creo que eso ya es posible con gaussian splatting, de hecho no me extrañaría que ya haya mapas así creados con IA

Aquí con elementos 3D superpuestos https://youtu.be/tZdNkPIvASA

El problema es que aún son necesarios refiners que mejoren la calidad final de los entornos, texturas, inconsistencias, deformidades, no dudo que google u otras empresas gordas los tengan. También hay versiones avanzadas que permiten separar partes de los elementos, por lo que podría haber una IA que por ejemplo genera árboles, te quita los del gaussian que son estáticos y te mete vegetación en movimiento, con físicas, o directamente te convierte en un asset independiste la del entorno.

En algún momento google street view pasará a ser así, no funcionará con imágenes, será una reconstrucción tridimensional con IA a partir de imágenes, totalmente interactiva.

Hacer eso con el mundo entero es jodido porque sería mucho espacio y no cualquiera se lo puede permitir, creo que Flight ya ocupa 2 petabytes de información satélite, pero no sé, igual con Forza Horizon 6 o 7 hacen algo así viendo lo que se ha hecho con Flight Sim 2020; me refiero a que algo así raramente vendrá de un particular, tiene que venir de una empresa grande que se pueda permitir un hosting tremendo como para albergar grandes partes del mundo.

En el hilo de juegos de PC hay un hilo de sim racing y vi algún mapa que parecía hecho con Gaussian splats, pero claro, son mapas cerrados, pero se ven muy bien.
katatsumuri escribió:@xDarkPeTruSx creo que eso ya es posible con gaussian splatting, de hecho no me extrañaría que ya haya mapas así creados con IA

Aquí con elementos 3D superpuestos https://youtu.be/tZdNkPIvASA

El problema es que aún son necesarios refiners que mejoren la calidad final de los entornos, texturas, inconsistencias, deformidades, no dudo que google u otras empresas gordas los tengan. También hay versiones avanzadas que permiten separar partes de los elementos, por lo que podría haber una IA que por ejemplo genera árboles, te quita los del gaussian que son estáticos y te mete vegetación en movimiento, con físicas, o directamente te convierte en un asset independiste la del entorno.

En algún momento google street view pasará a ser así, no funcionará con imágenes, será una reconstrucción tridimensional con IA a partir de imágenes, totalmente interactiva.

Hacer eso con el mundo entero es jodido porque sería mucho espacio y no cualquiera se lo puede permitir, creo que Flight ya ocupa 2 petabytes de información satélite, pero no sé, igual con Forza Horizon 6 o 7 hacen algo así viendo lo que se ha hecho con Flight Sim 2020; me refiero a que algo así raramente vendrá de un particular, tiene que venir de una empresa grande que se pueda permitir un hosting tremendo como para albergar grandes partes del mundo.

En el hilo de juegos de PC hay un hilo de sim racing y vi algún mapa que parecía hecho con Gaussian splats, pero claro, son mapas cerrados, pero se ven muy bien.



Está genial.


Si, yo me refiero a mapas cerrados. No se lo que ocuparía, pero por decir algo, un mapa de toda cataluña y que pudieras conducir con físicas simples del mapa, pero buenas físicas de conducción. El mapa en si es por darle más inmersión, pero lo importante para mi en un sim racing es como se siente el asfalto cuando llueve, nieva, humedad, curvas, etc...
"Elon Musk piensa que estamos “bastante cerca” de ver a la IA crear juegos de Super Nintendo"

"Decirle a una IA que “te haga un juego de Super Nintendo” con las especificaciones que se quieran, y que sea capaz de producir un título jugable, siguiendo la estética, fortalezas y limitaciones propias de la mítica consola de Nintendo. Esto es la última apuesta de varios entusiastas de la Inteligencia Artificial, bendecidos por el propio Elon Musk.

Una muestra de esta mentalidad lo encontramos en el hilo de arriba, en el que uno de estos entusiastas de la nueva tecnología habla de cómo la IA podría crear ciertos juegos retro basados en franquicias de renombre tales como ‘El Señor de los Anillos’, ‘Breaking Bad’, ‘Juego de Tronos’ o ‘John Wick’. En este caso el resultado son vídeos, no juegos, y aunque resultones en algunos casos, tienen el mismo problema por el que se hace complicado pensar que la tecnología puede crear un juego completo de la nada: consistencia. Incluso en vídeos de pocos segundos, se notan problemas de coherencia en el estilo visual o en las animaciones, algo que sería inviable en un juego real (también es justo decir que la tecnología ha avanzado mucho en poco tiempo a ese respecto).

Pero el pensamiento está ahí y hay quien está convencido de que es factible, el propio Elon Musk incluido, que considera que “estamos bastante cerca”. Bien es cierto que la IA es una potente herramienta de programación y generación de recursos visuales, pero se hace complicado pensar que pueda elaborar de forma convincente aspectos como el control, o el diseño de mapas, enemigos y jefes finales, de una forma que tenga sentido y que esté a la altura de los referentes del género. Pero quién sabe en esta época de posibilidades y castillos en el aire.

Fuente:



Creéis que estamos cerca de conseguir algo así o que es más probable que ocurra dentro de unos 5 años o más...?
A estas alturas nunca se sabe, haber cosas ya las hay basadas en otros juegos 2D que se generan en tiempo real, pero hasta el punto de tener un juego de NES con una cohesión y perfecto sin ser un clon de otro creo que aún estamos un poco lejos, hasta el momento se han conseguido simular juegos como DOOM con GameNGen, genie también crea juegos 2D que son como los de NES y va por buen camino en referencia a lo que preguntas.


El problema que le veo es que un juego tiene que tener cierto diseño y coherencia, si agarras un objeto y lo tienes que entregar a un personaje que viste anteriormente en el juego la IA tiene que recordar eso, el mapa, la narrativa, para eso tenderían que haber varios modelos de IA cohesionados trabajando para un mismo propósito.

Por ejemplo, un juego de plataformas tipo NES donde solo tienes que avanzar saltando y disparando a enemigos no lo vería tan problema, porque no tiene que haber tanta cohesión, pero si hay backtracking y narrativa con objetos repartidos por el mundo, algo tipo de Zelda y esas cosas ya es diferente.


Pero como dice el artículo, el vídeo interactivo podría sorprendernos en cualquier momento, aunque el vídeo aún tiene problemas, sigue sin ser perfecto, es cierto que ha mejorado mucho en muy poco, aunque con 2D podría funcionar muy bien respecto a 3D; el 3D aún muestra anomalías cuando hay muchos elementos moviéndose de fondo en la profundidad, tráfico de personas y de vehículos, y por otra parte está el problema de la generación en tiempo real de forma local, poderlo ejecutar en tiempo real con una GPU doméstica, por lo que puede que aparezca una empresa que brinde ese servicio en la nube por streaming, luego con el tiempo ya aparecerían modelos open source en local.




Piensa que tiene que generar la música, la narrativa, los gráficos, el diseño, mecánicas y todo eso funcionar a la vez con cierta lógica, pero sin duda en algún momento ocurrirá, no puedo decir cuando porque no puedo adivinarlo, pero lo hará en algún momento, de hecho las multinacionales, aunque no lo veamos, están trabajando como locas en ello a la sombra porque saben que quien lo consiga es quien se comerá el mercado a futuro seguramente con esta industria, y la industria antigua posiblemente quedará obsoleta, los motores gráficos tal y como los conocemos posiblemente ya no se usarán, además que quien lo haga es quien ofrecerá las herramientas para que la gente pueda crear y compartir experiencias con otras personas, esas empresas simplemente se dedicarán seguramente a crear modelos de IA que sean lo más sofisticados dentro de lo posible, ya vemos que actualmente en los LLM o con el vídeo es pura competición entre ellas de a ver quien saca el mejor modelo.


https://youtu.be/87L1O3W4TRU
https://www.youtube.com/shorts/QIAhJQhh ... ture=share


Lo que está claro es que la industria tarde o temprano va a dar un vuelco a lo que es hoy en día, si no fuese así no habría tanto miedo y crispación, yo ya dije que muchas empresas seguramente desaparecerán, incluso las vacas sagradas de la industria, y a saber que ocurrirá con el concepto de propiedad intelectual, porque si cualquiera puede crear juegos de ellas ¿Qué sentido tendrán entonces si las empresas ya no tendrán control? Cualquiera podría liberar juegos por ahí, es algo que me pregunto, como afectará eso a los propietarios de las IPs.

Antes para hacer un fan project de zelda tomaba años y te lo hacía un fanático muy fanático, o un grupo de fanáticos, gente que tenía el conocimiento para hacerlo, y Nintendo era capaz de cortar el grifo rápido si lo detectaba, pero si ahora 1000 personas pueden hacer zeldas de forma rápida y sencilla es que se va a desbordar todo.


Por otra parte hay que pensar como con internet, cuando internet apareció en España no es ni de broma a como es ahora, no había servicios de streaming de vídeo por red, nadie usaba internet en el teléfono ni existían los smartphones, las descargas tardaban días, internet tuvo un proceso de evolución bastante lento que ha traído muchas novedades a largo plazo hasta lo que es hoy en día, y con la IA pasará igual, hasta dentro de 20 años no estará del todo asentada más o menos.

Y eso que pienso que internet aún tiene mucho que ofrecernos en juegos, por ejemplo, actualmente solo lo usamos para descargar parches o juegos, pero creo que en un futuro este debería de poder modificar los motores gráficos, por ejemplo con Chatgpt, o generadores de assets y personajes en servidores que luego los inyectan en el juego, creación de paths para estos, o ser puramente controlados por servidores, que sean como jugadores conectados al juego si pagas una suscripción a la empresa.

Obviamente que a los que nos gusta la tecnología disfrutaremos el camino con lo que vaya apareciendo, aunque sin duda si pudiera apretaría el botón de avanzar el proceso sin dudarlo. [carcajad]

También está el problema de la eficiencia y el consumo, actualmente los modelos consumen mucha energía y recursos del hardware, necesitamos años para que sea accesible a nivel doméstico en muchos entornos, y que sea algo rápido, actualmente generar imágenes con modelos como flux en una GPU moderna media toma bastante, en juegos diría que aún no sabemos muy bien lo que consumen, pero no creo que sea poco, aunque variará en función del modelo, fps y resolución.


Por cierto, vi esto y la verdad que la ventana creativa que se creará será alucinante, la cantidad de gente que podrá crear y compartir conceptos nos va a saturar:


El problema que veo es que igual nos volveremos más individualistas, ahora todos compartimos los mismos juegos, las mismas experiencias, pero no sé si en un futuro eso puede cambiar y creo que en parte tendrá cosas negativas, si pasa mucha gente de nuestra época dirá "en nuestros tiempos la gente compartía los juegos, los juegos se disfrutaban en común a nivel mundial, había más unión, la gente se juntaba a hablar de ellos, a buscar como pasar determinado nivel, en cambio hoy en día cada uno juega cosas únicas diferentes y eso ya no existe, no hay esa sensación de que estás compartiendo lo mismo que otras personas".

Algo parecido se dice a día de hoy con los niños y las pantallas.

Aunque es posible que se sigan compartiendo experiencias de otras personas, habrá gente que querrá jugar lo que otro tiene en mente, pero creo que ya no será como ahora, será posiblemente a un nivel a más pequeña escala que no tan universal como es ahora que la gente juega a cosas de otros países, y a nivel de online se volverá más a "crear un juego para jugar con tus amigos de la escuela" pero cuando te hagas adulto y conozcas a gente nueva no podrás hablar sobre tal juego que jugabas de pequeño y que quizás esos nuevos amigos también lo jugaban.
105 respuestas
1, 2, 3