Nvidia ha invertido (y sigue invirtiendo) una enorme cantidad de recursos en el uso de técnicas de inteligencia artificial para mejorar la calidad de todo tipo de contenidos. DLSS 2.0 es posiblemente la prueba más evidente, aunque también podemos mencionar su excelente tecnología de cancelación de ruido y algunas otras más experimentales pero con un potencial enorme. Ahora se suma Maxine, una plataforma diseñada para mejorar las videoconferencias.
Maxine es descrita como una "plataforma de IA de vídeo por streaming nativa de la nube" diseñada para que los proveedores de este tipo de servicios puedan optimizar la calidad de sus videoconferencias, permitiendo entre otras cosas crear avatares virtuales de mayor calidad, corregir en tiempo real la dirección en la que miran los interlocutores, crear fondos virtuales sin necesidad de una pantalla chroma (algo ya visto en Broadcast), traducir voces a texto y aumentar la resolución drásticamente a partir de streams con un bitrate absolutamente marginal.
Para realizar estas operaciones Nvidia utiliza redes generativas antagónicas o GAN, que tienen por un lado una red neuronal generadora de modelos basados en la creación de ejemplos y otra dedicada a discriminarlos, diferenciado las muestras reales de las falsas. Puesto que el procesamiento se realiza en la nube (usando las GPU para centros de datos de Nvidia, naturalmente), no hay un coste de recursos para el usuario.
Según Nvidia, Maxine puede reducir el ancho de banda necesario para mantener una videoconferencia a una décima parte de lo que sería normal utilizando los requisitos de compresión con el códec H.264. En gran medida, esto es así porque Maxine no envía imágenes a alta resolución, sino que complementa un stream de baja calidad con el envío de datos reflejando el movimiento de regiones concretas del rostro.
De momento Avaya es la primera compañía en anunciar un acuerdo con Nvidia para implementar algunas funciones de Maxine, pero el fabricante de unidades gráficas espera llamar la atención de más compañías.
Maxine es descrita como una "plataforma de IA de vídeo por streaming nativa de la nube" diseñada para que los proveedores de este tipo de servicios puedan optimizar la calidad de sus videoconferencias, permitiendo entre otras cosas crear avatares virtuales de mayor calidad, corregir en tiempo real la dirección en la que miran los interlocutores, crear fondos virtuales sin necesidad de una pantalla chroma (algo ya visto en Broadcast), traducir voces a texto y aumentar la resolución drásticamente a partir de streams con un bitrate absolutamente marginal.
Para realizar estas operaciones Nvidia utiliza redes generativas antagónicas o GAN, que tienen por un lado una red neuronal generadora de modelos basados en la creación de ejemplos y otra dedicada a discriminarlos, diferenciado las muestras reales de las falsas. Puesto que el procesamiento se realiza en la nube (usando las GPU para centros de datos de Nvidia, naturalmente), no hay un coste de recursos para el usuario.
Según Nvidia, Maxine puede reducir el ancho de banda necesario para mantener una videoconferencia a una décima parte de lo que sería normal utilizando los requisitos de compresión con el códec H.264. En gran medida, esto es así porque Maxine no envía imágenes a alta resolución, sino que complementa un stream de baja calidad con el envío de datos reflejando el movimiento de regiones concretas del rostro.
De momento Avaya es la primera compañía en anunciar un acuerdo con Nvidia para implementar algunas funciones de Maxine, pero el fabricante de unidades gráficas espera llamar la atención de más compañías.
Hablando en serio, nvidia se la está sacando con tanto avance tecnológico
Al que le interese el tema hay un canal de youtube de un chaval español que esta bastante bien, DotCSV