Nvidia ha creado una réplica virtual del CEO Jensen Huang, quien presentó parte de la conferencia durante la cual se convocó al Omniverse en abril de 2021.

La compañía de GPU Nvidia, que ahora hace casi imposible comprar una GPU 3080, demostró su destreza en la animación por computadora al incluir una versión virtual de su CEO en un discurso de apertura.

Nvidia reveló en una publicación de blog el miércoles que el CEO Jensen Huang no dio la presentación principal en la conferencia GTC de la compañía en abril. Al menos parte de ella fue impulsada por una versión virtual de Huang, creada escaneando a Huang con un camión lleno de cámaras y luego moviéndolo usando inteligencia artificial, según la compañía. La cocina de Huang, que se ha convertido en el lugar de discusión de Nvidia con clientes e inversores desde el comienzo de la epidemia, está completamente generada por computadora. No está claro exactamente qué parte del discurso de apertura CGI Huang presenta (lo que hace que la línea sea tan impresionante), pero si omite esa parte de la presentación, es posible que vea a Huang desaparecer mágicamente y su cocina explotar en múltiples modelos 3D diferentes.

Para crear un género virtual, los equipos escanearon todo el rostro y el cuerpo para crear un modelo 3D, luego entrenaron a la IA para imitar sus gestos y expresiones y aplicaron la magia de la IA para hacer que su reproducción fuera realista, escribió Nvidia en la publicación. Luego, Jensen Numerick es llevado a una réplica de su cocina que ha sido desmontada para revelar la holocubierta en el Omniverso, sorprendiendo a la audiencia y haciéndoles preguntarse qué tan real o introvertida era la palabra clave.

Después de crear un modelo 3D de Jensen Huang fotografiándolo desde todos los ángulos con una gran cantidad de cámaras, un actor con un traje de captura de movimiento releyó las viejas cartas del CEO simulando sus movimientos. Esto permitió a Nvidia crear 21 modelos 3D que fueron todos analizados para crear un esqueleto virtual convincente. Un algoritmo también estaba en proceso de replicar las expresiones faciales del CEO para agregar una capa de realidad.

READ  Póster de proveedor de Microsoft para "Red Ring of Death" de Xbox, $ 24.99

Luego, un programa llamado Audio2Face recibió la tarea de animar la cara del clon 3D para que se adhiriera al texto que el verdadero Jensen Huang había leído. Otro programa llamado Audio2Gestures permitió a Nvidia mover los brazos y el cuerpo de un maniquí virtual de acuerdo con lo leído. Al combinar estas dos tecnologías, la clonación 3D pudo expresarse físicamente como lo haría un humano real.

Nvidia explicó en su publicación de blog que solo se animaron 14 segundos por hora y 48 minutos del programa. Estos pocos segundos pueden parecer pequeños en comparación con la duración total de la conferencia, pero requiere mucho trabajo.

La compañía también lanzó un video el miércoles que explica cómo pronunciar el discurso de apertura del GTC, que incluía una sección sobre la creación de la cocina virtual de Huang.

Al igual que con el proyecto Digital Mark, la empresa quiere mostrar que estamos entrando en un área donde se pueden visualizar escenas completas y sus herramientas permiten su diseño. También señala que todo el trabajo realizado en el GTC se ha realizado a través de Omniverse y ahora está abierto a los desarrolladores.

Omniverse es una plataforma que integra varias herramientas para que los ingenieros creen animaciones, lo que la empresa llama metavers para ingenieros. En mayo de 2020, Jensen Huang mostró una demostración de Omniverse, donde los ingenieros pueden trabajar en diseños en un entorno virtual, como parte del discurso de apertura en la Conferencia de Tecnología de GPU de Nvidia, un evento virtual en línea que tuvo lugar el mes pasado. Más de 30.000 personas de todo el mundo se han inscrito para participar.

READ  Google Pixel 6 Pro: nuevas filtraciones sugieren las capacidades de los sensores de imagen

Omniverse es una herramienta virtual que permite a los ingenieros colaborar. Está inspirado en el concepto de ciencia ficción de Mtavers, un mundo virtual ficticio descrito en la novela Snow Crash, publicada en 1992, por Neal Stephenson. Este mundo virtual, creado artificialmente por un programa informático, alberga una comunidad de usuarios presentes en forma de avatares que pueden moverse e interactuar socialmente y en ocasiones económicamente.

La analogía con Mtavers es excelente, dijo Richard Kerris, jefe de medios y entretenimiento de Nvidia, en una conferencia de prensa. En realidad, es una analogía que usamos mucho internamente. Podrás colaborar en cualquier parte del mundo en este entorno virtual. Y su flujo de trabajo es esencial, ya sea un usuario final o un desarrollador. Estamos muy entusiasmados con esta plataforma.

Nvidia ha estado trabajando en la tecnología durante un tiempo, con acceso anticipado durante 18 meses. Omniverse, que anteriormente solo estaba disponible en el modo de acceso anticipado, permite la simulación y la colaboración en 3D. Está dedicado a decenas de millones de diseñadores, ingenieros, arquitectos y otros creativos.

Estos desarrollos se unen a otros trabajos de la empresa, en la animación de modelos 3D de un flujo de audio a través de Audio2Face, reduciendo el peso de la videoconferencia, con la posibilidad de reelaborar gestos de ángulos o faciales en tiempo real a través de vid2vid.

La empresa tiene la intención de utilizar una imagen simple de un locutor y utilizarla para crear un avatar digital, que se animará de acuerdo con la retroalimentación proporcionada, con movimientos faciales para dar la impresión de que está dando vueltas. «Toma de cámara, cuando este no es el caso». El interés es evidente en términos de ancho de banda ya que solo se transmite el flujo de audio, todo el trabajo de animación es procesado localmente por la GPU.

READ  Fósil raro encontrado congelado en ámbar durante 16 millones de años

Fuente : nvidia

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *