En el marco del Unreal Fest Seattle 2024, NVIDIA ha lanzado una serie de nuevos plugins para NVIDIA ACE en Unreal Engine 5, diseñados para simplificar la creación e implementación de personajes MetaHuman basados en inteligencia artificial (IA). Estas herramientas están orientadas a desarrolladores que trabajan en PC con Windows, proporcionando mayor fluidez y escalabilidad en el diseño de personajes digitales interactivos.
Aspectos destacados de los nuevos plugins ACE
- Plugin Audio2Face-3D: Permite la sincronización labial y la animación facial en tiempo real usando IA, directamente en Unreal Engine 5. Esta herramienta es clave para mejorar la inmersión de los personajes digitales al hacer que sus expresiones faciales reflejen con precisión el diálogo.
- Plugin Nemotron-Mini 4B: Facilita la generación automática de respuestas de diálogos interactivos para personajes MetaHuman, optimizando la creación de conversaciones realistas sin necesidad de intervención manual.
- Plugin Retrieval Augmented Generation (RAG): Proporciona información contextual en tiempo real para mejorar las interacciones de los personajes con el entorno y otros NPCs, haciendo que las conversaciones y reacciones sean más fluidas y naturales.
Integración con Autodesk Maya y otros avances
NVIDIA también lanzó el plugin Audio2Face-3D para Autodesk Maya, que permite la creación de animaciones faciales de alta calidad basadas en audio dentro del software. Este plugin incluye el código fuente, lo que permite personalizar y mejorar su integración con otras herramientas de creación de contenidos. Además, facilita el flujo de trabajo entre Maya y Unreal Engine 5, agilizando el proceso de animación y exportación de personajes digitales.
Nuevas capacidades de transmisión con Pixel Streaming
El Unreal Engine 5 Renderer Microservice ahora es compatible con el microservicio NVIDIA ACE Animation Graph y el sistema operativo Linux en acceso anticipado. Utilizando la tecnología Pixel Streaming de Epic, los desarrolladores pueden transmitir personajes MetaHuman de alta fidelidad a cualquier dispositivo a través de Web Real-Time Communication (WebRTC), lo que expande las posibilidades para juegos y aplicaciones basadas en la nube.
Ventajas para los desarrolladores
Estos nuevos plugins están diseñados para optimizar el proceso de creación e implementación de humanos digitales en juegos y aplicaciones, ofreciendo ventajas como:
- Flujos de trabajo simplificados para animaciones faciales y diálogos interactivos.
- Optimización de recursos para reducir la latencia y el consumo de memoria en PC.
- Escalabilidad mejorada para aplicaciones en la nube.
- Personalización y flexibilidad, gracias al código fuente disponible para los desarrolladores.
Los interesados pueden solicitar acceso anticipado para descargar el microservicio de renderizado de Unreal Engine 5 y el plugin Maya ACE, disponible en GitHub.
