Plug-in Gaussian Splatter para Blender

En las semanas precedentes, mi curro digital se ha visto inundado por una secuencia de llamativos contenidos multimedia en los que aparecía el término emergente «SPLATTING GAUSSIANO» Al descubrirlo, mi respuesta fue inequívocamente lógica: me indigné. ¿Qué nueva jerga es ésta? Mi reacción inicial fue un poco de sorpresa

En los últimos años, mi curiosidad intelectual se ha visto saciada con una serie de avances tecnológicos como los NERF, la IA generativa, el renderizado neuronal, el Deep Learning Upsampling, el modelado SDK y varios formatos de activos digitales como GLB, GTLF, USD, USDa, USDc y USDz.

Embarquémonos en esta exploración.

¿Qué es el 3D Gaussian Splatting?

el 3D Gaussian Splatting, también denominado GSplats, es un enfoque innovador para construir entornos 3D intrincados utilizando una miríada de puntos de color a diferentes distancias en la pantalla como un estilo de nube de puntos, con la diferencia de que esos puntos al formar una superficie pueden reflejar luces en tiempo real, no como puntos estáticos, lo que la convierte en una gran tecnología candidata para el renderizado en tiempo real. Se inicia con la asimilación de datos visuales que representan diversas perspectivas alrededor de la escena El software interpreta estos datos para fabricar una nube de puntos 3D de la escena con resultados muy realistas

No es exactamente lo mismo que la Fotogrametría, que transmuta una colección de imágenes en un modelo 3D convencional basado en polígonos, completo con atributos de material para la compatibilidad con otras soluciones de software 3D, Gaussian Splatting aprovecha dichos datos para cultivar una nube de puntos o campo de radiancia, codificando detalles exhaustivos para la generación de imágenes.

¿Gaussian Splatting emplea esencialmente un campo de radiancia para la síntesis de imágenes como NERF?

Bueno, ambas tecnologías comparten similitudes; sin embargo, existe una notable distinción. Los splats gaussianos son entidades estáticas. En cambio, los NeRF pueden extrapolar información espacial adicional mediante algoritmos de aprendizaje automático, más allá de lo que proporcionan las imágenes de origen.

¿Son superiores los NeRF?

La verdad es que no. El Splatting gaussiano presenta varias ventajas en comparación con los NeRF:

Computacionalmente es menos intensivo y más rápido, desprovisto de procesos de aprendizaje automático.
Los archivos de datos resultantes suelen ser más compactos y fáciles de archivar.
Con dos décadas de investigación y sin depender del aprendizaje automático, los resultados tienden a ser más consistentes.

Renderizado NeRF por Michael Rubloff ¿Cuáles son las ventajas de los NeRF?

Los NeRF aprovechan el aprendizaje automático para extrapolar y renderizar información espacial adicional no presente en las imágenes de origen, facilitan los movimientos de cámara y capturan vistas inaccesibles incluso para los operadores de drones.

¿Podrían sustituir a la fotogrametría?

Las salpicaduras gaussianas, con el reciente apoyo de Polygon APP y Luma App, pueden convertirse en una ayuda útil para la fotogrametría Los NeRF y las salpicaduras gaussianas no generan modelos 3D poligonales, por lo que resultan inadecuados para su integración en procesos de producción de películas o videojuegos en los que se requieren datos poligonales. Además, alterar los mapas de textura de los escaneados fotogramétricos para editar el objeto capturado es más factible que modificar los datos del campo de radiancia.

Tanto los NeRF como los Gaussian Splats destacan en la captura de objetos con propiedades transparentes o reflectantes, temas en los que la fotogrametría suele fallar. Aunque no son ideales para los flujos de trabajo de producción en 3D, son excepcionalmente adecuados para crear efectos visuales de fondo en un entorno de producción virtual.

Conclusión

A pesar de la reticencia inicial del mercado a adoptar conceptos novedosos, los Gaussian Splats van camino de convertirse en el estándar de facto para adquirir escenas y objetos 3D y permitir el renderizado en tiempo real para su uso en aplicaciones profesionales y videojuegos. Puedes comprobarlo en el siguiente vídeo.