PartCrafter: Generación de malla 3D estructurada en un solo paso a partir de una única imagen

Imagine subir una única imagen RGB y recibir al instante un modelo 3D completo desglosado en partes individuales y semánticamente significativas, listas para editar, imprimir o animar. Eso es exactamente lo que consigue PartCrafter.

Artículo y repositorio

Artículo de investigación
Título: “PartCrafter: Structured 3D Mesh Generation via Compositional Latent Diffusion Transformers”
Autores: Yuchen Lin, Chenguo Lin, Panwang Pan, Honglei Yan, Yiqiang Feng, Yadong Mu, Katerina Fragkiadaki
Publicado: 5 de junio de 2025, en arXiv

Repositorio oficial de GitHub

• Contiene el código completo, con licencia MIT, y publicará los pesos del modelo y las demostraciones a mediados de julio

Página del proyecto

• Alojada por los autores, resume el método y enlaza al artículo y al código

  
  

Aspectos clave

Generación multiparte en un solo paso: A partir de una única imagen RGB, el modelo genera múltiples partes de la malla 3D simultáneamente, sin necesidad de segmentación previa.

• Espacio latente compositivo: Cada parte corresponde a un conjunto distinto de tokens latentes, además de una incrustación de identidad aprendida.

• Atención jerárquica: Un mecanismo de atención dual mantiene el detalle dentro de las partes y la coherencia en todo el objeto.

• Transformador de difusión de malla 3D (DiT) preentrenado: Aprovecha los componentes DiT preentrenados para una convergencia más rápida y una mayor fidelidad.

  
  

Rendimiento y conjunto de datos

Conjunto de datos: Alrededor de 130.000 objetos seleccionados con anotaciones de partes extraídas de Objaverse, ShapeNet y ABO, con unas 300.000 partes.

• Velocidad: Genera una malla completa con reconocimiento de partes en unos 30-34 segundos en una GPU, superando a los antiguos flujos de trabajo de dos etapas (~18 minutos).

• Calidad: Logra una distancia Chamfer menor y una puntuación F más alta (F ≈ 0,7472) que HoloPart y los métodos DiT de referencia.

  
  

Casos de uso

Impresión 3D: Crea partes individuales listas para STL para un montaje sencillo (mencionado en Tom’s Hardware).

• CAD y diseño: Permite la edición a nivel de pieza y la creación de recursos modulares.

• RA/RV y juegos: Facilita la generación de recursos descomponibles directamente a partir de imágenes de referencia.

• Robótica y simulación: Proporciona comprensión estructural para la manipulación de objetos.

  
  

Qué está disponible ahora

Código y puntos de control: El repositorio público de GitHub ya está disponible. Se espera que los pesos del modelo y la demostración estén listos antes del 15 de julio de 2025.

• Demostración técnica: Las demostraciones en vivo y los elementos visuales de la página del proyecto muestran el flujo de trabajo de imagen a malla.

  
  

Recursos

Enlaces del proyecto y recursos:

• Código fuente: PartCrafter GitHub Repository

• Artículo de investigación: Structured 3D Mesh Generation (arXiv)