PartCrafter : génération de maillages 3D structurés en un seul coup à partir d'une seule image

Imaginez que vous importiez une simple image RVB et que vous receviez instantanément un modèle 3D complet décomposé en pièces individuelles et sémantiquement significatives, prêtes pour l'édition, l'impression ou l'animation. C'est exactement ce que réalise PartCrafter.

Article scientifique et dépôt

Article de recherche
Titre : « PartCrafter: Structured 3D Mesh Generation via Compositional Latent Diffusion Transformers »
Auteurs : Yuchen Lin, Chenguo Lin, Panwang Pan, Honglei Yan, Yiqiang Feng, Yadong Mu, Katerina Fragkiadaki
Publié le : 5 juin 2025, sur arXiv

Dépôt GitHub officiel

• Contient le code complet, sous licence MIT, et publiera les poids du modèle ainsi que des démos d'ici la mi-juillet

Page du projet

• Hébergée par les auteurs, résumant la méthode et renvoyant vers l'article et le code

  
  

Points clés

Génération multi-pièces en un seul coup : À partir d'une seule image RVB, le modèle génère simultanément plusieurs parties de maillage 3D, sans qu'aucune segmentation préalable ne soit nécessaire.

• Espace latent compositionnel : Chaque partie correspond à un ensemble distinct de jetons latents, ainsi qu'à une intégration d'identité apprise.

• Attention hiérarchique : Un mécanisme de double attention maintient les détails au sein des pièces et la cohérence sur l'ensemble de l'objet.

• Transformateur de diffusion de maillage 3D pré-entraîné (DiT) : Exploite les composants DiT pré-entraînés pour une convergence plus rapide et une plus grande fidélité.

  
  

Performances et ensemble de données

Ensemble de données : Curaté d'environ 130 000 objets avec des annotations de pièces extraites d'Objaverse, ShapeNet, ABO, représentant environ 300 000 pièces.

• Vitesse : Génère un maillage complet conscient des pièces en environ 30 à 34 secondes sur un GPU, surpassant les anciens pipelines en deux étapes (environ 18 minutes).

• Qualité : Atteint une distance de Chamfer plus faible et un score F plus élevé (F ≈ 0,7472) que HoloPart et les méthodes DiT de référence.

  
  

Cas d'utilisation

Impression 3D : Crée des pièces individuelles prêtes pour le format STL pour un assemblage facile (présenté dans Tom's Hardware).

• CAO et conception : Permet l'édition au niveau des pièces et la création d'actifs modulaires.

• RA/VR et jeux vidéo : Facilite la génération d'actifs décomposables directement à partir d'images de référence.

• Robotique et simulation : Fournit une compréhension structurelle pour la manipulation d'objets.

  
  

Ce qui est disponible actuellement

Code et points de contrôle : Dépôt GitHub public disponible dès maintenant. Les poids du modèle et la démo sont attendus avant le 15 juillet 2025.

• Démo technique : Des démonstrations en direct et les visuels de la page du projet montrent le flux de travail de l'image au maillage.

  
  

Ressources

Liens et ressources du projet :

• Code source : Dépôt GitHub PartCrafter

• Article de recherche : Structured 3D Mesh Generation (arXiv)