Texture-based Segmentation of 3D Clothing Models using CNNs
Jakub Heřman Mann · Cvut DSpace (Czech Technical University) · 2026
Práce představuje automatický systém pro binární segmentaci fotogrammetrických 3D modelů oblečených figurín na základě obrazové textury, který odděluje povrch oděvu od povrchu figuríny, čímž zužuje obecnější zadání odstraňovat ze skenu nežádoucí prvky a ostatní typy těchto prvků (zbytky pozadí, fotogrammetrické vady oděvu, chybně klasifikované dekorativní detaily) ponechává do další práce. Cílem je usnadnit digitalizaci historických oděvů ze sbírek typu CESNET Virtuální Digitální Šatník, kde výsledné modely vždy obsahují i podstatnou část povrchu figuríny, kterou je třeba před dalším využitím odstranit. Trénovací data jsou generována synteticky nad datasetem CLOTH3D a parametrickým modelem těla SMPL, rozšířená o procedurální amputaci částí těla, náhodné PBR materiály na těle i oděvu a HDRI osvětlení z knihovny Poly Haven. Na vykreslených pohledech je trénována síť ConvNeXt-Base U-Net ve dvou konfiguracích lišících se šířkou rozdělení materiálů figuríny. Při inferenci je neznámý model vykreslen z dvaceti čtyř pohledů rozmístěných na Fibonacciho mřížce, predikce z jednotlivých pohledů jsou přeneseny do UV atlasu modelu váženým průměrem zohledňujícím viditelnost, zpřesněny hranovým filtrem řízeným RGB texturou a binarizovány hysterezním prahováním. Systém je vyhodnocen na syntetické testovací sadě, na osmi skenech ze Sketchfabu převzatých z předchozí bakalářské práce a na pěti historických skenech ze sbírky CESNET. Na skenech ze Sketchfabu dosahuje texelového IoU 0,92 až 0,93 a překonává nejlepší klasickou metodu na stejných osmi skenech přibližně o dva body Dice a čtyři body IoU. Zároveň odpadá ruční maska zájmové oblasti, kterou předchozí přístup vyžadoval pro každý sken zvlášť. Vysoké IoU však ještě neznamená praktickou použitelnost. Kolem otvorů oděvu typicky zůstává tenký pruh nesegmentované figuríny vyžadující ruční dočištění a na skenech mimo trénovací rozdělení obě konfigurace navíc selhávají kategoricky. Tyto dva režimy vytyčují hlavní směry další práce.