User-centered approach to example-based style transfer
Šárka Sochorová · Czech Technical University Digital Library (Czech Technical University in Prague) · 2026
Tradiční ručně kreslená animace nabízí nevídanou uměleckou svobodu, ale vyžaduje mimořádné manuální úsilí, kdy každý snímek musí být namalován individuálně. Tato disertační práce představuje uživatelsky orientovaný přístup k překlenutí propasti mezi tradiční a digitální tvorbou umění prostřednictvím tří příspěvků, které umělcům poskytují praktické nástroje pro kreativní vyjádření. Zaprvé představujeme metodu stylizace videa založenou na klíčových snímcích, která umožňuje umělcům namalovat jeden nebo více snímků v jejich preferovaném tradičním médiu a algoritmus následně rozšíří tento styl na celou video sekvenci. Na rozdíl od předchozích přístupů vyžadujících informace o 3D scéně naše metoda pracuje přímo s libovolným video materiálem pomocí nových naváděcích kanálů vypočítaných z optického toku. Zadruhé představujeme neuronový přístup, který překonává omezení sekvenčního zpracování metod založených na vzorech. Pomocí nové strategie trénování na malých výřezech trénujeme síť pro přenos vzhledu pouze na několika stylizovaných klíčových snímcích. Natrénovaná síť může stylizovat libovolný snímek nezávisle, což umožňuje paralelní zpracování a výkon v reálném čase. Tato práce získala cenu Best in Show na SIGGRAPH 2020 Real-Time Live. Zatřetí se zabýváme základním problémem pozorovaným během spolupráce s umělci: software pro digitální malbu míchá barvy nerealisticky. Představujeme praktickou metodu pro dosažení míchání pigmentů podle modelu KubelkyMunka, která pracuje přímo s RGB barvami. Náš přístup využívá latentní reprezentaci kombinující koncentrace pigmentů s reziduálními členy, což umožňuje všem RGB barvám míchat se jako skutečné barvy. Tyto příspěvky dosáhly významného přijetí v průmyslu. Metoda stylizace videa pohání software EbSynth, používaný v produkcích včetně Strange World od Walt Disney Animation Studios a seriálu Undone od Amazon Studios. Metoda míchání barev je implementována v knihovně Mixbox, integrované do softwaru včetně Affinity Photo, Rebelle a Blender Flip Fluids.