Exploring the applicability of deterministic decoupling to convolutional networks for style transfer and texture synthesis
Daniel Salvadó Ormad · Hispana · 2023
El análisis de texturas es un componente fundamental de la visión artificial, con aplicaciones en varios dominios, como el análisis de imágenes y la síntesis de texturas. Esta investigación explora la viabilidad de mejorar el poder descriptivo de las características para el análisis de texturas mediante la combinación de técnicas de desacoplamiento determinista con métodos avanzados para el modelado de texturas. El objetivo principal es investigar el potencial para desacoplar características globales extraídas por una red neuronal convolucional (CNN) para describir texturas con precisión. Para abordar este objetivo, se ha desarrollado un modelo para extraer características representativas de las texturas utilizando una CNN previamente entrenada. La atención se centra en capturar las medias espaciales de las respuestas de los canales, ya que desempeñan un papel crucial en la representación de características importantes de la textura. El objetivo es mejorar el poder descriptivo de las características extraídas para el análisis y la representación de la textura visual. Además, se ha diseñado una nueva función de pérdida para calcular la distancia entre texturas. Esta función de pérdida permite una optimización precisa del rendimiento del modelo, proporcionando una medida de similitud o diferencia entre texturas. Si bien las características seleccionadas no cumplen con los requisitos teóricos para un desacoplamiento perfecto, investigaciones anteriores han demostrado que las técnicas de desacoplamiento determinista aún pueden ser efectivas en escenarios donde no se cumplen estos requisitos. Esta observación motiva la exploración del potencial de las técnicas de desacoplamiento para las CNN. El modelo propuesto se evalúa exhaustivamente en una variedad de tareas, mostrando su versatilidad y aplicabilidad práctica. Se investiga la viabilidad de desacoplar las características, resaltando las ventajas y limitaciones de la metodología integrada. A través de esta investigación, se obtienen conocimientos sobre las complejidades del modelado de texturas y las limitaciones de los enfoques existentes. Al contribuir al avance del análisis y la representación de texturas visuales, esta investigación ofrece potencial para mejorar las aplicaciones de visión artificial. Establece una base para una mayor exploración y desarrollo, con el objetivo de obtener resultados más realistas y visualmente cautivadores en el análisis y la síntesis de texturas. ABSTRACT Visual texture analysis is a fundamental component of computer vision, with applications in various domains such as image analysis and texture synthesis. This research explores the feasibility of enhancing the descriptive power of features for texture analysis by combining deterministic decoupling techniques with advanced methods for texture modelling. The main objective is to investigate the potential for decoupling global features extracted by a convolutional neural network (CNN) to accurately describe textures. To address this objective, a model is developed to extract meaningful features from textures using a pre-trained CNN. The focus is on capturing the spatial means of channel responses, as they play a crucial role in representing important texture features. The aim is to enhance the descriptive power of the extracted features for visual texture analysis and representation. In addition, a novel loss function is designed to compute the distance between textures. This loss function enables precise optimization of the model’s performance by providing a measure of similarity or dissimilarity between textures. While the selected features do not meet the theoretical requirements for perfect decoupling, previous research has shown that deterministic decoupling techniques can still be effective in scenarios where these requirements are not met. This observation motivates the exploration of the potential of decoupling techniques for CNNs. The proposed model is thoroughly evaluated across a range of tasks, showcasing its versatility and practical applicability. The feasibility of decoupling the features is investigated, shedding light on the advantages and limitations of the integrated methodology. Through this research, insights are gained into the complexities of texture modelling and the limitations of existing approaches. By contributing to the advancement of visual texture analysis and representation, this research offers potential for improving computer vision applications. It establishes a foundation for further exploration and development, aiming to realize more realistic and visually captivating results in texture analysis and synthesis.