Some problems in depth enjanced video processing
Vanel A. Lazcano · TDX (Tesis Doctorals en Xarxa) · 2016
En esta tesis se abordan dos problemas: interpolacion de datos en el contexto del calculo de disparidades tanto para imagenes como para video, y el problema de la estimacion del movimiento aparente de objetos en una secuencia de imagenes. El primer problema trata de la completacion de datos de profundidad en una region de la imagen o video donde los datos se han perdido debido a oclusiones, datos no confiables, datos danados o perdida de datos durante la adquisicion. En esta tesis estos problemas se abordan de dos maneras. Primero, se propone una energia basada en gradientes no-locales, energia que puede (localmente) completar planos. En la primera parte de la tesis se considera este modelo como una extension del filtro bilateral al dominio del gradiente. Se ha evaluado en forma exitosa el modelo para completar datos sinteticos y tambien mapas de profundidad incompletos de un sensor Kinect. En la segunda parte de la tesis se presenta un segundo enfoque, para abordar el problema, es un estudio experimental del biased AMLE (Biased Absolutely Minimizing Lipschitz Extension) para interpolacion anisotropica de datos de profundidad en grandes regiones sin informacion. El operador AMLE es un interpolador de conos, pero el operador biased AMLE es un interpolador de conos exponenciales lo que lo hace estar mas adaptado a mapas de profundidad de escenas reales (las que comunmente presentan superficies convexas, concavas y suaves). Ademas, el operador biased AMLE puede expandir datos de profundidad a regiones grandes. Considerando al dominio de la imagen dotado de una metrica anisotropica, el metodo propuesto puede tomar en cuenta informacion geometrica subyacente para no interpolar a traves de los limites de los objetos a diferentes profundidades. Se ha propuesto un modelo numerico, basado en el operador eikonal, para calcular la solucion del biased AMLE. Adicionalmente, se ha extendido el modelo numerico a sequencias de video. En la tercera parte se afronta el problema del calculo del flujo optico que es uno de los problemas mas desafiantes para la vision por computador. Los modelos tradicionales fallan al estimar el flujo optico en presencia de oclusiones o iluminacion no uniforme. Para abordar este problema se propone un modelo variacional para conjuntamente estimar flujo optico y oclusiones. Ademas, el modelo propuesto puede tolerar, una limitacion tradicional de los metodos variacionales, desplazamientos rapidos de objetos que son mas grandes que el tamano objeto en la escena. La adicion de un termino para el balance de gradientes e intensidades aumenta la robustez del modelo propuesto ante cambios de iluminacion. La inclusion de correspondencias adicionales (obtenidas usando busqueda exhaustiva en ubicaciones especificas) ayuda a estimar grandes desplazamientos. Bibliografia Tomasi, C. and Manduchi, R. Bilateral filter for gray and color images. IEEE sixth International Vonference on Computer Vision, 839--846, 1998. Digne, J., Dimicoli, M., Sabater, N. and Salembier, P. Neighborhood filters and the recovery of 3D information, Handbook of mathematical methods in imaging. Springer, 2010. Aronsson, G. Extension of functions satisfyng Lipschitz conditions Aktiv fuer Mathematik 6(6), 551-- 561, 1967. A. M. Oberman, A Convergent difference scheme for the infinity Laplacian: construction of Absolutely Lipschitz Extensions. Mathematics of Computation 74(251), 1217 --1230, 2005. Caselles,V. and Igual, L. and Sander, O. An axiomatic approach to scalar data interpolation on surfaces. Numerische Mathematik 102 (3), 383 -- 411, 2006. Xu, L. and Jia, J. and Matsushita, Y. Motion detail preserving optical flow estimation, Pattern Analysis and Machine Intelligence, IEEE Transactions on,34(9), 1744 -- 1757, 2012. Stoll,M. and Volz,S. and Bruhn, A., Adaptive integration of features matches into variational optical Flow methods, Proc. of the Asian Conference in Computer Vision (ACCV), 1 -- 14, 2012.