Study of segmentation and identification techniques applied to environments with natural illumination and moving objects
Juan Alfonso Rosell Ortega · 2011
The developments introduced in this thesis belong to the area of computer vision and are aimed to provide with ideas to solve the problem of automatically segmenting objects in images acquired in environments with activity, i. e., those in which objects are moving and the illumination is not controlled.In order to develop the ideas and evaluate their performance, two different problems, from the point of view of requirements and environment conditions, are given a solution.Both of the problems are considered as challenges by the research community in the area of computer vision.The first problem to be considered consists on segmenting, and later identifying, the container's codes of trucks.For this challenge, images taken at the entrance of a commercial port were used.In this case, segmentation techniques that allow the extraction of concrete objects fom indidivual images, characters in this case, were implemented.Natural light is not the only challenge in this case, but also the conditions of the containers themselves.In this context, we study different techiques from the literature as LAT, Watershed, Otsu's algorithm, local variation and thresholding algorithm, using them to segment gray-tone images.Based on this study, a solution is proposed combining several different techniques as an approach to successfully extract characters regardless of the environmental conditions.Joining several segmentation techniques into a single method produces noisy segmentations.The knowledge of the features of the seeked objects helps designing filters which can discriminate the valid objecs from noise, avoiding this way to relay only on a classifier.The proposed system does not need any parameter tuning in order to adapt to light variations and achieves a high level of segmentation and identification of characters, although the system performance depends greatly on the classifier's capacity.Afterwards, experiments with sequences of images are performed in order to improve system's response.Each sequence contains several images of the same truck in consecutive moments of time.The second problem considered in this thesis, is extracting all the objects which do not belong to an scene, using streams of sequences and by designing background models which can adapt to changes in the scene, specially, light changes.Based on thecniques proposed in the literature for background subtraction and bearing in mind the memory and computational time constraints imposed by some intelligent systems, in this thesis several techniques are proposed to obtain adaptive background models with requirements specially suited to automatic surveillance systems.The proposed techniques, called BAC (Background Adaptative with Confidence) and FBS (Fuzzy Background Subtracion), use a measure of similarity and a computation of probability based on experimental studies and are able to model the background adapting it to changes in the environment providing at the same time with a confidence measure of the built model.BAC and FSB subtract a frame from the background by assigning each pixel with a possibility of belonging either to foreground or background.iii iv At this point, our developments are evaluted with several video sequences obtained indoors where problems shadows or sudden light changes may appear, and also the Wallflower benchmark, accepted in the literature as a good means to test background modelling technqiues.Results obtained by BAC and FSB are promising when compared to those obtained by other algorithms accepted by the community as representative. ResumenLa presente tesis está enmarcada en el área de visión por computador y en ella se realizan aportaciones encaminados a resolver el problema de segmentar automáticamente objetos en imágenes de escenas adquiridas en entornos donde se está realizando actividad, es decir, aparece movimiento de los elementos que la componen, y con iluminación variable o no controlada.Para llevar a cabo los desarrollos y poder evaluar prestaciones se ha abordado la resolución de dos problemas distintos desde el punto de vista de requerimientos y condiciones de entorno, ambos considerados como retos por los investigadores en el área de la visión por computador.En primer lugar se aborda el problema de segmentar, para posteriormente identificar, los códigos de los contenedores de camiones con imágenes tomadas en la entrada de un puerto comercial que se encuentra ubicada a la intemperie (luz natural).En este caso se trata de proponer técnicas de segmentación que permitan extraer objetos concretos, en nuestro caso caracteres en contenedores, procesando imágenes individuales.No sólo supone un reto el trabajar con iluminación natural, sino además el trabajar con elementos deteriorados, con contrastes muy diferentes, etc. Dentro de este contexto, en la tesis se evalúan técnicas presentes en la literatura como LAT, Watershed, algoritmo de Otsu, variación local o umbralizado para segmentar imágenes en niveles de gris.A partir de este estudio, se propone una solución que combina varias de las técnicas anteriores, en un intento de abordar con éxito la extracción de caracteres de contenedores en todas las situaciones ambientales de movimiento e iluminación.El aunar varias técnicas de segmentación en un único método produjo segmentaciones ruidosas.El conocimiento a priori del tipo de objetos a segmentar nos permitió diseñar filtros con capacidad discriminante entre el ruido y los caracteres, evitando con ello que toda la responsabilidad de esta decisión recayera en el clasificador.El sistema propuesto tiene el valor añadido de que no necesita el ajuste de parámetros, por parte del usuario, para adaptarse a las variaciones de iluminación ambientales y consigue un nivel alto en la segmentación e identificación de caracteres, aunque las prestaciones del sistema dependen en gran medida de la capacidad del clasificador.En un paso posterior, se realizan experiencias con secuencias de imágenes de cada contenedor para refinar la respuesta del sistema.El segundo problema analizado en la tesis, aborda la temática de extraer todos los objetos que no forman parte del fondo en una escena, utilizando secuencias de imágenes y diseñando modelos de fondo capaces de adaptarse a los cambios en la escena, especialmente a los cambios de iluminación.A partir de las técnicas propuestas en la literatura para el restado de fondo (background subtraction) y teniendo en cuenta restricciones de memoria y computo impuestas por algunos sistemas inteligentes, en esta tesis, se proponen técnicas para obtener modelos de fondo adaptativos con requisitos propios de los sistemas de vigilancia automática (surveillance system).En concreto, mediante una definición propia de similiv vi tud y utilizando un computo de probabilidad basado en un estudio experimental, se proponen dos algoritmos denominados BAC (Background Adaptative with Confidence) y FBS (Fuzzy Background Subtracion) capaces de modelar el fondo con capacidad adaptativa y de proporcionar una medida de confianza.BAC y FBS llevan a cabo el restado de fondo asignando a cada pixel una probabilidad de pertenecer a fondo o de ser parte de un objeto (foreground).En este punto nuestros desarrollos se evalúan con secuencias de imágenes adquiridas en interiores donde aparecen problemas de sombras, cambios de iluminación, así como con el benchmark Wallflower aceptado en la literatura especializada para testear técnicas de modelado de fondo.Los resultados obtenidos por las técnicas propuestas BAC y FBS se muestran prometedores al ser comparados con los obtenidos por otras técnicas presentes en la literatura. ResumLa present tesi pertany a l'àmbit de la visió per computador i realitza aportacions amb l 'objectiu de resoldre el problema de segmentar automáticament objectes en imatges adquirides en entorns amb activitat, és a dir, on apareix moviment dels elements que les composen i amb il.luminació variable.Per a poder dur a terme els desenrollatments i poder evaluar les prestacions des de'l punt de vista dels requisits i condicions de l'entorn, ambdós considerats com a reptes pels investigadors en l'área de la visió per computador.Primerament, s'aborda el problema de segmentar, i posteriorment identificar, les matrícules dels contenidors de camions amb imatges presses a l'entrada d'un port comercial que es trova situada a l'intemperie (llum natural).En est cas, es tracta de proposar tècniques de segmentació que permitisquen extraure objectes concrets, caracters de les matrícules, processant imatges individuals.No és tracta només de superar el repte de treballar amb il.luminació natural, si no, a més, treballar amb imatges deteriorades, amb contrastos molt diferents.... Dins d'est context, a la tesis se evaluen tècniques de la literatura com ara LAT, Watershed, l'algoritme d'Otsu, la tècnica de variació local o l'umbralitzat per a segmentar imatges en nivells de gris.A partir de l'estudi, es proposa una solució que combina varies de les tècniques presentades en un intent d'abordar amb èxit l'extracció de caracters de la matrícula en totes les situacions ambientals possibles.Unir varies tècniques de segmentació en un sol mètode produeïx segmentacions sorolloses.El coneiximent a priori del tipus d'objects a segmentar ens permiteix dissenyar filtres amb capacitat discriminant entre el sollor i els veritables caracters, evitant que tota la responsabilitat d'esta separació caiga sobre el classificador.El sistema proposat té un valor afegit en tant que no necesita ajustar parámetres externs per part de l'usuari per a adaptar-se a les variacions d'iluminació ambiental i aconsegueix un nivell alt tant en la segmentació com la identificació de caracters, malgrat que les prestacions del sistema depenen en gran mesura de la capacitat del clasificador utilitzat.En un pas posterior, es realitzen experiències amb secuències d'imatges de cada contenidor per a refinar la resposta del sistema.El segon problema que s'analitza és el d'extrau