Contributions to Ensemble Classifiers with Image Analysis Applications
Borja Ayerdi Vilches · 2015
Esta tesis tiene dos aspectos fundamentales, por un lado, la propuesta denuevas arquitecturas de clasificadores y, por otro, su aplicacion a el analisis deimagen.Desde el punto de vista de proponer nuevas arquitecturas de clasificacionla tesis tiene dos contribucciones principales. En primer lugar la propuestade un innovador ensemble de clasificadores basado en arquitecturas aleatorias,como pueden ser las Extreme Learning Machines (ELM), Random Forest (RF) yRotation Forest, llamado Hybrid Extreme Rotation Forest (HERF) y su mejoraAnticipative HERF (AHERF) que conlleva una seleccion del modelo basada enel rendimiento de prediccion para cada conjunto de datos especifico. Ademasde lo anterior, proveemos una prueba formal tanto del AHERF, como de laconvergencia de los ensembles de regresores ELMs que mejoran la usabilidad yreproducibilidad de los resultados.En la vertiente de aplicacion hemos estado trabajando con dos tipos de imagenes:imagenes hiperespectrales de remote sensing, e imagenes medicas tanto depatologias especificas de venas de sangre como de imagenes para el diagnosticode Alzheimer. En todos los casos los ensembles de clasificadores han sido la herramientacomun ademas de estrategias especificas de aprendizaje activo basadasen dichos ensembles de clasificadores. En el caso concreto de la segmentacionde vasos sanguineos nos hemos enfrentado con problemas, uno relacionado conlos trombos del Aneurismas de Aorta Abdominal en imagenes 3D de tomografiacomputerizada y el otro la segmentacion de venas sangineas en la retina. Losresultados en ambos casos en terminos de rendimiento en clasificacion y ahorrode tiempo en la segmentacion humana nos permiten recomendar esos enfoquespara la practica clinica.Chapter 1Background y contribuccionesDado el espacio limitado para realizar el resumen de la tesis hemos decididoincluir un resumen general con los puntos mas importantes, una pequena introduccionque pudiera servir como background para entender los conceptos basicosde cada uno de los temas que hemos tocado y un listado con las contribuccionesmas importantes.1.1 Ensembles de clasificadoresLa idea de los ensembles de clasificadores fue propuesta por Hansen y Salamon[4] en el contexto del aprendizaje de las redes neuronales artificiales. Sutrabajo mostro que un ensemble de redes neuronales con un esquema de consensogrupal podia mejorar el resultado obtenido con una unica red neuronal.Los ensembles de clasificadores buscan obtener unos resultados de clasificacionmejores combinando clasificadores debiles y diversos [8, 9]. La propuesta inicialde ensemble contenia una coleccion homogena de clasificadores individuales. ElRandom Forest es un claro ejemplo de ello, puesto que combina la salida de unacoleccion de arboles de decision realizando una votacion por mayoria [2, 3], yse construye utilizando una tecnica de remuestreo sobre el conjunto de datos ycon seleccion aleatoria de variables.2CHAPTER 1. BACKGROUND Y CONTRIBUCCIONES 31.2 Aprendizaje activoLa construccion de un clasificador supervisado consiste en el aprendizaje de unaasignacion de funciones de datos en un conjunto de clases dado un conjunto deentrenamiento etiquetado. En muchas situaciones de la vida real la obtencionde las etiquetas del conjunto de entrenamiento es costosa, lenta y propensa aerrores. Esto hace que la construccion del conjunto de entrenamiento sea unatarea engorrosa y requiera un analisis manual exaustivo de la imagen. Esto se realizanormalmente mediante una inspeccion visual de las imagenes y realizandoun etiquetado pixel a pixel. En consecuencia el conjunto de entrenamiento esaltamente redundante y hace que la fase de entrenamiento del modelo sea muylenta. Ademas los pixeles ruidosos pueden interferir en las estadisticas de cadaclase lo que puede dar lugar a errores de clasificacion y/o overfitting. Por tantoes deseable que un conjunto de entrenamiento sea construido de una manera inteligente,lo que significa que debe representar correctamente los limites de clasemediante el muestreo de pixeles discriminantes. La generalizacion es la habilidadde etiquetar correctamente datos que no se han visto previamente y quepor tanto son nuevos para el modelo. El aprendizaje activo intenta aprovecharla interaccion con un usuario para proporcionar las etiquetas de las muestrasdel conjunto de entrenamiento con el objetivo de obtener la clasificacion masprecisa utilizando el conjunto de entrenamiento mas pequeno posible.1.3 AlzheimerLa enfermedad de Alzheimer es una de las causas mas importantes de discapacidaden personas mayores. Dado el envejecimiento poblacional que es una realidaden muchos paises, con el aumento de la esperanza de vida y con el aumentodel numero de personas mayores, el numero de pacientes con demencia aumentaratambien. Debido a la importancia socioeconomica de la enfermedad enlos paises occidentales existe un fuerte esfuerzo internacional focalizado en laenfermedad del Alzheimer. En las etapas tempranas de la enfermedad la atrofiacerebral suele ser sutil y esta espacialmente distribuida por diferentes regionescerebrales que incluyen la corteza entorrinal, el hipocampo, las estructuras temporaleslateral e inferior, asi como el cingulo anterior y posterior. Son muchoslos esfuerzos de diseno de algoritmos computacionales tratando de encontrarbiomarcadores de imagen que puedan ser utilizados para el diagnostico no invasivodel Alzheimer y otras enfermedades neurodegenerativas.CHAPTER 1. BACKGROUND Y CONTRIBUCCIONES 41.4 Segmentacion de vasos sanguineosLa segmentacion de los vasos sanguineos [1, 7, 6] es una de las herramientas computacionalesesenciales para la evaluacion clinica de las enfermedades vasculares.Consiste en particionar un angiograma en dos regiones que no se superponen:la region vasculares y el fondo. Basandonos en los resultados de dicha particionse pueden extraer, modelar, manipular, medir y visualizar las superficies vasculares.Estas estructuras son muy utiles y juegan un rol muy imporntate en lostratamientos endovasculares de las enfermedades vasculares. Las enfermedadesvasculares son una de las principales fuentes de morbilidad y mortalidad en todoel mundo.Aneurisma de Aorta Abdominal El Aneurisma de Aorta Abdominal (AAA)es una dilatacion local de la Aorta que ocurre entre las arterias renal e iliaca. Eldebilitamiento de la pared de la aorta conduce a su deformacion y la generacionde un trombo. Generalmente, un AAA se diagnostica cuando el diametro anterioposteriorminimo de la aorta alcanza los 3 centimetros [5]. La mayoria delos aneurismas aorticos son asintomaticos y sin complicaciones. Los aneurismasque causan los sintomas tienen un mayor riesgo de ruptura. El dolor abdominalo el dolor de espalda son las dos principales caracteristicas clinicas que sugiereno bien la reciente expansion o fugas. Las complicaciones son a menudo cuestionde vida o muerte y pueden ocurrir en un corto espacio de tiempo. Por lo tanto,el reto consiste en diagnosticar lo antes posible la aparicion de los sintomas.Imagenes de Retina La evaluacion de imagenes del fondo del ojo es una herramientade diagnostico de la patologia vascular y no vascular. Dicha inspeccionpuede revelar hipertension, diabetes, arteriosclerosis, enfermedades cardiovascularese ictus. Los principales retos para la segmentacion de vasos retinianos son:(1) la presencia de lesiones que se pueden interpretar de forma erronea comovasos sanguineos; (2) bajo contraste alrededor de los vasos mas delgados, (3)multiples escalas de tamano de los vasos.1.5 ContribucionesEsta tesis tiene dos tipos de contribuciones. Contribuciones computacionales ycontribuciones orientadas a una aplicacion o practicas.CHAPTER 1. BACKGROUND Y CONTRIBUCCIONES 5Desde un punto de vista computacional las contribuciones han sido las siguientes:? Un nuevo esquema de aprendizaje activo usando Random Forest y el calculode la incertidumbre que permite una segmentacion de imagenes rapida,precisa e interactiva.? Hybrid Extreme Rotation Forest.? Adaptative Hybrid Extreme Rotation Forest.? Metodos de aprendizaje semisupervisados espectrales-espaciales.? Unmixing no lineal y reconstruccion utilizando ensembles de regresoresELM.Desde un punto de vista practico:? Imagenes medicas? Aprendizaje activo combinado con HERF para la segmentacion deimagenes de tomografia computerizada.? Mejorar el aprendizaje activo para segmentacion de imagenes de tomografiacomputerizada con informacion de dominio.? Aprendizaje activo con el clasificador bootstrapped dendritic aplicadoa segmentacion de imagenes medicas.? Meta-ensembles de clasificadores para deteccion de Alzheimer conimagenes de resonancia magnetica.? Random Forest combinado con aprendizaje activo para segmentacionde imagenes de retina.? Segmentacion automatica de grasa subcutanea y visceral utilizandoresonancia magnetica.? Imagenes hiperespectrales? Unmixing no lineal y reconstruccion utilizando ensembles de regresoresELM.? Metodos de aprendizaje semisupervisados espectrales-espaciales concorreccion espacial usando AHERF.? Metodo semisupervisado de clasificacion utilizando ensembles de ELMsy con regularizacion espacial.