A strategy for interactive exploration of multimodal image collections
Camargo Mendoza, Jorge Eliécer · 2014
La produccion de contenido multimedia incluyendo documentos de texto, imagenes, videos y audio, ha experimentado un crecimiento exponencial producto del desarrollo de los sistemas de computacion y comunicaciones. El proceso de encontrar y acceder este gran volumen de informacion requiere de metodos computacionales efectivos y eficientes. En el caso de texto, una gran cantidad de trabajo se ha realizado por parte de la comunidad de recuperacion de informacion, y gracias a ese esfuerzo, hoy contamos con motores de busqueda de documentos de texto apropiados, los cuales nos permiten facilmente encontrar informacion. Sin embargo, para el caso de otros tipos de informacion multimedia, como es el caso de las imagenes, los resultados no son todavia satisfactorios. Nuevos mecanismos para explorar grandes colecciones de imagenes son necesarios de tal forma que se le ofrezca al usuario diferentes alternativas para acceder y encontrar informacion. La exploracion de colecciones de imagenes es un nuevo mecanismo para acceder grandes repositorios de imagenes de una manera mas eficiente y intuitiva. Este mecanismo esta siendo activamente investigado por la comunidad cientifica. El proceso de exploracion de colecciones de imagenes se compone de los siguientes componentes: (1) Representacion de la coleccion de imagenes; (2) Construccion de resumenes; (3) Visualizacion de colecciones de imagenes; y (4) Interaccion con la coleccion de imagenes. La mayoria de estrategias de exploracion que se encuentran en la literatura usan principalmente contenido visual en cada uno de estos componentes, ignorando otras posibles fuentes de informacion (modalidades) tales como texto, el cual puede complementar cada uno de estos componentes de un sistema de exploracion de imagenes. En esta tesis se estudia como conjuntamente utilizar informacion visual y textual con el fin de modelar de una mejor manera cada uno de los componentes de los sistemas de exploracion. Para alcanzar este objetivo, se propone una familia de algoritmos que fusionan ambas modalidades de diferentes formas utilizando metodos de kernel y analisis de semantica latente.