Anomalous action detection in videos assisted by high-level features using a multi-stream deep neural network
Sarah Almeida Carneiro · 2020
assinada pelos membros da Comissão Examinadora, consta no SIGA/Sistema de Fluxo de Dissertação/Tese e na Secretaria do Programa da Unidade.Campinas, 17 de fevereiro de 2020 Resumo O entendimento de ações é um tópico que tem sido continuamente estudado por seres humanos com, por exemplo, o objetivo de compreender comportamentos sociais ou prevenir situações.Além disso, com o crescente número de dispositivos que podem capturar informações do ambiente, a possibilidade de monitorar facilmente essas ações tem sido aprimorada.Dado que a sociedade tem buscado medidas de segurança mais imponentes, tanto no sentido de bem-estar quanto de proteção, estudos computacionais têm surgido na área de classificação para ajudá-los.O estudo da classificação de ações anômalas tornouse comum para o desenvolvimento de aplicativos úteis para detectar e sinalizar eventos incomuns em um determinado ambiente.No contexto de ações anômalas, durante o nosso trabalho, decidimos focar em apenas dois grupos.O primeiro grupo considerou ações envolvidas com o bem-estar nas quais os conjuntos de dados estavam relacionados a quedas.O segundo, relacionado a medidas preventivas de proteção, utilizou conjuntos de dados associados a eventos de brigas.Há muitos estudos sobre esse campo de especialização.Os melhores resultados relatados na literatura são de trabalhos relacionados a abordagens de aprendizado profunda.Portanto, esta investigação teve como objetivo propor e avaliar um modelo de aprendizado profundo baseado em sistemas de classificação de múltiplos fluxos usando características de alto nível para poder abordar a detecção de brigas e a detecção de quedas em vídeos.Neste trabalho, focamos no uso de uma rede de múltiplos fluxos, em que cada um dos fluxos é uma rede VGG-16.Além disso, cada fluxo é responsável por receber como entrada um vídeo pré-filtrado.Este vídeo pré-filtrado está relacionado ao que, neste trabalho, consideramos descritores de alto nível.Assim, durante este estudo, também são investigados descritores de alto nível concebíveis, como informações espaciais, temporais, rítmicas e de profundidade de um vídeo para a classificação das ações anômalas escolhidas.Validamos nosso método em cinco conjuntos de dados comumente usados na literatura, dois destinados à detecção de brigas e três à detecção de quedas.Os experimentos demonstraram que a associação de informações de descritores, correlacionados a uma estratégia de fluxo múltiplo, aumentou a classificação de nossa abordagem de aprendizado profundo, portanto, o uso de características complementares pode produzir resultados interessantes que são correspondentes a outros estudos anteriores.