A neural network approach for occlusion detection in video
Maxim Velikanov, Alexandra Anzina, Sergey Lavrushkin, Dmitriy Sergeevich Vatolin · International journal of open information technologies · 2020
—Области открытия/закрытия по движению представляют собой набор пикселей, которые видны только в одном из двух подряд идущих кадров. Поиск областей открытия/закрытия является важной задачей компьютерного зрения. Точное определение этих областей позволит улучшить качество многих методов обработки видео, таких как: интерполяция кадров, оценка оптического потока, распространение цвета и других. Большинство существующих методов основано на оптимизации функции энергии, что приводит к большим вычислительным затратам. Также стоит учитывать, что качественное нахождение областей открытия/закрытия затруднительно без какой-либо информации о движении между кадрами, но и при оценке оптического потока знание данных областей позволяет избежать ложных соответствий между пикселями кадров. Исходя из этих рассуждений в рамках данного исследования был разработан новый метод поиска областей открытия/закрытия, основанный на алгоритме построения карт оптического потока PWC-net. Ключевой идеей является построение пирамиды признаков с разными разрешениями для обработки кадров. Данный способ обработки заимствован из стандартных методов компьютерной графики и хорошо зарекомендовал себя. Также было проведено экспериментальное сравнение разработаного метода с 15 аналогами на наборе данных MPI-Sintel.