Dictionary Learning based Superresolution on 4D Light Field Images
Seung‐Jae Lee, In Kyu Park · Journal of Broadcast Engineering · 2015
Light field 카메라를 이용하여 영상을 취득한 후 다양한 응용 프로그램으로 확장이 가능한 4차원 light field 영상은 일반적인 2차원 공간영역(spatial domain)과 추가적인 2차원 각영역(angular domain)으로 구성된다. 그러나 이러한 4차원 light field 영상을 유한한 해상도를 가진 2차원 CMOS 센서로 취득하므로 저해상도의 제약이 존재한다. 본 논문에서는 이러한 4차원 light field 영상이 가지는 해상도 제약 조건을 해결하기 위하여, 4차원 light field 영상에 적합한 딕셔너리 학습 기반(dictionary learning-based) 초해상도(superresolution) 알고리즘을 제안한다. 제안하는 알고리즘은 4차원 light field 영상으로부터 추출한 많은 수의 4차원 패치(patch)들을 바탕으로 딕셔너리를 구성 및 훈련하며, 학습된 딕셔너리를 바탕으로 저해상도 입력 영상의 해상도를 향상시키는 과정을 수행한다. 제안하는 알고리즘은 공간영역과 각영역의 해상도를 동시에 각각 2배 향상시킨다. 실험에 사용된 영상은 상용 light field 카메라인 Lytro에서 취득하였고 기존의 알고리즘과의 비교를 통해 제안하는 알고리즘의 우수성을 검증한다. A 4D light field image is represented in traditional 2D spatial domain and additional 2D angular domain. The 4D light field has a resolution limitation both in spatial and angular domains since 4D signals are captured by 2D CMOS sensor with limited resolution. In this paper, we propose a dictionary learning-based superresolution algorithm in 4D light field domain to overcome the resolution limitation. The proposed algorithm performs dictionary learning using a large number of extracted 4D light field patches. Then, a high resolution light field image is reconstructed from a low resolution input using the learned dictionary. In this paper, we reconstruct a 4D light field image to have double resolution both in spatial and angular domains. Experimental result shows that the proposed method outperforms the traditional method for the test images captured by a commercial light field camera, i.e. Lytro.