Handheld Multi-Frame Super-Resolution (2019)

multi-frame super resolution 기술을 mobile phone에 이용한 기술에 대한 연구이다.

사용자의 손떨림에 의해, 핸드폰 카메라의 영상이 추가적인 sampling이 되며

이를 이용해 demosaic + Noise Reduction + Super resolution을 수행한다.

 

multi-frame Super resolution pipeline

.위와 같은 구조로 구동된다.

- Local gradients와 Kernels은 Edge conservation을 위해 사용된다. (gradient가 큰 방향으로는 kernel의 크기를 줄임)

- Alignment Vectors (optical flow)와 local statistics (영상의 local deviation 대비 frame간 color 차이) 를 통해 해당 optical flow의 신뢰도 기반 filter를 건다.

- Accumulation block에서는 super resolution될 결과크기 영상에 Kernel / robustness 정보에 따라 각 영상을 weighted sum을 하여 출력을 생성한다.

 

위 algorithm을 아래 git에서 받아볼 수 있다.

https://github.com/Jamy-L/Handheld-Multi-Frame-Super-Resolution

GitHub - Jamy-L/Handheld-Multi-Frame-Super-Resolution: Handheld Multi-image Super-resolution [Wronski et al., SIGGRAPH19]. Non-o

 

 

demo 구동해 볼 수 있는 링크까지 있다.

https://ipolcore.ipol.im/demo/clientApp/demo.html?id=460

IPOL Journal · Image Processing On Line

 

3배 super resolution한 결과이다. 원본 (왼쪽), 3배 영상 (오른쪽)

 

글씨의 가독성도 월등히 향상됨을 알 수 있다. 원본 (왼쪽), 3배 영상 (오른쪽)