RGB D image 로 부터 high resolution depth 추출 (depth super-resolution)

최근 아래와 같은 연구가 발표 되었다.

사진에서 3차원 정보를 추론하는 인공지능 반도체 IP(지식재산권) 세계 최초 개발
https://news.kaist.ac.kr/news/html/news/?mode=V&mng_no=26070

NEWS

원문 논문은 아래 링크같다.
https://ieeexplore.ieee.org/document/9731699

DSPU: A 281.6mW Real-Time Depth Signal Processing Unit for Deep Learning-Based Dense RGB-D Data Acquisition with Depth Fusion an

논문을 가서 보면, 실제 feature는 아래와 같이 볼수 있겠다.
- input : RGB-D data (low resolution /low power ToF)
- 성능 : low power (281.6mW DSPU, <0.4W ToF), 45.6 fps. depth estimation / 3D object detection.

핵심은 저전력이다.

XR device에서는 전력 사용이 상당히 제한적이다. (배터리를 무겁게 쓰고 다니기가 어려워요...)
기존 ToF들의 경우엔 충분한 광 출력을 위해 power 소모가 매우 크다. (본 논문에서는 3W 이상이 필요하다고 언급)
이에, stereo depth를 사용하는 방식들도 제안되고 있으나, stereo camera 또한 depth 연산을 위한 power가 상당히 필요할 뿐만 아니라 연산이 많아, high frame rate를 갖기 어려운 문제가 있다.

본 논문은, 저전력 ToF와 RGB camera의 fusion을 효과적으로 수행할 수 있는 전용 연산기를 디자인하여 30 fps이상 속도로 1W 이하의 전력 소모를 보이는 depth sensing solution을 제안하였다.

AR 기기들에서 depth는 주변 인식 뿐만 아니라, immersive한 display에 필수적이다.
하지만 power 소모를 어떻게 극복하느냐의 문제가 큰 벽이었는데,
본 연구가 하나의 좋은 대안을 제시했다고 생각한다.