DGIST - 용량은 작게 화질은 높게, 딥러닝을 이용한 이미지 초고해상도 알고리즘 개발

용량은 작게 화질은 높게, 딥러닝을 이용한 이미지 초고해상도 알고리즘 개발

- DGIST 진경환 교수 연구팀, 영상, 사진 관련 기존 알고리즘 대비 메모리와 속도는 절반이지만 해상도는 높아지는 기술 개발

- 영상, 사진 제품 개발 시 소프트웨어 등 알고리즘 활용 기대

□ DGIST (총장 국양) 전기전자컴퓨터공학과 진경환 교수와 정보통신융합연구소 이재원 연구원은 해상도 증대를 위한 Bicubic interpolation 기술보다 해상력은 높고, 기존 딥러닝 기술 대비 메모리와 속도가 절반 이상 절감된 기술을 개발했다.

□ Bicubic interpolation 은 디스플레이 기기마다 다른 해상도를 보상하기 위한 개발된 신호처리 기반의 기술을 의미한다. Bicubic interpolation 은 메모리가 적게 들고, 속도가 빠르지만 이미지의 해상도가 저하되는 화질열화 현상이 심하게 나타난다.

□ 이를 극복하기 위해 딥러닝 기반의 초고해상도 기술들이 등장했다. 이미지 초고해상도 기술은 디스플레이, 카메라, cctv 등과 같이 일상생활과 밀접한 관련이 있다. 예를 들어 스마트폰에서는 화면을 확대해야 하는 경우가 많은데 이런 상황에서 기존 bicubic 보간보다 뚜렷한 영상을 고해상도화 해야만 한다. 디스플레이 역시 제품마다 해상도가 다른데 이를 보상하기 위한 DDI scaler 의 소프트웨어 알고리즘으로 사용될 수 있다.

□ 하지만 딥러닝 기반의 초고해상도 기술은 임의 스케일에 대해 동작하지 못하고, 특정 스케일에 대해서만 동작이 원활하다는 단점을 지니고 있는데, 최근 이에 대한 해결책으로 함축 표현 신경망 기술이 주목을 받고 있다.

□ 하지만 함축 표현 신경망 기술에도 고주파 성분을 잡아내지 못하고, 메모리의 크기와 신호의 속도 측면에서 크게 불리하다는 문제점이 있는데, 진경환 교수 연구팀에서 이러한 문제를 해결하기 위해 퓨리에 해석 기반 함축 표현 신경망 기술을 개발하였다.

□ 해당 기술은 이미지의 주파수를 직접적으로 추출하기 때문에, 화질 복원에 있어서 고주파수를 복원하는 데 용이하다. 이미지의 화질을 높이기 위해서는 고주파수 복원이 반드시 필요하므로 CCTV, 디스플레이, 카메라 등과 같은 영상 또는 사진 관련 제품들에 필수적인 기술이라고 할 수 있다.

□ 진경환 교수는 “해당 기술의 개발을 통해 짧은 시간 내에 적은 양의 메모리만으로도 임의 스케일에 대한 화질 개선이 이루어 질 수 있다. 이로 인해 영상 또는 사진 관련 제품의 알고리즘을 통한 화질 개선, 소프트웨어의 경량화가 이루어질 것으로 기대된다.”고 밝혔다.

□ 한편, 이번 연구성과는 한국연구재단과 정보통신기획평가원의 지원을 통해 이뤄졌으며, 비전 기술 분야 세계적 권위의 국제 컨퍼런스 ‘IEEE/CVF 2022 Conference on Computer Vision and Pattern Recognition’에 6월 게재되었다.

연구 결과 개요

Local Texture Estimator for Implicit Representation Function

Jaewon Lee and Kyong Hwan Jin

(IEEE/CVF Conference on Computer Vision and Pattern Recognition, on-line published on 06.24, 2022) 

함축 표현 함수 기능을 가진 최근 연구는 이미지를 임의의 해상도로 표현하는 것을 조명했다. 그러나 다층 퍼셉트론은 고주파 구성 요소를 학습하는 데 제한된 성능을 보여준다. 본 논문에서는 자연 이미지에 대한 효과적인 주파수 추정기인 로컬 텍스처 추정기(LTE)를 제안하며, 이미지를 연속적으로 재구성하는 동안 함축적 표현 기능이 미세한 세부 정보를 캡처할 수 있도록 한다. 심층 초해상도(SR) 신경망과 공동으로 훈련할 때, LTE는 2차원 푸리에 공간에서 이미지 텍스처를 추정할 수 있다. 우리는 LTE 기반 신경 기능이 임의의 스케일 요인 내에서 기존의 심층 SR 방법에 비해 뛰어난 성능을 달성한 것을 보여준다. 또한, 제안된 방식이 이전 신경망들에 비해 가장 짧은 실행 시간이 걸린다는 것을 보여준다. 

연구 결과 문답

이번 성과 무엇이 다른가?

기존 함축적 표현 신경망의 경우에는 전통적인 딥러닝 기반의 초고해상도 기술과 달리 특정한 스케일에 대해서만 초고해상도가 가능한 것이 아니라 임의의 스케일에 대해서 초고해상도가 가능함. 하지만 ReLU 기반의 함축적 표현 신경망은 고주파 신호를 잡지 못한다는 단점이 있음. 이를 해결하기 위해 본 연구에서는 퓨리에 정보를 저해상도 이미지로부터 추출하여 고해상도 이미지를 복원해 내는데 이용함.

어디에 쓸 수 있나?

디스플레이 드라이버 IC 는 디스플레이마다 다른 픽셀 개수를 보상하기 위해 디스플레이에 필수적인 장치이며, 본 성과는 임의 스케일에 대해 고주파 성분 복원이 가능한 초고해상도 기술이므로 디스플레이 드라이버 IC 의 소프트웨어 알고리즘으로 사용될 수 있음.

실용화까지 필요한 시간과 과제는?

현재 real dataset에 대해서도 초고해상도가 가능성을 검증중임. synthetic data 뿐만 아니라 스마트폰 카메라 데이터셋에 대해서도 고주파 성분을 잡을 수 있음을 보일 예정임.

연구를 시작한 계기는?

초고해상도 기술은 카메라, cctv, 디스플레이 등 일상생활과 밀접하게 관련되어 있음. 이미지 초고해상도 기술은 고주파 성분을 복원해내는 것이 중요한데, 퓨리에 기반의 신호처리 특성을 이용하면 성능향상으로 이어질 것으로 생각함.

어떤 의미가 있는가?

디스플레이, 카메라, cctv 등과 같이 일상생활과 밀접한 관련이 있는 기술임. 예를들어 스마트폰에서는 화면을 확대해야 하는 경우가 많은데 이런 상황에서 기존 bicubic 보간보다 뚜렷한 영상을 고해상도화함. 디스플레이 역시 제품마다 해상도가 다른데 이를 보상하기 위한 DDI scaler 의 소프트웨어 알고리즘으로 사용될 수 있음.

꼭 이루고 싶은 목표는?

디스플레이, 카메라, cctv 등에 필요한 영상처리 알고리즘은 성능 뿐만 아니라 부족한 하드웨어 리소스 역시 고려되어야 함. 딥러닝 기반의 기술은 성능은 매우 우수하지만 바로 적용하기에는 현재 리소스 고려가 부족. 이러한 요소들을 모두 고려한 알고리즘을 설계하는 것이 목표임.