영상처리/camera ISP

Swift Parameter-free Attention Network for Efficient Super-Resolution (SPAN)

난개발자 2025. 2. 7. 22:34
728x90

🔍 연구 개요

**단일 이미지 초해상화(Single Image Super-Resolution, SISR)**는 저해상도 이미지를 고해상도로 변환하는 컴퓨터 비전 기술로, 최근 딥러닝을 활용한 다양한 기법들이 개발되었습니다. 그러나 기존의 주의(attention) 메커니즘을 활용한 SISR 모델들은 높은 성능을 보장하지만, 복잡한 네트워크 구조, 많은 매개변수(Parameter), 느린 추론 속도 등의 문제를 가지고 있습니다.

**Swift Parameter-free Attention Network (SPAN)**은 이러한 문제를 해결하기 위해 제안된 경량화된 SISR 모델로, 매개변수가 없는(parameter-free) 주의 메커니즘을 활용하여 성능을 유지하면서도 계산량을 줄이고 속도를 높이는 것을 목표로 합니다.

🚀 핵심 기여

✔ 매개변수가 없는 주의 메커니즘을 도입하여 네트워크의 단순성을 유지하면서도 중요 정보를 강화하고 불필요한 정보를 억제
✔ Swift Parameter-free Attention Network (SPAN) 설계 → 경량화된 구조로 빠른 특징 추출 가능
✔ 기존의 초해상화 모델 대비 추론 속도 및 이미지 품질 개선
✔ NTIRE 2024 Efficient Super-Resolution Challenge에서 전체 성능 1위 및 실행 속도 1위 달성 🎉

🛠️ SPAN 모델의 구조 및 원리

SPAN은 **Swift Parameter-free Attention Block (SPAB)**을 기반으로 설계되었습니다. 주요 특징은 다음과 같습니다.

✅ 주의 메커니즘 없이 직접 특징을 추출
SPAN의 핵심 아이디어는 주의 맵(attention map)을 학습 없이 계산하는 것입니다. 일반적으로 주의 메커니즘은 학습 가능한 매개변수를 활용하여 특징을 강조하는 반면, SPAN은 **활성 함수(activation function)와 잔여 연결(residual connection)**을 이용하여 자연스럽게 중요한 특징을 강조하는 방식으로 동작합니다.

✅ 잔여 연결을 활용한 정보 보존
기존의 주의 메커니즘을 사용하면 모델이 특정 특징에만 집중하여 정보 손실이 발생할 수 있습니다. 이를 해결하기 위해 SPAN은 잔여 연결을 추가하여 저수준(low-level) 정보도 보존할 수 있도록 설계되었습니다.

✅ 간단한 네트워크 구조 & 빠른 속도
SPAN은 6개의 SPAB 블록을 활용하여 점진적으로 높은 수준의 특징을 추출하며, 최종적으로 픽셀 셔플(Pixel Shuffle) 기법을 사용하여 고해상도 이미지를 생성합니다.

SPAN은 복잡한 attention 구조 없이도 경량화된 네트워크 구조

📊 실험 결과

SPAN은 다양한 벤치마크 데이터셋(Set5, Set14, BSD100, Urban100, Manga109)에서 기존 초해상화 모델과 비교하여 더 높은 PSNR(피크 신호 대 잡음비) 및 SSIM(구조적 유사성 지수) 성능을 달성했습니다.

🔹 SPAN vs 기존 모델 비교 (x4 초해상화 기준)

  • SPAN의 PSNR: 32.20 dB (Set5 기준)
  • 기존 RFDN(32.24 dB), IMDN(32.21 dB) 대비 성능이 유사하지만, 추론 속도는 더욱 빠름
  • SPAN의 추론 속도: 13.67ms (경량 모델 중 가장 빠른 실행 속도)

📌 SPAN은 기존 초해상화 모델 대비 성능을 유지하면서도 계산량이 적고 빠른 추론이 가능하다는 점에서 강력한 경쟁력을 가짐

🏆 NTIRE 2024 챌린지 1위 수상 🎖

SPAN은 NTIRE 2024 Efficient Super-Resolution Challenge에서 전체 성능 1위 및 실행 속도 1위를 기록하였습니다.

팀 이름PSNR(val)PSNR(test)평균 실행 시간(ms)파라미터 수(M)FLOPs(G)종합 순위

XiaomiMM(SPAN, Ours) 26.94 27.01 5.592 0.151 9.83 🥇 1위
RLFN(Baseline) 26.96 27.07 11.77 0.317 19.67 -

📌 SPAN은 기존 초해상화 모델 대비 절반 이상의 속도로 실행되면서도 높은 성능을 기록하여, 실시간 초해상화(real-time SISR) 응용에 적합함을 입증

🎯 결론 및 전망

SPAN은 초해상화(SISR)에서 높은 성능과 빠른 속도를 모두 만족하는 혁신적인 모델입니다.

💡 SPAN의 장점
✔ 주의 메커니즘을 매개변수 없이 구현하여 경량화
✔ 네트워크 구조 단순화로 빠른 추론 속도 확보
✔ NTIRE 2024 챌린지 1위로 실용성 검증

📌 향후 SPAN의 경량 주의 메커니즘을 다른 컴퓨터 비전 분야에도 적용할 가능성이 있으며, 더욱 효율적인 네트워크 최적화를 통해 추가 성능 개선이 기대됨

📢 더 자세한 내용은 GitHub에서 확인하세요!
🔗 SPAN 논문 코드 & 모델 공개

728x90