Swift Parameter-free Attention Network for Efficient Super-Resolution (SPAN) 추가

기존 Attention Mechanism과 SPAN의 Parameter-Free Attention 비교

딥러닝 기반의 초해상화(Super-Resolution) 모델에서는 주의(Attention) 메커니즘을 활용하여 중요한 특징을 강조하고 불필요한 정보를 억제합니다. 하지만 기존의 Attention 방식은 추가적인 학습 가능한(Parameterized) 가중치를 필요로 하며, 연산량이 증가하는 문제가 있습니다.

이 문제를 해결하기 위해 SPAN(Swift Parameter-free Attention Network)은 매개변수가 없는(Parameter-Free) 주의 메커니즘을 도입하여, 기존 Attention 없이도 성능을 유지하면서 연산량을 크게 줄였습니다.

---

기존 Attention Mechanism의 문제점

기존 Attention 방식에서는 다음과 같은 추가적인 학습 파라미터가 필요합니다.

1. Self-Attention (Transformers 기반)

• Query ((W_Q)), Key ((W_K)), Value ((W_V)), Output ((W_O)) 가중치 학습
• 모든 픽셀 간 관계를 계산해야 하므로 연산량이 매우 많음 ((O(N^2)))

2. Channel Attention (SE Block)

• 채널별 중요도를 학습하기 위해 MLP (Multi-Layer Perceptron) 가중치 추가
• FC Layer((W_1, W_2)) 학습 필요 → 연산량 증가

3. Spatial Attention (CBAM)

• 특정 공간 영역의 중요도를 조절하기 위해 CNN 필터(3×3 or 7×7 Convolution Kernel) 가중치 추가
• CNN 기반이므로 연산량이 늘어나고, 모델 크기가 증가

➡ 이러한 방식들은 초해상화 성능을 향상시키지만, 모델이 무거워지고 속도가 느려지는 문제가 있음.

---

SPAN의 Parameter-Free Attention Mechanism

SPAN은 학습 가능한 가중치 없이도 주의 메커니즘을 구현하는 혁신적인 접근법을 제안합니다.

SPAN이 Attention을 적용하는 방식

1. 추가적인 가중치 없이 컨볼루션 출력을 직접 활용

   • 컨볼루션에서 이미 경계(Edges), 질감(Textures), 색상 변화(Color Transitions) 등의 정보를 학습함
   • 기존 Attention처럼 추가적인 학습 없이, 특징 맵의 정보를 직접 사용하여 주의 맵 생성

2. 대칭 활성 함수(Symmetric Activation Function) 사용

   • 기존 Attention 방식에서는 ReLU, Sigmoid 등 비대칭 활성 함수를 사용하여 정보가 손실될 수 있음
   • SPAN은 Sigmoid(x) - 0.5 등의 대칭 활성 함수를 사용하여 음수 값도 보존하며 정보 손실을 최소화

3. 잔여 연결(Residual Connection) 적용

   • 높은 수준의 특징만 강조할 경우, 일부 정보가 사라질 수 있음
   • 이를 방지하기 위해 SPAN은 잔여 연결을 추가하여 저수준 정보도 함께 보존

➡ 결과적으로, SPAN은 기존 Attention 없이도 초해상화 성능을 유지하면서 연산량을 크게 줄일 수 있음.

---

기존 Attention vs. SPAN의 Parameter-Free Attention 비교

비교 항목	기존 Attention Mechanism	SPAN (Parameter-Free Attention)
추가 학습 파라미터	Query, Key, Value 가중치 (Self-Attention) MLP (SE Block) CNN 가중치 (CBAM)	없음 (Non-Parameterized)
연산량	추가적인 FC Layer / CNN 연산 필요	기존 컨볼루션 연산만 활용
속도	상대적으로 느림	매우 빠름
메모리 사용량	학습 파라미터로 인해 모델 크기 증가	경량 모델 유지
응용 가능성	대형 모델 및 GPU 환경 적합	모바일, 임베디드, 실시간 초해상화에 최적

---

결론

기존 Attention Mechanism은 강력한 성능을 제공하지만, 학습 가능한 가중치가 많고 연산량이 증가하여 속도가 느려지는 문제가 있습니다. 반면, SPAN의 Parameter-Free Attention Mechanism은 기존 컨볼루션 연산을 그대로 활용하면서도 주의 효과를 제공하여 추가적인 학습 없이도 초해상화 성능을 유지할 수 있습니다.

SPAN의 혁신

• 기존 Attention 없이도 중요한 정보를 강조하는 효과를 유지
• 추가적인 학습 가중치 없이 기존 컨볼루션 연산만 활용 → 연산량 감소
• 실시간 초해상화(Real-Time SISR)에 적합한 경량 모델 구현

SPAN은 NTIRE 2024 초해상화 챌린지 1위 모델로 선정되었으며, 기존 Attention 기반 모델보다 빠르고 가벼우면서도 높은 성능을 유지할 수 있는 혁신적인 초해상화 모델로 주목받고 있습니다.