딥러닝 & 컴퓨터 비전

Abstract & Introduction Vision transformer(ViT)는 현재 다양한 computer vision 분야에서 적극적으로 사용되고 훌륭한 성능을 보이고 있습니다. 그러나 ViT는 self attention mechanism의 특성상 input image 크기 (patch의 개수)에 quadratic한 계산 복잡도를 가집니다. 이 논문은 이것을 완화하기 위해 ViT의 구성 요소인 patch / head / block을 선택적으로 사용할 수 있는 방법을 제시합니다. 그림 1은 'White Stork' 이미지의 분류를 위해 AdaViT가 주로 참조한 patch를 시각화한 것입니다. 대부분이 배경인 탓에 실제로 중요한 patch는 매우 일부에 불과합니다. 따라서 이런 쓸모없는 patc..