DSSD:Deconvolutional Single Shot Detector

이번에 리뷰할 논문은 DSSD 이라는 이름의 논문입니다

해당 논문은 기존 YOLO 대비 정확도를 개선한 모델인 SSD의 주 문제점인

작은 물체의 탐지가 어렵다 라는 단점을 보완한 논문입니다.

해당 논문의 주 변경점은 

Base model 을 SSD VGG-16 model에서 ResNet-101 모델로 변경

기존 SSD(single shot detector )에 deconvolution network 추가

Prediction module 사용

이 있습니다

 

정확도 향상 및 작은 물체 탐지를 위하여 당시 최고의 성능을 보이던 ResNet 모델을

SSD Network와 결합시켜 모델을 생성하였으며

Deconvolution network를 사용시 작은 물체와 정확도 개선에 영향을 끼칠 것이라 판단하여 기존 SSD 모델에 추가 – semantic 분야의 DeConvNet 영감을 받았습니다.

Resnet이란 이전 입력 x에 대하여 convolution을 통하여 새로운 y로 만들과 해당 y만 계속하여 학습하였다면

Resnet의 경우 입력 x에 대하여 x+a식으로 만들고 a만 추가로 학습하는 것입니다

쉽게 설명하면 아에 새로운 y를 매번 학습하는 것 보다

기존 x이후 추가적인 부분만 학습하며 기존 정보에 추가되는 부분만 추가 학습하여

정확도를 높이는 기법이라 생각하면 좋을 것 같습니다

해당 과정에서 몇 개의 network의 잔차만 학습할지를 정하는 부분이 skip connection 입니다.

 

DSSD를 알아보기 이전 SSD에 대하여 간략하게 알아보겠습니다

SSD 모델의 구성입니다 해당 시기에는 VGG-16을 Base Model로 하여 구성하였으며

feature map을 총 6개의 size에서 뽑아내어 정규화 시켜 합쳐 물체의 class와 위치를 검출하는 방법을 사용하였습니다

 

SSD와 DSSD의 차이점 입니다

정확도를 높이기 위하여 SSD 모델부터 여러 크기의 conv 에서 뽑아낸 feature map을 결합하여 사용하는 방법을 채택하였습니다

하지만 결합 과정을 위하여 L2 방식으로 정규화를 진행하였으며 해당 과정을 진행하는 중에 메모리 공간 낭비와 더불어 모델의 속도 또한 저하시킵니다.

따라서 정규화 후 합치는 방법이 아닌 각 크기의 feature map에 맞는 크기의 object를 deconvolution 과정에서 detect

Convolution 연산이 많이 시행되지 않은 feature map 에는 작은 객체 탐지에 대한 정보가 적으므로 skip 하는 과정을 거칩니다.

 

Prediction module관련 부분입니다

Prediction module

(a)-기존 ssd 에서 사용하던 예측 모듈

(b)-skip connection 적용 residual 모듈

(c)-skip connection 시 1*1 conv 적용

(d)-residual 2개 이어붙인 모듈입니다

 

결과는 (c) 방식이 가장 우수한 결과를 보여줍니다

 

Deconvolution module 관련 부분입니다

Deconvolution 연산을 진행하여 feature map의 크기를

키운 이후 동일 크기의 ssd의 feature  map과

Element-wise 연산을 진행하는 module입니다

Element-wise 연산은 각 행렬에서 각 요소들을 연산하는 것으로

Element-wise 연산은 곱연산이 합연산보다

정확도가 높게 나타납니다.

 

결과표 입니다

PASCAL VOC 데이터 2007년과 2012년 결과를 보면 이전보다 정확도가 개선된 모습을 볼 수 있으며

 

타 모델과 비교한 결과를 확인하면 FPS의 경우 기존 SSD보다 약간 떨어지는 정도로

해당 표에는 9.5 / 13.6등으로 매우 적은 수치를 나타내나 

이전에 출시된 SSD 모델의 경우 FPS가 약 60 정도로 측정된 것을 보면 

DSSD의 FPS는 그래픽 카드 등에 의한 결과일 것이라 예상되며 속도는 약 45~50 정도로 예상되며

실시간성을 보여주기에 충분한 속도일 것으로 예상됩니다.