1. 서 론

현재 널리 사용되는 적외선 센서 기반의 자동문 시스템은 적외선 센서 감지 범위의 사각지대로 인한 오작동으로 발생하는 부딪힘 및 끼임과 같은 안전사고가 문제로 대두되고 있다^[1]. 이에 기존의 적외선 센서 기반 자동문의 외란관측기를 통한 개폐 동작 제어를 통해 안전 문제를 해결하기 위한 연구들이 진행되었다^[2][3]. 기존의 자동문은 적외선 센서의 한계로 인한 잦은 오작동이 발생한다. 자동문의 오작동은 불필요한 개폐 동작으로 인해 냉·난방에 필요한 에너지의 낭비로 이어진다^[4]. 조세형은 "다중노출 출력과 HDR 기법을 이용한 적외선 근접센서 측정 범위 향상 방법" 논문을 통해 센서의 특성곡선을 추출하고 이를 바탕으로 HDR(High Dynamic Range) 기법을 이용한 적외선 센서의 성능 개선 방법을 제안하였다^[5]. 제안된 성능 개선 방법은 외부 조명에 의한 간섭을 최소화하고 적외선 반사광의 세기를 정확하게 측정할 수 있다. 또한 적외선 센서의 한계를 개선하기 위한 다양한 연구들이 진행되었다^[6][7]. 송동혁 등은 "초음파센서를 이용한 지능형 자동문시스템 개발" 논문에서 초음파 센서를 활용하여 개선된 자동문 시스템을 제안하였다. 이들이 제안한 지능형 자동문 시스템은 빠르게 접근하는 물체에 적응적으로 자동문의 개폐 속도를 조절하여 경제적, 안정성 측면에서 성능을 개선하였다^[8]. 또한 초음파 센서를 이용한 자동문의 물체감지 성능 개선에 대한 연구가 진행되었다^[9]. V. Venkataramanan 등은 "Smart automatic COVID door opening system with contactless temperature sensing" 논문에서 PIR((Passive infrared sensor) 센서와 비접촉 온도센서를 이용한 스마트 도어 시스템을 제안한다. 이들이 제안한 스마트 도어는 PIR센서를 통해 사람을 감지한 후 사람의 체온에 반응하여 자동문의 개폐 판단이 이루어지며 질병의 확산을 줄여주는데 활용할 수 있다^[10]. 이러한 자동문을 개선한 연구는 보행자의 자동문 이용 여부에 따른 개폐 판단이 이루어지지 않아 자동문의 불필요한 개폐 동작을 감소시키는 부분에 미흡하다. 이러한 문제를 해결하기 위해 기존 자동문보다 더 정확한 개폐 판단이 가능한 새로운 자동문 시스템이 필요하다. 따라서 본 논문에서는 자동문의 안전성 향상과 자동문의 오작동으로 인해 실내 냉·난방에 필요한 에너지가 낭비되는 문제를 해결하기 위해 비전센서와 딥러닝을 활용하여 보행자의 위치를 감지한 후 다항 회귀를 이용한 보행자의 동선을 예측하여 자동문의 개폐 여부를 결정하는 시스템을 제안한다.

2. 본 론

본 논문에서 제안하는 스마트 도어 시스템은 머신러닝 기반 비전센서를 사용하여 보행자의 위치정보를 추출한 후 다항 회귀를 통해 보행자의 동선을 예측하여 스마트 도어의 개폐를 결정하는 시스템이다. 그림 1은 스마트 도어에 설치된 비전센서의 위치와 시야 범위를 표시한 렌더링 이미지이다. 보행자끼리 가려져 비전센서가 보행자를 인식하지 못하는 상황을 최소화하기 위해 스마트 도어의 상단에 비전센서를 설치한다. 이때 비전센서의 각도는 스마트 도어 근처에서 사람의 머리를 인식할 수 없는 사각지대가 없도록 조절한다.

그림 1. 비전센서의 위치 및 시야 범위

Fig. 1. Position and field of view of the vision sensor

2.1 딥러닝 기반 보행자 위치 인식

본 논문에서는 보행자의 위치 인식을 위해 YOLO(You Only Look Once)v8 모델을 활용하였다. 비전센서의 위치 특성상 보행자의 머리를 인식하는 것이 보행자 위치 인식에 유리하다. 따라서 보행자 위치 인식 알고리즘의 보행자 머리 검출 모델은 YOLOv8 알고리즘과 공개된 이미지 데이터를 사용하여 제작하였다. 모델 제작에는 7,611개의 커스텀 데이터가 사용되었다. 그림 2는 비전센서에서 획득한 영상 중 하나의 프레임에서 인식한 머리의 ROI(Region Of Interest)와 ROI의 중심점의 좌표를 통해 구한 보행자의 좌표를 표시한 그림이다.

그림 2. YOLOv8 모델을 이용한 머리 인식 및 ROI 중심점 추출

Fig. 2. Head detection and ROI center point extraction using YOLOv8 model

2.2 동선 예측을 위한 보행자 위치정보 처리 알고리즘

그림 3은 비전센서로 획득한 영상에서 보행자의 좌표들을 각각의 보행자별로 구분하여 멀티스레드로 처리하는 알고리즘 순서도이다. 일정한 간격의 시간마다 영상 속 보행자들의 현 좌표를 실행 중인 스레드들의 마지막으로 저장된 좌표와 비교하여 임의의 값으로 사전 설정된 임계범위 이내의 가장 가까운 좌표가 저장된 스레드에 저장한다. 처리 중인 스레드가 없거나 보행자 좌표의 위치가 모든 스레드의 마지막 위치로부터 임계범위 밖에 있는 경우 새로운 스레드를 생성한다.

그림 3. 보행자 위치정보 처리 알고리즘

Fig. 3. Pedestrian location information processing algorithm

2.3 다항 회귀 기반 보행자 동선 예측

식 (1)은 보행자의 좌표가 임계범위 밖에 있는지 판단하는 조건식이다. 임계범위의 반지름을 $R_{TH}$라고 정의한다. 이때 $R_{TH}$의 값은 스마트 도어의 주변 환경과 비전센서의 위치와 각도에 맞도록 경험치를 통해 구한다. 비전센서에서 감지한 보행자의 좌표를 $P_{P}$라고 정의한다. 스레드에 마지막으로 저장된 보행자의 좌표를 $P_{pds0}$라고 정의한다. $\overline{P_{pes0}P_{P}}$는 비전센서에서 인식한 좌표와 마지막 좌표와의 거리이다. 식 (1)이 참인 경우 보행자의 좌표가 임계범위 밖에 있다고 판단하여 새로운 스레드를 생성한다.

(1)

$\overline{P_{pes0}P_{P}}\ge R_{TH}$

본 논문에서는 보행자의 동선 예측을 위해 다항 회귀 모델을 적용한다. 보행자가 2회 이상 방향을 전환하여 보행하는 경우 3차 이상의 다항 회귀 모델을 적용해야 한다. 반면, 보행자의 동선에서 방향 전환의 변화가 없는 경우 2차 함수의 궤적과 유사하며 정확한 동선 예측이 가능하다. 비전센서 기반 스마트 도어 개폐 판단 알고리즘은 개폐 판단 기준선에 접근한 보행자의 연속적인 3개의 좌표에 대해 다항 회귀 모델을 적용한다. 개폐 판단 기준선은 경험치에 의해 자동문과 근접한 위치에 설정되므로 기준선에 접근한 보행자의 동선에서 방향 전환의 변화가 없다. 따라서 본 논문에서는 보행자의 동선 예측을 위해 2차 다항 회귀 모델을 적용한다. 식 (2)는 보행자의 좌표들을 통해 동선을 예측하기 위한 종속변수 $y$에 대한 독립변수 $x$의 2차 다항 회귀 모델이다.

(2)

$y=f(x)=k_{0}+k_{1}x+k_{2}x^{2}$

식 (2)와 식 (3)의 계수 $k_{0}$, $k_{1}$, $k_{2}$는 보행자의 좌표들에 최소제곱법을 적용해 구한다. 그림 4는 보행자가 스마트 도어를 향해 직진할 때의 실제 동선과 식 (2)를 적용한 예측 동선을 비교한 그림이다.

그림 4. 잘못된 독립변수 선택에 의한 동선 예측 실패

Fig. 4. Failed to trajectory prediction by selecting incorrect independent variable

그림 4에서의 보행자의 동선과 식 (2)를 적용한 예측 동선의 스마트 도어 통과 여부가 일치하지 않는다. 따라서 본 논문에서는 그림 4와 같은 문제가 발생한 경우, 종속변수 $x$에 대한 독립변수 $y$의 대한 2차 다항 회귀 모델을 적용하여 예측 동선을 생성한다. 식 (3)은 종속변수 $x$에 대한 독립변수 $y$의 2차 다항 회귀 모델이다.

(3)

$x=f(y)=k_{0}+k_{1}y+k_{2}y^{2}$

그림 5. 적합한 독립변수 선택에 의한 동선 예측 성공

Fig. 5. Successful trajectory prediction by selecting a suitable independent variable

그림 5는 식 (3)을 적용하여 예측한 동선과 실제 동선을 비교한 그림이다. 식 (2)를 적용한 그림 4와 다르게 실제 동선과 예측 동선이 스마트 도어 통과 여부가 일치하는 것을 확인할 수 있다. 식 (4)는 보행자의 현 위치 좌표 $P_{pds0}(x_{pds0},\: y_{pds0})$와 이전 좌표 $P_{pds1}(x_{pds1},\: y_{pds1})$를 지나는 직선의 기울기를 구하는 식이다. 식 (5)는 보행자의 동선 패턴에 따라 적용할 동선 예측 모델을 결정하는 조건식이다. 식 (5)의 결과가 참인 경우 식 (2)를 적용하고 거짓인 경우 식 (3)을 적용하여 동선을 예측한다.

(4)

$a_{pds}=\dfrac{y_{pds0}-y_{pds1}}{x_{pds0}-x_{pds1}}$

(5)

$\left | a_{pds}\right | <1$

그림 6은 비전센서를 통해 획득한 각각의 보행자들에 대한 좌표들에 식 (5)를 통해 결정된 식 (2) 또는 식 (3) 중 하나의 모델을 적용한 예측 동선을 좌표평면에 나타낸 그림이다.

그림 6. 다항 회귀 기반 보행자 동선 예측

Fig. 6. Pedestrian trajectory prediction based on polynomial regression

$P_{pds D}$는 식 (2)을 적용하였고 $P_{pds B}$는 식 (3)을 적용하였다. 그림 6에서 스마트 도어의 위치는 $P_{d1}(x_{d1},\: y_{d})$과 $P_{d2}(x_{d2,\:}y_{d})$로 정의하였다. 식 (6)은 개폐 판단 알고리즘에서 보행자의 동선 패턴을 기준으로 예측 동선 생성 여부를 결정하기 위해 설정한 기준선이다. 이때 $a$, $b$, $r_{base}$는 스마트 도어의 주변 환경과 비전센서의 위치와 각도에 적합한 값을 경험치를 통해 구한다.

(6)

$(x-a)^{2}+(y-b)^{2}=r_{base}^{2}$

2.4 딥러닝 기반 보행자 위치 인식

그림 7은 보행자 위치 인식 알고리즘에서 생성된 스레드에서 처리되는 예측 동선 생성 및 개폐 판단 알고리즘 순서도다. 생성된 모든 스레드에서 다항 회귀를 통한 동선 예측을 처리한다면 프로그램의 불필요한 처리가 늘어나 시스템의 성능저하로 이어질 수 있다. 따라서 본 논문에서는 동선 예측 적용 조건을 만족할 때 다항 회귀를 적용한다. 식 (7)은 보행자의 동선에 따라 기준선 (6)의 중심점 $P_{base}(a,\: b)$를 기준으로 다항 회귀 적용 여부를 결정하는 조건식이다. 스레드에서 마지막으로 저장된 보행자의 좌표에 대한 식 (7)의 결과가 참인 경우 스레드에 저장된 보행자의 좌표들에 대해 식 (5)를 이용하여 결정한 식 (2)또는 식 (3)을 통해 예측 동선을 구한다. 식 (8)과 식 (9)는 예측 동선이 스마트 도어를 통과하는지 판단하는 조건식이다. 식 (8)과 식 (9)가 모두 참인 경우 스마트 도어를 개방한다.

그림 7. 동선 예측 및 스마트 도어 개폐 판단 알고리즘

Fig. 7. Pedestrian trajectory prediction and smart door operation determination algorithm

(7)

$\overline{P_{base}P_{pds0}}< r_{base}$

(8)

$k_{1}^{2}-4k_{2}(k_{0}-a_{base})\ge 0$

(9)

$x_{d1}\le x_{PRD}\le x_{d2}$

스마트 도어를 개방한 경우 스마트 도어 폐쇄 대기 모드가 활성화 되며 보행자의 대한 예측 동선이 스마트 도어를 통과하지 않거나 보행자의 좌표가 더 이상 저장되지 않을 때 스마트 도어 폐쇄 대기 모드가 비활성화된다.

3. 실 험

본 논문에서 제안한 스마트 도어 시스템의 개폐 판단 정확성을 평가하기 위해 10명이 공동 사용하는 연구실 출입문의 외부 쪽 상부에 적외선 센서와 비전센서를 설치하여 총 10시간 동안 실험을 진행하였다. 자동문의 개폐 동작으로 인한 두 센서의 자동문 개폐 판단의 간섭이 발생할 수 있으므로 자동문을 항상 개방해두고 실험하였다. 그림 8은 개폐 판단 정확도 평가 실험환경을 보여주는 그림이다. 적외선 센서의 신호는 MCU(Micro Controller Unit)의 ADC(Analog to Digital Converter) 기능을 이용해 이진화한 후 RS232 통신을 통해 임베디드 컴퓨터로 전송한다. 비전센서는 USB통신을 통해 임베디드 컴퓨터에 전송한다. 임베디드 컴퓨터는 비전센서에서 획득한 영상을 동선 예측 및 스마트 도어 개폐 판단 알고리즘의 결과와 함께 저장한다. 표 1은 실험장비의 구성과 사양을 나타낸다.

그림 8. 개폐 판단 정확도 평가 실험 환경

Fig. 8. Experimental environment for accuracy evaluation of opening or closing determination

표 2는 실험을 통해 수집된 데이터의 구성을 나타낸다. 기존 적외선 센서 기반 자동문의 경우 보행자의 동선과 상관없이 적외선 센서에서 보행자를 감지 한 경우 자동문을 개방한다. 또한 적외선 센서의 사각지대로 인해 보행자가 자동문에 접근하여도 자동문을 개방하지 않는 상황이 발생한다. 이러한 원인으로 인해 기존의 적외선 센서 기반 자동문에서는 보행자가 자동문에 근접한 후 자동문을 이용하지 않을 때 오작동이 자주 발생한다. 따라서 기존의 적외선 센서 기반의 자동문의 오작동 원인을 기준으로 실험에서 저장된 영상을 분석하여 영상 속 보행자의 동선에 따라 3가지의 패턴으로 분류하였다.

그림 9는 실험을 통해 획득한 3가지의 패턴의 보행자 동선을 추적하여 표시한 그림이다. 표 2에서 분류한 패턴을 기준으로 비전센서를 통해 획득한 영상 속 보행자의 동선을 추적하였다. 패턴 B에 해당하는 보행자 동선의 경우 동선을 추적하지 않고 보행자가 정지하고 있는 상태에서 추적한 좌표를 표시하였다. 그림 9에서 비전센서의 보행자 객체 인식 오류 등으로 인한 비전센서 기반 스마트 도어 시스템의 개폐 판단 실패를 확인할 수 있다. 패턴 A와 B에서 비전센서 기반 스마트 도어의 개폐 판단 실패는 기준선에 접근한 보행자에 한해서 발생했음을 확인할 수 있다. 패턴 C에서 적외선 센서를 통한 자동문 개폐 판단을 실패한 보행자의 동선을 표시하였다. 표시된 보행자의 동선을 통해 보행자의 적외선 센서 사각지대에 접근함으로 인한

그림 9. 보행자 동선 추적 결과

Fig. 9. Pedestrian trajectory tracking results

개폐 판단 실패임을 확인할 수 있다. 표 3은 실험 데이터를 분석한 결과다. 임베디드 컴퓨터에 기록된 두 센서의 데이터를 분석하여 각 패턴에서의 정확도를 구하였다. 각 패턴에 대해 분석된 두 센서의 데이터는 그림 9에서 표시된 동선에서 확인할 수 있다. 또한 비전센서에서 획득한 영상을 기록한 후 사람의 동선 예측 능력을 통한 자동문 개폐 판단 정확도를 표시하였다. 적외선 센서의 경우 80.00 % 이하의 자동문 개폐 판단 정확도를 보였다. 패턴 A와 B에서의 적외선 센서 기반 자동문의 개폐 판단 정확도는 29.41 % 이하인 반면, 비전센서의 경우 90.00 % 이상의 자동문 개폐 판단 정확도를 보였다. 사람의 동선 예측 능력 기반 자동문 개폐 판단 정확도는 95.00 % 이상으로 나타났다. 이러한 결과는 비전센서 기반 스마트 도어 시스템이 기존 적외선 센서 기반 자동문에서 발생한 불필요한 자동문 개폐 동작을 방지하는데 충분한 성능임을 보여준다.

4. 결 론

본 논문에서는 딥러닝 기반의 객체 인식 알고리즘 모델인 YOLOv8과 비전센서를 사용하여 보행자의 위치를 식별하고 2차 다항 회귀를 기반으로 보행자의 동선을 예측하여 자동문의 개폐 여부를 판단하는 시스템을 제안하였다. 실험을 통해 본 논문에서 제안한 시스템과 기존 적외선 센서 기반 자동문의 개폐 판단 정확도를 적외선 센서 기반 자동문의 오작동을 기준으로 분류한 3가지 패턴에서 비교하였다. 또한 본 논문에서 제안한 개폐 판단 알고리즘의 결과와 비전센서로 획득한 영상을 저장하여 사람의 동선 예측 능력을 통한 자동문 개폐 판단과 본 논문에서 제안한 동선 예측 기반 자동문 개폐 판단 알고리즘의 정확도를 비교하였다.

비전센서 기반 스마트 도어 시스템과 기존의 적외선 센서 그리고 사람의 동선 예측 능력을 통한 3가지 패턴에서의 자동문 개폐 판단 정확도를 실험을 통해 측정하였다. 실험에서 측정된 모든 패턴의 기존 적외선 기반 자동문의 개폐 판단 정확도는 47.47 % 이다. 반면, 모든 패턴에서의 비전센서 기반 스마트 도어 시스템의 자동문 개폐 판단 정확도는 94.16 % 로 기존 적외선 센서 기반 자동문보다 향상된 정확도를 보여 자동문의 개폐 오작동을 효과적으로 방지할 수 있음을 확인하였다. 또한 실험을 통해 측정된 모든 패턴에서 비전센서 기반 스마트 도어 시스템과 사람의 보행자 동선 예측 능력 기반의 개폐 판단의 정확도 차이는 3.78 % 이다. 측정된 두 정확도의 차이는 비전센서 기반 스마트 도어의 보행자 동선 예측 알고리즘이 자동문에 적용하기에 충분한 성능임을 보여준다.

이러한 결과는 본 논문에서 제안된 시스템이 적외선 센서 기반 시스템의 한계를 극복하여 자동문 운영의 에너지 효율성을 향상시키며 안전사고 또한 예방할 수 있음을 시사한다. 또한 본 논문은 자동문 개폐 시스템뿐만 아니라 스마트 시티 구축과 같은 더 넓은 분야에서의 응용 가능성을 열어준다.