Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Main Menu

Journal Search

[

Research article

]

The Transactions of the Korean Institute of Electrical Engineers

KIEE Vol. 67, No. 4, p.586-594

ISSN (print) :

1975-8359

ISSN (online) :

2287-4364

Received : 14 February 2018Revised : Accepted : 30 March 2018

DOI :

http://doi.org/10.5370/KIEE.2018.67.4.586

골격 특징 및 색상 유사도를 이용한 가축 도난 감지 시스템

Livestock Theft Detection System Using Skeleton Feature and Color Similarity

김준형 (Jun-Hyoung Kim) ¹ 주영훈 (Yung-Hoon Joo) ²^†

(School of IT Information and Control Engineering, Kunsan National University, Korea)
(IT Information and Control Engineering, Kunsan National University, Korea)

^†Corresponding author, E-mail: yhjoo@kunsan.ac.kr

License :

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.(www.kiee.or.kr).

Abstract

In this paper, we propose a livestock theft detection system through moving object classification and tracking method. To do this, first, we extract moving objects using GMM(Gaussian Mixture Model) and RGB background modeling method. Second, it utilizes a morphology technique to remove shadows and noise, and recognizes moving objects through labeling. Third, the recognized moving objects are classified into human and livestock using skeletal features and color similarity judgment. Fourth, for the classified moving objects, CAM (Continuously Adaptive Meanshift) Shift and Kalman Filter are used to perform tracking and overlapping judgment, and risk is judged to generate a notification. Finally, several experiments demonstrate the feasibility and applicability of the proposed method.

Key words

Skeleton feature, Color similarity, Object classification, Livestock, Multiple moving object, Theft Detection System

1. 서론

최근 카메라를 이용한 영상 시스템의 발달로 인하여 회사, 학교, 가정, 차량 등 많은 곳에서 카메라를 이용한 영상 시스템이 사용됨을 볼 수 있다. 특히, 많은 곳에서 지능형 영상 감시 시스템을 사용하여 범죄를 예방 및 대처하는 추세이며 많은 기술들이 상용화되고 있다^(1,²⁾. 그러나 이러한 감시 시스템은 도심을 기준으로 발달되어지며, 인간을 추출 및 추적에 관한 연구가 대부분이다. 따라서 도심 지역에 비해 농촌 지역은 감시 카메라를 이용한 영상 시스템의 발달이 부족한 실정이다. 이러한 농촌지역의 축사 감시시스템은 보통 기본적인 CCTV(Closed Circuit Television)를 이용하여 하드디스크 등의 저장장치를 사용한 DVR(Digital Video Recorder) 기반 감시 시스템과 RFID(Radio Frequency IDentification)를 이용한 센서 기반 감시 시스템이 대부분이다⁽³⁾. 이러한 시스템은 가축과 인간을 판단할 수 없으며, 감시자가 직접 확인하지 않을 경우 사전 및 사후의 대처가 어렵다는 문제점이 있다.

따라서, 이러한 문제점을 해결하기 위한 축사의 지능형 감시 시스템은 입력 영상에서 이동 객체를 추출하고, 이동 객체가 인간인지 가축인지를 인식하는 객체 분류 방법을 통하여 축사의 상황을 판단 및 대처하는 시스템이 필요하다. 이러한 연구는 다음과 같이 진행되어지고 있다.

먼저, 실시간으로 입력된 영상에 대해 이동 객체를 추출하는 방법은 다양하게 연구되고 있다^(4-⁶⁾. Lee 등은 배경영상과 입력영상의 차이를 이용하여 이동 객체를 추출하는 방법을 제안하였다⁽⁴⁾. 하지만 이 방법은 실시간으로 이동 객체 추출을 보이지만, 외부 환경과 같이 잡음이 많은 환경에서는 추출하고자하는 이동 객체 추출이 어렵다는 단점을 가지고 있다. Lin 등은 배경 영상에서 화소의 밝기 값의 변화를 가우시안 분포를 이용하여 배경을 모델링하는 방법을 제안하였다⁽⁵⁾. 이 방법은 화소의 밝기 값의 변화를 학습하여 환경적으로 적응하기 때문에 배경 변화에 덜 민감하며, 기존의 방법보다 우수한 검출 성능을 보인다. 하지만 이동 객체가 움직임을 보이지 않을 경우 배경으로 판단한다는 단점을 가지고 있다. 또한, Haritaoglu 등은 입력된 영상의 컬러의 최소 밝기 값과 최대 밝기 값을 학습하여 배경을 모델링하는 방법을 제안하였다⁽⁶⁾. 이 방법은 배경의 컬러 값을 모델링하기 때문에 움직이지 않는 객체를 추출할 수 있다는 장점이 있으나, 잡음에 민감한 요소를 가지고 있다.

다음, 적용하는 목적에 따라 이동 객체를 인식하여 인간, 동물, 차량 등과 같은 객체를 분류하기 위한 방법이 있다^(7-¹²⁾. 먼저, Redmon 등은 객체의 특징을 학습하여 분류하는 방법을 제안하였다⁽⁷⁾. 하지만 이 방법은 빅 데이터를 사용해야하며, 하드웨어가 비교적 좋아야한다는 단점이 있다. Poursaberi 등은 가축의 옆모습 특징인 등의 모습을 이용하여 가축을 분류하였으며⁽⁸⁾, Rivlin 등은 객체가 가지고 있는 형태를 SVM (Support Vector Machine)을 이용하여 분류하는 방법을 제안하였다⁽⁹⁾. 그리고 Osman 등은 객체가 가지고 있는 형태의 비율을 이용하여 분류하는 방법을 제안하였다⁽¹⁰⁾. 또한, Kaiyan 등은 객체 분할을 이용하여 분류하는 방법을 제안하였다⁽¹¹⁾. 그리고 Pham 등은 객체 크기를 타원으로 판단하여 분류하는 방법을 제안하였다⁽¹²⁾. 하지만 상기 방법들은 이동 객체의 형태가 고유한 특징을 보이지 않을 경우 분류율이 떨어진다는 단점을 보인다.

이에 본 논문은 상기 기존 연구들의 장단점을 분석하고 단점을 해결하여 기술의 개발을 향상시키며, 축사에 대한 가축 도난 감지 시스템을 구축하기 위해 이동객체의 골격 특징 및 색상 유사도를 이용한 가축 도난 감지 시스템을 제안한다. 제안하는 방법은 이동 객체 추출, 인식, 분류 그리고 추적 방법으로 구성된다. 먼저, GMM (Gaussian Mixture Model)방법과 RGB 배경 모델링 방법을 이용하여 이동 객체를 추출한다. 다음, 잡음 및 그림자를 제거하기 위해 Morphology 방법을 이용하며, 잡음이 제거된 이동 객체 영역에 대해 라벨링(Labeling) 방법을 이용하여 이동 객체를 인식한다. 다음, 인식된 이동 객체 영역과 배경 영역을 분류하고, 이동 객체가 가지고 있는 골격 특징정보와 색상 정보를 이용한 판단 방법을 통해 인간과 가축을 분류하는 방법을 제안한다. 마지막으로 분류된 이동 객체에 대해 CAM(Continuously Adaptive Meanshift) Shift 방법과 Kalman Filter방법을 이용하여 추적 및 겹침 판단을 통한 위험 상황 파악 방법을 제안한다. 최종적으로, 제안된 방법은 실제 축사에 적용한 실험을 통해 그 우수성과 응용 가능성을 보인다.

2. 제안한 전체 시스템

본 논문에서 제안하는 골격 특징 및 색상 유사도를 이용한 가축 도난 감지 시스템의 블록도는 그림. 1과 같다.

그림. 1. 제안하는 시스템 블록도

Fig. 1. Block diagram of the proposed system

제안하는 방법은 입력 영상을 받아와 이동 객체 추출을 위해 GMM방법으로 배경을 모델링하며, 적은 움직임과 조도의 변화에 의해 추출되지 않는 객체를 RGB 배경 모델링을 이용하여 추출한다. 다음, 조도의 변화에 따른 잡음을 제거하기 위해 Morphology 방법을 이용하며, 최종적으로 추출된 이동 객체 영역을 라벨링 방법으로 인식한다. 다음, 인식된 이동 객체에 대해 골격화 (Skeletonization)과 Shi-Tomasi Corner를 이용하여 배경을 제외한 이동 객체의 골격에 대한 특징점을 추출한다. 이렇게 추출된 특징점에 대해 Convex Hull을 이용하여 이동 객체의 형태 정보와 크기를 판단하며, 가축으로 판단된 객체에 대해 색상 유사도를 판단한다. 유사도 판단 결과 유사도가 높은 색상을 가축의 색상으로 판단하고, 베이지안 분류기(Bayesian Classifier)를 이용해 오분류 색상을 제외시킨다. 이렇게 얻어진 형태 분류정보와 색상 분류정보를 이용하여 인간과 가축을 분류하고, 분류된 객체에 대해 CAM Shift와 Kalman Filter를 이용하여 추적 및 겹침을 판단한다. 마지막으로, 동일 객체들의 겹침과 인간과 가축의 겹침을 이용하여 위험(가축 도난등) 상황을 판단하고 사용자에게 알리는 시스템으로 구성된다.

3. 골격 특징 및 색상 유사도를 이용한 가축 도난 감지 시스템

3.1 입력 영상에서의 이동 객체 추출 및 인식

본 절에서는 입력되는 영상에 대해 배경(background)으로부터 전경(foreground)을 추출하기 위해 GMM 방법을 이용하여 배경을 모델링한다^(5,^21,²²⁾. 이렇게 모델링되어진 결과 배경에서 분류된 전경은 이동 객체를 나타낸다.

하지만 축사의 경우 조도의 변화가 심하여 이동 객체의 영역이 많이 소실되거나 추출이 되지 않는 경우가 발생하며, 움직임이 적은 객체를 추출하지 못하는 경우가 생긴다. 이러한 객체를 추출하기 위해 본 논문에서는 RGB 배경 모델링을 식(1)과 같은 방법으로 수행한다⁽⁶⁾.

(1)

| V i d e o^{z} (x, y) - λ (x, y) | < 2 σ (x, y)

여기서, Video^z(x,y)는 z번째 입력 영상의 해당 픽셀 위치를 나타내며, σ(x,y)와 λ(x,y)는 전체 입력 영상에 해당하는 픽셀에서의 표준편차와 중간 값을 나타낸다. 영상에서 현재 픽셀 값 Video^z(x,y)에서 중간 값 λ(x,y)의 차이 값이 σ(x,y)의 2배보다 작을 경우 배경 픽셀로 결정한다.

다음, GMM 결과와 RGB 배경 모델링 결과에 대해 두 행렬의 원소끼리 덧셈 연산을 수행하여 최종적으로 이동 객체를 추출한다. 제안한 방법을 이용하여 움직이지 않는 다수의 가축 객체를 추출한 결과는 그림. 2와 같으며, 움직이는 다 수의 인간과 가축 객체를 추출한 결과는 그림. 3과 같다.

그림. 2(a)는 움직이지 않는 객체에 대한 입력 영상을 나타내며, 그림. 2(b)는 입력 영상에서 GMM을 이용하여 이동 객체를 추출한 결과를 나타낸다. 그러나, 객체가 움직이지 않기 때문에 객체 추출이 잘 되지 않은 결과를 나타낸다. 다음, 그림. 2(c)는 RGB 배경 모델링을 이용하여 추출되지 않은 이동 객체를 추출한 결과이며, 그림. 2(d)는 GMM과 RGB 배경 모델링 결과를 덧셈 연산하여 이동 객체를 추출한 결과이다.

그림. 2. GMM과 RGB 배경 모델링을 이용한 움직이지 않는 객체 추출 결과

Fig. 2. Non-moving object extraction results using GMM and RGB background modeling

그림. 3(a)는 다수의 움직이는 인간과 가축에 대한 입력 영상을 나타내며, 그림. 3(b)는 GMM을 이용한 결과를 나타낸다. 그리고 그림. 3(c)는 RGB 배경 모델링 이용 결과를 나타내며, 그림. 3(d)는 이동 객체를 추출한 결과를 나타낸다.

그림. 3. GMM과 RGB 배경 모델링을 이용한 이동 객체 추출 결과

Fig. 3. Moving object extraction results using GMM and RGB background modeling

다음, 이동 객체의 그림자 및 미세한 흔들림으로 인해 발생하는 잡음을 제거하기 위해 Morphology 방법인 침식(erosion)과 팽창(dilation) 연산을 수행한다⁽¹³⁾.

다음, 추출된 이동 객체에 대해 라벨링 방법을 이용하여 다수의 객체를 인식하여 나타낸다. 또한, 불필요한 영역 제거를 위해 일정한 크기 이하의 라벨은 잡음으로 판단하여 제거한다. 잡음 제거 및 이동 객체 인식 결과는 다음 그림. 4와 같다.

그림. 4. 잡음 제거 및 이동 객체 인식 결과

Fig. 4. Noise removal and recognition results for moving objects

그림. 4(a)는 Morphology 방법을 이용하여 잡음을 제거한 결과를 나타내며, 그림. 4(b)는 라벨링 방법을 이용하여 이동 객체를 인식한 결과를 나타낸다.

3.2 이동 객체의 형태적 특징 추출

본 절에서는 3.1절에서 인식된 결과 영상에 대해 이동 객체를 인간과 가축으로 분류하기 위한 방법으로 고유한 성질을 이용한 형태적 특징 추출 방법을 제안한다. 제안하는 방법은 먼저, 라벨링 방법을 이용하여 인식된 다수의 이동 객체를 분류하기 위해 이동 객체들에 대한 각각의 특징 정보를 알아야 된다. 따라서 인식된 이동 객체를 MO_i(i=0···N)라고 정의한다.

다음, 배경을 제외한 이동 객체의 형태 정보를 추출하기 위해 MO_i에 대해 형태학적인 요소가 유지되는 골격 선으로 축소하는 기법인 골격화를 수행한다⁽¹⁴⁾. 그림. 5는 라벨링으로 인식된 이동 객체에 대해 골격화를 행한 결과를 나타낸다.

그림. 5. 이동 객체에 대해 골격화 수행 결과

Fig. 5. Skeletonization result for moving object

다음, 골격화된 이동 객체에 대해 특징정보를 얻기 위한 방법으로 특징점 추출방법을 제안한다. 특징점을 추출하는 방법은 윈도우 안의 픽셀 값의 변화를 관찰하여 Corner를 판단하는 Shi와 Tomasi가 제안한 특징점 추출 방법을 이용하며, 다음 식(2)를 만족하는 점을 특징점으로 추출한다⁽¹⁵⁾.

(2)

m i n (λ_{1} λ_{2}) > α

여기서, λ₁과 λ₂는 윈도우 안의 픽셀 값의 변화량의 고유 값을 나타내며, α는 미리 정의한 임계값을 나타낸다. λ₁과 λ₂ 중 최소 값이 임계 값 α보다 클 경우 Corner로 판단하여 특징점으로 추출한다. 본 논문에서는 추출된 특징점을 FP_j(x,y)(j=0···k)라고 정의한다.

다음, 추출된 특징점 FP_j(x,y)에 대해 최외각에 존재하는 점을 골라 나머지 모든 점을 내부에 포함하는 다각형을 만드는 Convex Hull방법을 수행한다⁽¹⁶⁾. 이동 객체에 대해 특징점 추출 및 Convex Hull을 수행한 예에 대한 결과는 다음 그림. 6과 같다.

그림. 6. 특징점 추출 및 Convex Hull 적용 결과

Fig. 6. Feature point extraction and application result of Convex Hull

그림. 6(a)는 골격화된 이동 객체에 대해 특징점을 추출한 결과를 나타내며, 그림. 6(b)는 추출된 특징점에 대해 Convex Hull을 적용한 결과를 나타낸다.

다음, Convex Hull 수행 결과로 얻어진 다각형에 대해 인간과 가축을 형태학적으로 판단하기 위한 방법으로 고유한 성질을 이용한 형태적 특징을 추출하는 방법을 제안한다.

형태적 특징 추출은 먼저, 객체를 이루는 다각형의 면적을 식(3)과 같은 방법으로 추출한다.

(3)

A = \frac{1}{2} \sum_{i = 0}^{n - 1} (x_{i} y_{i + 1} - x_{i + 1} y_{i})

식(3)에서 A는 면적을 n은 다각형을 이루는 점의 개수를 나타낸다.

다음, 객체를 이루는 다각형에 대해 식(4)와 같이 무게 중심을 추출한다.

(4)

C_{x} = \frac{1}{6 A} \sum_{i = 0}^{n - 1} (x_{i} + x_{i + 1}) (x_{i} y_{i + 1} - x_{i + 1} y_{i}) C_{y} = \frac{1}{6 A} \sum_{i = 0}^{n - 1} (y_{i} + y_{i + 1}) (x_{i} y_{i + 1} - x_{i + 1} y_{i})

식(4)에서 C_x는 무게중심의 x 좌표를 C_y는 무게중심의 y 좌표를 나타낸다. 즉, 무게중심은 (C_x,C_y)의 값을 가진다.

다음, 얻어진 무게중심을 이용하여 다각형의 높이와 너비를 추출한다. 다각형의 높이는 식(5)와 같이 추출한다.

(5)

H = (C_{x}, C_{y} \pm \sum_{i = 0}^{s} i)

식(5)에서 H는 다각형의 높이를 나타내며, s는 C_y에 대해 덧셈과 뺄셈 연산을 할 경우 만나는 다각형의 직선까지의 거리를 나타낸다.

다음, 다각형의 너비는 식(6)과 같이 추출한다.

(6)

W = (C_{x} \pm \sum_{i = 0}^{s} i, C_{y})

식(6)에서 W는 다각형의 너비를 나타내며, s는 C_x에 대해 덧셈과 뺄셈 연산을 할 경우 만나는 다각형의 직선까지의 거리를 나타낸다. 그림. 7은 객체를 이루는 다각형에 대해 무게중심과 높이, 너비를 추출한 결과이다.

그림. 7은 이동 객체를 이루는 다각형에 대해 무게중심 및 높이와 너비를 추출한 결과를 나타낸다. 이렇게 얻어진 다각형에 대한 높이와 너비를 이용하여 인간과 가축에 대한 판단을 수행하며, 인간은 가축에 비해 너비보다 높이가 크다는 점과 가축은 인간에 비해 높이보다 너비가 크다는 고유한 형태적 특징을 이용하여 판단한다.

그림. 7. 무게중심 및 높이, 너비 추출 결과

Fig. 7. Results for center of gravity and height, width extraction of moving objects

또한, 판단 결과 인간으로 판단되는 객체와 가축으로 판단되는 객체에 대해 평균적 크기를 추출한다. 평균적 크기를 추출하는 방법은 앞서 얻어진 다각형의 면적을 이용하며, 얻어진 면적에 대해 사용자가 정해준 임계값을 이용하여 식(7)과 같이 판단한다.

(7)

A - β \leq M O_{i} A \leq A + β

여기서, β는 사용자가 정해준 임계값을 나타내며, MO_iA는 판단하고자 하는 객체의 면적을 나타낸다.

다음, 객체 분류를 위한 객체의 높이, 너비 판단 방법과 객체의 크기를 이용한 식(7)의 판단 방법을 이용하여 이동객체에 대해 인간과 가축으로 분류하며, 분류 결과는 다음 그림. 8과 같다.

그림. 8. 형태적 특징을 이용한 이동 객체 분류 결과

Fig. 8. Moving object classification results using morphological features

그림. 8은 제안한 형태적 특징을 이용한 방법으로 이동 객체를 분류한 결과이며, 인간은 빨간색의 라벨을 이용하여 나타내며, 가축은 초록색의 라벨을 이용하여 나타낸다.

3.3 이동 객체의 색상 정보 추출

본 절에서는 3.2절에서 얻어진 형태학 특징 정보만을 이용하여 인간과 가축을 분류할 경우 멀리 있는 객체 크기의 판별이 어렵다는 점과 인간과 가축의 크기가 비슷할 경우 분류가 어렵다는 문제점을 해결하기 위해 이동 객체의 색상 정보 추출 방법을 제안한다.

제안하는 방법은 먼저, 형태적 특징 분류 결과 가축이라고 판단된 이동 객체를 이루는 특징점 영역에 대해 ROI (Region Of Interest)를 지정하고, ROI 영역의 RGB 색상 공간의 이미지를 이용하여 HSV (Hue-Saturation-Value)색상 공간으로 변환시킨다⁽¹⁷⁾. 이렇게 얻어진 ROI 영역에 대한 HSV 색상 값을 이용하여 다음 식(8)과 같이 이동 객체를 이루는 색상들의 유사도를 판단한다.

(8)

F P_{j (x, y) H S V} - γ \leq C P_{(x, y) H S V} \leq F P_{j (x, y) H S V} + γ

여기서, FP_j(x,y)HSV는 이동 객체를 이루는 특징점들의 HSV 색상 값을 나타내며, CP_(x,y)HSV는 이동 객체의 중심에 대한 HSV 색상 값을 나타낸다. 또한, γ는 사용자가 정해준 임계값을 나타낸다.

여기서, 형태적 특징 분류 결과 인간이 가축으로 잘못 분류되고, 인간 객체의 색상이 유사할 경우 가축 색상으로 판단되는 문제점이 간혹 발생할 수 있다. 이러한 문제점 발생을 해결하기 위해 데이터학습을 통하여 확률적으로 분류하는 방법인 베이지안 분류기⁽¹⁸⁾를 이용하는 방법을 제안한다. 베이지안 분류기를 이용하여 문제점을 해결하기 위한 조건은 식(9)와 같다.

(9)

I F (P (A_{1} | B) > P (A_{2} | B)) T H E N B = A_{1} I F (P (A_{1} | B) < P (A_{2} | B)) T H E N B = A_{2}

여기서, 사전 확률은 인간이 침입하기 전에 얻어진 가축의 색상정보 또는 많은 양의 색상 정보를 나타내며, P(A_i|B)는 사후 확률을 나타낸다. 따라서 이동객체의 추출된 색상 값 B가 집단 A₁, A₂ 중 어디에 속하는지 판단한다.

다음, 형태적 분류 방법과 색상 분류 방법을 이용하여 인간과 가축을 분류 조건은 식(10)과 같다.

(10)

I F (M c (t r u e) a n d C c (t r u e)), T H E N l i v e s t o c k I F (M c (t r u e) a n d C c (f a l s e)), T H E N h u m a n I F (M c (f a l s e) a n d C c (f a l s e)), T H E N h u m a n I F (M c (f a l s e) a n d C c (t r u e)), T H E N r e - j u d g m e n t

여기서, Mc는 형태적 특징을 이용한 분류 결과를 나타내며, Cc는 색상을 이용한 분류 결과를 나타낸다. 그리고 true는 분류 결과 가축일 경우를 나타내며, false는 분류 결과 가축이 아닐 경우를 나타낸다. 또한, 분류 판별이 애매모호할 경우 다시 분류 판별을 한다.

3.4 이동 객체 추적 및 겹침 판단

본 절에서는 3.3절에서 분류된 이동 객체에 대해 추적 및 겹침 정도를 이용하여 가축 도난 유무를 판단하는 방법을 제안한다.

먼저, 분류된 이동 객체를 추적하기 위한 방법으로 CAM Shift 방법을 이용한다⁽¹⁹⁾. CAM Shift는 색상을 이용하여 고속으로 추적하는 방법으로 탐색 윈도우를 설정해줘야 된다는 점이 있다. 본 논문에서는 분류가 완료된 이동 객체의 라벨에 대해 CAM Shift의 탐색 윈도우를 설정하며, 탐색 윈도우를 설정하는 방법은 식(11)과 같다.

(11)

\sum_{r = 0}^{c} l w i n d o w_{r} = \sum_{r = 0}^{c} l l a b e l i n g_{r} \sum_{r = 0}^{h} h w i n d o w_{r} = \sum_{r = 0}^{h} h l a b e l i n g_{r}

여기서, r은 라벨을 나타내며, c는 가축의 마릿수, h는 인간의 수를 나타낸다. 그리고 lwindow는 가축의 탐색 윈도우를 llabeling은 가축의 라벨을 나타내며, hwindow는 인간의 탐색 윈도우를 hlabeling은 인간의 라벨을 나타낸다.

다음, CAM Shift로 추적되는 이동 객체 영역이 가려졌을 경우 추적의 오류가 발생할 수 있다. 따라서, 본 논문은 CAM Shift로 추적되는 객체에 대해 Kalman Filter를 이용하며, 식(12)~식(14)와 같이 모델링하여 수행한다⁽²⁰⁾.

먼저, 타원의 중심점에 추적 위치 (x, y)와 속도 (v_x, v_y)를 가지는 상태변수로 이루어진 상태 벡터를 X라고 할 때 시간 k에서의 상태 방정식은 식(12)와 같다.

(12)

X_{k} = A_{k} (x_{k - 1}) + w_{k}

여기서, A_k는 시간 k에서 이전 상태에 대한 상태 전이 행렬을 나타내며, w_k는 프로세스 잡음을 나타낸다. 상태 전이 행렬 A는 다음 식(13)과 같이 나타낸다.

(13)

A = [\begin{matrix} 1 & 0 & ∆ k & 0 \\ 0 & 1 & 0 & ∆ k \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{matrix}]

다음, 분류된 이동 객체의 위치의 측정값을 z_k라고 할 때 측정 방정식을 식(14)~식(15)와 같이 나타낸다.

(14)

z_{k} = H_{k} x_{k} + v_{k}

(15)

H = [\begin{matrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \end{matrix}]

여기서, H는 측정 행렬을 나타내며, v_k는 측정 잡음을 나타낸다. 그림. 9는 CAM Shift와 Kalman Filter를 이용한 객체 추적을 나타낸다.

그림. 9. 제안한 방법을 이용한 객체 추적

Fig. 9. Object tracking using the proposed method

그림. 9(a)~그림. 9(d)는 제안한 방법을 이용하여 객체를 추적한 결과를 나타내며, 인간이라고 분류된 객체에 대해 빨간색 타원을 형성하여 추적하고, 가축이라고 분류된 객체에 대해서는 초록색의 타원을 형성하여 추적한다.

다음, 이동 객체를 추적할 때에 같은 색상의 이동 객체의 겹침 또는 조도의 변화에 의하여 이동 객체가 여러 개로 분할되는 경우가 생긴다. 이러한 경우 하나의 이동 객체에 대해 여러 개의 라벨이 생성되어 하나의 이동 객체를 다 수의 객체로 판단하여 추적하는 상황이 발생한다.

따라서 본 논문에서는 이러한 문제점을 해결하고자 객체를 추적하기 위해 형성된 타원에 대해 중심점을 추출한다. 다음, 추출된 여러 개의 중심점에 대해 식(16)을 이용하여 동일 객체간의 거리 값과 인간과 가축의 거리 값을 추출한다.

(16)

d_{l i v e s t o c k} = \sqrt{(x_{1} - x_{2})^{2} + (y_{1} - y_{2})^{2}} d_{h u m a n} = \sqrt{(x_{1} - x_{2})^{2} + (y_{1} - y_{2})^{2}} d_{o l} = \sqrt{(x_{1} - x_{2})^{2} + (y_{1} - y_{2})^{2}}

여기서, (x₁, y₁), (x₂, y₂)는 얻고자하는 거리의 두 점의 좌표를 나타낸다. 그리고 d_livestock는 가축과 가축의 거리 값을 d_human는 인간과 인간의 거리 값을 나타내며, d_ol는 인간과 가축의 거리 값을 나타낸다. 따라서 동일 객체들 간의 거리와 인간과 가축의 거리를 알 수 있다.

다음, 동일 객체에 대해 식(17)과 같은 조건으로 하나의 객체를 다수의 객체로 판단하는 문제점을 해결한다.

(17)

I F (d_{l i v e s t o c k} < δ), T H E N l a b e l i n g_{(x, y)} = 0 I F (d_{h u m a n} < δ), T H E N l a b e l i n g_{(x, y)} = 0

여기서, δ는 임계값을 나타내며, 임계값은 하나의 객체에 존재하는 거리 값이기 때문에 작은 값으로 설정한다. 그리고 동일 객체 거리 값이 임계값 이하일 경우 타원을 형성하는 라벨 중에 순번이 높은 라벨인 labeling_(x,y)을 제거한다.

다음, 가축 도난 위험을 판단하기 위해 인간과 가축의 겹침을 판단한다. 보통 가축은 인간을 피하는 경향을 보이며, 인간과 가축이 겹치는 경우는 흔치않다. 따라서 본 논문에서는 앞서 얻어진 인간과 가축의 거리 값 d_ol을 이용하여 인간과 가축의 겹침을 식(18)과 같은 방법으로 판단한다.

(18)

I F (d_{o l} < ϵ), T H E N b l u e l a b e l i n g_{(x, y)} = d a n g e r

여기서, ε는 사용자가 정해준 일정거리의 임계값을 나타내며, 인간과 가축의 거리가 ε보다 작을 경우(거리가 가까울 경우) 위험하다는 판단을 한다. 또한, 위험하다고 판단된 객체에는 파란색 라벨링으로 나타내며, 위험 상황을 알린다. 그림. 10~그림. 11은 제안한 방법을 이용하여 측정한 동일 객체인 인간과 가축간의 겹침에 대해 나타내는 결과를 보여준다.

그림. 10(a)~그림. 10(b)는 동일 객체간의 겹침을 판단한 결과이며, 색상이 같은 객체가 겹쳤을 경우 하나의 객체에 두 개의 라벨이 생기는 문제점을 그림. 10(b)와 같이 해결한 결과를 나타낸다.

그림. 10. 동일 객체간의 겹침 판단

Fig. 10. Judgment of same object overlap

그림. 11(a)~그림. 11(b)는 인간과 가축의 겹침을 판단한 결과이며, 그림. 11(a)는 인간과 가축이 근접해 있어 위험하다는 표시를 파란색 라벨링으로 나타낸 결과이다. 그리고, 그림. 11(b)는 인간과 가축이 멀어지면서 위험의 표시를 중지한 결과이다.

그림. 11. 인간과 가축의 겹침 판단

Fig. 11. Judgment of human and livestock overlap

4. 실험 및 고찰

본 논문에서 제안한 골격 특징 및 색상 유사도를 이용한 가축 도난 감지 시스템은 이동 객체를 추출, 인식, 분류 그리고 추적하여 축사에서 가축의 도난을 감지하고, 인간과 가축의 분류 및 추적 기술의 향상을 위한 방법을 제안하였다. 본 실험에 사용된 영상의 크기는 640x480 픽셀이며, 실험 환경은 Window10 환경에서 i5-4590 3.30GHz CPU, 4GB RAM의 PC를 사용하였고, 일정한 간격으로 축사에 3개의 카메라를 설치하여 실험 하였다.

그림. 12는 1번~3번 카메라에 대해 인간의 침입은 존재하나 인간과 가축의 겹침 상황이 없어 위험하지 않다는 판단을 하여 위험 상태 상황판에 안전하다는 상황을 나타내었다. 또한, 인간이 침입할 경우 몇 명의 인간이 침입하였는지 감시 상태 상황판에 나타내었다.

그림. 12. 위험 상황이 발생하지 않은 경우

Fig. 12. The case that the risk does not occur

다음, 그림. 13은 동일 객체가 겹침을 보이지만 동일한 객체간의 겹침은 위험하지 않기 때문에 안전하다는 판단을 하여 상황판에 나타내었다.

그림. 13. 동일 객체의 겹침이 있으나 위험 상황이 발생하지 않은 경우

Fig. 13. The case that there is overlapping of the same object but no dangerous situation occurs

다음, 그림. 14는 3번 카메라에 대해 인간과 가축의 겹침이 발생하여 위험 상황이 발생한 경우를 나타낸다. 위험 상황이 발생할 경우 위험 상태 상황판에 위험의 상태를 나타내고, 관리자에게 상황을 알리는 이벤트를 실행하도록 하였다.

그림. 14. 위험 상황 발생한 경우

Fig. 14. The case that a dangerous situation occurs

다음, 그림. 15는 3번 카메라에 대해 인간과 가축의 겹침 상황이 지속될 경우를 나타낸다. 이러한 경우 위험 상태 상황판에 위험 상태를 나타내고, 관리자뿐만 아니라 유관기관에도 상황을 알리는 이벤트를 실행하도록 하였다.

그림. 15. 위험 상황이 지속될 경우

Fig. 15. The case that risk situation persist occur

아래의 표 1은 본 실험에 대한 인간과 가축의 분류를 수치로 나타낸 결과이다. 표 1에 의하면 기존 연구인 고유한 형태의 모습을 이용한 형태 분류 방법과 타원을 이용한 분류 방법 보다 본 연구에서 제안한 분류 방법이 분류율이 더 높음을 알 수 있다.

표 1. 인간과 가축의 분류 결과

Table 1. Classification results of human and livestock

	형태 분류 방법⁽¹⁰⁾	타원 분류 방법⁽¹²⁾	제안한 분류 방법
Livestock	79.62%	84.64%	95.28%
Human	82.92%	95.72%	98.92%

5. 결 론

본 논문에서는 다수의 이동 객체를 인간과 가축으로 분류 및 추적하여 가축 도난 위험 상황을 판단하는 시스템을 제안하였다. 제안한 방법은 먼저, 이동 객체를 추출하기 위한 방법으로 GMM과 RGB 배경모델링을 이용하였고 추출된 이동 객체에 대해 그림자 및 잡음을 Morphology 방법을 이용하여 제거하는 방법을 제안하였다. 다음, 추출된 이동 객체를 라벨링 방법을 이용하여 인식하고, 인식된 이동 객체에 대해 골격에 대해 특징을 추출한 분류 방법으로 인간과 가축을 분류하는 방법을 제안하였다. 다음, 분류의 정확성을 높이기 위해 색상 유사도를 이용한 분류 방법을 수행하였으며, 분류가 완료된 이동 객체에 대해 CAM Shift와 Kalman Filter를 이용하여 추적하는 방법을 제안하였다. 마지막으로, 여러 개의 카메라를 감시하며 이동 객체가 겹쳐졌을 경우 위험을 판단하여 상황을 알리는 알고리즘을 제안하였다. 마지막으로, 본 논문에서 제안한 방법을 여러 가지 영상을 가지고 실험하여 기존 방법에 비해 우수함을 보였으며 응용 가능성을 보였다.

감사의 글

본 연구는 2016년도 정부(교육부)의 재원으로 한국연구재단의 대학중점연구소 지원사업의 지원과 (과제번호: NRF- 2016R1A6A1A03013567)와 2018년도 산업통상자원부 지역주력산업육성(R&D) 기술개발사업의 지원을 받아 수행한 연구임.

References

Tsakanikas V., Dagiuklas T., 2017, Video surveillance systems-current status and future trends, Computers & Electrical Engineering, pp. 1-18

Ibrahim S. W., 2016, A comprehensive review on intelligent surveillance systems, Communications in Science and Technology, Vol. 1, No. 1, pp. 7-14

Voulodimos A. S., Patrikakis C. Z., Sideridis A. B., Ntafis V. A., Xylouri E. M., 2010, A complete farm management system based on animal identification using RFID technology, Computers and Electronics in Agriculture, Vol. 2, No. 70, pp. 380-388

Kim J. S., Yeom D. H., Park J. B., Joo Y. H., 2010, Intelligent unmanned anti-theft system using network camera, International Journal of Control, Automation, and Systems, Vol. 8, No. 5, pp. 967-974

Lin H. H., Chuang J. H., Liu T. L., 2011, Regularized background adaptation: a novel learning rate control scheme for Gaussian mixture modeling, IEEE Transactions on Image Processing, Vol. 20, No. 3, pp. 822-836

Kim J. S., Yeom D. S., Joo Y. H., 2011, Fast and robust algorithm for tracking multiple moving objects for intelligent video surveillance systems, IEEE Transaction on Consumer Electronics, Vol. 57, No. 3, pp. 1165-1170

Redmon J., Divvala S., Girshick R., Farhadi A., 2016, You only look once: Unified, real-time object detection, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 779-788

Poursaberi A., Bahr C., Pluk A., Van Nuffel A., Berckmans D., 2010, Real-time automatic lameness detection based on back posture extraction in dairy cattle: Shape analysis of cow with image processing techniques, Computers and Electronics in Agriculture, Vol. 74, No. 1, pp. 110-119

Rivlin E., Rudzsky M., Goldenberg R., Bogomolov U., Lepchev S., 2002, A real-time system for classification of moving objects, 16th International Conference on Pattern Recognition, Vol. 3, pp. 688-691

Lee S. M., Sung I., Joo Y. H., 2018, Recognition and tracking of moving objects using label-merge method based on fuzzy clustering algorithm, The Transactions of the Korean Institute of Electrical Engineers, Vol. 67, No. 2, pp. 293-300

Kaiyan L., Xuejun Y., Junhui W., Jie C., Huiping S., 2012, A real-time computer vision monitoring way for animal diversity, World Automation Congress (WAC), pp. 1-5

Lee J. S., Joo Y. H., 2015, Detection using optical flow and EMD algorithm and tracking using Kalman filter of moving objects, The transactions of The Korean Institute of Electrical Engineers, Vol. 64, No. 7, pp. 1047-1055

Zhao Y., Gui W., Chen Z., 2006, Edge detection based on multi-structure elements morphology, Intelligent Control and Automation, Vol. 2, pp. 9795-9798

Zhang, and , “,” , vol. , no. , pp. -, . T. Y., Suen C. Y., 1984, A fast parallel algorithm for thinning digital patterns, Communications of the ACM, Vol. 27, No. 3, pp. 236-239

Kim J. G., Joo Y. H., 2013, Visual multi-touch air interface for barehanded users by skeleton models of hand regions, International Journal of Control, Automation and Systems, Vol. 11, No. 1, pp. 84-91

Yang C., Zhang L., Lu H., 2013, Graph-regularized saliency detection with convex-hull-based center prior, IEEE Signal Processing Letters, Vol. 20, No. 7, pp. 637-640

Chernov V., Alander J., Bochko V., 2015, Integer-based accurate conversion between RGB and HSV color spaces, Computers & Electrical Engineering, Vol. 46, pp. 328-337

Oliver N. M., Rosario B., Pentland A. P., 2000, A Bayesian computer vision system for modeling human interactions, IEEE transactions on pattern analysis and machine intelligence, Vol. 22, No. 8, pp. 831-843

Wang Z., Yang X., Xu Y., Yu S., 2009, CamShift guided particle filter for visual tracking, Pattern Recognition Letters, Vol. 30, No. 4, pp. 407-413

Patel H. A., Thakore D. G., 2013, Moving object tracking using kalman filter, International Journal of Computer Science and Mobile Computing, Vol. 2, No. 4, pp. 326-332

Yeom D. H., Joo Y. H., Park J. B., 2010, Selection of coefficient for equalizer on optical sisc drive by golden search, IEEE Transactions on Consumer Electronics, Vol. 56, No. 2, pp. 657-662

Kim S. K., Joo Y. H., 2015, Visual touch recognition for NUI using Voronoi-Tessellation Algorithm, The Transactions of the Korean Institute of Electrical Engineers, Vol. 64, No. 3, pp. 465-472

저자소개

김 준 형 (Jun Hyoung Kim)

2016년 군산대학교 제어로봇공학과 졸업

2018년 군산대학교 대학원 전자정보공학부졸업(석사)

현재, ANI(주) 연구원

관심분야는 지능형 감시 시스템, 인간-로봇 상호작용, 로봇 비전

주 영 훈(Yung Hoon Joo)

1982년, 1984년, 1995년 연세대학교 전기 공학과 졸업 (공학사, 공학석사, 공학박사)

1986~1995년 삼성전자 ㈜생산기술센터 팀장

1995년~현재 군산대학교 제어로봇공학과 교수

1998년~1999년 미국 휴스턴대학 박사 후 과정

2008년~2009년 한국지능시스템학회회장

2009년~ 2013년 군산대학교 PostBK21 팀장

2013년~2014년, 2016년 대한전기학회 부회장, 대한전기학회 정보제어부문 회장

2014년~2017년 International Journal of Control, Automation, and Systems (IJCAS), Editor-in-Chief

2016년~2017년, 제어로봇시스템학회 부회장

2015년~현재 군산대학교 풍력기술연구센터장(교육부선정 대학중점연구소장)

2018년 대한전기학회 차가회장, 대한전기학회 정책기획위원장

관심분야는 지능형로봇, 지능제어, 지능형 감시 시스템, Human-Robot Interaction, 지능형 감시 시스템, 풍력 터빈 및 풍력발전단지제어

KIEEThe Transactions ofthe Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Journal Search

Journal XML

Journal Information

Livestock Theft Detection System Using Skeleton Feature and Color Similarity

Abstract

Key words

1. 서론

2. 제안한 전체 시스템

3. 골격 특징 및 색상 유사도를 이용한 가축 도난 감지 시스템

3.1 입력 영상에서의 이동 객체 추출 및 인식

(1)

3.2 이동 객체의 형태적 특징 추출

(2)

(3)

(4)

(5)

(6)

(7)

3.3 이동 객체의 색상 정보 추출

(8)

(9)

(10)

3.4 이동 객체 추적 및 겹침 판단

(11)

(12)

(13)

(14)

(15)

(16)

(17)

(18)

4. 실험 및 고찰

5. 결 론

감사의 글

References

저자소개

김 준 형 (Jun Hyoung Kim)

주 영 훈(Yung Hoon Joo)

Article Information (continued)

Key words

KIEEThe Transactions of
the Korean Institute of Electrical Engineers