• 대한전기학회
Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers
  • COPE
  • kcse
  • 한국과학기술단체총연합회
  • 한국학술지인용색인
  • Scopus
  • crossref
  • orcid

  1. (Convergence Technology Laboratory Korea Electric Power Research Institude(KEPRI), Korea.)



Drone, Automatic Camera Gimbal, Transmission Line Inspection, Deep Learning, Object Detection, AI

1. 서 론

국내 송전선로는 산악지, 강 횡단, 해월개소 등 사람이 접근하기 어려운 장소에 위치하는 경우가 많다. 또한, 송전설비는 높고 고전압이 인가되어 있어 사람이 직접 접근하여 점검하는 것은 매우 위험한 작업이다. 그럼에도 불구하고 현재까지 송전선로 점검은 주로 육안 또는 망원경을 활용하여 작업자가 직접 수행해오고 있다. 하지만 산악지역의 경우 지형이 험하고 나무가 많아 점검하기 어려운 경우가 많으며, 특히 강 횡단 또는 해월개소의 경우에는 인력 접근 자체가 어려운 문제점이 있었다.

최근 드론기술이 발전함에 따라, 이러한 접근이 어려운 지역에도 드론을 활용하여 송전선로를 효율적으로 점검할 수 있게 되었다. 이에 따라 드론기반 송전선로 점검에 대해 많은 연구가 진행되었다. (1)에서는 드론기반으로 송전선로를 점검하기 위해서 갖추어야 할 드론시스템 구성, 비행경로, 열화상 점검 알고리즘에 대해 제안하였다. (2)에서는 전통적인 영상처리와 머신러닝 기반으로 송전설비의 결함인식 알고리즘을 제안하였다. (3)에서는 최근 각광받고 있는 딥러닝 기반으로 점검대상 인식을 수행하고 인식한 대상에 대해 결함을 자동으로 검출하는 알고리즘을 제안하였다. 기존 연구에서는 송전선로 점검을 위한 드론시스템 구성, 결함 검출을 위한 알고리즘에 대한 연구가 주로 진행되었다.

실제로 드론을 송전선로 근처에서 수동비행하면서 점검 시, 송전선로는 설비 높이가 높고 경간 길이가 길어서 육안에 의한 드론 조종에 어려움이 있으며, 특히 고전압에 의한 자기장 교란 때문에, 송전선로에 너무 접근 시에는 드론 지자기 컴퍼스 센서의 오작동으로 인해 제어가 어려워 추락 위험이 상존한다. 따라서 안전하게 송전선로를 드론으로 점검하기 위한 연구가 필요하다.

이에 따라, 이러한 작업환경을 고려하여 한국전력공사 전력연구원에서는 송전선로를 따라 자동으로 비행하면서 설비를 점검하는 드론 운용시스템을 개발하였다(4). 이 시스템은 광학 및 열화상 카메라를 장착한 드론, 철탑전용 GPS 측정시스템, 송전선의 처짐을 고려한 자동비행경로 생성 시스템, 그리고 점검자가 드론을 관제하기 위한 지상 제어 시스템으로 구성되어 있다. 기본적인 운용방법은 철탑 GPS 좌표와 철탑 및 선로 고도 정보를 기반으로 자동비행경로를 생성한 후, 이를 지상 제어 시스템을 통해 드론에 입력하여 자동비행을 시작한다. 드론이 선로를 따라 자동비행하는 동안 카메라짐벌 담당자는 직접 수동으로 카메라 짐벌을 제어하면서 송전선로를 점검하게 된다. 이 시스템을 활용하면 앞서 언급한 산악지역, 강 횡단지역 등 사람이 접근이 어려운 지역에 접근하지 않고도 안전하고 효율적으로 송전선로를 점검할 수 있다.

그림. 1. 한국전력공사의 송전선로 순시점검 드론 시스템

Fig. 1. KEPCO Drone System

../../Resources/kiee/KIEE.2021.70.1.121/fig1.png

하지만 상기 시스템을 현장에서 운용해본 결과 송전선로의 철탑 및 활선 고전압 환경에 의해 종종 통신 장애가 발생하여 카메라 짐벌이 원격으로 제어되지 않아 설비점검이 제대로 수행하지 못하는 경우가 발생하였다. 특히, 산악지역에서 카메라짐벌 조종자와 드론 사이에 송전철탑이 위치한 경우 통신 장애가 빈번히 발생하였다.

이를 극복하기 위해, 본 논문에서는 딥러닝에 기반하여 전력 설비를 자동으로 촬영하는 카메라 짐벌 시스템을 제안한다. 본 시스템은 철탑에 있는 전력 설비를 자동으로 촬영하는 모듈, 전력선을 자동으로 촬영하는 모듈, 그리고 드론 조종이 미숙한 인력이 본 드론시스템을 안정적으로 운용할 수 있도록 영상기반 자동착륙 모듈로 구성되어 있다. 각 모듈은 자동화를 위해 딥러닝 또는 영상처리 기반 객체 인식 파트와, 이렇게 인식된 정보를 기반으로 짐벌, 카메라, 드론을 제어하는 파트로 구성되어 있다.

제안한 자동촬영 시스템을 기존 드론시스템에 장착하면, 기존의 수동촬영을 대체함으로써 송전선로 드론점검 전 과정이 자동화가 가능하다. 특히, 통신이 어려운 가시권 밖 비행 환경하에서의 송전선로 점검에 매우 유용하게 활용될 수 있으며, 이륙부터 점검, 착륙에 이르기까지 모든 과정이 자동으로 수행되므로 매우 효율적이면서 정확성 있게 송전선로를 점검할 수 있다.

본 논문의 구성은 다음과 같다. 2장에서는 본 시스템의 하드웨어 구성을 설명한다. 3장에서는 자동촬영 카메라 짐벌 시스템의 전체적인 알고리즘 아키텍처와 각 구성 모듈별 인식 알고리즘과 제어 알고리즘을 설명한다. 4장에서는 현장 시험 결과를 통해 본 시스템의 효용성을 보이고, 마지막으로 5장에서는 결론을 내린다.

2. 하드웨어 구성

영상기반으로 설비인식, 송전선 인식, 착륙 패드 인식을 위해, 본 시스템은 (4)에서 제안한 드론시스템에 별도로 장착하는 임베디드 시스템이 필요하다. 임베디드 시스템으로는 다양한 종류가 있으며, 딥러닝 기반 객체 인식을 위해서는 무엇보다 GPU 자원이 상당히 중요하다. 따라서 임베디드 시스템 중 GPU 연산에 특화된 NVIDIA사의 Jetson TX2를 선정하였다.

전체 시스템 구성은 그림 2와 같다. 기존 드론시스템에서 추가된 하드웨어는 임베디드 시스템으로, 카메라에서 영상을 받아 객체 인식 및 제어 신호를 계산하여 시리얼 통신을 통해 제어기로 전달하는 역할과 현재 자동촬영 진행상태를 지상 제어 시스템에 전달하는 역할을 담당한다.

그림. 2. 하드웨어 구성

Fig. 2. Hardware configuration

../../Resources/kiee/KIEE.2021.70.1.121/fig2.png

그림. 3. 알고리즘 아키텍처

Fig. 3. Algorithm architecture

../../Resources/kiee/KIEE.2021.70.1.121/fig3.png

3. 자동촬영 및 자동착륙 알고리즘

자동촬영 및 자동착륙 알고리즘은 크게 철탑 설비 자동촬영, 송전선 자동촬영, 자동착륙 알고리즘, 그리고 전체 알고리즘 순서를 관리하는 알고리즘으로 구성되며 그림 3과 같다.

순서관리 모듈은 전체 알고리즘의 순서를 관리한다. 우선 드론이 비행하면서 철탑의 도착 여부를 판단한다. 철탑을 도착하게 되면 드론은 호버링을 실시하고 철탑 설비 촬영 알고리즘이 실행된다. 철탑 설비 촬영 알고리즘이 종료되면, 앞으로 비행경로에서 철탑이 남아 있는지 확인한다. 만약 철탑이 남아 있는 경우 전력선 자동촬영 알고리즘으로 전환되고 철탑에 도착 시, 철탑 설비 촬영 알고리즘으로 전환된다. 만약 철탑이 남아 있지 않을 시 자동착륙 알고리즘으로 전환한다.

3.1 철탑 설비 자동촬영

3.1.1 철탑 설비인식 알고리즘

철탑 설비를 자동으로 인식하기 위해서는 영상기반 객체 인식 알고리즘이 필요하다. 영상기반 객체 인식 알고리즘으로는 기존의 컴퓨터 비전 분야에서 활용되던 사람이 직접 feature를 디자인하고, 이렇게 추출된 feature 기반으로 기계학습을 활용하여 인식하는 방법과(5)(6), 최근 각광받고 있는 딥러닝 기반 객체 인식 방법이 있다. 현재 영상기반 객체 인식은 딥러닝에 의한 방식이 성능이 월등히 좋으므로 본 논문에서는 딥러닝 기반 알고리즘을 활용하였다.

우선 딥러닝 기반 알고리즘을 활용하기 위해서는 양질의 데이터가 필요하다. 이를 위해 (4)의 시스템을 활용하여 17~19년까지 총 118기의 철탑 점검하였으며, 총 11320장의 이미지를 확보하였다. 송전 철탑 설비는 가공지선은 SB 댐퍼만 존재하며, 상/중/하단 부분에는 애자 근처에 전력 설비가 분포한다. 따라서 인식 대상으로는 애자, SB 댐퍼를 최우선으로 하였으며, 부가적으로 피뢰기, 스페이서 댐퍼를 추가하였다.

딥러닝 알고리즘을 검증하기 위해서는 학습데이터와 검증데이터의 분리가 필요하다. 설비별로 최대한 균등하게 분리될 수 있도록, 이미지를 철탑 기반으로 분리 후 학습데이터와 검증데이터를 구축하였으며, 학습데이터는 총 8662장, 검증데이터는 2658장으로 분리하였다. 설비별 학습/검증 객체 수는 표 1과 같으며, 샘플 이미지는 그림 4와 같다.

표 1. 설비별 학습 및 검증 객체 수

Table 1. The number of training and testing object per facility

the number of

training object

the number of

testing object

Insulator

13142

4201

SB damper

16990

2607

Spacer

3333

766

Lightning Arrester

6977

2073

딥러닝 객체 인식 알고리즘은 SSD(7), YOLOv3(8), Faster RCNN(9), M2Det(10) 등 많은 종류가 있다. 드론에 탑재된 임베디드 시스템은 서버 또는 데스크탑에 비해 성능이 좋지 않아 비교적 가벼운 모델이 필요하며, 임베디드 시스템에서는 주로 SSD 또는 YOLOv3이 널리 사용되고 있다. (8)논문에 따르면, YOLOv3가 SSD보다 더 나은 성능을 보여주기 때문에, 최종적으로 알고리즘은 YOLOv3로 선택하였다.

그림. 4. 학습데이터 예시

Fig. 4. Examples of training data

../../Resources/kiee/KIEE.2021.70.1.121/fig4.png

YOLOv3의 세부 구조와 파라미터를 정하기 위해 다양한 이미지 크기와 구조에 대해 실험하였다. 현재 하드웨어 시스템에서는 짐벌 제어 최소 기간 간격이 100ms이기 때문에, 약 초당 10 frame의 속도가 필요하다. 따라서 본격적으로 다양한 모델 및 이미지 크기에 대해 학습을 하기에 앞서 시험을 통해 Jetson TX2에서 초당 10 frame 이상의 속도가 나오는 구조 및 이미지 크기 범위를 좁히고, 실험하였다. 구조는 (8)에 제시된 YOLOv3-tiny를 기본 모델로 하여 전력 설비 및 촬영환경에 맞게 일부 수정하였다. 전력 설비는 크기가 다양하며, 다양한 카메라 줌으로 촬영하기 때문에 이를 반영할 수 있도록 기존 YOLOv3-tiny에 yolo layer를 1개 추가하여 총 3개인 YOLOv3- tiny-3l 모델을 추가하였다. 또한 (11)에서 제안한 YOLO 알고리즘에 Spatial Pyramid Pooling(SPP)를 결합하여 global feature뿐만 아니라, local feature를 추가하여 활용하는 방법을 적용하여 YOLOv3-tiny-3l-spp 모델을 추가하였다. 이미지 사이즈는 416, 608, 736에 대해 실험하였으며, 결과는 표 2와 같다.

표 2. 전력 설비에 대한 객체 인식 성능

Table 2. Object detection performance for power facilities

size

model

mAP

Insulator

SB

damper

Spacer

Lighting

Arrester

416

tiny

55.63

83.65

51.10

78.70

3l

64.77

88.61

48.43

80.34

3l spp

72.78

87.62

56.45

79.85

608

tiny

54.19

90.14

54.15

80.66

3l

68.70

91.60

50.64

81.39

3l spp

73.71

92.38

53.91

82.32

736

tiny

59.63

90.74

54.75

83.10

3l

70.56

92.41

51.57

84.77

3l spp

73.63

92.06

57.06

84.51

이미지 크기 측면에서는 416에서 608로 변경 시 상당한 성능 향상이 있었으며, 736으로 변경 시에는 비슷하거나 약간의 성능 향상이 있었다. 특히 크기가 작은 설비인 SB 댐퍼의 경우 크기가 커질수록 상당한 성능 향상이 있었다. 그리고 구조 측면에서는 YOLOv3-tiny-3l-spp 구조가 가장 좋은 성능을 보였으며, 특히 애자에서 좋은 성능을 보였다. 따라서 최종적으로 YOLOv3-tiny-3l-spp 모델에 이미지 사이즈는 736으로 선택하였다.

3.1.2 철탑 설비 자동촬영 알고리즘

철탑 자동촬영 알고리즘은 사람이 촬영하는 것과 유사하도록 설계하였다. 기존 드론시스템을 활용하여 수동으로 철탑 촬영 시 가공지선에서 SB 댐퍼를 촬영 후, 상단으로 이동하여 애자 촬영, 좌우 SB 댐퍼 촬영 후, 마지막으로 점퍼선이 있을 경우 점퍼선 및 스페이서 댐퍼를 촬영하고, 이를 하단까지 반복한다.

가공지선의 경우 전력 설비는 SB 댐퍼만 존재하며, 상/중/하단은 애자를 중심으로 피뢰기, SB 댐퍼 등이 있다. 따라서 가공지선의 경우 SB 댐퍼를 중심으로 촬영 알고리즘을 구성하였으며, 상/중/하단의 경우 애자를 중심으로 촬영 알고리즘을 구성하였다.

알고리즘 1 가공지선 자동촬영 알고리즘

Algorithm 1 Automatic shooting algorithm for overhead ground wire

../../Resources/kiee/KIEE.2021.70.1.121/algo1.png

3.1.2.1 가공지선 자동촬영 알고리즘

가공지선과 상/중/하단의 차이점은 애자의 존재 유무이다. 따라서, 영상 내에서 SB 댐퍼 중 근처에 애자가 없는 SB 댐퍼를 찾은 후 높이 평균을 구한다. 이 값을 기준으로 짐벌 피치를 조정하여 가공지선에 도달한다. 다음으로 좌측 최외각 SB 댐퍼를 추적하고, 카메라 줌을 실시한다. 최종적으로 우측 SB 댐퍼를 추적하면서 우측 최외곽 SB 댐퍼까지 촬영한 후 짐벌을 철탑 중심으로 복귀시키며, 상세 알고리즘은 알고리즘 1과 같다.

알고리즘 2 상/중/하단 자동촬영 알고리즘

Algorithm 2 Automatic shooting Algorithm for top, middle, bottom layer

../../Resources/kiee/KIEE.2021.70.1.121/algo2.png

3.1.2.2 상/중/하단 자동촬영 알고리즘

상/중/하단의 전력 설비의 경우 애자를 중심으로 위치한다. 따라서 우선 애자를 찾고 추적한다. 내장 애자의 경우에는 쌍으로 존재하기 때문에 두 애자의 쌍을 추적하며, 현수 애자의 경우 한 개만 존재하기 때문에 이를 추적한다. 이후 애자 크기를 기반으로 카메라 줌을 수행한다. 다음으로 좌/우측 SB damper 촬영이 필요하다. 촬영대상 송전철탑 기준으로 좌/우에 위치한 철탑 높이 차이가 심할 경우 SB 댐퍼는 애자와 나란한 위치에 있지 않다. 따라서 이러한 점을 고려하여 좌우측 선로의 기울기를 파악하고, 이를 기반으로 좌/우측 SB 댐퍼를 촬영한다. 촬영 후 다시 애자 중심으로 복귀 후 아래 방향으로 스캔하여 점퍼선 및 스페이서 댐퍼를 촬영하고, 이 전체 과정을 반복해서 상/중/하단을 촬영하며, 상세 알고리즘은 알고리즘 2와 같다.

3.2 송전선 자동촬영

영상 내 선 인식 알고리즘으로 Hough transform이 있으나, 선로 후방 배경은 주로 산과 같이 복잡한 환경으로 구성되어 있어, 정상적으로 동작하지 않아 송전선로 인식에 특화된 알고리즘을 개발하였다.

송전선은 주로 수평으로 배치되어 있어, 다음과 같이 수평 Sobel 필터를 적용한다.

(1)
$S_{y}=\begin{bmatrix}1&2&1\\0&0&0\\-1&-2&-1\end{bmatrix},\: I_{s}=S_{y}*I$

여기서 $S_{y}$는 수평 Sobel 필터, $I$는 입력 이미지, $I_{s}$는 Sobel 필터를 수행한 이미지이다.

이렇게 추출한 에지 성분 중 선로에 의한 에지 성분은 강하며, 배경에 의한 에지 성분은 강한 성분과 약한 성분이 모두 포함되어 있다. 따라서 thresholding 기반으로 일정 값 이하의 에지 성분을 아래의 수식에 따라 제거한다.

(2)
$I_{t}(x,\:y)=\begin{cases} 255&,\: I_{s}(x,\:y)> threshold\\ 0&,\: I_{s}(x,\:y)\le threshold \end{cases}$

여기서 $I_{s}(x,\:y)$는 Sobel 필터를 수행한 이미지 $x,\: y$ 좌표의 값이며, $I_{t}(x,\:y)$는 thresholding이 수행된 이미지 $x,\: y$ 좌표의 값이다.

약한 에지 성분에 제거된 영상에서 선로는 주로 일정하게 연결되어 있지만, 배경에 의한 성분은 조금씩 연결되어 있다. 따라서 connected component analysis를 통해 컴포넌트의 크기가 일정 값 이하의 경우 제거한다. 본 과정까지의 예시는 그림 5와 같다.

일반적인 선로는 위의 과정만 수행해도 충분히 선로를 탐지할 수 있으나, 선로 중간에 스페이서 댐퍼나, 항공장애 표시구가 있는 경우에는 선로 에지가 중간에 끊어져 나타날 수 있다.

따라서 에지가 끊어진 것을 다시 병합을 수행하여야 한다. 우선 label이 n인 connected component의 좌표 모음을 아래와 같이 정의한다.

(3)
$C_{n}=\left\{(x,\: y),\: label_{x,\:y}=n\right\}$

일반적으로 한 화면 내의 한 개의 선로에 SB damper 또는 항공장애 표시구는 한 개 이하이기 때문에, 한 개의 선로가 최대 2개까지 나누어지는 경우가 발생한다. 따라서, 임의의 두 개의 connected component label을 선택하여, 좌표를 병합한 것을 아래와 같이 정의한다.

(4)
$C_{m,\: n}=\left\{(x,\: y),\: label_{x,\:y}=m or n\right\}$

그림. 5. 선로 인식을 위한 이미지 전처리 예시

Fig. 5. Example of image preprocessing for line detection

../../Resources/kiee/KIEE.2021.70.1.121/fig5.png

모든 가능한 조합에 대해, 병합된 좌표의 line fitting을 수행하고, Root Mean Square Error(RMSE)가 일정 threshold 이하이면, 하나의 직선으로 병합하며 그림 6과 같다.

앞선 모든 과정을 처리하고 남는 직선들 중에서는 반드시 전선만 남는 것이 아니다. 강둑과 같이 배경에 강한 직선 성분이 존재하는 경우 전선과 함께 인식될 수 있다. 전선의 경우 기울기가 거의 일정하며, 배경에 의한 직선의 기울기는 전선의 기술기와 비슷하거나 다를 수 있다. 비슷한 경우는 전선과 구분할 수 없기 때문에 오탐지가 발생할 수 있으나, 다른 경우는 기울기를 기반으로 제거가 가능하다. 따라서 탐지된 직선의 기울기의 사분위수를 구한 후 이를 통해 이상치에 있는 직선을 제거한다.

선로 인식이 완료되면, 모든 선의 중심좌표가 영상의 중심이 되도록 짐벌 제어를 하여 선로 자동촬영을 한다.

그림. 6. 선로 병합 예시

Fig. 6. Example of line merge

../../Resources/kiee/KIEE.2021.70.1.121/fig6.png

3.3 자동 착륙

영상기반 자동착륙을 위해서는 착륙지점을 표시할 수 있는 장비가 필요하다. 드론을 활용한 송전선로 점검의 특성상 다양한 위치에서 착륙을 수행하기 때문에, 이동식 착륙패드를 선정하였다. 영상기반으로 인식을 원활하게 하고자 색상은 일반적인 착륙지 환경과 차이가 두드러지며, 쉽게 인식할 수 있는 원형 착륙패드를 선택하였다. 착륙패드의 직경은 140cm, H 표시의 큰 변의 길이는 25cm이며, 그림 7과 같다.

선정한 착륙패드는 적색 성분이 큰 비중을 차지하고 있다. 따라서 RGB 색 공간에서 HSV 색 공간으로 변환을 한 후, Hue 채널에서 thresholding을 통해 적색 성분을 추출하여 이진화를 실시한다. 이진화된 이미지는 뚜렷하게 원이 존재하기 때문에 Hough circle transform을 실시하여 쉽게 원을 검출할 수 있다.

그림. 7. 착륙 패드

Fig. 7. Landing pad

../../Resources/kiee/KIEE.2021.70.1.121/fig7.png

그림. 8. 착륙패드 인식을 위한 전처리 예시

Fig. 8. Example of image preprocessing for landing pad detection

../../Resources/kiee/KIEE.2021.70.1.121/fig8.png

자동착륙 알고리즘은 우선 착륙 위치 부근에 도착하면 짐벌을 하단을 바라보도록 조정한다. 그리고 지속하여 하강하면서 착륙패드를 인식하고 착륙패드의 중심이 영상의 중심이 되도록 드론을 제어한다. 드론이 일정고도에 도달하면 하강을 멈춘 상태로 최종적으로 착륙패드 중심이 영상의 중심이 되도록 미세조정을 한 후, 착륙한다.

4. 현장시험 결과

4.1 철탑 설비 자동촬영

4.1.1 가공지선 자동촬영

총 10번의 현장 시험을 통해 가공지선을 추적 오차를 측정하였다. 시험방법은 영상에서 추적이 완료된 프레임을 추출한 뒤 사람이 직접 SB damper의 위치를 labeling을 수행한 후, 오차를 측정하였다. 이미지의 크기는 1280x720이며, 추적을 종료하는 threshold는 10픽셀로 하였다. 실험 결과 평균 33.9픽셀의 오차가 발생하였으며. 최대 87픽셀의 오차가 발생하였다. 큰 오차가 발생하는 이유는 탐지가 안 되는 경우가 발생하기 때문이다. 줌이 거의 안된 상태에서 가공지선을 개략적으로 찾는 단계이기 때문에, 자동촬영에 문제가 되지는 않았다. 자동촬영을 결과는 그림 9와 같다.

그림. 9. 가공지선 자동촬영 실험 결과

Fig. 9. The test result of automatic shooting for overhead ground wire

../../Resources/kiee/KIEE.2021.70.1.121/fig9.png

4.1.2 상/중/하단 자동촬영

가공지선과 마찬가지로 추적이 완료된 프레임을 추출한 뒤, 사람이 직접 labeling을 수행한 후, 오차를 측정하였다.

추적을 종료하는 threshold는 10픽셀로 하였다, 내장 애자의 경우 수직 방향은 평균 18픽셀, 최대 23픽셀 오차가 발생하였으며, 수평 방향은 평균 10.9픽셀, 최대 22픽셀 오차가 발생하였다. 현수 애자의 경우 수직 방향은 평균 9.9픽셀, 최대 22픽셀 오차가 발생하였으며, 수평 방향은 평균 6.7픽셀, 최대 13픽셀 오차가 발생하였다. 약간의 오차가 발생하였지만, 최대 오차가 이미지 크기 대비 3.2% 수준으로 자동촬영에 문제가 되지는 않았다. 자동촬영 결과는 그림 10과 같다. 내장 애자의 경우 파란색 박스가 추적대상이며, 현수 애자의 경우 빨간색 박스가 추적대상이다.

그림. 10. 애자 자동촬영 실험 결과

Fig. 10. The test result of automatic shooting for insulator

../../Resources/kiee/KIEE.2021.70.1.121/fig10.png

4.2 송전선 자동촬영

한 경간의 선로 촬영 영상에서 이미지를 총 1984장 추출하였다. 알고리즘 파라미터는 실험을 통해 선정하였으며, 작은 에지를 제거하기 위한 threshold는 200, 작은 connected com- ponent를 제거하기 위한 threshold는 1000, 선로 병합을 위한 RMSE threshold는 3으로 설정하였다. 탐지확률은 인식된 선로 수를 총 선로 수로 나누어 계산하였고, 53.92%의 인식률을 보였으며, 영상 프레임 당 선로의 인식 수는 그림 11과 같다. 해당 경간은 2회선이며 복도체로 구성되어 있어 상/중/하단에 각각 4개의 전력선이 있으며 가공지선은 2개의 선이 있다. 촬영 각도에 따라 전력선이 겹쳐지는 경우가 많이 발생하기 때문에, 선로가 병합되어 가까운 선로는 한 개로 탐지되기 때문에 탐지율이 적게 측정되었지만, 전체선로를 촬영하기 때문에 가까운 선로가 하나로 탐지되어도 자동촬영에는 문제가 되지 않았다.

그림. 11. 송전선로 인식 수

Fig. 11. The number of line detected

../../Resources/kiee/KIEE.2021.70.1.121/fig11.png

그림. 12. 송전선로 인식 결과

Fig. 12. Line detection result

../../Resources/kiee/KIEE.2021.70.1.121/fig12.png

그림. 13. 착륙패드 인식 결과

Fig. 13. Landing pad detection result

../../Resources/kiee/KIEE.2021.70.1.121/fig13.png

4.3 자동착륙

착륙 영상에서 총 1979장의 프레임을 추출하여 탐지율을 측정하였다. 99.8%의 정확도를 보였으며, 이는 탐지하기 쉬운 색상 및 모양의 착륙패드를 선정하였기 때문이다.

총 10번의 착륙시험을 진행하였으며, 착륙패드의 H 표시 내에 5회, H 표시와 착륙패드 사이에 5회 착륙하였다. 오차가 발생하는 이유는 영상의 화각 제한 때문에 최종 착륙 시까지 영상에 의해 제어를 하지 못하고 5m 높이에서 최종 미세조정을 한 후 착륙하기 때문이다. 따라서, 바람이 많이 부는 경우 최종 착륙 과정에서 오차가 크게 유발되었다. 기존 시스템의 최대한 활용하여 개발하였기 때문에 비교적 오차가 발생하였지만, 현재 카메라보다 화각이 넓은 카메라를 사용한다면 조금 더 정확하게 착륙을 할 수 있을 것이다.

5. 결 론

본 논문에서는 기존의 송전선로 드론점검 시스템 운용 시 간헐적 통신장애로 인하여 발생하는 카메라 짐벌 제어 문제를 해결하기 위해 개발한 딥러닝 기반 자동 카메라짐벌 시스템과 그 제어 알고리즘을 제안하였다. 이를 통해 기존의 카메라짐벌 수동조종을 자동촬영으로 대체하여, 효율적이고 정확하게 드론점검을 할 수 있도록 개선하였다. 특히 드론 조종에 미숙한 인원 또한 본 시스템을 활용하면 원활하게 송전선로를 점검할 수 있도록 모든 운용과정을 전자동화하였다.

이를 위해 전력 설비 인식 알고리즘, 송전선 인식 알고리즘, 착륙패드 인식 알고리즘을 개발하고, 인식된 정보를 바탕으로 카메라 짐벌과 드론을 제어하는 알고리즘을 개발하였다.

이상의 연구를 통해 송전선로 점검용 드론 운용기술을 전자동화하였으나, 촬영된 영상을 통해 설비의 결함 여부를 판단할 때 전문인력이 필요한 실정이다. 향후 송전선로 결함을 판단하는 스스로 시스템을 개발하여, 최종적으로 드론 운용에서 결함 진단까지의 과정 전체를 자동화하는 연구를 추가로 수행할 계획이다.

Acknowledgements

This research is the results of “Development of Deep Learning- based Automatic Diagnosis Drone System for Patrol and Inspection of Power Transmission Lines” project supported by Korea Electric Power Corporation.

References

1 
Luque-Vega, F. Luis, 2014, Power line inspection via an unmanned aerial system based on the quadrotor helicopter, MELECON 2014-2014 17th IEEE Mediterranean electro- technical conference. IEEEDOI
2 
Mao, Tianqi, 2019, Defect recognition method based on HOG and SVM for drone inspection images of power transmission line, International Conference on HighDOI
3 
Siddiqui, Zahid Ali, Unsang Park, 2020, A Drone Based Transmission Line Components Inspection System with Deep Learning Technique, Energies 13.13: 3348DOI
4 
Park, Joon‐Young, 2020, Method of operating a GIS‐based autopilot drone to inspect ultrahigh voltage power lines and its field tests, Journal of Field Robotics Vol.37, Vol. 37, No. 3, pp. 345-361DOI
5 
Viola, Paul, Jones Michael, 2001, Rapid object detection using a boosted cascade of simple features, Proceedings of the 2001 IEEE computer society conference on com- puter vision and pattern recognition. CVPR 2001. IEEE, Vol. 1DOI
6 
Dalal, Navneet, Triggs Bill, 2005, Histograms of oriented gradients for human detection, 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). IEEE, Vol. 1DOI
7 
Liu, Wei, 2016, Ssd: Single shot multibox detector, European conference on computer vision. SpringerDOI
8 
Redmon, Joseph, Farhadi Ali, 2018, Yolov3: An incremental improvement, arXiv preprint arXiv: 1804.02767.Google Search
9 
Ren, Shaoqing, 2015, Faster r-cnn: Towards real-time object detection with region proposal networks, Advances in neural information processing systems. 2015.DOI
10 
Zhao, Qijie, 2019, M2det: A single-shot object detector based on multi-level feature pyramid network, Proceedings of the AAAI Conference on Artificial Intelligence. Vol.33. 2019., Vol. 33DOI
11 
Huang, Zhanchao, 2020, DC-SPP-YOLO: Dense connection and spatial pyramid pooling based YOLO for object detection, Information SciencesDOI

저자소개

류서현(Seohyeon-Ryu)
../../Resources/kiee/KIEE.2021.70.1.121/au1.png

He has received the M.S degree in Electrical and Electronic Engineering from Korea Advanced Institute of Scient and Technology (KAIST).

He work for Korea Electric Power Research Insti- tute (KEPRI).

His research interests are image processing, deep learning, and drone appli- cations.

박준영(Joon-Young Park)
../../Resources/kiee/KIEE.2021.70.1.121/au2.png

He has received the M.S and Ph.D degrees in Mechanical Engineering from Korea Advanced Institute of Scient and Technology (KAIST).

He work for Korea Electric Power Research Institute (KEPRI).

His research interests are hazardous environment robots, optimal kinetic design, and drone applications.

김석태(Seok-Tae Kim)
../../Resources/kiee/KIEE.2021.70.1.121/au3.png

He has received the M.S degree in Mechanical Engineering from Yonsei University.

He work for Korea Electric Power Research Institute (KEPRI).

His research interests robot&drone mechanical design, and their applications.

김태원(Tae-Won Kim)
../../Resources/kiee/KIEE.2021.70.1.121/au4.png

He has received the M.S degree in mecha- tronics from Gwangju Institute of Science and Technology (GIST).

He work for Korea Electric Power Research Institute (KEPRI).

His research interests are Robot & Drone equipped Lidar’s data processing.

고병성(Byung-Sung Ko)
../../Resources/kiee/KIEE.2021.70.1.121/au5.png

He has got a B.S degree in Electronics and Avionics Engineering from Korea Aerospace University (KAU).

He work for Korea Electric Power Research Institute (KEPRI).

His research interests are automatic control, robotics, and artificial intelligence.

우정욱(Jung-Wook Woo)
../../Resources/kiee/KIEE.2021.70.1.121/au6.png

He received his MS and Ph.D. degrees in Electrical Engineering from Kyungpook Univer- sity.

He worked for Korea Electric Power Research Institute (KEPRI).

His research inter- ests are Insulation design, Fault Analysis, and Lightening Observation System.