1. 서 론

근래에 이슈가 되고 있는 국내의 도심지 지반함몰은 7~80 년대에 집중적으로 건설된 하수관로의 노후화로 주변 토사가 유실되어 발생하는 경우가 많다. 국내의 경우 지반침하를 예 방하기 위한 목적으로 전국 980개 지자체의 20년 이상 노후 하수관 12,000 km에 대한 일제 정밀조사를 실시하고 있다. 이 전의 하수관로 유지관리는 통수능력, 수질향상 및 악취 저감 을 위한 준설 및 청소 등의 기능적, 사용적인 측면만 강조되어 왔으나 지반함몰 예방을 위한 안전성 개념의 유지관리가 시 작되었다.

하수관로 구조물의 조사방법은 송연조사, 육안조사, CCTV 조사가 있으나 송연조사는 내부 구조물의 상태를 명확하게 파 악하기 어려우며, 육안조사는 1 m 미만 하수관의 경우 조사자 의 안전 때문에 권장하지 않으므로 CCTV조사를 많이 활용하 고 있다. 지금까지는 주로 준설 및 개·보수 대상의 하수관에만 국한하여 조사를 진행하였으나 앞으로는 준설을 하지 않는 경우에도 지반함몰 예방을 위하여 CCTV조사 수요는 더욱 많 아질 것으로 예상된다. 그러나 현재의 CCTV조사 업무처리 과정은 현장에서 촬영된 영상을 검사자가 동영상을 재생하며 보고서를 작성하기 때문에 상당한 시간이 소요되며 객관성 및 신뢰도가 낮아질 수 있고, 또한 보고서의 내용을 관리자가 확인 및 검증하기 위해서는 수백 건 이상의 동영상을 재생해 야 하므로 접근성이 떨어지는 문제가 있다.

하수관로 CCTV조사의 이러한 문제를 보완하기 위해 자동 으로 영상을 분석할 수 있는 이미지프로세싱 기법의 도입이 나 장치의 개발에 관한 연구들이 진행되어 왔다. ^{Xu et al. (1998)}은 환형 레이저포인터가 부착된 탐사장치를 이용하여 이미지 분석을 통해 하수관의 변형을 측정하였다. ^{McKim and Sinha(1999)}은 기본적인 이미지프로세싱 기법들을 이용하여 하수관 내 균열의 정보를 추출하였고, ^{Moselhi and Shehab-Eldeen (1999)}은 더하여 인공신경망 방법을 적용하였다. 이후 머신러 닝을 적용한 발전된 이미지프로세싱(^{Yang and Su, 2008}) 등 의 연구가 진행되었지만, 하수관로와 같이 어둡고 장애물이 많은 환경에서 이동하면서 촬영하는 영상의 품질은 매우 낮 을 수 밖에 없기 때문에 실제로 개발된 이미지프로세싱 기법 을 적용하기에는 한계가 있다. 결국 자동화를 위해서는 좋은 품질의 영상을 얻는 방법이 최선이므로 ^{Yang et al.(2011)}은 하수관로 촬영 영상의 품질평가방법을 제안하기도 하였다. S/W적 연구 이외에 H/W적인 연구도 다수 진행되었다. 관절 형 로봇(^{Ilg et al., 1997}), 초음파 송수신기(^{Duran et al., 2002}), 스테레오카메라(^{Ahrary et al., 2005}) 및 어안렌즈(^{Esquivel et al., 2009}; ^{Song and Hwang, 2013}) 등의 장치들이 개발되어 있 으나 경제성이 낮은 이유로 국내의 하수관로 조사에 도입되 지 않고 있다.

기존의 연구는 새로운 영상을 촬영하거나 장치를 개발하는 데 집중하였으나 실제로 국내 구청 단위 행정구역에서는 자 체조사 및 용역 등을 이용하여 관할구역 내에 다수의 하수관 로 CCTV조사 영상을 보관하고 있다. 하수관로의 매설시기 조차 제대로 DB화 되어있지 않은 국내환경에서 기존의 수년 간의 조사 영상으로부터 의미 있는 데이터를 자동으로 추출 할 수 있다면 대상 하수관로의 유지관리 우선순위를 결정하 는데 활용될 수 있을 것이다. 국내의 경우 기본적으로 하수관 촬영 영상에 촬영시각과 탐사장치의 진행거리의 정보가 기록 되어 있으므로 이를 자동으로 DB화 할 수 있는 이미지프로세 싱 기법을 도입하고 조사영상을 분석하였다.

하수관로 탐사장치는 200만 화소 이상의 고해상도 디지털 카메라를 이용한 제품이 개발되어 있으나 조사업계의 영세성 때문에 41만 화소 이하의 장치가 아직도 많이 사용되고 있다. 본 연구는 하수관로 탐사자료의 객관성과 접근성을 높이기 위해 저해상도 영상에서 문자를 인식할 수 있는 상호상관기 법을 적용(^{Kim et al., 2015})하여 자막 문자 인식률을 분석하 였고 추출된 결과를 이용하여 하수관로 탐사장치의 주행거리 와 시간의 관계를 분석하였다. 하수관로 CCTV조사는 검사자 가 일일이 육안으로 확인하면서 장치를 조작하기 때문에 균 열이나 파손 등의 손상이 있는 위치에서 잠시 멈춘 후 손상을 관찰하고 촬영을 계속하는 것이 일반적이므로 장치의 진입거 리와 시간의 관계를 가시화하는 것만으로 손상의 위치를 추 정할 수 있음을 확인하였다.

2. 본 론

2.1. 하수관로 CCTV조사 영상

분석대상 하수관로 CCTV조사 영상을 Fig. 1에 나타내었 다. 영상의 해상도는 240×320으로 매우 낮으며 동영상 파일 정보는 Table 1과 같다. 영상에 나타난 자막은 조사일자, 조사 시간, 진입거리, 맨홀번호, 관경, 관종, 오·우수 구분 및 관할지 역명 등 의 정보를 기록하고 있다. 하수관로 CCTV조사 영상 은 검사자가 일일이 육안으로 확인하면서 촬영하기 때문에 균열이 검출된 위치에서 잠시 멈춘 후 균열을 관찰하고 촬영 을 계속하게 된다. 이때, 영상이 멈춘 위치를 파악하게 되면 자막의 진입거리를 인식하는 것만으로 손상의 위치를 개략적 으로 추측할 수 있다. Fig. 2는 자막 중에서 추출 대상 문자를 확대한 것이다. 해상도가 10만 화소 이하로 매우 낮기 때문에 확대할수록 식별이 어렵다. 또한, 문자식별은 배경색이 일정 하면 쉽게 식별할 수 있으나, 하수관로의 영상은 배경이 일정 하지 않아 문자식별이 어렵다. 동영상의 자막을 문자로 추출 하기 위하여 상호상관 기법을 적용하였다.

Fig. 1.

Sewer CCTV Image

Table 1

The information of sewer video

Duration(sec)	407.73
Bits Per Pixel	24
Frame Rate(fps)	30.0
Video Format	RGB24
Height	240
Width	320

Fig. 2.

Enlarged image

2.2. 디지털 영상처리처리

본 연구에서 디지털 영상처리는 Matlab의 Image Processing Toolbox를 이용하여 수행하였다(^{MathWorks, 2015}). 하수관 로 CCTV조사 영상의 해상도가 낮고 배경색이 일정하지 않아 문자를 식별하기가 매우 어렵다. 따라서 본 연구에서는 영상 에 나타난 숫자를 Table 2와 같이 추출하여 이것을 토대로 상 호상관기법을 이용하여 문자를 식별하였다. 육안으로 구별하 기 어려운 문자를 상호상관기법을 이용하면 두 비교영상 사 이의 차이를 알 수 있으며, 이로부터 문자를 식별할 수 있다.

Table 2

The information of sewer video

Character 1		Character 6
Character 2		Character 7
Character 3		Character 8
Character 4		Character 9
Character 5		Character 0

상호상관계수 r은 식 (1)과 같으며, -1에서 1사이의 값을 갖 는다. 절대값 1에 가까울수록 닮은 정도가 강하다는 것을 의 미한다(^{Lewis, 1995}).

(1)

r ( u ,   υ ) = Σ x y [ f ( x , y ) − f ¯ u , υ ] [ t ( x − u ,   y − υ ) − t ¯ ] { Σ x y [ f ( x ,   y ) − f ¯ u ,   υ ] 2 Σ x y [ t ( x − u ,    y − υ ) − t ¯ ] 2 } 0.5

여기서, f는 원 영상의 서브 영상이고, t는 비교영상이다. 또한, f 와 t는 f와 t의 평균을 의미한다. 식 (1)을 정규화 된 상호상관(Normalized Cross Correlation, NCC)계수라고 한다.

상호상관기법은 원영상과 비교영상의 유사도 및 최대 유사 도를 나타내는 좌표를 판별할 수 있다. 하수관로 CCTV조사 영상을 f, Table 2와 같이 숫자를 나타내는 자막의 분할영상 을 t로 두는 경우, 상호상관계수 r ( u ,   υ ) 은 좌표 ( u ,   υ ) 에 따른 2 차원의 그래프로 표현할 수 있으며 최댓값을 갖는 지점이 분 할 영상 t에 대응하는 숫자를 나타내는 부분이다. 상호상관계 수를 모든 좌표에 대하여 산정하는 경우 자막의 정확한 위치 를 찾을 수 있으나 연산에 많은 시간이 소요되므로 본 연구는 자막이 위치한 좌표를 미리 설정하고 비교영상 t를 Table 2의 각 문자에 대응하는 이미지로 치환하며 상호상관계수를 비교 하여 최댓값을 나타내는 문자를 선택하는 방법으로 영상에서 문자를 추출하였다.

해상도가 낮고 배경에 의한 자막의 간섭이 심한 저해상도 하수관로 CCTV조사 영상의 경우 형태가 유사한 문자에 대해 서 상호상관함수의 최댓값으로 구분하지 못하는 경우가 발생 한다. 이 경우 인식률을 높이기 위해 추출할 문자에 대응하는 비교 영상의 샘플을 추가하는 방법으로 문자 인식률을 개선 할 수 있다.

3. 결과 및 분석

하수관로 CCTV조사 영상에서 상호상관기법을 통하여 문 자인식을 통한 시간에 따른 진입거리를 Fig. 3에 80초에서 130초까지 나타내었다. 시간에 따라 탐사장치의 진입거리가 증가하거나 정지해 있어야 하지만 특이점들이 나타나는 것을 확인할 수 있다. 이러한 이유는 전술한 바와 같이 영상이 저해 상도이고, 배경색이 일정하지 않아서 문자를 제대로 인식하 지 못하는 경우이다. Table 3은 110초에서 130초까지의 원영 상에서 거리를 나타내는 5개의 숫자와 비교영상에 대한 상호 상관계수를 나타낸 것이다. 상관도가 90%미만인 것은 굵게 표시하였으며, 4번째 문자 및 5번째 문자는 80%이하의 상관 도가 많아 여기에서 문자를 잘못 인식한 것으로 나타났다.

Fig. 3.

The character recognition of video image before the addition of comparison images

문자인식률이 낮은 숫자는 0, 1, 4로 나타났으며, 이들 숫자 는 공통적으로 세로선이 존재하여 인식범위가 중첩되는 것으 로 나타났다. 이에 문자인식을 개선하기 위해서 Table 4와 같 이 문자 0, 1, 4에 대해서 비교영상을 하나씩 더 추가해서 비교 하였다. 비교영상 추가에 의한 개선 전과 후의 자기상관계수 를 Table 5에 비교하였다. 첫 번째 숫자 및 두 번째 숫자는 개 선 전과 후가 비슷하게 나타났지만, 네 번째 숫자 및 다섯 번째 숫자는 확실한 개선 효과가 나타남을 알 수 있다. 네 번째 및 다섯 번째 숫자 특히, 다섯 번째 숫자는 로봇이 촬영할 때 거리 가 급격하게 변하는 숫자이므로 자주 바뀌어 해상도가 떨어 졌기 때문에 문자를 제대로 인식을 못한 것으로 판단된다.

Table 4

Original and added comparison images corresponding to the confused characters

Character	Original	Added
0
1
4

Table 5

The NCC coefficients comparison of before and after the addition of comparison images

이렇게 문자인식률을 개선하여 해석한 결과를 Fig. 4 및 Table 6에 나타내었다. 그림과 표에서 알 수 있듯이 특이점이 나타나지 않으며, 일부를 제외하고 모두 상관도 90%이상으 로 나타나 개선효과가 탁월한 것으로 나타났다. Fig. 4의 표시 된 특이점은 원본영상 자체의 문제로 본 문자인식과 관계가 없다. 즉, Table 7의 원본영상과 같이 109초에서 007.51 m, 110초에서 007.33 m, 111초에서 008.26 m로 나타나 비디오 촬영자체가 문제가 있는 것으로 나타났다. Fig. 3과 Fig. 4를 비교해보면 확실하게 비교영상 추가에 의한 개선 효과가 나 타남을 알 수 있다. 개선 전과 후의 조사영상의 전 구간에 대한 문자 인식 개선 후의 인식된 진입거리를 Fig. 5에 도시 하였다. 문자 인식률을 상호상관기법을 인식한 거리와 실제 영상에 표시된 거리와 동일한 결과를 나타내는 비율로 정의하는 경 우 개선 후 문자 인식률은 100%로 나타났다.

Fig. 4.

The character recognition of video image after the addition of comparison images(from of 80 sec. to 130 sec.)

Table 7

The video image of 109~101sec

109 sec	110 sec	111 sec

Fig. 5.

The character recognition of video image after the addition of comparison images

하수관로 CCTV조사 영상의 300초 동안의 조사 결과인 Fig. 5와 같이 하수관 탐사를 수행한 조사자는 흄관의 기본 길 이인 2.5 m 마다 장치를 정지하고 CCTV를 조작한 것을 알 수 있다. 조사자는 Fig. 6에 도시한 것과 같이 시점으로부터 2.5 m 간격으로 최소 15초, 최대 35초, 평균 22.6초 동안 정지하여 탐 사장치를 운용하였다.

Fig. 6.

Stand time of sewer inspection device

하수관로 탐사장치의 진행속도는 Fig. 7과 같이 300초 동안 평균 0.091 m/s, 최대속도는 0.93 m/s로 나타났다. ^ME(2011) 의 CCTV조사 판독 표준화 매뉴얼의 탐사장치 운행 기준속도 인 15 m/min(0.25 m/s) 이하의 기준을 만족하는 것을 확인하 였다.

Fig. 7.

Velocity of sewer inspection device

CCTV 영상은 탐사장치의 진입거리 외에도 조사일자, 조 사시간, 관종, 관경 등의 정보를 가지고 있지만 자막의 형식과 크기가 일정하지 않아 다양한 수집주체로부터 제작된 영상을 일괄적으로 분석하기는 어렵다. 현재 관리주체에서 보유하고 있는 영상의 해상도는 40만 화소 이하의 저해상도 영상이 대 부분이므로 문자인식의 결과의 신뢰도를 보장하기 어렵다. 진입거리는 숫자만으로 표현되어 있으므로 높은 정확도로 인 식이 가능하므로 보관 및 관리 등의 목적으로 활용성이 높다.

본 연구는 하수관로 조사영상의 진입거리 문자에 대한 비 교영상을 개별적으로 추출하였으나, 향후 다양한 조사영상에 서 일괄적으로 탐사장치의 진입거리를 인식하기 위해서는 저 해상도 영상에서 관심영역을 자동으로 설정할 수 있는 기법 의 개발이 필요하다.

4. 결 론

본 연구는 하수관로 탐사자료의 객관성과 접근성을 높이기 위해 디지털영상처리 기술을 도입하여 하수관 탐사 영상을 분석하기 위한 기본 연구를 수행하였다. 즉, 하수관로의 손상 탐지를 위해서 저해상도 영상의 문자인식을 수행하였다. 제 안된 방법은 하수관로 조사영상 같은 저해상도, 저조도의 영 상에서 탐사장치의 진입거리를 높은 정확도로 인식할 수 있 었다.

영상처리 기법은 상호상관 계수를 이용하였으며, 영상내의 문자를 이용하여 분석하였다. 영상내의 문자 1개만으로 문자 를 인식하기에는 상호상관 계수가 0.5~0.7정도로 나타나 문 자 인식을 제대로 못하는 경우가 발생하였으나, 식별이 어려 운 문자들은 비교영상을 1개씩 더 추가하여 문자를 인식한 결 과 100%의 인식률을 보였다.

하수관로 CCTV조사 영상에 나타난 진입거리 문자를 인식 하여 하수관로의 손상 위치를 간접적으로 파악할 수 있기 때 문에, 본 연구의 성과를 활용하는 경우 다량의 하수관로 CCTV조사결과를 일괄로 관리·분석할 수 있을 것으로 기대 된다.