1. 서론

현재의 자동차는 과거의 기계적인 방식을 탈피하여 전자제어장치(Electronic Control Unit: ECU)를 통해 제어되는 전자적인 장치로 발전하다 최근에는 다양한 IT 기술과 네트워크 기술이 집대성된 새로운 형태의 ICT 장치로 탈바꿈하였다. 자동차와 관련한 ICT 기술은 크게 자율주행(Automated Vehicle or Self-Driving) 기술과 커넥티드 카(Connected Car)기술로 구분될 수 있다⁽¹⁾.

자율주행은 테슬라, 구글(Google), 우버(Uber) 등의 세계적 기업에 의해 주도적으로 연구되고 있으며, 주행과 관련한 전반적인 ECU의 제어가 수반되어야 하기 때문에 완성차 업체와의 긴밀한 공조가 요구된다. 커넥티드 카는 자율주행을 제외한 자동차 관련 ICT 기술을 모두 포함하는 것으로 보아도 무방할 것이며, 특히 오디오/비디오를 포함하는 멀티미디어 서비스, 네비게이션, 음성인식 기반의 차량 제어, 효율적인 정비서비스, 지불서비스 등을 포함한다.

커넥티드 카의 실현을 위한 주요 디바이스는 IVI(In-Vehicle-Infotainment) 또는 AVN(Audio Video Navigation) 디바이스이며, IVI 디바이스는 차량의 제어시스템과 운전자를 이어주는 인터페이스 역할을 담당한다. IVI 디바이스가 채택하는 운영체제의 종류에 따라 운전자에게 서비스를 제공하기 위한 애플리케이션의 유형이 달라지고, 이 부분이 사용자로 하여금 자동차를 선택하는 기준이 되게 할 수도 있다. 따라서 IVI 디바이스에 대한 소프트웨어 기술의 선점을 위해 QNX Car 2, MS Windows Embedded Automotive 7, Wind River IVI, Samsung Tizen IVI와 같은 글로벌 기업들의 SW 플랫폼이 경쟁하고 있으며, GENIVI Alliance는 이러한 소프트웨어의 표준화를 주도하고 있다.

IVI 디바이스는 자동차에 내장되어 자동차의 주요 구성요소에 대한 정보를 수집하고 운전자에게 제공해줌과 동시에 필요한 경우 자동차의 주요 모듈에 대한 제어 기능을 제공해야 한다. 또한, IVI의 기능을 다른 기기와 연동시킴으로써 스마트폰, 태블릿 등의 모바일기기와 스마트워치 같은 웨어러블 디바이스를 활용한 제어 기능도 제공할 필요가 있다.

결국 커넥티드 카를 위한 IVI 플랫폼은 다음과 같은 구성요소들로 이루어져야 한다.

• 전장 제어 모듈

• 운영체제를 포함한 소프트웨어 플랫폼

• 융합서비스를 위한 SDK와 API

우리는 기존 연구를 통해 전장 제어를 위해 필요한 하드웨어와 소프트웨어 구조를 설계한 바 있으며⁽²⁾, 본 논문에서는 운전자를 위한 서비스 중 하나로서 생체정보를 기반으로 한 운전자 감성기반 무드 서비스와 졸음운전 예방 서비스의 개발을 통해 커넥티드 카 기반의 서비스 구조와 동작 방식에 대해 연구하였으며, 커넥티드 카를 위한 새로운 융합서비스 개발을 위한 참조 모델을 제공하고자 한다.

2. 관련 연구

커넥티드 카 분야의 ICT 융합 서비스의 유형은 매우 다양하다. 하지만, 자동차/교통과 관련하여 가장 중요한 서비스는 운전자의 안전과 관련한 서비스일 것이다. 자동차에는 사고 예방, 운전자의 안전과 관련한 다양한 서비스를 제공하기 위해 여러 가지 센서를 기반으로 하는 다양한 기능들이 탑재되고 있다.

교통사고를 유발하는 원인 가운데 큰 비중을 차지하는 요인 중 하나는 졸음운전과 전방주시태만이다⁽³⁾. 자율주행 분야에서는 이러한 점을 고려하여 운전자를 도와주기 위해 레이더(Radar), 라이다(LiDAR), 어라운드 뷰(Around View) 등을 기반으로 하는 차선이탈방지 시스템, 주변 탐지 기술 등이 다양하게 도입되고 있지만, 아직까지는 센서의 가격이 고가인 편이며, 주로 완성차에 내장된 기능으로 구현되는 형태이기 때문에 기존 차량에 추가적으로 구성하는 데에는 어려움이 따른다.

운전자의 졸음운전을 감지하기 위한 방법은 얼굴인식, 눈동자 추적, 머리 위치 추적, 눈 깜빡임 추적 등 카메라를 기반으로 한 영상처리를 통해 다양하게 연구되고 있다.

Denso의 Driver Status Monitor는 핸들 중앙에 설치된 카메라로 운전자를 촬영해 얼굴의 17개 특징을 추출하는 기능을 갖고 있다. 얼굴의 방향이나 눈의 열린 상태를 감지하여 졸음운전이나 한눈을 팔면서 하는 운전 등이 벌어지면 운전자에게 경고를 한다. 눈꺼풀의 열린 정도, 눈의 깜빡인 횟수, 눈의 불규칙한 움직임 등 졸음의 징조를 다각적으로 파악할 수 있다. 졸음 수준은 총 6단계로 인식되며, 졸음 단계에 따라 경고 내용도 바뀐다. 강한 졸음 수준이라고 판단되면 충돌방지 장치를 작동하는 시기를 앞당기거나 강하게 작동하게 된다. 약한 졸음단계의 경우 단순히 에어컨을 세게 켜는 수준에 머문다⁽⁴⁾.

AISIN SEIKI의 장치는 핸들에 카메라 모듈을 설치하고 좌석에 압력 센서와 진동 장치를 내장한 뒤 운전자의 호흡이나 맥박 등을 감지한다. 카메라만으로 운전자의 상태를 파악하려면 운전자가 졸고 있는지, 실신하는지 구별할 수 없다. 그래서 카메라와 압력 센서를 통해 종합적인 판단으로 졸음 혹은 실신상태를 구별한다. 만약 실신 상태가 검출되면 자동으로 소방서 등에 긴급 통보할 수 있다. 가벼운 졸음의 경우 음성 안내만으로 끝나지만, 깊은 졸음운전 및 실신 등 비상사태가 검출되면 음성 안내뿐만 아니라 좌석을 진동시켜 사고를 일으키기 전에 운전자를 깨우는 기능이 있다⁽⁵⁾.

Trywin사의 졸음 방지 장치인 Dramoni는 카메라 방식 및 각종 센서방식에서 발생하는 설치가 복잡하고 판매액이 비싸며 운전자의 행동이 제한되는 등 여러 문제점을 해결한다. Dramoni는 앉아있는 운전자의 등과 척추의 움직임에서 운전 동작을 감지해 졸음운전을 7단계로 구분한다. 운전자는 자동차를 운전할 때 핸들의 조절, 액셀 밟기, 거울 확인 등 기본적인 동작을 항상 하고 있지만 집중력이 저하되면 기본 동작을 하지 않게 된다는 점에 착안했다⁽⁶⁾.

독일 보쉬의 경우 핸들조작으로 운전자의 피로를 산출하는 장치를 상용화했다. 집중력이 저하되면 급격한 핸들조작이 많아지는 경향에 근거하여 일정 수준을 넘으면 커피컵 모양의 아이콘이 깜빡이며 휴식이 필요함을 알린다. 이 제품은 2010년 폴크스바겐의 고급 세단인 ‘파사트’ 차량에 채용됐다⁽⁷⁾.

센서를 기반으로 한 주요 서비스로는 운전자의 피로도 감지, 실시간 주차 지원, 실시간 사고 지원, 운전자의 분노도 감소, 피로도 감소 등을 꼽을 수 있으며⁽⁸⁾, 최근들어 운전과 관련한 사회적인 문제 중 하나로 난폭운전과 보복운전으로 인한 각종 사고의 발생 빈도가 높아졌다^(9,10).

로보틱스 시스템이나 ADAS(advanced driver assistance systems)와 같은 다양한 분야에서 감성 인식을 위한 연구가 다양하게 이루어졌으며^(11,12), MIT 미디어랩에서는 AutoEmotive 프로젝트를 통해 운전자의 스트레스를 관리하는 방법에 대해 연구하였다⁽¹³⁾.

감성을 측정하기 위한 방법으로는 가시광 카메라, 열화상 카메라, 음성 데이터 또는 생리 신호, ECG, EEG, SKT (Skin Temperature) 데이터 등이 사용될 수 있다⁽¹⁴⁾.

감성추론 결과의 신뢰성을 높이기 위한 방안으로 시/공간에 대한 정보와 온도/습도 등 감성에 영향을 미치는 인자를 더 고려한 멀티모달 감성추론 기법이 연구되기도 하였다^(15,16).

우리는 AVN 디바이스를 통해 액세서리 형태로 기존의 차량에도 적용이 가능한 형태의 개방형 서비스 모델을 설계함으로써 보다 더 다양한 센서와 액추에이터를 활용할 수 있고, AVN 기반의 네이티브 애플리케이션과 모바일 디바이스 기반의 웹 애플리케이션을 통해서도 차량과 운전자를 이어주는 새로운 서비스의 구현에 대한 소프트웨어/서비스 프레임워크의 제공을 목표로 하고 있으며, 그 중 한 가지 사례로서 운전자의 생리 신호와 주행 중 운행 환경에 대한 정보를 기반으로 하는 운전자 감성 기반의 무드와 졸음운전 방지 서비스를 위한 프레임워크와 애플리케이션을 구현하였다. 본 논문에서는 운전자의 생리신호 중 PPG, GSR, SKT와 같이 감성이나 감정을 평가할 수 있는 지표가 되는 몇 가지를 수집하여 운전자의 상태를 추론할 수 있는 감성추론 프레임워크를 커넥티드 카 플랫폼에 적용시켰다. 이를 위해 운전자의 생리 신호를 추출할 수 있는 생리 신호 센싱 및 추론 디바이스를 개발하였으며, 이 디바이스를 AVN과 연결하여 차량의 모듈을 제어하는 데 필요한 차량 제어 프레임워크를 설계/구현하였으며, 또한 운전자의 감성/피로도를 기반으로 모바일/웹 서비스의 제공이 가능하도록 네이티브 API와 웹 API를 구현하였다.

3. 커넥티드 카 플랫폼

커넥티드 카 플랫폼은 자동차의 주요 센서 데이터를 수신하고 자동차의 주요 모듈을 제어하기 위한 게이트웨이(VSG: Vehicle Selective Gateway), VSG와 통신하기 위한 인터페이스와 IVI 애플리케이션 수행을 위한 미들웨어를 포함하는 소프트웨어 플랫폼, 그리고 추가적인 디바이스의 구성과 애플리케이션 연동을 위한 응용 프로그램 인터페이스 등으로 구성된다.

4. 감성추론 프레임워크

차량을 운전하는 경우 장시간의 운전으로 인한 운전자의 피로도 증가, 환경적인 요인 등으로 인해 졸음운전을 하여 사고가 발생되는 경우를 흔히 볼 수 있다⁽¹⁷⁾. 운전자의 졸음을 인식하기 위한 수단은 대표적으로 카메라를 통해 입력된 영상으로부터 얼굴, 눈, 머리를 OpenCV와 같은 영상처리 라이브러리를 통해 추출하고 추적하거나, 또는 운전자의 생리신호를 수집하여 운전자의 상태를 평가하는 것이다. 본 논문에서 제안하는 커넥티드 카 플랫폼에서는 이러한 두 가지 방식을 모두 사용할 수 있도록 운전자의 생리 신호 측정을 위한 장치와 감성추론 프레임워크를 설계하고 구현하였다.

운전자의 생리신호 측정을 위해 PPG, GSR, STK를 수집하기 위한 센싱 디바이스는 그림. 3과 같으며, 손가락, 손목, 팔뚝과 같이 생리신호의 추출이 비교적 용이한 신체 부분에서 데이터를 수집하기 위해 핸들과 운전석 팔걸이에 장착 가능한 형태로 구조물을 설계하여 차량에 장착하였다.

생리신호를 기반으로 한 감성 추론 프레임워크의 구조는 그림. 4와 같다.

운전자의 감성 평가를 위해 생리신호 기반의 감성추론 프레임워크에서 필요로 하는 생리신호는 PPG, GSR, SKT이며, 또한 인간의 감성에 영향을 미치는 외적인 요소로서 온도, 습도, 조도가 있다. 따라서 생리신호를 기반으로 한 인간의 감성 평가의 정확도 향상을 위해 온윤지수(Temperature Humidity Index: THI)를 추가로 고려하였다.

감성 평가 결과는 운전자의 각성, 이완, 중립, 쾌, 불쾌 등의 상태로 나타날 수 있으며, 추론 결과에 따라 이완된 상태인 경우 각성 상태로 유도하기 위한 서비스를 제공하거나, 불쾌한 상태일 때 쾌한 상태 내지는 중립적 상태로 유도할 수 있는 서비스를 제공하는 것이 가능하다. 이는 운전 중 발생할 수 있는 대표적인 사고 원인 중 하나인 졸음운전을 예방하기 위해 활용되거나 운전자의 분노 조절 또는 운전자의 심정지 같은 위급 상황을 파악하기 위해서도 활용될 수 있을 것이다.

센싱 디바이스를 통해 수집된 생리신호를 토대로 운전자의 감성 상태를 중립(Normal), 스트레스(Stress), 졸음(Sleepy)의 세 가지 중 하나로 평가하고, AVN 디바이스를 통해 운전자의 스트레스를 해소하거나 졸린 상태를 벗어날 수 있는 애플리케이션 또는 미디어를 실행시킬 수 있다. 그림. 5는 AVN 디바이스에서 감성추론 기반의 스마트 케어 서비스를 제공하기 위해 필요한 감성추론 프레임워크의 구조와 동작 과정을 나타낸다.

그림. 6은 AVN 디바이스와 센싱 디바이스의 연결 구조를 나타내며, AVN 디바이스가 지원하는 네트워크 유형에 따라 블루투스와 USB/UART 인터페이스를 모두 사용할 수 있도록 개발하였다.

감성추론의 결과는 AVN의 애플리케이션을 통해 운전자의 스트레스를 해소하거나 각성상태로 유도하기 위한 컨텐츠를 제공할 수 있으며, VSG를 통해 시트에 충격을 전달하여 운전자를 각성시키거나, 운전자가 착용한 스마트워치 같은 웨어러블 디바이스를 통해 경고를 제공할 수도 있다. 만약 운전자가 의식을 잃은 긴급한 상황이라면 운전자의 스마트폰을 통해 긴급통화를 호출할 수도 있다. 그림. 7은 핸들에 장착된 센싱 디바이스를 통해 생리 신호를 수집하고, 이를 통해 추론된 감성 상태를 통해 감성 상태에 따른 서비스 애플리케이션이 수행되는 과정을 보여준다.

5. 애플리케이션 프레임워크

본 논문에서는 AVN 디바이스의 개발을 위해 두 종류의 AVN 플랫폼을 채택하여 생리신호 측정을 위한 센싱 디바이스를 구성하여 운전자의 감성과 피로도를 평가하고, 이를 기반으로 애플리케이션을 개발할 수 있도록 하였다. 첫 번째는 Nexcom사의 VTC 1010 모델에 Tizen IVI를 이식하여 시스템을 구축하고, 두 번째는 프리스케일의 i.MX6DL/Q 모델에 Android 4.4(KitKat)를 이식하여 시스템을 구현하였다. Tizen IVI는 네이티브 애플리케이션과 웹 애플리케이션을 위한 프레임워크를 모두 지원하지만, 안드로이드는 웹 애플리케이션 개발을 위한 프레임워크를 지원하지 않기 때문에 크로스 프레임워크 중 하나인 크로스워크(Crosswalk)를 적용하여 웹 프레임워크를 구현하였다. 커넥티드 카 플랫폼의 웹 프레임워크 도입은 VSG를 기반으로 한 차량 제어 소프트웨어를 네이티브 애플리케이션이나 웹 애플리케이션 타입 모두로 구현할 수 있게 해준다. VSG의 API 구현 방식은 AVN 디바이스의 소프트웨어 플랫폼 유형에 따라 달라진다.

먼저 Tizen IVI 기반의 커넥티드 카 플랫폼은 VSG와 AVN을 UART로 연결하였으며, 따라서 AVN 디바이스에 UART 통신을 위한 라이브러리를 구현하여 ECU에 대한 커맨드를 전송하도록 하였다. 또한 이를 웹 애플리케이션에서도 동일하게 사용할 수 있도록 자바스크립트 함수로 래핑(wrapping) 하는 방식으로 웹 애플리케이션 인터페이스를 제공한다.

안드로이드 기반의 커넥티드 카 플랫폼에서는 네이티브 애플리케이션 개발을 위한 VSG 라이브러리를 안드로이드의 애플리케이션 프레임워크 계층에 포함되는 서비스 컴포넌트 형태로 구현하였다. 따라서 안드로이드 기반의 네이티브 애플리케이션은 VSG API와 관련한 클래스 라이브러리를 프로젝트에 포함시켜 차량 제어를 포함하는 애플리케이션의 개발이 가능하다. 또한 웹 애플리케이션 인터페이스의 제공을 목적으로 크로스워크의 JavascriptInterface를 사용하여 웹 애플리케이션에서 쉽게 호출이 가능하게 하였다.

6. 결 론

커넥티드 카는 자동차와 운전자, 그리고 외부 디바이스와 서비스를 모두 연결하여 자동차와 운전자를 위한 새로운 형태의 융합서비스를 가능하게 하는 플랫폼이다. 커넥티드 카는 자동차와 운전자간 인터페이스로 AVN 디바이스를 사용하며, AVN 디바이스는 차량의 주요 구성요소에 대한 정보를 수신하여 운전자에게 제공해주며, 운전자의 요청에 반응하여 차량의 주요 모듈을 제어할 수 있게 해준다.

주행 중 운전자의 신체나 감성 상태에 대한 정보의 획득이 가능하다면 운전자의 감성 상태나 피로도에 따라 운전 환경을 쾌적하게 만들거나 운전자의 피로도를 감소시키기 위한 서비스의 제공이 가능하며, 이는 각종 사고의 예방을 위한 수단으로 활용될 수 있다.

본 논문에서는 운전자의 생리 신호 측정을 통해 운전자의 감성과 피로도를 평가하기 위한 장치를 고안하고, 이를 AVN 디바이스와 연결하여 차량을 제어하는 데 필요한 AVN 디바이스의 소프트웨어 플랫폼과 서비스 구조를 설계하고 개발하였다.

또한, 새롭게 구성되는 디바이스에 대해 AVN 기반의 네이티브 애플리케이션과 웹 애플리케이션이 개발될 수 있도록 네이티브 API와 웹 API 제공을 위한 프레임워크를 설계하였다.

운전자의 감성 상태는 스트레스, 졸음, 보통의 세 가지 상태로 판단하도록 하였으며, 스트레스와 피로도에 따라 운전자의 스트레스 지수를 낮추거나 운전자를 각성시키기 위한 애플리케이션 프레임워크를 설계하고 구현하여 실차에 적용시켰다.

운전자의 생리신호 획득을 위한 센싱 디바이스는 핸들과 운전석 팔걸이에 장착하였으며, 차량 모듈의 제어를 위해 VSG를 통해 시트와 창문의 제어를 가능하게 하여 운전자가 졸음 상태로 판단될 경우 환기와 각성을 위한 차량 제어를 수행할 수 있으며, 스트레스 지수가 높아지면 음악이나 동영상을 재생시켜 운전자의 스트레스 지수를 낮출 수 있는 미디어의 재생이 이루어지도록 하였다.