2.1 하드웨어 구성

사용자의 동작을 분석하기 위해 제작된 하드웨어의 센서 구성도는 그림 1과 같다. 상체부 기준으로 등, 왼팔 상완, 오른팔 상완에 IMU를 각 1개, 양팔 팔꿈치에 각각 플렉스 압력 센서를 3개씩 배치하였다. 하체부 또한 허리, 양쪽 허벅지 앞부분에 IMU를 1개씩, 양쪽 무릎 부분에 관절 당 3개의 플렉스 압력센서를 배치하였다.

본 연구에 사용된 IMU는 미국 InvenSense사에서 제작한 MPU6050이다. MPU6050은 각 채널당 16bit ADC 모듈을 가진 MEMS(Micro Electro Mechanical Systems) 기반 관성센서로써 x, y, z 축의 선형 가속도, 자이로스코프 값을 알 수 있다. 플렉스 압력센서는 13cm의 길이를 가졌으며 구부러진 정도, 압력의 정도에 따라 저항값이 바뀌는 특징을 가지고 있다. 초기 저항은 10MΩ이며 구부러지는 정도에 따라 150Ω까지 가변이 가능하다.

IMU를 신체에 최대한 밀착시킬 경우 근육의 수축, 이완 상태에 따라 달라지는 근육의 모양 때문에 자세 추정에 방해가 될 수 있다⁽¹⁰⁾. 그래서 본 연구에서는 이러한 영향을 줄이기 위해 그림 1과 같이 IMU 센서를 피부에 바로 부착하는 방법 대신 1x5.5x8의 부피를 규격을 가진 브레드보드 위에 IMU 센서를 부착 후 착용하였다.

해당 센서들은 상체부와 하체부로 나뉘어 2개의 아두이노 Due 보드에 연결했다. MPU6050은 I2C 통신, 플렉스 압력센서는 아날로그 입력을 통해 데이터를 수신하도록 처리하였으며 Due 보드는 PC와의 serial 통신으로 MATLAB 환경에 센서 데이터를 전송하게 인터페이스를 맞췄다.

2.2 동작분류 및 모션캡쳐 알고리즘의 전체 시스템 구조

그림 2는 본 논문에서 제시하는 시스템의 전체적인 구조도이다. 사용자의 움직임을 확인하는 별도의 카메라 없이 의류 일체형 웨어러블 디바이스만을 이용하여 사용자가 어떤 근력운동을 하는지 분류하고, 해당 근력운동에서 정확한 자세를 취하고 있는지 파악하는 시스템을 구성하였다. 의류 일체형 웨어러블 디바이스를 착용한 사용자는 움직임을 시작하기 전에 특정 자세를 취하여 캘리브레이션 과정을 진행한다. 이후 런지, 스쿼트 등의 운동 동작을 시작하면 IMU와 플렉스 압력센서의 신호가 시스템으로 전달된다. 시스템은 동작분류와 모션캡처로 구분되며 동작분류는 센서들의 값에 wavelet 변환을 적용하여 실시간으로 사용자가 어떤 운동을 하는지 파악하기 위해 구성된다. 모션캡처는 사용자가 해당 동작을 정확하게 수행하는지 파악하기 위한 가이드를 제시하기 위해 구성된다.

2.3 모션캡쳐

본 논문에서 제시하는 시스템은 사용자가 별도의 조작 없이 운동을 시작하면 즉시 해당 운동이 분류되고, 해당 운동의 정확한 자세가 TV 또는 개인 디스플레이에 제공된다. 이 때 사용자가 올바른 자세를 유지하며 운동하는지 확인하기 위해서는 의류 일체형 웨어러블 디바이스를 착용한 사용자의 움직임을 실시간으로 파악할 필요가 있다.

카메라 없이 사용자의 움직임을 파악하기 위해 IMU와 플렉스 압력센서를 기반으로 한 모션캡쳐 시스템을 구성한다. 이때, 인간의 움직임을 그림 3과 같은 스켈레톤 모델로 나타낸다. 각 부위의 좌표계 통일을 위해 시작 정자세 기준으로 사용자 신체의 왼쪽을 x축 방향, 후면을 y축 방향, 중력 반대 방향을 z축 방향으로 전역 좌표계를 정의하였으며 IMU 센서의 body frame도 전역좌표에 맞게 좌표변환을 진행한다. 본 연구의 스켈레톤 모델에 설정된 관절은 그림 3과 같이 허리, 등, 어깨, 골반, 무릎, 팔꿈치이다. 상체부의 등, 오른쪽 팔, 왼쪽 팔, 하체부의 허리, 오른쪽 허벅지, 왼쪽 허벅지 순으로 IMU 센서 인덱싱을 하였다.

의류 일체형 웨어러블 디바이스의 경우, 착용 과정에서 사용자에 따라 다른 체형, 옷의 뒤틀어짐 등에 의해 의도치 않은 IMU의 뒤틀림이 발생할 수 있다. 플렉스 압력 센서 또한 의류에 내장되어 있기에 사용자의 체형에 따라 밀착 정도가 달라지며, 같은 동작을 수행하더라도 구부림 각도 값을 나타내는 플렉스 압력센서의 출력 저항값이 다를 수 있다. 이러한 현상을 해결하기 위해 초기 기울어진 IMU의 각도를 보상해줄 필요가 있으며, 사용자 체형에 맞춰 플렉스 압력센서의 저항 출력 최대, 최솟값을 파악하는 과정이 필요하다.

본 연구에서의 캘리브레이션은 알고리즘 시작 10초간 팔, 다리 관절을 최대한 구부린 자세를 유지하면서 데이터를 수집한다. 이어서 다음 10초간 정자세로 정지상태를 유지하며 데이터를 수집한다. 선행 동작에서는 사용자가 팔꿈치, 무릎을 최대한 구부렸다 간주하여 저장된 플렉스 압력 센서의 값의 평균값이 최대 구부림 각도(135°)에 해당한다고 정의하였다. 그리고 정자세에서 수집된 각 IMU 데이터는 다른 움직임이 없었기 때문에 중력가속도에만 영향을 받았다고 가정하여 식(1), 식(2), 식(3)과 같이 저장된 x, y, z 가속도들의 평균값끼리 arctan을 통해 기울어진 각을 계산한다. 계산된 각만큼 초기 자세에 보상해주어 정확한 정자세를 구현하였다. 또한 후행 동작인 정자세에서 수집된 플렉스 압력 센 데이터들의 평균값은 팔꿈치와 무릎을 최대한 편 상태라고 간주하여 구부림 각도가 0°이라고 정의하였다. 알고리즘 동작 시 출력되는 플렉스 압력센서의 값으로 사전에 정의된 최대최솟값 사이 비율 관계를 이용해 0°~135°의 팔꿈치, 무릎 각도를 추정하였다.

캘리브레이션 이후 사용자가 움직이는 과정에서 바뀌는 관절의 각도는 해당 부위에 부착된 IMU의 자세 기울기를 추정함으로써 알 수 있다. IMU에서 출력되는 선형 가속도와 자이로스코프 값의 융합해서 자세각을 추정할 수 있는데 대표적인 방법이 상보 필터이다⁽¹¹⁾. 상보필터는 가속도 값만으로 각도를 구했을 때 노이즈와 진동에 취약하다는 단점과 자이로스코프 값만으로 각도를 구했을 때 드리프트가 발생한다는 단점을 상호보완한 필터링 기법으로써 식(4)와 같이 정의된다.

고주파에서 응답 특성이 좋은 자이로스코프 값은 고주파 필터를 통과시키고 저주파에서 응답 특성이 좋은 가속도 값은 저주파 필터를 적용시킨 뒤 각각 가중치 α와 (1-α)를 곱하고 두 값을 더한다. 이때 α 값에 따라 필터의 특성이 바뀌는데 α 값이 커질수록 자이로스코프의 비중이 커지므로 안정적인 출력이 나오지만 반응이 느리다는 단점이 있다. 이에 반해 α값 작아 지면 가속도의 비중이 커지므로 노이지한 출력을 보이지만 빠르게 반응한다는 장점이 있다. 이러한 특성을 고려하여 본 연구에서는 비교적 이동반경이 작지만 상·하체의 중심이 되는 2번, 5번 IMU의 상보필터에는 α 값을 0.99로, 팔다리 부분을 담당하여 많은 움직임이 예상되는 나머지 4개의 IMU의 상보필터에는 α 값을 0.65로 설정하였다.

방향 코사인 행렬(DCM)은 서로 다른 두 좌표계의 단위 벡터 간에 내적들이 성분으로 이루어진 행렬이며 벡터의 좌표변환의 방식으로 사용된다. 상보필터에서 출력되는 각도는 스켈레톤 모델의 시작 자세를 기준으로 한 오일러 각도이기 때문에 이 각도를 Euler - Direct cosine matrix 변환을 거쳐 방향 코사인 행렬을 구하면 그림 3에 정의한 스켈레톤 모델에 forward kinematics를 쉽게 적용할 수 있다.

관절이 벌어진 각도와 각 부위의 길이를 알 때 그 끝 지점을 알 수 있다는 점에서 정기구학의 개념과 같다. 상체를 기준으로 중심이 되는 등의 자세를 먼저 구하면 끝 지점이 하위 관절인 어깨의 시작점이라고 할 수 있다. 이러한 구조로 손목 발목까지 연결해 나가면 사용자의 움직임을 추종할 수 있다.

본 논문에서 제안한 시스템은 상체 3개, 하체 3개 총 6개의 IMU를 이용하여 구성하였기에, 팔꿈치와 무릎 관절 이후의 움직임은 플렉스 압력센서를 이용하여 forward kinematics를 적용할 필요가 있다. 스켈레톤 모델에서 플렉스 압력센서가 관여하는 팔꿈치와 무릎의 각도는 오일러 좌표 기준으로 상위 관절인 팔꿈치와 허벅지의 부착된 IMU 센서의 관성 좌표계 기준 y축과 z축은 동일하고 x축만 다르다. 이를 이용하여 플렉스 압력센서의 저항 출력값을 이용하여 초깃값 대비 변화된 양만큼 x축의 회전을 고려해 줄 수 있다.

2.4 동작분류

본 논문에서 제시하는 동작분류는 사용자가 별도의 조작 없이 운동을 시작하면 즉시 해당 운동이 분류하기 위해 구성된다. 다양한 근력운동을 순차적으로 할 때 기존 운동 가이드 시스템의 경우 운동 종류를 바꿀 때마다 사용자가 어떤 근력운동을 할지 선택하는 과정이 있어야 한다. 이러한 과정을 없애고 사용자가 멈춤 없이 근력운동을 순차적으로 할 수 있도록 사용자가 현재 수행하고 있는 운동을 실시간으로 분류하는 알고리즘을 구성한다. 분류할 운동 동작으로는 각 부위별 움직임을 다양하게 반영할 수 있도록 스쿼트, 버피, 런지, 트위스트, 덤벨 프레스를 선정하였다.

의류 일체형 착용형 디바이스를 착용한 사용자가 운동을 시작하면 6개의 IMU에서는 가속도와 자이로스코프 신호가 출력된다. IMU 센서는 출력신호의 노이즈가 크고 제품마다 상이한 바이어스와 scale factor를 가진다는 특징이 있다. 이러한 점을 고려하여 주파수 영역에서의 신호 분석을 통해 신호의 맥락적인 정보를 추가로 파악할 필요가 있었고 본 연구에서는 웨이블릿 변환을 그 방법으로 사용하였다. 연속 웨이블릿 변환은 임의의 시간영역 신호를 웨이블릿 함수를 기저로 사용하여 주파수 성분을 분석하는 방법이며 식(6)과 같이 표현할 수 있다⁽¹²⁾.

$x(t)$는 시간영역의 신호이며 a와 b는 입력 신호의 scaling 및 shifting을 위한 파라미터들이고, ψ가 웨이블릿 함수이다. 웨이블릿 함수는 정해진 시간 동안 증가와 반복을 반복하여 평균이 0인 신호이며 대표적으로 Mexican Hat, Morlet, Biorthoganal 등이 있다. 웨이블릿 변환은 푸리에 변환과 비슷한 역할을 하지만 푸리에 변환은 신호가 시간에 대해서 변하지 않는다는 가정하에 단일 주파수에 대한 정보만으로 신호를 분석하는 반면 웨이블릿 변환은 작은 주파수에선 넓은 윈도우로 큰 주파수에선 좁은 윈도우로 스케일 변화시키며 연산한다. 그러므로 신호가 시간에 따라 주파수 성분이 변화하더라도 정확한 분석을 할 수 있다⁽¹³⁾.

본 연구에서는 각각의 IMU에서 출력되는 선형 가속도 데이터에 $a_{x},\: a_{y},\: a_{z}$대해 연속 웨이블릿 변환시켰고 생성된 이미지를 R, G, B 채널에 순서대로 배정하여 3차원 이미지를 만들었다. 자이로스코프 데이터에 대해서도 이 과정을 동일하게 적용하였다. 생성된 12개의 이미지를 합쳐 하나의 새로운 입력 이미지를 정의해주었으며 입력의 배열과 동작에 따른 이미지 결과는 그림 4와 같다.

그림 4를 통해 비교적 팔 동작만으로 수행되는 덤벨 동작의 경우 이미지 상단부에 특징이 나타나고 전신운동인 버피의 경우 이미지 전반적으로 신호가 활성화된 것을 확인할 수 있다. 또한 상체를 유지하고 하체를 구부리는 동작인 스쿼트와 런지의 경우 상체의 IMU는 유사한 패턴으로 출력이 나오지만, 하체의 IMU가 다른 패턴을 보여주고 있음을 확인할 수 있다.

웨이블릿 변환을 통해 이미지로 재생성 된 센서의 신호를 CNN (convolution neural network)를 통해 분류하였다. 딥러닝 모델은 방대한 파라미터들을 고려하여 사전에 많은 양의 데이터를 확보해야 하는데 대부분의 경우 데이터를 수집하는 과정에서 큰 비용과 자원이 요구된다. 이러한 문제의 해결책으로 특정 환경, 목적 아래서 이미 학습이 이루어진 모델의 일부 혹은 전체를 가져와 다른 분야에 응용하여 효과를 볼 수 있는 전이 학습이 사용된다. 본 연구에서도 다양한 사용자의 동작으로 훈련 데이터셋을 확보하지 못한 조건에서 최대한 높은 성능을 만들어 내기 위해 전이 학습을 사용하였다⁽¹⁴⁾.

사용된 딥러닝 모델은 Inception v3이며 Inception v3는 Google에서 제작한 네트워크로써 GoogLeNet으로 알려진 Inception v1을 개선한 모델이다. 비대칭 구조와 합성곱 분해로 연산량과 파라미터를 줄이면서 정확성을 높였다⁽¹⁵⁾.

MATLAB 환경에서 Deep Learning Toolbox을 이용하여 개발을 진행하였으며 훈련데이터는 동작 클래스별로 약 100개 정도 확보하였고 train/validation 비율은 8.5:1.5로 지정하였다. 초기 learning rate는 0.005로 설정하였으며 Minibatch size는 20으로 하고 적은 데이터셋의 규모를 고려하여 epoch는 30으로 하였다. 학습 결과 92.22%의 검증 정확도를 나타내었다.

CNN 모델학습을 위해 임의의 사용자가 의류 일체형 웨어러블 디바이스를 착용하고 훈련데이터를 수집하는 과정을 진행했다. 데이터 수집 시 임의의 사용자는 2초의 시간 간격을 두고 각 동작 별로 1회의 동작을 수행하게 된다. 하지만 명확하게 구분된 훈련데이터 대비 실제 시스템을 사용할 때는 연속적인 동작 변화가 발생하게 되며, 이로 인해 센서로부터 연속된 입력이 들어왔을 때에는 분류 정확도가 낮아지기도 한다. 이를 방지하기 위해 동작 분류 알고리즘 최종 출력단에 슬라이딩 윈도우를 구성했다. 5만큼의 사이즈를 가진 윈도우가 같이 이동하며 윈도우 내에서 최빈값을 해당 동작으로 출력하도록 그림 5와 같이 설계하였다.

또한 운동 동작의 정확성 판단 기준은 플렉스 압력센서가 나타내는 팔꿈치와 무릎의 구부림 각도를 고려하여 설계하였다. 의류 일체형 웨어러블 디바이스를 착용한 사용자가 기준 각에 도달하지 못한 채로 해당 동작을 수행하면 횟수에 반영하지 않도록 하였다. 각 동작 별 기준 각도는 표 1과 같다.