박유현
(Yu-Hyun Park)
*iD
박주형
(Joo-Hyeong Park)
*iD
이기백
(Ki-Baek Lee)
†iD
-
Department of Electrical Engineering, Graduate School, Kwangwoon University, Seoul,
Republic of Korea. E-mail : parkyh2024@kw.ac.kr, pjho0402@kw.ac.kr
Copyright © The Korean Institute of Electrical Engineers
Key Words
Edge AI, Finite-state machine, Fall-like posture, Pose estimation, Post-fall non-recovery, Temporal persistence, YOLO-Pose
1. 서 론
고령자 및 독거 환경에서 낙상은 신속한 확인과 대응이 필요한 대표적인 생활 안전 문제이다[1-
3]. 영상 기반 낙상 감지 시스템은 사람의 자세 변화, bounding box 형태 변화, 신체 keypoint, 또는 시계열 움직임을 이용하여 낙상
여부를 판단할 수 있으며, 비접촉 방식이라는 점에서 실내 모니터링 환경에 적용하기 쉽다[2], [3]. 그러나 실제 실내 환경에서는 앉기, 일어서기, 물건 줍기, 침대나 소파에 눕기와 같은 일상 동작이 순간적으로 낙상과 유사한 영상 패턴을 만들 수
있다. 이 경우 단일 프레임에서 낙상을 즉시 결정하는 방식은 오탐을 발생시킬 가능성이 있다.
본 연구에서는 낙상 순간 자체보다 낙상 이후 정상 자세로 복귀하지 못하는 위급 상태에 초점을 둔다. 기존 CNN 기반 방법, skeleton sequence
기반 방법, YOLO 기반 fallen-person detector는 낙상 이벤트 또는 낙상 자세 분류에 활용되어 왔다[4], [9], [14-
16]. 그러나 특정 실내 감시 영역에서 일시적 낙상 유사 자세와 지속적인 미복귀 상태를 구분하기 위해서는 단일 프레임의 검출 결과뿐 아니라 시간 지속성
조건이 함께 고려되어야 한다. 즉, 한 프레임의 자세가 수평에 가깝다는 사실만으로 위급 상태를 선언하지 않고, 비정상 자세가 일정 시간 이상 지속되는지를
판단한다.
본 연구는 모든 생활공간의 낙상, 휴식, 수면 및 바닥 작업을 포괄적으로 분류하는 범용 행동 인식 모델을 목적으로 하지 않는다. 연구 대상은 사전에
지정된 실내 감시 영역에서 관측되는 낙상 유사 자세 후보와, 해당 자세가 지속되면서 정상 자세로 복귀하지 못하는 낙상 후 미복귀 상태를 구분하는 것이다.
이에 따라 프레임 단위 자세 후보 검출과 시간 지속성에 따른 Emergency 결정을 서로 분리하였다.
제안 시스템은 YOLO26n-Pose로부터 상체 keypoint와 person bounding box를 추출하고, 상체 방향과 bounding-box
종횡비를 이용하여 낙상 유사 자세 후보를 계산한다. 이후 FSM은 비정상 자세의 지속 시간에 따라 Normal, Warning 및 Emergency
상태를 단계적으로 결정한다. 모든 처리는 Jetson AGX Orin에서 수행되며, 외부 서버로 영상을 전송하지 않고 상태 영상과 CSV 로그를 생성한다[10].
본 논문의 기여는 다음과 같다. 첫째, 낙상 순간의 분류가 아니라 낙상 후 미복귀 상태를 판단 대상으로 정의하고, 프레임 단위 자세 후보 검출과 위급
상태 결정을 분리한 경량 판단 구조를 제시하였다. 둘째, 사전학습 pose model의 keypoint와 bounding box를 이용하여 학습용
낙상 데이터의 별도 구축·라벨링 및 task-specific retraining 없이 동작하도록 구성하고, 명시적인 시간 지속성에 따라 Normal–Warning–Emergency
상태를 결정하였다. 셋째, 제안 구조를 Jetson AGX Orin에서 독립적으로 구현하고, 자체 촬영 로그와 공개 RGB 영상 70개 clip을
이용하여 상태 판단 특성과 임계값에 따른 검출–오탐 trade-off를 정량적으로 검토하였다.
2. 관련 연구
영상 기반 낙상 감지 연구는 RGB 영상, depth 영상, optical flow, silhouette, bounding box, skeleton
keypoint 등 다양한 시각 정보를 이용하여 낙상 여부를 판단한다[2], [3]. CNN 기반 방법은 프레임 또는 짧은 영상 구간에서 낙상 패턴을 학습할 수 있으며[4], 사람의 외곽 형태나 posture representation을 이용한 방법도 제안되었다[5]. 또한 depth camera 기반 방법은 거리 정보를 활용하여 바닥 방향 이동이나 누운 자세를 판단할 수 있다[6]. 공개 다중모달 데이터셋을 이용한 평가 프레임워크[7]와 3D multi-stream CNN 및 image fusion을 활용한 자동화 비전 기반 낙상 감지 시스템[13]도 보고되었다. 이러한 방법들은 영상 기반 낙상 감지의 기본 흐름을 형성하지만, 데이터셋 구성과 카메라 시점에 따라 성능이 크게 달라질 수 있다.
자세 추정 기반 방법은 어깨, 골반, 무릎, 발목 등 신체 keypoint를 활용할 수 있어 신체 기울기와 방향을 해석하는 데 유리하다. OpenPose[17] 기반 연구는 human skeleton의 keypoint, 중심선 각도, 외접 사각형의 폭/높이 비율 등을 이용하여 낙상을 판단하였고[8], OpenPose skeleton sequence를 LSTM/GRU와 결합하여 시간적 변화를 학습하는 방법도 제안되었다[9]. 또한 pose estimation 결과를 deep neural network나 MobileNetV2 계열 분류기에 입력하여 낙상 여부를 판단하는
연구도 보고되었다[11], [12].
최근에는 YOLO 계열 모델[18], [19]의 실시간성과 pose estimation 기능을 활용하여 낙상 또는 fallen-person 상태를 탐지하는 접근이 증가하고 있다. 예를 들어 YOLOv8
변형 모델을 산업 현장 낙상 감지에 적용한 사례[14], 대규모 fallen-person benchmark를 이용한 YOLOv8 기반 탐지 연구[15], 승강기 내부 낙상 감지를 위한 YOLOv8 Nano 적용 사례[16]가 보고되었다. 이러한 방법들은 detection 성능 향상에 초점을 두지만, 대체로 낙상 클래스 학습 데이터 또는 환경별 재학습이 필요하며, 낙상
후 정상 자세로 복귀하지 못하는 지속 상태 자체를 별도 FSM으로 판단하는 구조와는 차이가 있다.
Skeleton sequence 기반 방법은 여러 프레임의 keypoint 변화를 LSTM 또는 GRU와 같은 학습 모델에 입력하여 낙상 동작의 시간
패턴을 분류한다[9]. Pose feature를 DNN 또는 MobileNetV2 계열 분류기에 입력하는 방법은 학습된 결정 경계를 이용하여 낙상 자세를 판단한다[11], [12]. YOLO 기반 방법은 낙상 또는 fallen-person class를 직접 학습하여 검출하는 데 유리하지만, 대상 환경에 대응하는 학습 영상과
라벨이 필요할 수 있다[14-
16].
반면 본 연구는 학습된 시계열 분류기를 대체하거나 이들 방법보다 높은 범용 낙상 분류 정확도를 주장하지 않는다. 또한 비정상 자세 후보로부터 과거의
낙상 발생 자체를 판정하는 것을 목적으로 하지 않는다. 제안 방법은 사전 지정된 감시 영역에서 pretrained pose model의 출력으로 fall-like
posture candidate를 생성하고, 해당 후보가 정상 자세로 복귀하지 않은 채 지속되는지를 별도의 시간 상태 판단으로 평가한다. 따라서 프레임
단위 자세 후보와 post-fall non-recovery에 대한 Emergency 결정은 서로 다른 판단 단계로 구성된다.
학습형 sequence model은 시간적 특징과 결정 경계를 학습 데이터로부터 획득하는 반면, 제안 구조는 낙상 전용 학습 데이터의 구축·라벨링이나
task-specific retraining 없이 명시적인 자세 특징과 지속 시간 조건을 사용한다. Warning 및 Emergency 전이 조건은
운용자가 직접 해석하고 조정할 수 있으며, 판단 과정은 엣지 장치에서 독립적으로 수행된다. 기존에도 pose estimation과 edge computing을
결합한 낙상 감지 방법이 보고되었으나[10], 본 연구는 낙상 사건 자체의 분류보다 프레임 단위 자세 후보와 지속적인 post-fall non-recovery 상태 결정을 분리하고, 이를 별도의
낙상 전용 학습이나 task-specific retraining 없이 수행하는 데 초점을 둔다.
3. 제안 시스템
3.1 시스템 구성
제안 시스템은 영상 입력, 자세 추정, 특징 계산, 시간 지속성 기반 FSM 판단, 결과 저장 단계로 구성된다. Fig. 1은 전체 처리 흐름을 나타낸다. ABKO APC930 QHD USB 웹캠으로부터 1280×720 해상도, 30 FPS 입력 영상을 취득하고, NVIDIA
Jetson AGX Orin 개발자 키트[20]에서 Ultralytics YOLO26 계열의 pose estimation 모델인 YOLO26n-Pose[21], [22]를 실행하여 사람의 bounding box와 skeleton keypoint를 추출한다. YOLO26 계열은 object detection뿐 아니라
pose estimation을 포함한 다중 비전 태스크를 지원하며, Ultralytics pose 모델은 `-pose` 접미사를 사용하여 keypoint
좌표와 신뢰도를 출력한다. 이후 상체 각도와 bounding box 종횡비를 계산하고, 설정된 임계값과 지속 시간 조건을 이용하여 현재 상태를 결정한다.
제안 시스템은 사전학습 pose model의 출력 이후에 별도의 낙상 분류 모델이나 task-specific retraining을 사용하지 않고,
자세 특징 계산과 FSM 상태 판단을 Jetson AGX Orin에서 직접 수행하도록 구성하였다. 영상의 외부 서버 전송 없이 skeleton, bounding
box 및 현재 상태를 실시간으로 표시하고 결과 영상을 저장하며, 프레임별 CSV 로그에는 상체 각도, bounding-box 종횡비, 자세 후보,
FSM 상태, 상태 전이 이벤트 및 추론 시간을 기록하여 판단 과정과 상태 전이를 사후 확인할 수 있도록 하였다.
그림 1 제안된 엣지 기반 낙상 후 미복귀 상태 감지 시스템의 전체 파이프라인
Fig. 1 Overall pipeline of the proposed edge-based post-fall non-recovery detection
system.
3.2 자세 특징 계산
자세 특징은 YOLO26n-Pose 모델에서 추출된 keypoint와 bounding box를 이용하여 계산한다. Fig. 2와 같이 상체 각도는 좌우 어깨 keypoint의 중점과 좌우 골반 keypoint의 중점을 연결한 상체 벡터를 기준으로 산출한다. 구현 단계에서는
어깨 중점과 골반 중점을 연결한 벡터가 영상 좌표계의 수직 방향으로부터 기울어진 정도를 상체 각도로 사용하였다. 상체가 수직축에 가까운 경우 각도는
작게 나타나고, 바닥에 누운 자세처럼 수평축에 가까워질수록 각도가 증가한다. 본 구현에서는 상체 각도 기준을 55°로 설정하였다.
bounding box 종횡비는 사람 영역의 폭을 높이로 나눈 값으로 정의한다. 따라서 bounding box W/H가 1.8 이상인 경우를 수평
자세 후보로 간주하였다. 다만 bounding box 특징은 촬영 각도와 가림에 영향을 받을 수 있으므로, 본 연구에서는 상체 각도 판단을 주 특징으로
사용하고 bounding box 종횡비를 보조 특징으로 사용하였다. 프레임 $t$에서 계산된 상체 각도를 $\theta_{t}$, bounding-box
종횡비를 $r_{t} = w_{t}/h_{t}$라 할 때, 비정상 자세 후보 $c_{t}$는 다음과 같이 정의하였다.
즉, 상체 각도는 신체 방향을 나타내는 주 특징으로 사용하고, keypoint가 불완전하거나 person 영역이 수평으로 확장되는 경우에는 bounding-box
종횡비를 보조 특징으로 사용하였다. 이 OR 결합은 낙상 자체를 확정하는 최종 분류기가 아니라, 후속 시간 지속성 판단에 입력되는 후보 생성 규칙이다.
상체 각도는 좌우 어깨와 좌우 골반 keypoint가 모두 유효한 경우에 계산하였다. 일부 keypoint가 누락되거나 신뢰도가 낮은 경우에는 불완전한
keypoint로 각도를 계산하지 않고, 유효한 person bounding box가 존재하면 bounding-box 종횡비를 보조 특징으로 사용하였다.
반대로 person 영역 자체가 검출되지 않은 경우에는 유효한 자세 특징을 산출할 수 없으며, 현재 구현에서는 비정상 자세의 누적 시간과 FSM 상태가
초기화된다. 따라서 일부 keypoint의 불완전성은 bounding-box 특징으로 보조할 수 있지만, person detection 자체의 누락은
지속 상태의 미검출 원인이 될 수 있다.
그림 2 몸통 각도와 bounding box 종횡비 특징의 정의
Fig. 2 Definition of torso angle and bounding-box aspect-ratio features
3.3 시간 지속성 기반 FSM 판단
FSM은 Normal, Warning 및 Emergency의 세 상태로 구성된다. 비정상 자세 후보가 연속적으로 유지되면 후보가 최초로 발생한 시점부터의
실제 경과시간을 누적하고, 자세 후보가 해제되거나 person 영역이 검출되지 않는 경우에는 누적 시간을 초기화한다. 지속 시간은 처리 프레임 수를
고정 FPS로 환산하지 않고 실제 처리 시각을 기준으로 계산하므로, 처리 프레임률이 변하더라도 동일한 시간 기준이 적용된다. 계산된 지속 시간과 상태
전이 결과는 프레임별 CSV 로그에 기록하였다.
상체 각도 55°와 bounding-box W/H 1.8은 낙상 자체를 확정하기 위한 기준이 아니라, 후속 상태 판단에 입력되는 fall-like
posture candidate 생성 기준이다. 후보가 3초 이상 지속되면 Warning으로 전이하여 추가적인 지속 여부를 관찰하고, 7초 이상 지속되면
Emergency로 전이한다. 여기서 Emergency는 과거에 낙상 사건이 발생하였음을 분류한 결과가 아니라, 낙상과 유사한 비정상 자세가 해제되지
않고 지속되는 post-fall non-recovery 위급 상태를 의미한다. 따라서 본 연구는 지속 시간 임계값 자체의 알고리즘적 신규성을 주장하는
것이 아니라, 별도의 낙상 전용 학습 없이 자세 후보 검출과 post-fall non-recovery 위급 상태 결정을 분리하는 해석 가능한 판단
구조를 구현하는 데 목적을 둔다.
Warning 3초와 Emergency 7초는 임상적으로 보편화된 낙상 판정 기준이나 데이터 기반 최적값으로 제시한 것이 아니라, 제한된 실내 감시
조건에서 일시적인 자세 후보가 즉시 Emergency로 연결되는 것을 억제하기 위한 운용 상태 전이 기준이다. 본 연구에서는 0.127∼2.534초의
짧은 자세 후보가 Emergency로 전이되지 않고, 8.926초의 지속 자세가 Warning을 거쳐 Emergency로 전이하는지를 확인하였다.
공개 데이터셋에서는 이 값을 최적값으로 주장하지 않고 임계값 변화에 따른 검출–오탐 trade-off를 별도로 분석하였다.
4. 구현 및 실험
4.1 구현 환경
구현 환경은 Table 1과 같다. 실험 시스템은 NVIDIA Jetson AGX Orin 64GB 개발자 키트, Jetson Linux R36.5, Ubuntu 22.04,
Python 3.10.12 환경에서 구성하였다. 자세 추정은 PyTorch 2.8.0 CUDA 환경에서 YOLO26n-pose.pt 모델을 사용하였으며,
카메라는 /dev/video0 장치로 인식된 ABKO APC930 QHD USB 웹캠을 사용하였다.
표 1 구현 환경 및 시스템 구성.
Table 1 Implementation environment and system configuration.
|
Item
|
Specification
|
|
Edge device
|
Jetson AGX Orin 64GB
|
|
OS
|
Jetson Linux R36.5 / Ubuntu 22.04
|
|
Libraries
|
Python 3.10.12; PyTorch 2.8.0 (CUDA); OpenCV 4.5.4; Ultralytics 8.4.63
|
|
Camera
|
ABKO APC930 QHD USB webcam
|
|
Input stream
|
1280×720, nominal 30 FPS
|
|
Pose settings
|
imgsz 640; person conf. 0.35; keypoint conf. 0.30
|
|
Pose model
|
YOLO26n-pose.pt
|
|
Posture candidate
|
torso angle ≥55° or bbox W/H ≥1.8
|
|
FSM transition
|
Warning ≥3 s; Emergency ≥7 s
|
|
Outputs
|
state overlay; CSV log; AVI video
|
4.2 실험 시나리오 및 평가 항목
자체 촬영 실험은 세 개의 20초 시나리오 영상과 한 개의 지속 시간 비교 영상으로 구성하였다. 정상 자세 시나리오에서는 앉거나 서 있는 정상 자세를
유지하였고, 일상 동작 시나리오에서는 앉기, 일어서기 및 물건 줍기를 수행하였다. 위급 자세 시나리오에서는 정상 자세 이후 통제된 방식으로 상체를
수평에 가깝게 전환하고, 해당 자세를 7초 이상 유지한 후 정상 자세로 복귀하였다.
지속 시간 비교 영상에는 0.127∼2.534초의 짧은 fall-like posture 구간과 8.926초 동안 유지된 sustained posture
구간을 함께 포함하였다. 짧은 구간은 프레임 단위 자세 후보가 발생하더라도 Emergency로 전이되지 않아야 하는 negative temporal
event로, 지속 구간은 Warning을 거쳐 Emergency로 전이되어야 하는 positive temporal event로 정의하였다.
평가 항목은 시나리오별 FSM 상태, Emergency 전이 유무, 상태 전이 시점 및 pose inference time으로 구성하였다. 본 실험의
목적은 다수 참여자에 대한 범용 낙상 분류 정확도를 추정하는 것이 아니라, 제한된 감시 조건에서 자세 후보와 시간 지속성 상태 판단이 설계한 순서로
동작하는지를 확인하는 것이다.
카메라 입력 설정은 1280×720, nominal 30 FPS였으나, Table 2와 Table 3의 프레임 수는 전체 입력 프레임 수가 아니라 실제 처리 루프에서 FSM 판단 후 CSV 로그에 기록된 처리 프레임 수이다. 따라서 표의 프레임 수로
영상 길이나 처리 FPS를 역산하지 않았으며, 3초와 7초의 상태 전이는 CSV 로그의 실제 경과시간을 기준으로 분석하였다.
4.3 공개 데이터셋 실험 방법
자체 촬영 시나리오의 환경적 제한을 보완하기 위해 UR Fall Detection Dataset(URFD)의 camera 0 RGB image sequence를
사용하였다[23]. URFD는 fall sequence 30개와 activities of daily living(ADL) sequence 40개로 구성되며, 본 연구에서는
RGB 영상만을 입력으로 사용하였다. 별도의 모델 재학습 없이 자체 시스템과 동일한 YOLO26n-Pose 및 자세 특징 계산 방법을 적용하였다.
URFD는 낙상 전환과 짧은 후속 자세를 중심으로 구성되어 있어, 7초 이상 지속되는 post-fall non-recovery 상태의 성능을 직접
평가하기에는 적합하지 않다. 따라서 URFD 실험의 목적은 자체 촬영 환경과 다른 영상에서 fall-like posture candidate가 생성되는지
확인하고, 자세 및 시간 임계값 변화에 따른 검출–오탐 민감도를 분석하는 것으로 제한하였다.
평가는 clip-level로 수행하였다. Fall clip에서 abnormal candidate, Warning 또는 Emergency 상태가 한
번 이상 발생하면 해당 상태의 positive detection으로, ADL clip에서 발생하면 false positive로 정의하였다. Table 6의 세 조건은 최종 운영 protocol이 아니라 임계값을 단계적으로 완화한 sensitivity setting이며, 자체 촬영 실험의 3초 Warning
및 7초 Emergency 운용값을 대체하지 않는다.
5. 실험 결과 및 논의
5.1 시나리오별 상태 판단 결과
Fig. 3과 Table 2는 세 가지 20초 시나리오에 대한 FSM 상태 판단 결과를 나타낸다. 프레임 수는 CSV 로그에 기록된 처리 프레임을 기준으로 산출하였으며, 정상
자세 유지 시나리오에서는 Normal 135프레임, Warning 0프레임, Emergency 0프레임이 기록되었다. 일상 동작 시나리오에서도 Normal
132프레임, Warning 0프레임, Emergency 0프레임이 기록되어, 본 실험에서 수행한 앉기, 일어서기, 물건 줍기 동작에서는 Emergency
오탐이 발생하지 않았다. 위급 자세 시나리오에서는 Normal 73프레임, Warning 30프레임, Emergency 31프레임이 기록되어 비정상
자세 지속 시간에 따라 상태가 단계적으로 전이되었다.
정상 자세 및 일상 동작 시나리오는 Emergency가 발생하지 않아야 하는 negative-frame 구간으로 간주하였다. 두 시나리오에서 CSV
로그에 기록된 처리 프레임은 총 267개였으며, 이들 프레임에서는 Emergency 상태가 관측되지 않았다. 다만 이는 제한된 자체 촬영 조건에서의
관측 결과이며, 다양한 생활공간에 대한 일반화된 오탐률을 의미하지 않는다.
Fig. 3과 Table 2의 프레임 수는 전체 입력 프레임이 아닌 CSV 로그에 기록된 처리 프레임의 분포이며, 상태 전이 시점은 5.3절의 실제 경과시간을 기준으로 분석하였다.
그림 3 시나리오별 로그 기록 처리 프레임의 FSM 상태 분포. (프레임 수는 시간축 또는 입력 FPS를 의미하지 않음)
Fig. 3 FSM-state distribution of the frames recorded in the decision log. (The frame
counts do not represent the input frame rate or a time axis.)
표 2 세 가지 주요 테스트 시나리오에 대한 상태 결정 결과 요약
Table 2 Compact summary of state decision results for the three main test scenarios
|
Scenario
|
FSM frames (N/W/E)
|
Avg. pose inference time (ms/frame)
|
Main result
|
|
Normal posture
|
135 / 0 / 0
|
52.33
|
No Emergency observed
|
|
Daily motion
|
132 / 0 / 0
|
54.05
|
No Emergency observed
|
|
Emergency posture
|
73 / 30 / 31
|
53.01
|
W→E in staged sustained posture
|
지속 시간 차이에 따른 낙상 유사 자세 시나리오에서는 3초 이하의 짧은 낙상 유사 자세 구간들과 7초 이상의 지속 낙상 자세 구간을 함께 구성하였다.
Fig. 4와 Table 3은 해당 시나리오에서의 FSM 동작 결과를 나타낸다. 짧은 낙상 유사 자세 구간들에서는 비정상 자세 후보가 일시적으로 발생하였으나 Emergency
상태로 전이되지 않았다. 반면 8.926초 동안 유지된 통제된 지속 수평 자세 구간에서는 Warning-to-Emergency 전이가 관측되었다.
이 결과는 실제 낙상 동작의 분류 정확도가 아니라, 자세 후보가 설정 시간 이상 지속될 때 FSM이 의도한 상태로 전이하는지를 보여준다. 이는 제안한
FSM이 단일 프레임의 자세 변화가 아니라 비정상 자세의 지속 시간에 따라 위급 상태를 판단하도록 동작함을 보여준다.
그림 4 지속 시간에 따른 비정상 자세 지속 시간 및 FSM 임계값
Fig. 4 Duration-dependent abnormal-posture duration and FSM thresholds
표 3 낙상과 같은 자세 시나리오에서 지속 시간에 따른 FSM 동작 요약
Table 3 Compact summary of duration-dependent FSM behavior in the fall-like posture
scenario
|
Segment
|
Duration
|
Emergency frames
|
FSM decision
|
|
Transient fall-like posture
|
0.127-2.534 s
|
0
|
No Emergency
|
|
Staged sustained post-fall-like posture
|
8.926 s
|
16
|
W → E observed
|
Fig. 5는 정상 자세와 통제된 post-fall-like posture에서의 자세 추정 결과를 나타낸다. Fig. 5(b)는 실제 낙상 순간을 검출한 장면이 아니라, 낙상 후 미복귀 상태의 FSM 전이를 검증하기 위해 참여자가 수평에 가까운 자세를 의도적으로 유지한 장면이다.
따라서 이 예시는 낙상 동역학의 분류 성능이 아니라 지속 자세 상태의 판단 결과를 보여준다.
그림 5 정상 자세 및 통제된 낙상 후 유사 자세의 크롭된 탐지 예시
Fig. 5 Cropped detection examples for normal and staged post-fall-like postures
5.2 기존 판단 방식과의 비교
기존 연구는 데이터셋, 카메라 시점, 라벨 정의 및 평가 단위가 서로 달라 문헌에 보고된 성능 수치를 본 연구의 결과와 직접 비교하는 것은 적절하지
않다. 따라서 본 연구에서는 제안한 시간 지속성 판단의 효과를 동일한 입력 조건에서 확인하기 위해, 동일한 pose output과 자세 임계값을 사용하되
지속 시간 조건을 적용하지 않는 single-frame posture baseline과 시간 지속성이 적용된 상태 판단을 정량적으로 비교하였다. Single-frame
baseline은 pose 또는 bounding-box 특징으로 현재 프레임의 자세를 즉시 판단하는 단일 프레임 접근[8]과 유사한 판단 구조이며, 기존 연구[8]의 알고리즘 자체를 재현한 것은 아니다.
URFD의 동일한 70개 RGB clip에 상체 각도 50°와 bounding-box W/H 1.6의 동일 자세 기준을 적용한 결과, single-frame
posture baseline에서는 fall clip의 93.3%가 자세 후보로 검출되었으나 ADL clip의 42.5%에서도 false positive가
발생하였다. 반면 동일 자세 기준에서 0.3초의 시간 지속성을 적용한 Warning 판단에서는 fall clip의 positive detection이
63.3%로 감소하는 동시에 ADL false positive도 22.5%로 감소하였으며, specificity는 0.5750에서 0.7750으로
증가하였다. 이는 시간 지속성 조건이 단일 프레임 자세 판단에 비해 민감도를 일부 낮추는 대신 일시적인 fall-like posture가 지속적인
위급 후보로 판단되는 것을 억제하는 trade-off를 형성함을 보여준다.
표 4 동일 URFD 입력에서 단일 프레임 자세 판단과 시간 지속성 판단의 정량 비교
Table 4 Quantitative comparison of single-frame and temporal decisions under the same
URFD input condition.
|
Decision
|
Fall-clip positive (%)
|
ADL false positive (%)
|
Recall
|
Specificity
|
|
Single-frame posture baseline
|
93.3
|
42.5
|
0.9333
|
0.5750
|
|
Temporal Warning (0.3 s)
|
63.3
|
22.5
|
0.6333
|
0.7750
|
학습형 기존 방법과 제안 구조의 차이도 존재한다. OpenPose-LSTM/GRU 방법[9]은 skeleton sequence의 시간 패턴을 학습하기 위한 별도의 sequence 학습이 필요하며, pose 기반 분류기[11], [12]와 YOLO detector[14-
16]는 낙상 또는 fallen-person class를 위한 학습이나 환경별 재학습이 필요할 수 있다. 반면 제안 방법은 pretrained pose
output을 사용하고 별도의 낙상 전용 학습이나 task-specific retraining 없이 자세 후보 검출과 시간 상태 판단을 수행한다.
따라서 본 비교는 학습형 기존 기법보다 높은 범용 낙상 분류 정확도를 주장하기 위한 것이 아니라, 동일한 자세 특징 조건에서 시간 지속성 판단이 단일
프레임 판단의 검출–오탐 특성에 미치는 효과를 분리하여 확인하기 위한 것이다.
5.3 상태 전이 분석
위급 시나리오의 CSV 로그에서는 7.894초에 Normal_to_Warning, 11.863초에 Warning_to_Emergency, 15.955초에
Emergency_to_Normal 이벤트가 기록되었다. 이는 비정상 자세가 3초 이상 지속될 때 Warning 상태로 전이되고, 7초 이상 지속될
때 Emergency 상태로 전이되며, 정상 자세 복귀 시 상태가 해제되는 것을 의미한다.
Fig. 6은 위급 시나리오의 FSM 상태 변화를 시간축으로 나타낸 것이다. 초기 정상 자세 구간에서는 Normal 상태가 유지되며, 상체가 수평에 가까운 자세로
전환된 후 지속 시간이 누적된다. 이후 Warning 상태와 Emergency 상태가 순차적으로 발생하고, 정상 자세 복귀 후 Normal 상태로
되돌아간다.
그림 6 통제된 지속 자세 시나리오에서의 FSM 상태 전이 타임라인
Fig. 6 FSM state-transition timeline in the staged sustained-posture scenario
지속 시간 차이에 따른 낙상 유사 자세 시나리오에서는 짧은 낙상 유사 자세 구간과 지속 낙상 자세 구간이 서로 다른 FSM 결과를 보였다. 0.127-2.534초
범위의 짧은 비정상 자세 후보 구간들에서는 누적 지속 시간이 Emergency 기준에 도달하지 않아 Emergency 전이가 발생하지 않았다. 반면
8.926초 동안 지속된 낙상 자세 구간에서는 23.848초에 Normal-to-Warning 전이가 발생하였고, 27.802초에 Warning-to-Emergency
전이가 발생하였다. 이후 정상 자세 복귀에 따라 29.844초에 Emergency-to-Normal 전이가 기록되었다.
사건 단위 분석에서는 정상 자세, 일상 동작 및 transient fall-like posture를 Emergency가 발생하지 않아야 하는 세 개의
negative event로 정의하였다. 또한 7초 이상 자세가 지속된 위급 자세 시나리오와 지속 시간 비교 시나리오를 두 개의 positive transition
event로 정의하였다. 평가한 세 개의 negative event에서는 Emergency 전이가 관측되지 않았으며, 두 개의 positive event에서는
모두 Warning-to-Emergency 전이가 관측되었다. 이 결과는 제한된 시나리오에서 FSM의 전이 조건이 구현 의도와 일치했음을 나타낼 뿐,
일반 환경의 false alarm rate 또는 detection rate에 대한 통계적 추정값으로 해석하지 않는다.
표 5 제한된 자체 시나리오에서 관측된 FSM 판단 결과
Table 5 Observed FSM decisions in the limited self-recorded scenarios
|
Level
|
Evaluation unit
|
Number
|
Observed result
|
|
Frame
|
Normal/daily logged frames
|
267
|
Emergency frame: 0
|
|
Event
|
Negative events
|
3
|
Emergency transition: 0
|
|
Event
|
Sustained positive events
|
2
|
W→E transition: 2
|
Table 5에서 267개 normal/daily 로그 기록 프레임과 3개의 negative event에서는 Emergency가 관측되지 않았고, 2개의 sustained
positive event에서는 모두 Warning-to-Emergency 전이가 관측되었다. 이는 시간 지속성에 따른 상태 전이가 설계 의도와 일치했음을
보여주지만, 제한된 평가 규모를 고려하여 일반 환경의 오탐률 또는 검출률에 대한 통계적 추정값으로 해석하지 않는다.
5.4 공개 데이터셋에서의 자세 특징 적용성과 임계값 민감도
Table 6의 S1∼S3는 자체 시스템의 최종 운영 protocol이 아니라, 자세 및 시간 임계값을 단계적으로 완화하여 검출–오탐 변화를 확인하기 위한 sensitivity
setting이다. S1은 자체 촬영에서 사용한 자세 기준과 동일한 55° 및 1.8을 사용하되, 짧은 URFD clip에서 상태 발생 여부를 확인하기
위해 시간 기준만 1초와 3초로 설정하였다. S2와 S3는 자세 및 시간 기준을 순차적으로 완화한 조건이다. 따라서 S1∼S3의 시간 기준은 자체
감시 시스템의 3초 Warning 및 7초 Emergency 기준을 대체하지 않는다.
표 6 URFD 민감도 설정에 따른 상태 검출 결과
Table 6 State detection results under URFD sensitivity settings
|
Sensitivity setting
|
Angle
|
BBox W/H
|
$T_W / T_E$
|
Fall detection A/W/E (%)
|
ADL false positive A/W/E (%)
|
|
S1
|
55°
|
1.8
|
1.0 / 3.0 s
|
90.0 / 3.3 / 0.0
|
42.5 / 12.5 / 0.0
|
|
S2
|
50°
|
1.6
|
0.3 / 1.0 s
|
93.3 / 63.3 / 10.0
|
42.5 / 22.5 / 15.0
|
|
S3
|
45°
|
1.4
|
0.2 / 0.3 s
|
96.7 / 66.7 / 63.3
|
45.0 / 30.0 / 22.5
|
S1의 abnormal-posture candidate 수준에서는 fall clip 30개 중 27개가 검출되고 3개가 미검출되었으며, ADL clip
40개 중 17개에서 false candidate가 발생하였다. 이에 따른 TP/FN/FP/TN은 27/3/17/23이며, precision은 0.6136,
recall은 0.9000, specificity는 0.5750, F1-score는 0.7297이었다. 이는 자세 후보 단계가 높은 recall을
보이는 대신 일부 ADL에서도 fall-like posture가 발생함을 보여준다.
S2의 Warning 수준에서는 TP/FN/FP/TN이 19/11/9/31로 나타났으며, accuracy 0.7143, precision 0.6786,
recall 0.6333, specificity 0.7750 및 F1-score 0.6552를 보였다. S3에서는 기준 완화에 따라 fall Emergency
검출률이 63.3%로 증가했으나 ADL false Emergency도 22.5%로 증가하였다. 즉, 자세 및 시간 임계값을 완화하면 fall clip의
상태 검출률과 ADL 오탐률이 함께 증가하였다.
이러한 민감도 분석은 55°, 1.8, 3초 및 7초가 데이터셋 전체에서 최적인 값임을 증명하기 위한 것이 아니다. 현재 데이터 규모에서 하나의 목적함수로
최적값을 선정하면 동일 데이터에 과적합된 기준이 될 수 있으므로, 본 논문에서는 최적값이라는 표현을 사용하지 않고 운용 조건별 trade-off를
제시하였다. 또한 URFD에는 7초 이상의 post-fall non-recovery 상태가 충분히 포함되어 있지 않으므로, URFD 결과를 자체 시스템의
Emergency 성능으로 해석하지 않았다.
5.5 추론 시간 및 엣지 동작성
자체 촬영 세 시나리오에서 평균 pose inference time은 53.12 ms/frame이었으며, 단순 역수는 약 18.8 frame/s에
해당한다. 이는 pose inference에 대한 지표로서 영상 입력, keypoint 유효성 검사, overlay 및 파일 저장을 포함한 end-to-end
처리 FPS와는 다르다. 또한 Table 2의 FSM 프레임 수는 전체 카메라 입력 프레임이 아니라 CSV 로그에 기록된 처리 프레임을 집계한 값이며, 상태 전이는 프레임 수가 아닌 CSV
로그의 실제 경과시간을 기준으로 분석하였다.
본 결과는 30 FPS의 완전한 end-to-end 실시간 처리를 입증하기보다, Jetson AGX Orin에서 외부 서버 없이 pose estimation과
상태 판단을 수행할 수 있음을 보여준다. 본 논문에서 경량 판단 구조는 pose backbone 자체의 연산량을 의미하는 것이 아니라, pose 출력
이후 별도의 학습형 sequence model이나 낙상 전용 classifier 없이 자세 특징 계산과 FSM만으로 상태를 결정하는 구조를 의미한다.
실제 서비스 적용을 위해서는 TensorRT 변환, 입력 해상도 조정 및 비동기 저장 등을 포함한 추가 최적화와 end-to-end latency
측정이 필요하다.
URFD의 평균 처리시간 약 29 ms/frame은 파일 기반 RGB image sequence 입력 조건에서 측정되었으며, USB 웹캠 입력과 AVI
저장을 포함한 자체 실험의 53.12 ms/frame과 직접 비교하지 않았다.
5.6 한계 및 보완 방향
본 연구의 자체 실험은 고정된 실내 환경의 세 개 20초 시나리오와 한 개 지속 시간 비교 영상에 기반한 기능 검증이며, 그 결과를 다수 사용자나
일반 생활공간의 성능으로 확장할 수 없다. 특히 제안 방법은 사전에 지정된 감시 영역에서 지속적인 수평 자세를 비정상 상태로 취급하는 운용 조건을
전제로 하므로, 침대·소파에서의 휴식이나 수면과 같이 정상적인 수평 자세가 허용되는 공간을 범용적으로 구분하는 행동 인식 기능은 포함하지 않는다.
또한 카메라 시점, 거리, 가림 및 측면 자세에 따라 자세 특징이 달라질 수 있으며, 일부 keypoint 누락은 bounding-box 특징으로
보조한다. 반면 person 영역 자체의 검출이 누락되면 현재 구현에서는 비정상 자세의 누적 시간이 초기화되므로, 일시적인 검출 누락도 Warning/Emergency
전이를 지연시키거나 미검출의 원인이 될 수 있다.
URFD 평가를 통해 자체 촬영 환경과 다른 RGB 영상에서도 자세 후보 특징이 적용되고 임계값에 따른 검출–오탐 trade-off가 존재함을 확인하였으나,
URFD는 짧은 낙상 sequence 중심이므로 7초 이상의 post-fall non-recovery 상태를 직접 평가하지 못한다. 따라서 본 결과는
제한된 운용 조건에서의 구현 가능성과 판단 특성을 보여주는 것으로 해석하며, 향후에는 정상 수평 자세가 포함된 환경, 다양한 카메라 시점 및 장시간
검출 누락 조건을 포함한 데이터에서 event-level 성능을 검증할 필요가 있다.
6. 결 론
본 논문에서는 사전에 지정된 실내 감시 영역에서 낙상 후 미복귀 상태를 판단하기 위해 YOLO26n-Pose의 상체 keypoint와 person
bounding box를 이용한 자세 후보 생성과 시간 지속성 FSM을 결합하였다. 제안 구조는 낙상 순간 자체를 분류하는 것이 아니라 프레임 단위
fall-like posture candidate와 지속적인 post-fall non-recovery 상태 결정을 분리하며, 별도의 낙상 전용 학습이나
task-specific retraining 없이 Normal–Warning–Emergency 상태를 결정하도록 구현하였다.
제한된 자체 촬영 평가에서 3개의 negative event에서는 Emergency가 관측되지 않았고 2개의 지속 자세 event에서는 Warning-to-Emergency
전이가 관측되었다. URFD 70개 RGB clip의 외부 적용성 분석에서는 자세 및 시간 임계값에 따라 fall 상태 검출과 ADL false positive
사이의 trade-off가 확인되었으며, Jetson AGX Orin에서 평균 pose inference time은 53.12 ms/frame이었다.
종합하면 본 연구는 재학습이 필요 없는 자세 특징과 해석 가능한 시간 지속성 판단을 결합한 edge-based post-fall monitoring
구조의 구현 가능성을 제시하며, 범용 성능 검증을 위해서는 다양한 사용자와 환경을 포함한 추가 평가가 필요하다.
Acknowledgements
This work was supported by the National Research Foundation of Korea (NRF) grant funded
by the Korean government (MSIT) (RS-2026-25475229), and by the Excellent Researcher
Support Project of Kwangwoon University in 2026.
References
World Health Organization, "Falls," WHO Fact Sheet, 2021.

J. Gutiérrez, V. Rodríguez, S. Martin, "Comprehensive Review of Vision-Based Fall
Detection Systems," Sensors, vol. 21, no. 3, 2021.

E. Alam, A. Sufian, P. Dutta, M. Leo, "Vision-Based Human Fall Detection Systems Using
Deep Learning: A Review," Computers in Biology and Medicine, vol. 146, 2022.

A. Núñez-Marcos, G. Azkune, I. Arganda-Carreras, "Vision-Based Fall Detection with
Convolutional Neural Networks," Wireless Communications and Mobile Computing, vol.
2017, 2017.

K. Fan, P. Wang, Y. Hu, B. Dou, "Fall Detection via Human Posture Representation and
Support Vector Machine," International Journal of Distributed Sensor Networks, vol.
13, no. 5, 2017.

X. Kong, L. Meng, H. Tomiyama, "Fall Detection for Elderly Persons Using a Depth Camera,"
pp. 269-273, Proceedings of the 2017 International Conference on Advanced Mechatronic
Systems (ICAMechS), 2017.

L. Martínez-Villaseñor, H. Ponce, J. Brieva, E. Moya-Albor, J. Núñez-Martínez, C.
Peñafort-Asturiano, "UP-Fall Detection Dataset: A Multimodal Approach," Sensors, vol.
19, no. 9, 2019.

W. Chen, Z. Jiang, H. Guo, X. Ni, "Fall Detection Based on Key Points of Human-Skeleton
Using OpenPose," Symmetry, vol. 12, no. 5, 2020.

C.-B. Lin, Z. Dong, W.-K. Kuan, Y.-F. Huang, "A Framework for Fall Detection Based
on OpenPose Skeleton and LSTM/GRU Models," Applied Sciences, vol. 11, no. 1, 2021.

W.-J. Chang, C.-H. Hsu, L.-B. Chen, "A Pose Estimation-Based Fall Detection Methodology
Using Artificial Intelligence Edge Computing," IEEE Access, vol. 9, pp. 129965-129976,
2021.

M. Salimi, J. J. M. Machado, J. M. R. S. Tavares, "Using Deep Neural Networks for
Human Fall Detection Based on Pose Estimation," Sensors, vol. 22, no. 12, 2022.

M. Gao, J. Li, D. Zhou, Y. Zhi, M. Zhang, B. Li, "Fall Detection Based on OpenPose
and MobileNetV2 Network," IET Image Processing, vol. 17, no. 3, pp. 722-732, 2023.

T. Alanazi, K. Babutain, G. Muhammad, "A Robust and Automated Vision-Based Human Fall
Detection System Using 3D Multi-Stream CNNs with an Image Fusion Technique," Applied
Sciences, vol. 13, no. 12, 2023.

G. A. Pereira, "Fall Detection for Industrial Setups Using YOLOv8 Variants," arXiv
preprint, 2024.

H. Khan, I. Ullah, M. Shabaz, M. F. Omer, M. T. Usman, M. S. Guellil, J. Koo, "Visionary
Vigilance: Optimized YOLOV8 for Fallen Person Detection with Large-Scale Benchmark
Dataset," Image and Vision Computing, vol. 149, 2024.

P. Yozgatli, Y. Acar, M. Tulumen, S. Minga, S. Selamet, B. Nalbant, M. T. Toru, B.
Koca, T. Keles, M. Selcok, "Fall Detection in Passenger Elevators Using Intelligent
Surveillance Camera Systems: An Application with YOLOv8 Nano Model," arXiv preprint,
2025.

Z. Cao, G. Hidalgo, T. Simon, S.-E. Wei, Y. Sheikh, "OpenPose: Realtime Multi-Person
2D Pose Estimation Using Part Affinity Fields," IEEE Transactions on Pattern Analysis
and Machine Intelligence, vol. 43, no. 1, pp. 172-186, 2021.

J. Redmon, S. Divvala, R. Girshick, A. Farhadi, "You Only Look Once: Unified, Real-Time
Object Detection," pp. 779-788, Proceedings of the IEEE Conference on Computer Vision
and Pattern Recognition (CVPR), 2016.

J. Terven, D.-M. Córdova-Esparza, J.-A. Romero-González, "A Comprehensive Review of
YOLO Architectures in Computer Vision: From YOLOv1 to YOLOv8 and YOLO-NAS," Machine
Learning and Knowledge Extraction, vol. 5, no. 4, pp. 1680-1716, 2023.

NVIDIA Corporation, "NVIDIA Jetson AGX Orin Developer Kit User Guide," NVIDIA Technical
Documentation, 2026. accessed Jun. 17, 2026

Ultralytics, "Pose Estimation," Ultralytics Documentation, 2026. accessed Jun. 17,
2026

G. Jocher, J. Qiu, M. Liu, S. Lyu, F. C. Akyon, M. E. Kalfaoglu, "Ultralytics YOLO26:
Unified Real-Time End-to-End Vision Models," arXiv preprint, 2026.

저자소개
He is currently pursuing an integrated M.S. and Ph.D. degree in Electrical Engineering
at Kwangwoon University, Seoul, Republic of Korea. He is a member of the Nature-Inspired
Intelligence Laboratory (NIIL) at Kwangwoon University. His research interests include
computer vision, machine learning, and physical AI.
E-mail: parkyh2024@kw.ac.kr
He received the B.S. degree in Electrical Engineering from Kwangwoon University, Seoul,
Republic of Korea, in 2025. He is currently pursuing the M.S. degree in Electrical
Engineering at Kwangwoon University. His research interests include computer vision,
RGB-D perception, machine learning, autonomous logistics systems, robotics, and physical
AI.
E-mail: pjho0402@kw.ac.kr
He received the B.S. and Ph.D. degrees in Electrical and Electronic Engineering from
the Korea Advanced Institute of Science and Technology (KAIST), Republic of Korea,
in 2005 and 2014, respectively. He joined Kwangwoon University, Seoul, Republic of
Korea, in 2014, where he is currently a Professor. His research interests include
intelligent robots, artificial intelligence, and computational intelligence.
E-mail: kblee@kw.ac.kr