2.1 모션 센서 기반 골프 스윙 분석

클럽 장착형 IMU 기반 스윙 분석 장치는 센서를 클럽에 고정한 뒤 스윙 시 각속도와 선형 가속도를 고속으로 측정하고, 모델 기반 추정을 통해 클럽 패스, 페이스 앵글, 클럽 스피드 등 다양한 스윙 지표를 계산하는 방식으로 동작한다. 별도의 카메라 설치 없이 센서만 장착하여 설치와 이동이 간편하며, 실내·실외 환경 모두에서 활용 가능하다는 장점이 있다. 특히 kHz 수준의 샘플링 주파수로 임팩트 전·후 구간의 연속 궤적을 제공하여 스윙 패턴 분석과 실시간 피드백에 유리하다^[3].

다만 IMU 기반 시스템은 센서 특성상 시간에 따라 드리프트가 누적될 수 있으며, 임팩트 구간에서 발생하는 큰 가속도·진동·충격으로 인해 오차가 발생할 수 있다. 이로 인해 타깃 라인에 정렬된 절대 좌표계 기준에서 임팩트 순간의 절대 페이스 앵글, 절대 클럽 패스, 공과 클럽 사이의 상대 위치와 같은 임팩트 시 물리량을 고정밀로 직접 산출하는 데 제약이 존재한다. 즉, 상대적인 자세 변화와 스윙 경향 분석에는 효과적이지만, 절대 좌표계 기반의 정밀 분석이나 임팩트 위치의 정량화에는 추가적인 절대 기준 관측치가 요구될 수 있다^{[4, 5]}.

2.2 비전 기반 골프 분석 및 모니터링

비전 기반 골프 분석 및 상용 런치 모니터 시스템은 고속 카메라로 클럽과 공의 움직임을 직접 촬영하고, 영상 처리 기반 추정을 통해 임팩트 관련 물리량을 산출한다. 카메라를 타깃 라인에 정렬하여 설치하면 타깃 라인 기준의 절대 좌표계를 구성할 수 있으며, 임팩트 직전의 제한된 프레임만으로도 클럽 페이스 앵글, 라이 앵글, 임팩트 위치 등의 지표를 비교적 높은 검출 정밀도로 추정할 수 있다. 특히 클럽 헤드에 마커를 부착하는 경우 임팩트 순간의 미세한 각도 변화까지 분석 가능하므로, IMU 단독 방식으로는 직접 확보하기 어려운 절대 기준 정보를 제공한다^[6].

반면 비전 기반 시스템은 고해상도 카메라, 충분한 조명, 정밀 보정 절차를 요구하는 경우가 많아 장비 비용과 설치 난이도가 높다^[7]. 특히 최근 비전 기반 골프 분석 연구들에 따르면, 임팩트 직전 클럽 헤드의 매우 빠른 각속도로 인해 발생하는 모션 블러와 복잡한 회전 운동에 따른 가림 현상은 비전 기반 분석의 정확도를 저하시키는 주요 원인으로 지적된다. 이러한 제약은 글로벌 셔터 기반 카메라와 짧은 노출 시간을 적용하여 모션 블러를 억제하면서, 스윙 전 구간을 상시 촬영하는 대신 임팩트 직전의 짧은 구간으로 촬영 구간을 한정하여 완화할 수 있다.

이러한 관점에서 비전 모듈이 스윙 전 구간을 상시 기록하는 대신, 임팩트 시점 전의 짧은 구간에서 클럽 헤드 각도나 임팩트 위치와 같은 절대 기준 정보를 선별 제공하도록 구성할 수 있다. 예를 들어 임팩트 중심의 비전 관측치를 IMU의 연속 궤적과 결합하면, IMU 드리프트 및 임팩트 구간 오차를 보정하는 기준 정보로 활용되어 전체 분석 정확도의 향상을 기대할 수 있다. 또한 스윙 구간 영상의 선택적 확보는 비전 관측을 필요한 순간에 한정함으로써 시스템 부담을 줄이고 절대 기준 정보를 확보하는 실용적 설계 방향이 될 수 있다.

2.3 모션-비전 융합 및 시간 동기화

IMU 기반 시스템과 비전 기반 시스템은 각각 높은 시간 해상도의 연속 궤적 정보와 타깃 라인 기준 절대 좌표계에서 공간 관측 정보를 제공한다는 점에서 상호보완적이다. 로봇 공학 및 자율 주행 분야에서는 시각-관성 센서 융합이 활발히 연구되며, IMU의 고속 관측값과 카메라 기반 측정값을 결합하여 위치와 자세를 안정적으로 추정하는 다양한 기법이 제시되고 있다. 이러한 개념을 골프 스윙 분석에 적용하면, IMU가 제공하는 스윙 전 구간의 궤적 정보에 비전 시스템이 제공하는 임팩트 시점 근방의 절대 자세·위치 정보를 정합함으로써, 기존 IMU 시스템의 장점을 유지하면서 절대 좌표계 기반 분석 능력을 향상시키는 방향으로 확장할 수 있다^[8].

센서 융합에서 핵심 전제 중 하나는 두 센서 간 시간 정렬이다^[9]. 골프 스윙의 임팩트 구간은 수 ms 수준의 짧은 시간에 발생하므로, IMU와 카메라 사이의 시간 오차가 커질 경우 임팩트 직전 각도 및 거리 정보를 정확히 대응시키기 어렵다. 따라서 본 연구에서는 임팩트 구간 프레임을 안정적으로 확보하기 위해 공의 감지 유무와 같은 이벤트 기반 단서를 활용하고, 향후 정밀 융합을 위해 타임스탬프 기반 정렬 및 물리량의 시간적 변화 패턴을 이용한 미세 정렬 절차가 필요하다.

구체적으로 글로벌 셔터 기반 초고속 영상에서 마커 특징을 검출하고, OpenCV 기반 기하 추정을 통해 타깃 라인 좌표계에서의 클럽 헤드 자세를 추정한 뒤, 페이스 앵글을 타깃 라인 대비 상대 회전으로 계산한다. 또한 각도 추정의 정량 평가는 정답 각도를 정밀하게 규정할 수 있는 구조물 기반 각도 테스트로 구성하며, 비전 기반 페이스 앵글 추정치를 top-view 기준 측정값과 비교하여 오차 및 반복 측정에 따른 안정성을 검증한다. 이를 통해 임팩트 구간에 국한된 비전 관측치가 향후 IMU 드리프트 및 임팩트 구간 측정 오차를 보정하기 위한 절대 기준으로 활용될 수 있음을 평가하고, 시간 동기화 및 센서 결합 구조로 확장하기 위한 설계 요소를 논의한다.

3.1 전체 시스템 아키텍처

본 연구에서 다루는 시스템은 스윙 전 구간을 연속적으로 영상화하는 것이 아닌, 공 존재 유무 변화에 기반한 이벤트 단서로 임팩트 직전 구간을 선택적으로 확보하고, 해당 구간 영상으로부터 마커 기반 기하 추정을 수행하여 클럽 헤드 자세 및 페이스 앵글을 산출할 수 있음을 검증하는 실험적 아키텍처이다. 임팩트 이벤트 직전에서 확보한 영상 기반 관측치는 추후 IMU가 제공하는 연속 궤적 정보와 동일 이벤트 기준으로 비교·분석하여 멀티센서 기반 고신뢰성 스윙 데이터 추출 및 상호 오차 보정 단계로 연구 범위를 확장할 수 있다.

그림 1은 전체 데이터 흐름을 나타낸다. 비전 모듈은 글로벌 셔터 고속 카메라를 이용해 임팩트 근방을 촬영하며, 촬영 프레임은 링 버퍼에 순차 저장된다. 이벤트 기반 트리거는 프레임 안에서 공의 존재 유무가 변하는 시점을 감지하고, 링 버퍼에 저장된 프레임 중 해당 구간만 선택적으로 보존한다. 보존된 영상은 후처리 단계에서 왜곡 보정 및 좌·우 카메라 영상의 좌표 관계를 정렬한 후, 마커 검출과 3차원 추정을 통해 타깃 라인 좌표계에서의 클럽 헤드 각도를 산출한다. 페이스 앵글은 기준이 되는 베이스 참조 영상 대비 상대 회전으로 정의한다.

각도 추정 성능 평가는 정답 각도를 규정할 수 있는 구조물 기반 각도 테스트로 수행하며, 페이스 앵글과 top-view 영상 기반 측정값을 비교하여 오차 및 재현성을 산출한다.

그림 1. 비전 모듈 동작 흐름 및 데이터 처리 파이프라인

Fig. 1. System pipeline of the proposed vision module

3.2 이벤트 기반 트리거 장치

본 연구에서 임팩트 이벤트 주변 프레임을 안정적으로 확보하기 위한 핵심은, 영상 내 프레임 안에서 공의 존재 유무가 변하는 시점을 임팩트 근방 이벤트로 간주한다. 즉, 임팩트 이후 공의 위치가 급격히 변화하는 상태와 공이 프레임을 이탈하여 관측되지 않는 상태 사이를 이벤트로 정의하고, 이벤트 시점 직전 프레임을 링 버퍼에서 선택적으로 보존한다. 그림 2는 제안하는 이벤트 기반 획득 절차를 요약한 것으로, 프레임을 링 버퍼에서 순차적으로 이미지를 확인하며 공 존재 유무 변화 이벤트를 감지하고, 이벤트 감지 시 이벤트 시점 직전 구간 프레임들만 선택적으로 저장하는 흐름을 나타낸다.

그림 2. 공 존재 유무 이벤트 감지 및 프레임 저장 예시

Fig. 2. Example of event detection and frame retention based on ball presence

공 검출은 실험 환경에서 적용 가능한 영상 단서를 기반으로 수행하며, 오검출을 줄이기 위해 공 후보의 크기·형상·밝기 조건을 만족하는 경우에만 공으로 인정한다. 또한 반사광이나 잡음으로 인해 프레임 단위 검출 결과가 흔들리는 문제를 완화하기 위해, 연속 프레임에서 조건이 일정 횟수 이상 유지될 때만 공 존재/부재 상태를 확정하여 트리거 이벤트가 발생한다. 본 연구에서는 이와 같은 이벤트 기반 구간 정의가 임팩트 직전 프레임을 안정적으로 확보하는 데 필요한 재현성을 제공하는지 평가하고, 향후 IMU-비전 결합 관점에서 요구되는 조건을 논의한다.

3.3 카메라 모듈

카메라 모듈은 임팩트 지점 근처에서 클럽 헤드와 공의 고속 운동을 선명하게 포착하기 위해 글로벌 셔터 방식의 고속 카메라를 사용한다. 임팩트 구간에서는 상대 속도가 매우 커 모션 블러가 각도 추정의 주요 오차 요인이 될 수 있으므로, 노출 시간을 수십 마이크로초 수준으로 설정하여 블러를 억제한다. 노출 단축으로 인한 광량 부족을 보완하기 위해 충분한 광량의 외부 조명을 함께 사용한다^[10]. 본 연구에서 사용한 카메라는 기본 센서 해상도 640×480, 픽셀 크기 4.8×4.8 $\mu m$, 단색 영상 포맷, 그리고 하드웨어 트리거 입력을 지원한다. 또한 노출 시간은 40 $\mu s$부터 설정 가능하여 임팩트 직전 구간의 고속 운동을 짧은 노출로 포착하는 데 적합하다.

본 연구는 단일 시점 영상만으로는 임팩트 구간에서 공, 샤프트 반사광 등에 의해 마커 가시성이 저하되거나 일부 마커가 가려질 수 있음을 고려하여, 서로 다른 두 시점의 관측을 동시에 확보할 수 있는 좌·우 2대 카메라의 스테레오 구성을 채택한다. 두 카메라는 동일 관측 영역을 포함하도록 타깃 라인 기준으로 정렬하여 설치하며, 이를 통해 가림에 따른 단일 카메라 관측 실패 가능성을 낮추고, 두 시점의 관측을 이용한 3차원 마커 위치 복원을 통해 클럽 헤드 각도 추정의 안정성을 높인다. 특히 스테레오 기반 3차원 복원은 단일 카메라 기반 추정에서 발생하기 쉬운 깊이 방향의 오차를 완화하고, 베이스 참조 대비 상대 회전으로 정의된 페이스 앵글 산출의 일관성을 확보할 수 있다.

스테레오 영상의 정확한 기하 관계를 확보하기 위해 캘리브레이션을 먼저 수행한다. 이를 통해 각 카메라의 내부 파라미터인 초점거리, 왜곡 계수와 두 카메라 사이의 외부 파라미터인 상대 위치를 추정하고, 이를 바탕으로 각 프레임에 대해 렌즈 왜곡 보정과 스테레오 정렬을 적용한다. 정렬된 스테레오 영상에서는 3차원 점이 두 영상에서 일관된 대응 관계를 갖도록 표현되므로, 마커의 3차원 위치를 복원하는 데 유리하다. 본 연구에서는 이러한 캘리브레이션 및 정렬 결과를 마커 기반 3차원 복원과 클럽 헤드 각도 추정 단계의 입력으로 사용한다. 그림 3은 타깃 라인 기준으로 정렬된 좌·우 스테레오 카메라 배치와 공통 관측 영역, 그리고 두 시점 관측을 이용한 3차원 마커 복원 개념을 개략적으로 나타낸다^[11].

또한 본 연구에서는 향후 실제 스윙 환경에 적용할 경우를 고려하여, 임팩트 근방에서 필요한 관측 범위와 시간 해상도를 동시에 만족할 수 있는 영상 취득 조건을 사전에 검토하였다. 골프 스윙의 임팩트 구간은 수 ms 수준의 매우 짧은 시간 내에 발생하므로, 해당 구간에서 유효한 프레임을 충분히 확보하기 위해서는 높은 프레임 속도가 요구된다. 이에 따라 분석에 필요한 관측 범위를 유지하면서도 높은 프레임 속도를 확보할 수 있는 ROI 설정값으로 400×480을 선정하였으며, 본 구조물 기반 검증 실험에서도 동일한 조건을 적용하여 1,000 fps로 영상을 촬영하였다. 이러한 ROI 설정은 향후 실제 스윙 실험 적용 가능성을 고려한 사전 최적화 조건으로, 불필요한 영역을 제외하면서 임팩트 근방 관측에 필요한 공간 범위를 확보하기 위한 것이다. 저장 데이터는 후처리 및 분석의 일관성을 위해 BMP 형식의 단일 채널 흑백 프레임으로 구성한다.

그림 3. 스테레오 카메라 배치와 3차원 마커 복원 개념도

Fig. 3. Stereo camera configuration and 3D marker reconstruction concept

3.4 데이터 처리 및 하우징 설계

본 연구에서는 임팩트 직전의 영상을 이벤트 기반으로 보존한 뒤, 저장된 데이터를 기반으로 각도 산출을 수행한다. 처리 과정은 크게 세 단계로 구성된다. 먼저 캘리브레이션 결과를 이용해 렌즈 왜곡을 보정하고 두 카메라 영상을 동일한 기준으로 정렬하는 등 기본 전처리를 수행한다. 다음으로 각 프레임에서 마커를 검출·대응시킨 뒤 스테레오 기하를 이용해 3차원 마커 위치를 복원하고, 복원된 마커 위치로부터 타깃 라인 좌표계에서의 클럽 헤드 각도를 추정한다. 마지막으로 기준이 되는 square 상태에서 획득한 베이스 참조 영상에 대한 상대 회전을 계산하여 페이스 앵글을 산출하며, 동일한 절차는 정의된 좌표축 및 회전 관계에 따라 라이 및 로프트 각 산출로 확장할 수 있다.

하우징 및 설치 구성은 연습장 환경에서의 충격, 먼지, 조명 반사와 같은 외란 요인을 고려하여 설계하며, 타깃 라인 정렬이 유리하도록 마운트 구조를 적용한다. 반복 실험에서 일관된 영상을 확보하기 위해 카메라가 미세 진동이나 외력에 의해 시점이 변하지 않도록 고정·지지 구조를 강화하고, 설치 이후에도 조명 조건과 시야 정렬이 안정적으로 유지되도록 구성한다. 또한 스테레오 구성의 두 카메라가 동일 관측 범위를 안정적으로 포함하도록 시야 방향과 관측 영역을 정렬하여, 임팩트 근방에서 마커 가시성과 검출 안정성이 일관되게 유지되도록 한다.

4.1 전처리 및 마커 검출

임팩트 근방 프레임에서는 반사광과 블러로 인해 마커 검출 불안정이 발생할 수 있으므로, 본 연구는 전처리와 마커 형태에 기반한 필터링을 통해 마커 오검출을 줄인다. 본 연구에서 사용한 마커는 반사성 재질의 원형 마커이며, 각 마커의 지름은 8 mm로 설정하였다. 이는 고속 촬영 조건에서 마커가 영상 상에서 충분한 픽셀 크기를 확보하여 안정적인 원형 검출이 가능하도록 하면서도, 구조물 상의 마커 배치와 관측 시야를 과도하게 방해하지 않도록 고려한 값이다. 마커는 영상 내에서 높은 밝기 대비와 원형 형상 특성을 동시에 제공하므로, 스테레오 카메라 기반 검출에 유리하다. 입력 영상은 공의 존재 유무 변화 이벤트를 기준으로 선택된 좌·우 카메라 프레임이며, 각 프레임은 사전에 획득한 카메라 캘리브레이션 결과를 이용해 렌즈 왜곡 보정을 수행한다. 이후 영상의 명암 대비를 조정하고 노이즈를 억제하여 마커 검출에 유리한 영상 조건을 구성한다.

마커 검출은 영상 내에서 마커의 형태적 특성을 이용해 수행한다. 구체적으로 명암 대비를 통해 마커 후보 영역을 추출한 뒤, 후보의 면적, 원형도, 밝기 분포를 기준으로 필터링을 수행한다. 이후 마커 간 상대 거리 비율과 삼각형 형태의 일관성을 함께 고려함으로써, 반사광이나 배경 물체로 인한 오검출 가능성을 최소화하며 최종적으로 3개의 마커를 선별한다.

선별된 마커의 2차원 픽셀 좌표는 좌·우 카메라 쌍에서 각각 추출되며, 이후 스테레오 관계를 통해 동일 마커 쌍을 구성한다. 두 카메라 영상에서 동일 프레임 내 3개 마커가 모두 검출되는 경우에 한해 해당 프레임을 유효 프레임으로 간주하고, 후속 3차원 복원 단계로 전달한다^{[12, 13]}.

4.2 스테레오 기반 3차원 마커 복원

검출된 마커의 2차원 위치 정보는 두 카메라의 관측을 결합하여 3차원 공간 좌표로 복원된다. 본 연구에서는 동일한 시점에서 촬영된 두 카메라 영상에서 동일 마커가 관측된 위치 정보를 함께 사용함으로써, 단일 영상만으로는 알기 어려운 깊이 방향 정보를 포함한 3차원 마커 위치를 계산한다.

이를 위해 각 카메라에 대해 사전에 추정된 내부 파라미터와 두 카메라 간 상대적인 위치 정보를 활용한다. 두 카메라 영상에서 대응되는 마커의 픽셀 좌표는 이러한 캘리브레이션 정보를 통해 하나의 3차원 점으로 복원되며, 복원된 마커 좌표는 카메라 기준 좌표계에서 표현된다. 이 과정은 두 시점의 관측을 이용해 공간 위치를 계산하는 스테레오 복원 절차에 해당한다.

스테레오 기반 복원을 통해 단일 시점에서 발생하기 쉬운 깊이 방향의 오차를 완화할 수 있으며, 임팩트 직전과 같이 관측 가능한 프레임 수가 제한된 조건에서도 마커 위치 추정의 안정성을 확보할 수 있다. 특히 3개 마커의 상대적인 배치를 이용해 회전 각도를 추정하는 경우, 각 마커의 3차원 위치 정확도는 후속 각도 산출의 신뢰도에 직접적인 영향을 미친다.

복원된 3차원 마커 좌표는 이후 단계에서 square 상태의 베이스 참조 프레임과의 상대 회전을 계산하기 위한 입력으로 사용되며, 이를 통해 클럽 헤드의 각도 정보를 산출한다.

4.3 상대 회전을 이용한 각도 산출

본 연구에서 클럽 헤드 각도는 기준 자세인 square 상태에서 획득한 베이스 참조 프레임 대비 입력 프레임의 상대 회전으로 정의한다. 이를 위해 베이스 프레임과 입력 프레임 각각에서 복원된 3차원 마커 좌표 집합을 대응시킨 뒤, 두 점 집합 사이의 회전을 계산한다. 이때 두 프레임 간 마커 배치의 평행 이동 성분은 제거하고, 회전 성분만 추정하여 각도 산출에 직접 반영되도록 한다.

추정된 상대 회전은 타깃 라인 좌표계에서 정의된 축에 따라 각도 성분으로 해석된다. 본 논문에서는 타깃 라인 기준 좌우 방향 회전 성분을 페이스 앵글로 정의하며, 동일한 상대 회전 정보를 이용해 라이 앵글, 로프트 앵글로 확장하여 산출할 수 있다. 이러한 베이스 대비 상대 각도 정의는 절대 좌표계 설정 및 반복 실험 조건에서 각도 비교의 일관성을 높이는 데 기여한다.

4.4 IMU 보정으로의 확장

본 논문은 완전한 IMU-비전 융합 알고리즘 자체를 구현하는 데 초점을 두기보다, 임팩트 근방에서 활용 가능한 비전 기반 기준 관측치를 안정적으로 확보하고 이를 상대 각도로 정량화할 수 있는지를 검증하는 데 중점을 둔다. 제안한 비전 모듈은 이벤트 기반 프레임 선택을 통해 임팩트 구간만을 선택적으로 보존하고, 보존된 영상으로부터 마커 기반 3차원 복원과 상대 회전 계산을 수행하여 페이스 앵글을 산출한다.

이와 같이 획득된 비전 기반 각도 관측치는 향후 IMU가 제공하는 연속 궤적 정보와 결합하여, 임팩트 구간에서 발생할 수 있는 드리프트 누적 및 충격에 따른 측정 교란을 보정하는 기준값으로 활용될 수 있다. 즉, IMU는 스윙 전 구간에 대한 연속적인 자세 변화를 제공하고, 비전 모듈은 임팩트 근방의 절대 기준에 가까운 각도 정보를 제공함으로써 두 센서가 상호보완적인 역할을 수행할 수 있다.

이러한 융합이 유효하기 위해서는 비전 관측치와 IMU 데이터가 동일한 물리적 시점을 기준으로 정밀하게 대응되어야 한다. 따라서 후속 연구에서는 카메라와 IMU 간의 타임스탬프 정렬, 이벤트 시점 기준 대응, 그리고 임팩트 근방 구간에서의 보정 전략을 포함하는 시간 정렬 기반 융합 구조를 구체화할 필요가 있다. 본 연구의 구조물 기반 검증 결과는 이러한 후속 융합 과정에 활용될 수 있는 비전 기준값 생성 파이프라인의 적용 가능성을 선행 검토한 결과로 해석할 수 있다.

4.5 시간 정렬 기반 보정 모델

임팩트 근방에서 획득한 비전 기반 상대 각도는 시간 정렬을 통해 IMU의 연속 궤적과 대응될 때 보정 기준값으로 활용될 수 있다. 이를 위해 비전 센서와 IMU 센서는 동일한 물리적 이벤트를 기준으로 정렬되어야 하며, 카메라와 IMU 사이의 시간 오프셋을 고려한 대응 관계가 필요하다. $k$번째 비전 프레임의 시각을 $t_V(k)$, 카메라와 IMU 사이의 시간 오프셋을 $\Delta t$라 하면, 해당 프레임에 대응되는 IMU 시각은 다음과 같이 표현할 수 있다.

이때 $\theta_V(k)$를 $k$번째 비전 프레임에서 추정된 페이스 앵글, $\theta_I(t_V(k) + \Delta t)$를 이에 대응되는 시각에서의 IMU 기반 페이스 앵글이라 하면, 시간 정렬된 동일 시점에서 두 센서의 차이는 다음과 같이 정의할 수 있다.

이 오차는 임팩트 시점 또는 그 직전 유효 프레임에서 IMU 추정값을 보정하기 위한 기준값으로 활용될 수 있으며, 개념적으로 융합 각도는 다음과 같이 표현할 수 있다.

여기서 $\theta_F(k)$는 시간 정렬과 보정 과정을 거쳐 산출된 융합 각도이며, $a(k)$는 비전 관측치의 반영 정도를 나타내는 가중치이다. $a(k)$는 고정된 상수라기보다 측정 환경과 관측 품질에 따라 조절될 수 있다. 예를 들어, 실내 환경에서는 조명 조건을 상대적으로 안정적으로 제어할 수 있고 배경 변화가 제한적이므로, 마커 검출과 스테레오 복원의 안정성이 높아져 비전 관측치의 가중치를 더 크게 설정할 수 있다. 반면 야외 환경에서는 자연광 변화, 그림자, 반사광, 배경 복잡도 등의 영향으로 영상 기반 마커 검출의 불확실성이 증가할 수 있으므로, 이 경우에는 IMU 기반 연속 추정값의 비중을 상대적으로 높게 두는 방식이 적절하다.

임팩트 직전의 유효 비전 프레임에서 산출된 오차 $e(k)$는 해당 시점의 단일 보정값으로 사용할 수 있을 뿐 아니라, 임팩트 근방의 짧은 시간 구간에 대해 IMU 궤적을 보정하는 기준값으로 확장하여 적용할 수 있다. 본 논문에서는 이러한 융합 모델을 실제로 구현·검증하기보다는, 식 (1)~(3)과 같이 시간 정렬된 비전 기준값이 IMU 보정에 활용될 수 있는 개념적 확장 방향을 제시한다.

5.1 실험 환경

본 연구에서는 제안한 이벤트 기반 프레임 선택 보존이 임팩트 근방 프레임을 안정적으로 확보할 수 있는지와, 확보된 프레임으로부터 산출한 페이스 앵글이 정답 각도에 대해 어느 수준의 정확도를 갖는지 평가하였다. 이를 위해 실험은 목적에 따라 두 부분으로 구성하였다. 첫 번째는 이벤트 기반 프레임 선택 저장의 동작 안정성을 확인하기 위한 실험이며, 두 번째는 구조물 기반 각도 테스트를 통한 페이스 앵글 산출 정확도 평가이다. 따라서 본 논문의 검증 범위는 실제 스윙 전반의 최종 분석 성능이 아니라, 향후 센서 융합에 활용될 비전 기반 기준 정보의 확장 가능성과 각도 산출 정확도를 우선적으로 검토하는 데 있다.

구조물 기반 검증 실험은 3.3절에서 설명한 촬영 조건과 동일하게 구성하여, 프레임 선택 보존 과정과 이후의 마커 검출, 스테레오 대응, 3차원 복원 및 각도 산출이 동일한 조건에서 수행한다. 실제 스윙 환경에서는 스윙 속도, 궤적, 클럽 변형, 반사광, 배경 변화 등 다양한 요인이 동시에 작용하므로 각도 오차의 원인을 분리하여 해석하기 어렵다. 반면 구조물 기반 실험은 각도 설정값을 정답으로 명확히 규정할 수 있어, 비전 기반 각도 산출 절차의 정확도와 재현성을 평가하는 데 적합하다. 따라서 본 연구에서는 실제 스윙 전반의 성능 평가에 앞서, 임팩트 근방 프레임을 이용한 각도 산출 파이프라인의 핵심 기하 절차를 구조화된 조건에서 선행 검증하였다.

이를 위해 클럽 헤드 부착을 모사한 구조물에 3개 마커를 고정하였으며, 하단에 2개, 상단 좌측에 1개가 위치하도록 배치하였다. 이후 페이스 앵글을 단계적으로 변화시키면서 각 조건에서 square 상태의 베이스 참조 프레임 대비 상대 페이스 앵글을 산출하였다. 정답 각도는 top-view 영상 기반의 독립 측정값으로 설정하였고, 이를 비전 기반 추정 결과와 비교하여 각도 오차를 정량화하였다. 그림 4는 각도 테스트에 사용된 구조물의 촬영 구성을 나타내며, 스테레오 카메라 관점의 영상과 top-view 관점의 영상을 함께 보여준다.

그림 4. 각도 테스트 구조물의 촬영 예시

Fig. 4. Example images of the angle-test fixture from stereo and top-view cameras

5.2 실험 데이터 구성 및 평가 지표

본 연구에서 사용한 실험 데이터는 이벤트 기반 프레임 선택 저장의 동작 여부와 구조물 기반 각도 산출 정확도 평가용 데이터로 구분된다. 이벤트 검출 평가는 카메라-공 거리 40, 70, 100 cm와 스윙 속도 60, 70, 80, 90 mph의 조합으로 구성된 총 12개 조건에서 수행하였으며, 각 조건당 10회씩 반복 측정하였다. 구조물 기반 각도 테스트는 촬영 거리 40, 70, 100 cm 조건에서 수행하였고, square 상태를 0°로 정의한 뒤 -30°부터 +30°까지 각도를 단계적으로 변화시키며 각 조건을 3회 반복 측정하였다. 분석 대상 영상은 모두 3.3절의 취득 조건과 동일하게 1,000 fps, ROI 400×480 조건에서 획득한 단일 채널 흑백 프레임으로 구성하였으며, 좌·우 카메라에서 동일 프레임 내 3개 마커가 모두 검출된 경우를 유효 프레임으로 정의하였다. 따라서 본 연구의 실험 데이터는 실제 스윙 전반을 포괄하는 데이터셋이 아닌, 임팩트 근방에서의 비전 기반 기준값 생성 파이프라인을 구조화된 조건에서 검증하기 위한 평가 데이터로 이해할 수 있다.

이벤트 기반 프레임 선택 저장의 평가는 공 타격 시 이벤트 트리거가 정상적으로 발생하는지와 이벤트 발생 후 정의된 구간의 프레임이 실제로 저장되는지를 기준으로 수행하였다. 이에 따라 각 실험 조건에서 이벤트 검출의 성공 여부를 기록하고, 반복 측정을 통해 조건별 검출률을 산출하였다.

페이스 앵글 산출 성능은 구조물 기반 각도 테스트를 통해 정량적으로 평가하였다. 각도 오차는 top-view 영상 기반의 독립 측정값을 기준값으로 하고, 비전 기반으로 산출한 페이스 앵글의 차이로 정의하였다. 또한 촬영 거리 변화에 따라 스테레오 비전 기반 3차원 복원에서 깊이축 방향 위치 추정 오차가 달라질 수 있으므로, 거리 조건별 각도 산출 오차를 함께 비교하였다. 각 조건에서 산출된 각도는 반복 측정값의 평균으로 계산하였으며, 전체 실험 결과에 대한 조건별 평균 오차를 산출하여 정확도를 평가하였다. 결과 요약은 표 1에 제시한다.

5.3 성능 평가

실험 결과, 제안한 이벤트 기반 프레임 선택 저장 방식은 총 12개 조건 중 거리 100 cm와 스윙 속도 90 mph가 동시에 적용된 1개 조건을 제외한 모든 조건에서 10회 중 10회의 이벤트를 검출하였다. 해당 조건에서는 검출률이 80%로 나타났다. 이는 제안한 트리거가 대부분의 실험 조건에서 임팩트 근방 프레임을 안정적으로 확보할 수 있음을 보여주며, 거리 증가와 고속 스윙이 동시에 작용하는 조건에서만 일부 검출 안정성 저하가 발생할 수 있음을 시사한다.

이와 같은 검출률 저하는 트리거가 공 후보의 크기, 형상, 밝기 조건을 동시에 만족하는 경우에만 공을 유효하게 인식하고, 해당 상태가 연속 프레임에서 일정 횟수 이상 유지될 때만 이벤트를 확정하도록 설계된 점과 관련된다. 거리 100 cm 조건에서는 카메라와 공 사이 거리가 증가함에 따라 영상 내 공의 유효 픽셀 수가 감소하고, 조명 도달 범위 및 광량 분포의 불균일성으로 인해 공의 외곽 형상과 밝기 분포가 불안정해질 수 있다. 여기에 90 mph 조건이 동시에 적용되면 공의 상태 변화가 매우 짧은 시간 내에 발생하므로, 트리거가 요구하는 연속 프레임 기반의 상태 확인 과정에서 검출 가능한 시간적 여유가 감소한다. 따라서 본 결과는 거리 증가에 따른 품질 저하와 고속 조건에 따른 짧은 이벤트 지속 시간이 중첩될 경우 일부 프레임에서 공 후보가 검출 조건을 안정적으로 만족하지 못할 수 있음을 의미한다.

한편 구조물 기반 각도 테스트에서는 모든 각도 조건에서 페이스 앵글 산출이 가능하였으며, top-view 기준 각도와의 비교를 통해 비전 기반 추정 결과가 기준 각도에 대해 일정 수준의 정확도를 가짐을 확인하였다. 표 1은 40 cm, 70 cm, 100 cm의 세 가지 촬영 거리 조건에서 수행한 구조물 기반 각도 테스트 결과를 나타낸다. 동일한 각도 조건에 대해 촬영 거리를 달리하여 평가한 결과, 평균 오차는 각각 0.6°, 2.2°, 3.6°로 나타났으며, 촬영 거리가 증가할수록 각도 추정 오차가 증가하는 경향을 확인할 수 있었다.

이는 촬영 거리가 증가할수록 동일한 픽셀 좌표 오차가 깊이 방향 위치 오차로 더 크게 증폭될 수 있고, 이러한 3차원 복원 오차가 상대 회전 기반 페이스 앵글 산출 결과에 더 크게 반영될 수 있기 때문이다^[14]. 특히 100 cm 조건에서는 전반적으로 가장 큰 오차가 나타났고, 일부 각도 조건에서는 기준값 대비 5° 이상의 차이가 발생하였다. 반면 40 cm 조건에서는 전 각도 구간에서 오차가 가장 작고 안정적으로 유지되었으며, 평균 오차 또한 1° 미만으로 나타났다.

이 결과는 본 연구의 목적이 임팩트 근방에서 신뢰 가능한 기준 각도를 확보하는 데 있다는 점을 고려할 때, 40 cm 수준의 촬영 거리가 정확도 측면에서 가장 유리한 조건임을 보여준다. 또한 해당 거리는 실제 타격 구간을 관측하기 위한 공간도 충분히 제공하므로, 향후 시스템 구성에서는 우선적인 기준 촬영 거리로 고려될 수 있다. 따라서 본 실험은 단순히 거리별 성능 차이를 확인하는 데 그치지 않고, 실제 적용을 위한 촬영 조건을 사전 검토한다는 의미도 함께 갖는다.

종합적으로, 본 실험 결과는 이벤트 기반으로 선택 저장된 제한된 수의 프레임만을 이용하더라도 페이스 앵글을 정량적으로 산출할 수 있음을 보여준다. 특히 구조물 기반 각도 테스트를 통해 확인된 정확도와 재현성은, 임팩트 시점 근방에서 획득한 비전 프레임을 기반으로 마커 검출, 스테레오 복원, 상대 회전 계산으로 이어지는 각도 산출 절차가 일관되게 동작할 수 있음을 시사한다. 이러한 결과는 임팩트 근방에서 획득한 비전 관측치가 향후 IMU 데이터와 시간 정렬되어 결합할 경우, 임팩트 구간에서의 IMU 드리프트 및 측정 오차를 보정하기 위한 기준 정보로 활용될 가능성을 보여준다.

다만 본 연구의 구조물 기반 실험은 실제 스윙 환경에서 발생하는 다양한 동적 요인을 배제한 통제된 조건에서 수행되었으므로, 제시된 오차 수준을 실제 스윙 환경의 최종 성능으로 직접 해석하기에는 한계가 있다. 따라서 본 결과는 실제 스윙 환경 전체에서 최종 융합 성능을 입증한 것으로 보기보다, 실제 적용 시에도 공통적으로 요구되는 임팩트 시점 프레임 기반 각도 산출 절차의 유효성을 구조화된 조건에서 선행 검증한 결과로 해석하는 것이 적절하다. 향후에는 실제 스윙 데이터를 활용한 반복 검증과 시간 정렬 기반 융합 실험을 통해 본 연구의 적용 범위를 확장할 필요가 있다.