1.1. 연구의 필요성

현대인의 식사 활동은 음식을 섭취하는 행위 자체보다 공간과 서비스가 주는 가치를 중시하는 경험 중심으로 인식이 전환되고 있다. 이러한 변화 속에서 조명은 단순히 시각적 기능을 제공하는 역할을 넘어 공간의 분위기를 형성하는 대표적인 요소로 인식된다^[1]. 적절한 조명은 음식의 색상과 질감을 돋보이게 하고, 식사 분위기 조성에 기여하여 전반적인 만족도를 좌우한다. 실제로 광원이 음식의 표면 색상을 변화시켜 시각적 평가에 영향을 미치며^{[2, 3]}, 음식의 신선도 인식과 식욕에 직접적인 영향을 미친다는 연구 결과가 있다^[4]. 따라서 음식마다 어울리는 조명을 연출하는 것은 식재료 본연의 색을 돋보이게 하여 식사 환경의 시각적 품질을 높이고, 사용자의 만족도 향상으로 이어질 수 있다.

기존의 스마트 조명시스템도 재실자의 다양한 요구 조건에 맞추어 조명의 색온도, 광속을 조절하는 기능을 제공하고 있다. 이러한 조절은 주로 사용자가 리모컨, 스위치, 모바일 애플리케이션 등을 통해 직접 수동으로 변경하거나 고정된 시나리오에 맞춰 조명이 변경되는 방식으로 이루어진다. 그러나 이와 같은 방식은 메뉴 변경이나 식사 진행 상황을 실시간으로 반영하는 데 어려움이 있다. 사용자는 조작을 위해 식사를 잠시 멈추게 될 가능성이 있으며, 이 과정에서 수반되는 인지적·행동적 노력이 번거로움으로 인식되어 조명환경을 변경하지 않고 현재 상태를 유지하는 경향을 보이기도 한다. 인지적 부담이 커질수록 행동 변화를 회피할 가능성이 높은데, 행동에 필요한 노력을 줄이는 것이 동기를 자극하는 것보다 실제 행동 변화에 더 큰 영향을 미친다는 연구가 보고된 바 있다^[5]. 또한 스마트홈 기기 사용자 연구에서 기기 설정이 사용자에게 부담으로 작용한다고 언급하였으며, 이는 설정이나 제어 과정에서 발생하는 인지적 부담이 사용자의 사용의도를 저하시킬 수 있음을 보여준다^[6]. 따라서 반복적인 조작을 최소화하며 상황 변화에 맞게 자동 조정되도록 설계하는 것이 더 효과적일 것으로 보인다. 이는 사용자의 번거로움을 줄이는 동시에, 조명 분위기를 지속적으로 유지하는 데 기여한다.

수동적 제어 방식에서 발생하는 흐름 방해를 줄이고 몰입을 유지하기 위해서는 조명에 대한 실시간 제어가 필요하다. 최근 인공지능 (AI: Artificial Intelligence), 사물인터넷 (IoT: Internet of Things) 및 스마트 조명 기술의 발전은 이와 같은 문제를 해결할 새로운 가능성을 제시한다^[7]. 예를 들어 Philips Hue와 같은 IoT 조명은 색온도 및 색상 제어 기능을 제공하며, 외부 시스템과의 연동을 통해 맞춤형 조명환경을 구현할 수 있다. Philips Hue는 Hue Bridge를 중심으로 동작하며 조명제어 기능이 개별 리소스로 구성되어 있다. 이처럼 모듈화된 응용프로그램 인터페이스 (API: Application Programming Interface)구조는 센서나 외부 제어 알고리즘을 선택적으로 호출하고 조합할 수 있게 함으로써 시스템의 확장성을 높인다. 따라서 본 연구에서는 IoT 조명을 활용하여 사용자의 개입을 최소화하고 음식에 따라 가장 적합한 조명환경을 자동으로 구현하는 스마트 조명시스템을 제안하고자 한다.

제안된 시스템은 사용자의 식사 장면을 실시간으로 감지하고 이에 따라 조명을 자동으로 조절한다. 구체적으로, Intel RealSense Depth Camera D455로부터 수집한 영상 프레임을 바탕으로 음식의 색상을 분석하고, 딥러닝 모델을 통해 분류된 색상 정보를 조명제어 알고리즘의 입력 데이터로 사용한다. 이후 예측된 색상 값은 Python 코드를 통해 Hue Bridge API로 전달되고, Philips Hue 스마트 조명의 색온도가 자동으로 조정된다. 이러한 접근은 고정된 시나리오에 의존하던 방식에서 벗어나 현재의 상황을 실시간으로 반영하는 조명환경을 구현함으로써, 사용자의 식사 경험 가치를 높일 것으로 기대된다.

1.2. 선행연구 및 기술 고찰

현재 리테일 환경에서는 음식의 시각적 매력을 극대화하기 위해 식품군별로 스펙트럼과 색온도를 최적화한 조명이 활발히 사용되고 있다. Table 1에 정리된 바와 같이, 상용 조명들의 주요 특징은 색 재현력 향상, 신선도 유지, 상품군 별 시각적 효과 강화로 요약된다. 그러나 대부분 매장 관리자가 특정 구역에 맞춰 사전에 설정된 조건으로 운용하는 방식에 머물러 있으며, 음식의 변화에 따라 자동으로 색온도를 조절하는 기능은 제공하지 않는다. 자동화 기능이 적용된 일부 시스템 또한 사람들의 통행량 예측을 통해 시간대별로 조도를 조절하는 간단한 수준의 디밍에 한정되어 있다.

학술 연구에서도 조명이 사용자 경험에 미치는 영향에 대한 다양한 분석이 이루어지고 있다. 감성조명 관련 연구에서는 색온도와 조도가 소비자의 감정 및 만족도에 영향이 있음을 밝혔으며^[1], W. Tantanatewin와 V. Inkarojrit은 레스토랑 조명이 서비스 품질 평가에 중요한 요인임을 보고하였다^[8]. 최근에는 IoT 및 스마트 조명 분야에서도 머신러닝을 활용한 사용자 맞춤형 제어가 활발히 논의되고 있다^[7]. 기존에는 주로 에너지 효율 향상에 초점이 맞추어져 있었으나, 이제는 사용자의 생활 맥락과 감각적 경험을 다루는 주제로 연구가 확장되고 있다.

2.1. 시스템 구성

시스템은 조명 장치, 카메라 센서, 딥러닝 모델 등 세 가지 주요 구성 요소로 이루어진다. 실제 식탁에서 식사가 이루어지는 상황을 전제로 하고 일반적으로 사용되는 팬던트 조명을 활용했으며, 광원으로는 Philips Hue E26 스마트전구를 적용하였다.

딥러닝 기반의 상황 인식 기술은 주로 카메라 센서를 활용하여 대상의 상태나 변화를 인식한다. 이에 조명기구 주변에 Intel RealSense Depth Camera D455를 부착하여 식탁 상부에서 음식을 실시간으로 인식할 수 있도록 하였다. 카메라는 실시간 스트리밍 방식으로 RGB 영상 데이터를 수집하며, 영상 데이터는 USB 3.0 인터페이스를 통해 실험용 PC로 전송된다. 이 때 실험용 PC는 데이터 처리 및 제어 신호 생성을 담당하는 중앙 제어 장치로 기능한다. 이후 PC에서 수신된 영상은 프레임 단위로 추출되어 전처리 과정을 거친 뒤 음식의 색상을 판별하기 위한 딥러닝 모델의 입력 데이터로 사용된다.

입력 데이터가 이미지인 특성을 고려하여, 이미지 내 색상 분포와 공간적 특징을 효과적으로 추출할 수 있는 합성곱 신경망 (CNN: Convolutional Neural Network) 기반의 딥러닝 모델을 적용하였다. CNN은 입력 데이터가 계층적 구조를 거치며 점진적으로 고차원적 특징을 학습한다^[13]. 아래 Table 2는 시스템 구현에 사용된 주요 제품들의 사진과 기본 사양을 정리한 것이다.

Table 2. Key component used for system lmplementation

2.2. IoT 조명 연동 방식

조명제어에는 실험용 PC, Hue Bridge, Philips Hue E26 스마트 전구가 사용되었다. Hue Bridge는 Zigbee 통신을 기반으로 하는 허브 장치로, Philips Hue 조명을 비롯한 여러 기기를 안정적으로 연동한다.

2.2.2 Hue Bridge와 Philips Hue E26 스마트전구 간 통신

Philips Hue E26 스마트전구와 Hue Bridge 간의 통신은Zigbee 무선 프로토콜을 통해 이루어진다. Zigbee는 저전력 근거리 무선 통신 규격으로, 짧은 거리에서 다수의 IoT 기기 간 데이터를 안정적으로 송수신할 수 있는 표준 기술이다. 제어용 PC에서 전송된 조명제어 명령은 LAN을 통해 Hue Bridge로 전달된 후 Zigbee 네트워크를 통해 스마트전구로 송신되어 색온도가 자동으로 조정된다. 전체 시스템의 하드웨어 및 통신 구조를 Fig. 1에 나타내었다.

Fig. 1. Hardware and communication structure of the system

Hue Bridge의 로컬 REST API를 활용하기 위해서는 API 접근 권한 등록 절차가 선행되어야 한다. 이를 위해 Hue Bridge 전면의 버튼을 1회 눌러 등록 모드를 활성화 한 후 제어용 PC에 POST /api 요청을 전송하여 장치 등록을 수행한다. Hue Bridge는 물리적인 버튼 입력을 통해 사용자 인증을 확인한 뒤, 요청이 승인되면 고유한 API Key를 발급한다. 발급된 API Key는 이후 모든 REST API 호출에서 인증 토큰으로 사용되고 제어 프로그램이 Hue Bridge에 지속적으로 접근할 수 있다. phue 라이브러리가 API Key를 사용자 홈 디렉토리의 설정 파일에 자동 저장하면 최초 등록 이후에는 별도의 추가 인증 과정이 생략된다. 이 때 phue는 Python 제어 라이브러리로, REST API를 통해 전원 상태, 조도, 색온도 등의 파라미터를 프로그래밍적으로 제어할 수 있게 한다. 제어 프로그램은 Python으로 구현되었으며 딥러닝 모델이 출력한 색상 분류 결과는 Socket 통신을 통해 프로그램으로 전달된다. Fig. 2는 phue 라이브러리를 이용하여 Hue Bridge와 통신하고, 제어 가능한 Philips Hue E26를 식별하는 초기 설정 코드이다.

Fig. 2. Part of code

2.3. 색상 분류 모델 구축 및 학습 과정

2.3.1 데이터셋 구축

색상 분류 모델 학습을 위해 Kaggle에서 제공되는 공개 음식 이미지 데이터를 활용하였다^[14]. 원본 데이터셋은 음식의 종류를 중심으로 구성되어 있어 연구 목적에 맞춘 재분류 과정이 필요하였다. 이를 위해 수집된 이미지들의 전체 색상 분포를 분석하였으며, 그중 출현 빈도가 가장 높고 점유율이 균등한 상위 다섯 가지 색상군 (‘Green’, ‘White’, ‘Yellow’, ‘Red’, ‘Brown’) 을 연구 분류 기준으로 설정하였다. 데이터 양이 적은 색상군을 포함할 경우 모델의 판별 정확도가 저하될 수 있으므로, 범주별로 충분한 학습 장수를 확보할 수 있는 항목을 중심으로 구성하여 안정성을 높였다. 이 기준에 따라 전체 이미지를 수동으로 검토하여 카테고리별 약 1,000장의 이미지를 최종 라벨링하였으며, 색상 판단이 모호하거나 기준 범주에 포함되기 어려운 이미지는 학습 데이터에서 제외하였다. 전처리 과정에서는 모든 이미지를 224×224 크기로 통일하고 학습 안정성을 확보하기 위해 정규화를 적용하였다. 또한 과적합을 방지하고자 대비 조정, 밝기 조절, 좌우 반전, 회전 등의 기본적인 데이터 증강을 수행하였다. Fig. 3은 데이터셋을 시각화한 것이다.

Fig. 3. Example of augmented images in the dataset (a) original image (512x512), (b) resized image (224x224), (c) contrast adjustment, (d) horizontal flipping, (e) brightness adjustment, (f) 90° rotation

2.3.2 실험환경 및 모델학습

모델 학습에 사용된 프레임워크와 PC환경을 Table 3에 정리하였다.

Table 3. Experiment environment

Operating System	Windows 11 pro
Deep Learning Framework	Pytorch 2.7.1+cpu
CPU	AMD Ryzen 5 4500
GPU	NVIDIA GeForce GTX 1050 Ti
Development Environment	VS code, Python

본 연구의 목적은 음식의 시각적 색상을 실시간으로 인식하여 조명제어에 활용할 수 있는 경량 분류 모델을 구축하는 데 있다. 실시간 처리와 시스템 통합이 요구되므로, 복잡한 구조의 모델보다는 연산 효율과 시스템 안정성을 동시에 확보할 수 있는 모델이 필요하다. 모델 선정 과정에서 VGGNet (VGG: Visual Geometry Group), GoogLeNet (Inception), ResNet (Residual Network) 등 주요 합성곱 신경망 구조를 검토하였다. 성능 비교는 Table 4에 제시된 바와 같이 파라미터 수(Parameters), 연산량(MACs), Top-1 정확도(Top-1 accuracy) 및 Top-5 정확도(Top-5 accuracy)를 기준으로 수행하였다^[15].

Table 4. Network performance on the ImageNet 1-crop evaluation

Network	Parameters [M]	MACs [G]	Top-1 accuracy	Top-5 accuracy
VGG-16	138.36	15.5	71.59 %	90.38 %
GoogLeNet	6.62	1.52	69.78 %	89.53 %
ResNet-18	11.7	1.8	69.76 %	89.08 %
ResNet-34	21.8	3.6	73.31 %	81.42 %
ResNet-50	25.6	4.12	76.15 %	92.87 %
ResNet-101	44.6	7.85	77.37 %	93.56 %

VGGNet은 구조가 비교적 직관적이며 안정적인 분류 성능을 보이지만 파라미터 수가 많고 연산량이 커 실시간 시스템 적용 시 처리에 지연이 발생할 가능성이 있다. GoogLeNet은 인셉션 모듈을 통해 연산 효율을 개선한 구조이지만 다중 분기 기반의 복잡한 네트워크 구성으로 인해 시스템 최적화 및 통합 과정에서 효율이 저하될 수 있다. 이에 따라 연산 효율과 분류 안정성을 동시에 확보할 수 있는 ResNet을 색상 분류 모델로 채택하였다. ResNet은 합성곱 신경망에 잔차 연결을 도입하여 심층 구조에서 발생하는 기울기 소실 문제를 완화한 구조로, 비교적 적은 연산량으로도 특징 추출 및 분류 성능을 확보할 수 있다. ResNet 계열 모델(ResNet-18, ResNet-34, ResNet-50, ResNet-101)을 대상으로 네트워크 깊이가 성능에 미치는 영향을 분석한 결과, 모델 깊이가 증가함에 따라 성능 개선 효과는 제한적인 반면 연산량과 학습 시간은 크게 증가하는 경향을 보였다. 또한 계산 효율성과 분류 성능을 함께 고려할 경우 ResNet-18이 가장 적합한 모델로 판단되었다^[16]. 이러한 특성은 연속적으로 입력되는 카메라 영상에 대해 즉각적인 처리가 요구되는 실시간 조명제어 환경에 적합하다.

또한 음식의 색상 정보를 보다 정확하게 추출하기 위해 카메라 영상 내에서 관심영역 (RoI: Region of Interest)을 지정하였다. RoI 설정은 음식 외의 배경 요소가 모델의 색상 판단에 영향을 미치는 것을 최소화하기 위한 것으로 촬영 환경의 조도 변화나 테이블, 그릇 색상이 분류 결과에 미치는 영향을 완화하는데 효과적이다. RoI는 실시간 프레임 상에서 음식이 놓이는 영역을 기준으로 지정하였으며, 해당 영역만을 분류 모델의 입력으로 사용함으로써 색상 특성에 집중한 학습 및 추론이 가능하도록 하였다. 이와 같은 모델 구성은 색상 자체의 미세한 구조적 패턴을 탐지하기보다 음식의 전체적인 색 특성을 인식할 수 있다. Fig. 4는 카메라 영상의 중앙 영역을 RoI로 추출하고 ResNet 기반 딥러닝 모델의 입력을 위한 이미지 전처리를 수행하는 코드이다.

Fig. 4. Part of code

총 1000장의 이미지 중 800장을 학습 데이터로, 200장을 테스트 데이터로 분할하여 모델 학습 및 성능 평가를 수행하였다. 5개 음식 색상 클래스에 대해 92.1%의 분류 정확도를 보였으며, 해당 분류 결과는 이후 조명 제어에 적용되었다.

2.4. 색온도 설정 및 IoT 조명제어 방법

Table 5. CCT and representative training images

Table 5는 카테고리별 목표 색온도 값과 분류 모델 학습 과정에서 사용된 대표 이미지를 예시로 제시하여 색상별 특징을 시각적으로 확인할 수 있도록 나타낸 표이다. 조명의 색온도 값은 선행연구에서 보고된 조명과 음식 표면 색상의 상관관계를 근거로 가정 내 식사 상황에 맞추어 적용하였다. 연구에 따르면 채소류는 비교적 높은 색온도 영역에서 더 신선하게 지각되며^[17], 해산물은 청색광 성분이 포함된 높은 색온도에서 더 밝고 신선하게 인식되는 경향이 있다^{[18, 19]}. 노란 계열의 제과류는 따뜻한 색온도에서 시각적 매력이 높게 평가되었으며^[2], 육류와 같은 붉은 음식은 낮은 색온도에서 신선감과 구매 의도가 높게 나타났다^[20]. 갈색 음식은 안정적인 분위기를 강조하기 위해 낮은 색온도로 설정하였다. 카테고리별로 적용된 색온도 값은 특정 색상에 대한 단일 색온도를 규정하기 위한 것이 아니라, 시스템 구현을 위해 선행연구의 지각 경향을 참고하여 설정한 실험적 기준값이다. 이는 사용자 환경이나 선호도에 따라 조정하여 적용할 수 있다.

상관색온도 (CCT: Correlated Color Temperature)값을 Philips Hue API에서 입력하기 위해서는 CIE xy 색좌표로의 변환이 필요하다. 변환에는 일반적으로 맥카미 (McCamy)의 공식이 사용된다. 맥카미 공식은 상관색온도 값을 CIE xy 좌표로 변환하는 근사식으로, 먼저 상관색온도 값에 해당하는 x 좌표를 계산한 뒤, 이 x 좌표를 이용하여 y 좌표를 산출하는 두 단계로 이루어진다^[21]. x 좌표는 상관색온도 값의 범위에 따라 서로 다른 변환식을 적용한다. 첫 번째는 상관색온도가 7,000 K 이하일 때 적용되는 계산방법으로 식(1)와 같이 계산할 수 있다.

두 번째는 상관색온도가 7,000 K를 초과할 때의 계산 방법으로, 식(2)와 같이 계산할 수 있다.

위 표에서 계산된 x 값을 다음 식(3)의 변환 식에 대입하여 y 좌표를 산출한다.

그 결과 Green는 CIE(0.308, 0.325), White는 CIE (0.381, 0.383), Yellow는 CIE(0.417, 0.400), Red는 CIE(0.477, 0.411), Brown는 CIE(0.505, 0.409)의 값을 나타냈다. 변환 과정은 Python 환경에서 수행되며 최종 색좌표 값은 Hue Bridge REST API를 통해 전송된다. Hue Bridge는 전송된 값을 Zigbee 신호로 변환하여 Philips Hue E26 스마트 전구로 전달한다. 이 때 조명의 밝기는 모두 동일하게 적용하였다. Table 6은 최종 CIE x, CIE y 좌표를 정리한 표이며, Fig. 5는 CIE 색좌표 상에서 각 색상의 위치를 나타낸 도표이다.

Fig. 5. CIE diagram