Mobile QR Code QR CODE : Journal of the Korean Institute of Illuminating and Electrical Installation Engineers

Journal of the Korean Institute of Illuminating and Electrical Installation Engineers

ISO Journal TitleJ Korean Inst. IIIum. Electr. Install. Eng.

  1. (Ph.D. Course, Graduate School of Nano IT Design Fusion, Seoul National Univ. of Science and Tech)
  2. (Ph.D., Graduate School of Nano IT Design Fusion, Seoul National Univ. of Science and Tech)



Digital Signage, MATLAB, Shadow, Smart Phone, Solar Pad, Visual Light Communication

1. 서 론

디지털 사이니지는 제품과 서비스를 홍보하는데 효과적인 장치로 쇼핑몰, 지하철, 문화시설, 공공시설 등에 주로 설치되어 있다. 사이니지는 기존에 단순히 LCD(Liquid Crystal Display)에서 정보를 보여주는 것을 넘어서 현재는 사용자와 상호작용을 하는 방향으로 진화되었으며 이때 카메라, 키넥트, NFC(Near Field Communication), QR Code 등의 기술 등을 이용하고 있으며 현재는 AR(Augmented Reality) 및 VR(Virtual Reality) 기술을 접목하는데 연구가 계속되고 있다(1).

가시광통신(Visible Light Communication, VLC)은 IEEE 802.11.7 Task Group에서 표준화를 진행 중이며 (2,3), 아주 넓은 통신 대역을 사용하여 고속통신이 가능하며 RF 신호와 달리 가시광은 방사 및 회절을 하지 않는 직진성을 가지므로 보안에 특히 강하다. 태양광 패널은 빛으로부터 에너지를 획득할 수 있고 또한 가시광통신도 가능하므로 최근 연구가 활발하다(4). 기존의 연구에 많이 사용되던 포토다이오드는 LED(Light Emitting Diode)의 조명과 일직선 위에 위치해야만 하지만 태양광 패널은 수신영역이 넓어서 이런 제약사항에서 벗어날 수 있다. 특히 스마트폰의 경우 사용자가 손에 쥐고 사용하므로 항상 움직임이 발생할 수밖에 없어 이 경우 수신단에 포토다이오드를 사용하기 힘들다. 태양광 패널이나 솔라패드의 경우 수신각도가 크고 수신영역이 넓어서 이 문제를 해결할 수 있다. 충전용 솔라패드는 그림 1의 (a)와 같은 스마트폰 일체형과 그림 1의 (b)와 같이 스마트폰 솔라패드 억세서리의 형태를 갖는다. 현재는 주로 배터리 충전용으로 사용되나 회로를 수정하면 가시광통신이 가능하다.

디지털 사이니지에서 사용자와 상호작용을 하기 위한 통신 방법으로 QR Code와 NFC 방식을 많이 사용한다. 이를 통해 사이니지에 표시된 정보에 대한 웹페이지 URL(Uniform Resource Locator)을 전송하거나 쿠폰 등을 전송한다. NFC는 양방향으로 동작하는데 인증 데이터나 결제에 대한 정보를 전송한다. 이들 기술은 전송 가능한 데이터의 양과 전송 속도가 제한되었다. 또한, NFC는 RF(Radio Frequency)를 이용하므로 중간자 공격(man in the middle attack, MITM)의 방법으로 해킹할 수 있다(5).

Fig. 1. Smart Phones equipped with Solar Pad: (a) S7550, Samsung, 2009; (b) iPhone X Tesla, Caviar, 2017
../../Resources/kiiee/JIEIE.2020.34.12.001/fig1.png

가시광통신을 사용하면 디지털 사이니지가 사용자에게 고속, 대용량의 데이터 전송 및 우수한 보안을 제공할 수 있다. 이는 기존 이용되는 QR Code나 NFC 기술에 대비해 더욱 확장된 사용자경험을 제공할 것이다.

본 논문에서는 디지털 사이니지에 가시광통신을 위한 2×2 LED Tag를 추가하고 배터리 충전을 위해 사용되는 스마트폰의 솔라패드에서 블록별로 신호 차이를 센싱하는 방법으로 가시광통신이 가능하도록 하는 방법을 제안한다.

추가로 2×2 LED Tag와 솔라패드를 장착한 스마트폰의 통신에서 솔라패드는 사용자가 스마트폰을 잡을 때 손가락으로 인해 가려지는 경우가 생기고, 이는 통신에러를 발생시킨다. 이때 발생한 통신 에러를 수정하기 위해 제안하는 방법은 다음과 같다. 솔라패드를 4개의 블록으로 나누고 각각을 하나의 채널로 만든다. 4개 채널 중 하나의 채널을 나머지 채널에 대한 패리티 값을 갖는 복구 채널로 할당한다. 복구 채널을 사용할 경우 어떤 한 채널에서 음영으로 통신 에러가 발생하더라도 한 채널의 에러를 복구할 수 있다. 에러 복구 성능은 BER(Bit Error Rate)과 PER(Packet Error Rate)의 측정값으로 비교를 한다.

본 논문에서는 제안한 시스템과 에러 복구 방법을 MATLAB을 이용해 시뮬레이션하였다. 기존의 시뮬레이션은 포토다이오드를 기반으로 이루어졌으나(6), 여기서는 포토다이오드 여러 개를 묶어서 하나의 솔라패드의 블록 하나로 모델링 하였다.

본 논문의 구성은 1장 서론에 이어, 2장에서는 사이니지 2×2 LED Tag와 스마트폰에 장착된 휴대용 솔라패드를 이용한 가시광통신 시스템 설계하고 MATLAB으로 구현 가능함을 검증한다. 3장에서는 제안한 가시광통신 시스템에서 사용자의 스마트폰을 손으로 잡는 형태에 따라 발생한 전송 에러를 수정하는 방법을 제안하고, 4장에서는 3장에 제안한 방법에 대한 실험 결과를 BER과 PER로 측정하여 제안한 방법의 성능을 평가하고, 5장에서는 결론 및 효과에 관해 설명하고자 한다.

2. 사이니지 2×2 LED Tag와 스마트폰에 장착된 휴대용 솔라패드를 이용한 가시광통신 시스템 설계 및 시뮬레이션

이 장에서는 사이니지에 설치할 2×2 LED Tag를 설계하고 충전용으로 스마트폰에 장착된 솔라패드를 가시광통신이 가능하도록 변경하는 것을 보여주고, MATLAB으로 둘 사이의 가시광통신이 가능함을 시뮬레이션 결과로 보여준다.

Fig. 2. System Block Diagram: (a) System Component; (b) System Block Diagram

../../Resources/kiiee/JIEIE.2020.34.12.001/fig2_1.png

../../Resources/kiiee/JIEIE.2020.34.12.001/fig2_2.png

전체적인 구성도는 그림 2의 (a)와 같다. 기존의 디지털 사이니지의 사용자와 상호작용 인터페이스로 사용되는 카메라, 디스플레이, 터치스크린, QR Code 리더 및 NFC 등이 많이 사용된다. 여기에 2×2 LED Tag를 추가한다. 이 LED Tag는 사이니지에서 보여주는 제품이나 정보를 스마트폰으로 전송하는 데 사용된다. 이런 Tag 기능 이외에 고속 데이터 전송이 가능한 가시광통신을 사용함으로써 QR Code나 NFC에서 제공하지 못하는 제품에 대한 팸플릿 이미지나 PDF(Portable Document Format)와 같은 전자문서 전송 및 동영상 스트리밍 등도 가능하다.

그림 2의 (a)를 보면 솔라패드는 8개의 솔라패드 블록으로 구성되어 있고 기복적으로 태양광을 받아 배터리를 충전하는 기능을 수행한다. 사용자가 스마트폰을 잡을 때 아랫부분은 손으로 가려지므로 위의 4개의 솔라패드 블록만을 가시광통신에 사용한다. LED Tag는 스마트폰으로 정보를 전송하기 위해 4개의 LED가 설치되고, 스마트폰의 솔라패드에서 각각 1:1로 신호를 받을 수 있다. 4개의 LED와 솔라패드가 통신하므로 각각 1개인 경우에 비해 같은 시간에 4배 더 많은 정보를 전달할 수 있다.

스마트폰에서 가시광통신을 통해 사이니지로 사용자 정보를 전달되는 과정은 스마트폰의 Flash Light를 깜박여서 신호를 보내면 사이니지의 LED Tag에 설치된 솔라패드에서 이를 수신한다.

Fig. 3. Modify the Solar Pad to enable VLC
../../Resources/kiiee/JIEIE.2020.34.12.001/fig3.png

기존 스마트폰 충전 기능만 있던 솔라패드에 그림 3과 같이 마이컴을 추가하고 각 솔라패드 블록의 신호를 뽑아 마이컴의 ADC(Analog-to-digital converter)에 추가하면 각 솔라패드 블록에 걸리는 전압을 알 수 있고 이를 통해 각 솔라패드 블록별로 수신된 신호를 추출 후에 마이컴 안에서 Level Detector로 신호를 추출하고 4개 채널의 데이터를 모아 하나의 메시지 프레임을 추출할 수 있다.

제안하는 시스템은 그림 2의 (a)와 같이 솔라패드가 8개 블록이 있지만, 이중 스마트폰의 상위에 위치한 4개의 솔라패드 블록을 사용하였다. 이는 사용자가 스마트폰에 부착된 솔라패드를 사이니지의 LED Tag의 가이드에 맞춰 두더라도 스마트폰을 손으로 쥐고 있는 경우 대부분 스마트폰의 아랫부분을 쥐고 있는 경향이 있기 때문이다. 이 경우는 사용자가 NFC를 사용할 때와 같은 상황으로 인식할 수 있기 때문이다. 만약 8개 블록을 모두 사용하게 되면 솔라패드의 4개 블록은 항상 손으로 가려져 있어서 가시광을 받지 못하여 항상 통신에러가 발생할 가능성이 크다.

이 장에서는 사이니지 2×2 LED Tag와 스마트폰에 장착된 휴대용 솔라패드를 이용한 가시광통신 시스템의 설계를 제안하였고 이를 MATLAB으로 구현하였다. 먼저 그림 4와 같이 사이니지의 2×2 LED Tag가 빛을 전송하는 경우 스마트폰에 장착된 솔라패드 블록 1에서 4까지 받는 수신된 가시광 전력을 모델링 하였다. 이때 LED와 솔라패드 간의 거리는 일직선 위에서 10 cm 거리에 있다.

그림 4의 (a)는 솔라패드의 각 공간에서 받는 수신전력을 보여준다. 그림 4의 (b)를 보면 솔라패드 블록안의 모델링 된 각 포토다이오드의 크기가 0.5 cm × 0.5 cm이며 이때 수신된 전력을 확인할 수 있다. 그림 4의 (c)를 보면 각각의 솔라패드 블록은 5 cm × 5 cm 크기이며 각 블록이 수신된 전력을 보여준다. 모델링된 포토다이오드가 100개가 모여 한 솔라패드 블록을 이룬다. 4개의 솔라패드 블록이 모여 10 cm × 10 cm 크기의 솔라패드가 된다. 2×2 LED Tag의 각 LED는 4개의 각 솔라패드 블록의 중심에 위치하면 각 LED의 전력은 0.1 Watt, 반전력각도(Half Power Angle, Theta)는 7도이다. 그림 4의 (d)는 4개의 솔라패드 블록의 각 LED 4개에 대한 전달함수 매트릭스를 보여준다.

그림 5에서 볼 수 있듯이 실제 전송속도에 따른 수신전압의 파형을 시뮬레이션하였다. 비트레이트가 높아지는 경우 구형파 입력에 의해 LED On/Off를 수행하더라도 LED 스위칭 소자의 특성에 의해 수신단에서는 적분기를 거친 신호가 수신되는 것을 확인하였다.

Fig. 4. Received Power Simulation on Solar Panels. Theta: 7°

../../Resources/kiiee/JIEIE.2020.34.12.001/fig4_1.png

../../Resources/kiiee/JIEIE.2020.34.12.001/fig4_2.png

Fig. 5. Received Signal Simulation with Switching Delay on LED On/Off Circuit (a) Bit Rate: 1 Kbps; (b) Bit Rate: 2.5 Kbps
../../Resources/kiiee/JIEIE.2020.34.12.001/fig5.png

솔라패드에서 신호를 추출하고 이를 처리하는 가시광통신 모듈과 사이니지의 2×2 LED Tag를 포함한 통신시스템을 MATLAB으로 시뮬레이션하였고, 이를 통해 가시광통신이 가능함을 검증하였다.

3. 제안한 시스템에서 사용자의 스마트폰을 손으로 잡는 형태에 따라 발생한 전송 에러를 수정하는 방법

이 장에서는 2×2 LED tag와 스마트폰의 솔라패드간의 가시광통신에서 사용자의 스마트폰을 잡는 패턴에 따라 4개의 채널중 1개 채널에 음영이 발생한 경우 이를 수정하는 방법을 제공한다.

제안한 시스템은 솔라패드가 스마트폰의 뒤쪽에 있고 이를 그림 6의 (a)처럼 스마트폰을 잡고 2×2 LED Tag의 가이드라인에 맞추면 통신에 문제가 없다. 그러나 그림 6의 (b)처럼 NFC Tag를 사용하는 것처럼 스마트폰을 잡으면 솔라패드의 아래쪽 블록들은 가려지게 되어 이곳에서는 통신이 이루어질 수가 없다.

Fig. 6. User’s Smart Phone Hold Pattern
../../Resources/kiiee/JIEIE.2020.34.12.001/fig6.png

그림 6의 (c)는 사용자들이 스마트폰을 어떻게 들고 사용하는지에 대한 패턴과 빈도를 조사한 것이다(7). 조사 결과를 보면 스마트폰의 중간 아랫부분은 손바닥이나 손가락으로 완전히 가려지게 되며 중간 윗부분의 아랫부분도 엄지손가락이나 집게손가락으로 오른쪽이나 왼쪽 중 한쪽은 가려질 확률이 높다.

따라서 본 논문에서는 4개의 LED와 4개의 솔라패드 블록간 통신이 이루어지는 채널에서 한 개 채널에 사용자의 손가락에 의한 통신에러만 수정한다면 통계적으로 가시광통신이 문제없이 동작한다고 본다.

실험에 사용할 환경은 그림 7과 같다. 그림 7의 (a)는 손가락에 의해 전송오류가 발생하게 하고 이를 복구하는 방법을 제시하고 그림 7의 (b)는 통신에러가 발생하지 않는 경우이며 성능평가의 기준이 된다.

Fig. 7. Smart Phone Hold Pattern in this Experiment: (a) Case 1: One block is under shadow by thumb; (b) Case 2: No Blocks are under shadow by thumb
../../Resources/kiiee/JIEIE.2020.34.12.001/fig7.png

Fig. 8. Message Frame in MIMO: (a) Normal Case; (b) Proposed Case: Using Parity Channel
../../Resources/kiiee/JIEIE.2020.34.12.001/fig8.png

일반적인 MIMO(Multiple-Input Multiple-Output)에서는 그림 8의 (a)와 같이, 상위 계층의 메시지 데이터를 MIMO 채널 개수만큼 나눈 후 모두 데이터로 전송한다.

이 논문에서 제시하는 통신에러 복구 방법은 그림 8의 (b)와 같이, 2×2 LED Tag와 솔라패드 간의 4개 채널 중에 3개 채널에는 데이터를 전송하고 나머지 1개의 채널에는 이 3개 채널에 대한 패리티 비트를 전송하는 방법이다. 가장 단순한 방법이지만 4채 채널중 어느 한 채널에 에러가 발생하더라도 이를 수정할 수 있다. 이는 그림 9의 “Finger on Solar Pad Block #1 – Error Recovered” 라벨에 해당한다. 제시하는 방법의 대조군으로 4개의 채널에 모두 데이터를 전송하는 방법인데, 이는 그림 7의 (b)와 같이 에러가 발생하지 않는 환경에 해당하며, 결과는 그림 9에서 “No Finger on Solar Pad” 라벨에 해당한다. 그림 7의 (a)와 같이 솔라패드 블록 1이 손가락에 가려지는 환경에서의 결과는 그림 9에서 “Finger on Solar Pad Block #1”에 해당한다.

4. 실험결과 및 분석

실험에 사용된 주요 파라미터는 표 1과 같다.

Table 1. Parameters used in Simulation

Parameter

Value

Unit

Modulation

OOK

Bit Rate

100

Hz

Sampling Rate

10000

Hz

MIMO Channel Count

4

Power of a LED

0.1

Watt

Theta of a LED

7

Degree

Vertical Distance Between Solar Pad and LEDs

10

cm

Horizontal and vertical spacing between each LED

(5, 5)

(cm, cm)

Width and Length of a Solar Pad Block

5, 5

cm, cm

실험결과로 BER과 PER을 측정하였으며 그림 9의 (a)는 BER 측정 결과로, 한 솔라패드 블록에 손가락에 의한 음영이 발생하여 통신에러를 발생시키는 경우 본 논문에서 제시한 패리티 채널로 사용한 경우의 결과는 음영이 전혀 발생하지 않는 경우의 BER과 거의 비슷하다. 이는 SNR(Signal-to-noise Ratio)이 높은 경우 모든 에러를 수정함을 보여준다.

그러나 패리티 채널을 사용하지 않고 4채널 모두를 데이터 채널로 사용한 경우는 SNR이 높아지더라도 BER은 0.1 보다 항상 높다. 그림 6의 (c)를 보면 “Front View”에 속한 세가지 패턴 모두 솔라패드의 절반 위쪽에 손가락이 위치한다. 이로 인해 음영이 발생하면 사용자가 잡는 방법을 바꾸기 전까지 BER은 0.1 보다 항상 높게 유지된다.

통신시스템 관점에서는 PER이 중요한데 패킷의 에러가 발생하면 통신의 상위 계층에서 재전송이 이루어져야 하는데, 제시한 방법을 사용하지 않는 경우는 SNR이 높아지더라도 거의 PER 값이 1에 머물러 있어 계속 재전송만 하게 되는 문제가 발생한다. 이 경우 통신이 제대로 이루어질 수 없으므로 사용자의 사용성을 크게 낮추는 효과를 가져오게 된다. 이는 가시광통신을 통해 향상된 사용자경험을 제공하고자 하는 목적을 달성하기 어렵게 만든다.

Fig. 9. BER / PER Result: (a) BER; (b) PER
../../Resources/kiiee/JIEIE.2020.34.12.001/fig9.png

여기에 제시된 방법을 적용하면 그림 6의 (c)와 같이, 사용자 대부분이 스마트폰을 잡는 패턴에 따른 에러를 복구하므로 사용자에게 스마트폰을 에러가 발생하지 않는 방식으로 스마트폰을 쥐라고 강요하지 않아서 사용자경험 측면에서 매우 효과적인 방법이다.

5. 결 론

본 논문에서는 디지털 사이니지에 2×2 LED Tag를 추가하고 스마트폰의 솔라패드를 이용한 가시광통신 시스템을 설계하고 MATLAB을 통해 실제 통신이 가능함을 제시하였다. 가시광통신을 사용함으로써 디지털 사이니지와 사용자 간에 스마트폰을 통해 고속통신, 대용량 데이터 전송, 강화된 보안을 제공할 수 있음을 보여주었다. 또한, 스마트폰을 손으로 쥐는 형태에 따라 통신에 문제가 발생할 수 있는데 이때 발생하는 에러를 복구하기 위해, 3개 채널에는 상위에서 전달받은 메시지를 전달하고 나머지 1개 채널에는 다른 채널의 패리티 비트를 전송하는 방법을 제시하였고 MATLAB으로 전체 시스템과 통신에러 복구 방법을 시뮬레이션하였다. 제안하는 시스템에서 BER과 PER 모두 손가락의 위치에 따라 발생하는 한 비트 에러를 완전히 복구하는 결과를 보여주었다.

본 논문을 통해 제시된 디지털 사이니지에 장착된 2×2 LED Tag와 스마트폰의 솔라패드 간의 가시광통신 시스템이 실제 양산 제품에 적용되어 디지털 사이니지와 사용간 고속통신, 고용량 전송, 강화된 보안을 통해 더욱 더 향상된 사용자경험을 제공할 수 있기를 기대한다.

차후에는 가시광통신을 이용하는 사용자의 행동패턴을 감지하여 인공지능 기반으로 분석 후 통신에러가 발생하지 않을 채널을 자동으로 선정하여 데이터를 전송하는 방법에 관한 연구가 필요하다. 이를 통해 사용자에게 최소한의 제약만 요구하게 되어 높은 사용자경험을 제공할 수 있을 것이다.

References

1 
Davies Nigel, Clinch Sarah, Alt Florian, 2014, Pervasive displays: understanding the future of digital signage, Synthesis Lectures on Mobile and Pervasive Computing, Vol. 8, No. 1DOI
2 
Lee SangWoon, Cha JaeSang, 2018, A study of visible light communication standardization for ITU-R, Proceedings of the Korean Society of Broadcast Engineers Conference. The Korean Institute of Broadcast and Media EngineersGoogle Search
3 
Nguyen T., Islam A., Hossan T., Jang Y. M., 2017, Current Status and Performance Analysis of Optical Camera Communication Technologies for 5G Networks, in IEEE Access, Vol. 5, pp. 4574-4594DOI
4 
Wang Z., Tsonev D., Videv S., Haas H., Aug 2015, On the Design of a Solar-Panel Receiver for Optical Wireless Communications With Simultaneous Energy Harvesting, in IEEE Journal on Selected Areas in Communications, Vol. 33, No. 8, pp. 1612-1623DOI
5 
Carlos Bermejo, Flores Huber, Hui Pan, 2020, Steal Your Life Using 5 Cents: Hacking Android Smartphones with NFC Tags, 2020 IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops). IEEEDOI
6 
Zabih Ghassemlooy, Popoola Wasiu, Rajbhandari Sujan, 2019, Optical wireless communications: system and channel modelling with Matlab®, CRC pressGoogle Search
7 
Lee Songil, 2016, Grasp and index finger reach zone during one-handed smartphone rear interaction: effects of task type, phone width and hand length, Ergonomics, Vol. 59, No. 11DOI

Biography

Jong-Yong Park
../../Resources/kiiee/JIEIE.2020.34.12.001/au1.png

He received B.S degree in Electrical Engineering from Korea University of Technology and Education in 2000.

He received M.S degree in Computer Science from Hanyang University in 2009.

He is studying in Ph.D. course at Graduate School of Nano IT Design Fusion, Seoul National Univ. of Science and Tech.

He works at Synopsys Korea as Application Engineer from 2015.

He worked at General Electric Korea, Marvell Semiconductor Korea, Motorola Korea and Hyundai Digital Tech as Software Engineer from 2000 to 2015.

His research interests are LED-IT Fusion Technology, Agricultural IT Convergence Technology, Data Mining, Robotics.

Deok-Gun Woo
../../Resources/kiiee/JIEIE.2020.34.12.001/au2.png

He received his M.S degree in Graduate School of Nano IT Design Fusion, Seoul National Univ. of Science and Tech., Seoul, Korea in 2010.

He received his Ph.D. degree in Graduate School of Nano IT Design Fusion, Seoul National Univ. of Science and Tech., Seoul, Korea in 2019.

He is currently a Senior researcher at IoT Convergence Research Technology lab., Seoul National Univ. of Science and Tech., Seoul, Korea.

His research interests are Automatic Control, Image Processing, VLC, OCC, LED-ID, Location Based Service.

Jae-Sang Cha
../../Resources/kiiee/JIEIE.2020.34.12.001/au3.png

He Received the Ph.D degree from the Department of electronic Engineering, Tohoku University in Japan in 2000.

He worked for ETRI between 2002 and 2005.

He is currently Professor at the Department of electronics and IT Media Engineering, Seoul National University of Science & Technology, Seoul, Korea.

He is serving as the Technical Editor of the IEEE 802.15.7rl Task Group.

His research interests are LED-ID, OCC, LiFi, IoT/IoL, LBS ITS Wireless Home Network.