2.1 머신러닝의 개념

머신러닝(machine learning)은 Fig. 1에 도식화한 것과 같이 사용자가 명시적으로 프로그래밍하지 않고도 컴퓨터가 데이터를 통해 학습하여 문제를 개선, 해결할 수 있는 시스템을 개발하는 인공지능 분야로 기계가 데이터를 학습하고, 패턴을 식별하여 해당 학습을 기반으로 예측 또는 결정을 내릴 수 있도록 하는 것을 목표로 하는 인공지능 기술이다^{(Francois 2022)}. 머신러닝은 많은 양의 데이터를 의미 있는 정보를 갖는 데이터로 만들어 다양한 문제 해결을 위해 적용할 수 있어 이미지 및 음성인식, 자연어 처리, 추천 시스템 및 예측 분석 등 많은 알고리즘이 다양한 분야에 활용되고 있다. 이러한 머신러닝의 프로세스에는 크게 데이터 수집, 적절한 모델 파라미터 선택, 모델 학습 및 테스트, 성능 평가의 흐름으로 진행되며 데이터 수집과 적절한 모델 파라미터 선택은 머신러닝 알고리즘의 성능에 많은 영향을 미치는 단계이다. 머신러닝에 관련된 기존 연구들을 보면 어떠한 문제를 머신러닝 기술을 활용하여 해결하려고 할 때 문제에 대하여 많은 데이터와 다양한 입력 변수를 가질 때 머신러닝 모델의 성능이 향상된다고 알려져 있다^{(Hinton et al. 2006)}. 따라서 머신러닝 기술을 활용함에 있어서 많은 양의 데이터의 수집과 적절한 데이터 전처리 작업은 머신러닝 성능 향상에 큰 영향을 미칠 수 있다^{(Humphrey et al. 2016)}.

Fig. 1 Conceptual diagram showing the positioning of artificial intelligence relative to machine learning and deep learning

2.2 데이터 전처리 방법

데이터 전처리는 모델 학습 결과 향상을 위해 수집한 데이터를 머신러닝 알고리즘에 적용하기 알맞은 데이터로 변환하는 과정을 말한다^{(Joo et al. 2000; Seong and Hong 2022)}. 데이터 전처리 방법에는 입력 데이터의 특성을 고려하여 값이 잘못되었다고 판단되는 결측치나 이상치, 입력 데이터와 단위나 타입이 맞지 않는 데이터인 모순, 불일치 데이터를 제외하는 작업인 Data Cleaning, 중복된 데이터를 처리하는 Data Integration, 숫자형 데이터와 같이 넓은 범위를 가질 수 있는 데이터를 학습시킬 경우 데이터의 범위나 차원을 좁혀주는 작업인 요약(summarization), 정규화(normalization), 표준화(standardization), 집합화(aggregation) 등과 같은 Data Transformation, 많은 양의 데이터를 시간 단위로 축소하는 Data Reduction과 Data Balancing 등이 있다^{(Garcia et al. 2016)}.

본 연구에서는 콘크리트 슬럼프 플로 데이터와 레올로지 정수 데이터가 갖는 특성을 고려하여 재료분리 등으로 인해 발생할 수 있는 데이터 이상치를 제거하는 Data Cleaning 방법과 비교적 전체 데이터의 분포 범위가 넓은 데이터의 특성을 고려하여 데이터의 범위를 줄여주는 Data Transformation 방법을 사용하였으며, Data Transformation 방법 중에서도 입력 데이터에 일정한 소수(0.001)를 곱하여 데이터의 분포 범위를 축소시키는 방법과 데이터 정규화 작업을 사용하였다. 데이터 전처리 작업 여부에 따라 머신러닝 알고리즘을 기반으로 한 콘크리트 슬럼프 플로 데이터를 통한 레올로지 정수 예측 모델의 성능이 어떻게 변화하는지 분석하여 데이터 전처리 과정이 모델의 성능에 미치는 영향을 알아보고자 하였다.

2.3 모델의 예측 성능 평가

본 연구에서는 데이터 전처리 과정이 예측 모델에 미치는 영향을 분석하기 위해 회귀모델의 성능 평가 지표로 사용되는 평균절대오차(mean absolute error, MAE), 평균제곱오차(mean square error, MSE)와 결정계수(R-squared)를 모델의 예측 성능을 평가하는 지표로 사용하였다.

Fig. 2 Concept of mean square error (MSE): the average of differential area between predicted data and actual data

MAE는 실제값과 예측값의 차이를 절댓값으로 변환하여 데이터의 개수로 나누어 평균한 것을 말한다. Error에 절댓값을 취하기 때문에 오차의 크기를 그대로 반영할 수 있으며 에러에 따른 손실이 선형적으로 올라가거나 이상치가 많은 경우 사용하기 적합한 성능 평가 지표이다.

MSE는 모델의 출력값이 제대로 예측되었는지 평가하기 위한 지표로서 손실함수로 많이 사용되는 지표 중 하나이다. 실제값과 모델이 예측한 값의 차이를 제곱하여 평균화한 값이다. MAE와는 다르게 실제값과 예측값의 차이를 제곱을 하기 때문에 Fig. 2에 나타낸 것과 같이 모델이 도출한 예측값과 실제값 차이의 면적 평균과 같다고 할 수 있다. 입력 데이터에 이상치가 존재할 경우 MSE의 수치가 증가할 수 있다.

MAE, MSE는 오차의 크기를 표현한 지표로써 값이 작을수록 모델의 성능이 뛰어나다고 평가할 수 있으며 각각의 성능 지표를 식 (1), 식 (2)를 통해 산출할 수 있다. 식 (1), 식 (2)에서 $n$은 데이터의 개수, $Y_{i}$는 입력한 데이터의 값(실제값), $\hat{Y_{i}}$는 모델이 예측한 값이다.

결정계수는 회귀 모델의 적합도를 평가하는 데 주로 사용되며 주어진 데이터로부터 종속 변수가 얼마나 많은 변동성을 가지는지를 나타낸다. 결정계수는 식 (3)을 통해 산출할 수 있으며 1에 가까울수록 모델이 데이터를 잘 설명하는 것으로 볼 수 있다.

본 연구에서는 실제 레올로지 정수 데이터와 예측 모델이 도출한 레올로지 정수 예측 값을 사용하여 도출한 결정계수를 통해 예측 모델의 성능을 평가하고자 하였다.

또한 예측 모델이 일정한 수준의 성능으로 예측할 수 있는지 분석하기 위해 데이터 전처리 과정에 따른 콘크리트 슬럼프 플로 데이터를 통한 레올로지 정수 예측을 20회씩 반복하여 수행한 후 도출한 모델 성능 지표인 MAE, MSE의 최소값, 최대값, 평균값을 비교하였다.

3.1 데이터 수집

콘크리트의 슬럼프 플로 데이터를 기반으로 콘크리트의 레올로지 정수를 예측하기 위한 예측 모델의 학습 데이터는 실험을 통해 얻은 굳지 않은 콘크리트의 유동성 평가 데이터와 머신러닝 알고리즘으로 예측한 데이터를 다시 학습 데이터로 사용하는 두 가지 방법을 통해 수집하였다.

예측 모델 작성을 위한 실험계획은 Table 1에 나타내었다. 굳지 않은 콘크리트의 유동성 평가 데이터인 슬럼프 플로 테스트 데이터와 레올로지 정수 데이터 수집을 위한 실험계획은 일반강도 콘크리트의 배합 범위에서 진행하였으며 예측 모델 학습에 사용한 데이터의 개수는 667개이다. 또한 학습하는 데이터의 수에 따라 학습한 예측 모델의 성능도 영향을 받는 머신러닝 알고리즘의 특징에 따라 많은 학습 데이터 확보를 위해 실험을 통해 수집한 슬럼프 플로 데이터를 학습하여 예측한 레올로지 정수 데이터를 다시 학습 데이터로 사용하여 학습 데이터의 개수가 예측 성능에 어떠한 영향을 주는지에 대해 분석하였다. 데이터 전처리에 따른 예측 모델의 성능 분석과 학습 데이터의 품질 및 개수에 따른 예측 모델의 성능 분석을 위해 사용된 학습 데이터의 개수는 Table 2와 같다. 머신러닝 알고리즘 기반의 예측 모델의 학습을 위해 입력한 전체 데이터의 70 %는 모델의 학습을 위한 Train Set에 사용하였고 30 %는 모델의 성능 평가를 위한 Test Set에 사용하였다. 모델의 테스트를 위해 전체 학습 데이터의 30 %를 나눈 Test Set의 20 %는 예측 모델의 학습 중 주기적으로 모델의 성능을 평가하고 최적의 모델을 선택하기 위한 Validation Set으로 사용하였으며 이러한 데이터 셋의 비율은 Fig. 3과 같다. 예측 모델에 입력한 학습 데이터는 지정한 비율에 따라 무작위로 선택하여 Train Set, Test Set, Validation Set으로 나누었다.

Fig. 3 Concept of mean square error (MSE): the average of differential area between predicted data and actual data

3.2 예측 모델 알고리즘

콘크리트의 슬럼프 플로 데이터를 기반으로 레올로지 정수를 예측하기 위해 본 연구에서 사용한 머신러닝 알고리즘은 인공 신경망(artificial neural network, ANN)의 한 유형인 다층 신경망(multilayer perceptron, MLP)이다. 다층 신경망은 여러 개의 은닉층으로 구성된 인공 신경망 구조를 말한다. 다층 신경망은 기계 학습과 딥러닝 분야에서 주로 사용되고 있으며 더 깊은 신경망을 구성할수록 더 복잡한 문제를 다룰 수 있고 기계 학습 모델의 성능에도 영향을 줄 수 있다^{(Seong and Hong 2022)}. 본 연구에서 사용한 다층 신경망 모델의 세부 조건은 Table 3과 같다. 본 연구에서는 입력 데이터를 활용한 효율적인 모델의 학습을 위해 전체 학습 데이터를 16개의 배치로 나누어 학습시키는 확률적 경사 하강법을 적용하였으며 이에 따른 Optimizer는 Adam으로 설정하였다. 오차 함수는 MAPE(mean absolute percentage error rate)를 사용하였다. 전체 데이터의 학습 횟수는 1,000으로 설정하였고 각 레이어의 노드 개수는 512, 256, 128, 64, 32, 1로 감소시켰으며 모델의 과적합을 방지하기 위해 50 %의 뉴런이 무작위로 비활성화 되도록 Dropout을 적용하였다.

4.1 실험 결과 분석

콘크리트의 슬럼프 플로 데이터를 바탕으로 하는 레올로지 정수 예측 모델 작성에 입력할 데이터 수집을 위해 Table 1과 같은 실험을 진행하여 얻은 데이터를 Fig. 4와 Fig. 5에 나타내었다. 먼저 Fig. 4에 나타낸 콘크리트 슬럼프 플로 시험 결과를 보면 단위수량과 물시멘트비, 감수제 첨가량이 증가할수록 슬럼프 플로가 전체적으로 증가하고 있음을 알 수 있다.

Fig. 5에 나타낸 콘크리트의 레올로지 정수 중 정적 항복응력 측정 결과를 보면 슬럼프 플로 시험 결과와 유사하게 단위수량, 물시멘트비, 감수제 첨가량이 증가할수록 항복응력이 감소하였다. 다만, 높은 단위 수량, 물시멘트비를 갖는 콘크리트 배합에서 감수제 첨가량이 많아질 경우 항복응력이 감소하지 않고 증가하는 것을 확인할 수 있는데 이러한 결과는 육안으로 판단할 수 없었던 콘크리트의 재료분리 경계 또는 재료분리로 인해 정상적인 레올로지 측정이 불가능하여 나타난 결과로 판단된다^{(Lee et al. 2020)}. 이러한 실험을 통해 굳지 않은 콘크리트의 슬럼프 플로 데이터와 레올로지 정수 데이터를 수집하였으며, 수집한 667개의 데이터 중 EIS, 배합 요소, 슬럼프 플로, 레올로지 정수 변화 경향 등을 통해 재료분리 경계 또는 재료분리로 판단된 데이터들은 전처리 과정인 Data Cleaning 작업을 통해 제외하였다.

Fig. 4 Slump flow test results according to mixing factors

Fig. 5 Static yield stress according to mixing factors

4.2 데이터 전처리 과정이 예측 모델에 미치는 영향

데이터 전처리 과정이 머신 러닝 알고리즘 기반의 예측 모델 성능에 미치는 영향을 분석하기 위하여 데이터 전처리 과정에 따른 콘크리트 슬럼프 플로 데이터를 통한 레올로지 정수 예측 모델의 성능을 비교 분석하였으며 전처리 과정에 따른 모델의 분류는 Table 4와 같다.

Fig. 6은 데이터 전처리에 따른 굳지 않은 콘크리트의 레올로지 정수를 예측하는 모델의 성능을 MAE 지표를 통해 평가한 결과를 도식화한 것이다. Case 1과 Case 2를 비교하였을 때 Data Cleaning 작업을 진행함에 따라 모델의 예측 성능이 소폭 개선되는 것으로 판단된다. 특히 데이터 전처리 기법 중 Data Transformation 전처리 여부에 따라 MAE 지표가 차이가 큰 것을 확인할 수 있었다. Data Transformation 기법과 Data Cleaning 기법을 함께 적용한 Case 3, 4, 5, 6, 7의 경우 모델의 성능이 크게 개선되었으며 그중에서도 Data Normalization 기법과 Data Cleaning 기법을 함께 적용한 Case 6에서 가장 우수한 성능을 가지는 것으로 판단된다. 두 가지 데이터 전처리 기법을 함께 적용한 모델에서 MAE 지표의 최솟값, 최댓값, 평균값의 차이가 감소하는 것을 볼 수 있는데, 이는 적절한 데이터 전처리 과정 수행이 예측 모델의 균일한 수준의 결과 도출에 영향을 준 결과로 판단된다. 다만 Data Cleaning, Summarization, Normalization 세 가지 전처리 기법을 모두 적용할 때 모델의 성능이 소폭 감소하였다.

Fig. 7은 데이터 전처리에 따른 굳지 않은 콘크리트의 레올로지 정수를 예측하는 모델의 성능을 MSE 지표를 통해 평가한 결과를 도식화한 것이다. MSE 지표를 통한 모델의 성능 평가 또한 유사한 결과를 나타내는 것을 알 수 있다. MSE 지표를 통한 모델의 성능 평가 결과 Data Transformation 전처리 여부에 따라 예측 모델의 성능이 크게 개선되었으며 Data Transformation 기법과 Data Cleaning 기법을 함께 적용하였을 때 예측 모델의 성능 개선 효과가 큰 것을 알 수 있다. 그중에서도 Normalization과 Data Cleaning을 함께 적용한 Case 6의 성능이 가장 우수한 것으로 평가되었다.

Fig. 8은 데이터 전처리에 따른 굳지 않은 콘크리트의 레올로지 정수를 예측하는 모델의 예측 결과와 실제 굳지 않은 콘크리트의 레올로지 정수 데이터와 모델이 예측한 레올로지 정수 데이터 사이의 결정계수와 모델의 예측값과 실제값의 관계를 도식화한 것이다. 실제 콘크리트의 레올로지 정수 데이터와 모델이 예측한 레올로지 정수 데이터 사이의 결정계수가 클수록 모델이 더 정확하게 예측한 것으로 판단하였다.

결정계수를 통한 모델의 성능 평가 결과는 MAE, MSE를 통해 평가한 결과와 다른 결과를 나타내는 것을 알 수 있었다. Case 1의 경우 MAE, MSE 지표는 매우 큰 값을 가졌으나 결정계수는 상대적으로 높은 값을 가지는 알 수 있다. MAE와 MSE의 값이 큰 것은 모델이 예측을 정확하게 하지 못하여 실제 값과 예측값의 오차가 크게 발생하는 것으로 예측 정확도가 떨어지는 것을 의미한다. 반면 결정계수는 모델이 종속 변수의 변동성을 얼마나 잘 설명하는지를 나타내는 지표로 값이 클수록 모델이 데이터를 잘 설명한다는 것을 의미한다. 그러나 Case 1처럼 결정계수가 높더라도 MAE와 MSE가 크다면 모델이 정확하게 예측하지 못하고 있다고 판단할 수 있다. 또한 Case 1의 경우 결정계수의 최솟값, 최댓값, 평균값의 차이가 크게 나타나고 있는데 이는 모델이 여러 차례 반복해서 학습할 때마다 예측 성능이 달라지는 것을 의미한다. Case 1은 어떠한 전처리도 이루어지지 않은 경우로 학습에 사용된 데이터에 이상치가 많이 포함되어 나타난 결과로 판단된다.

Fig. 6 Model performance evaluation by mean absolute error (MAE) according to data preprocessing

Fig. 7 Model performance evaluation by mean square error (MSE) according to data preprocessing

Fig. 8 Model performance evaluation by R-squared and prediction results for data preprocessing

Fig. 9 Loss according to epoch in Case 2 (data cleaning)

Case 2 또한 Case 1과 같이 MAE와 MSE는 크고 결정계수의 경우 상대적으로 높으며 결정계수의 최솟값, 최댓값, 평균값의 차이가 크게 나타나고 있다. MAE와 MSE를 통한 성능 평가 결과 Data Transformation 처리를 한 Case에서 성능 평가 지표들이 크게 개선되는 것으로 보아 Data Cleaning을 통해 이상치를 제거하였으나 학습에 사용된 데이터의 분포가 상대적으로 크기 때문에 결정계수는 감소한 것으로 사료된다.

Fig. 9는 Case 2의 학습 반복 횟수에 따른 오차를 나타낸 것이다. Case 2의 경우 학습을 반복할수록 학습 데이터의 오차는 줄어들지만 테스트 데이터의 오차는 감소하다 다시 증가하여 학습 데이터의 오차보다 커지는 것을 알 수 있다. 이러한 결과는 과적합(overfitting)이 발생한 것으로 과적합이 발생하는 경우 학습 데이터에서는 정확한 예측이 가능하지만 새로운 데이터(test dataset)를 입력할 때 예측 성능이 떨어지게 된다. 과적합은 정규화 기법과 같이 모델에 입력한 학습 데이터를 적절하게 가공하는 것으로도 개선할 수 있다고 알려져 있다. Data Transformation을 함께 적용한 Case 5, 6, 7에서 결정계수가 증가하고 결정계수의 최솟값, 최댓값, 평균값의 차이도 감소하는 것도 입력 데이터의 가공을 통해 모델의 예측 성능이 개선된 결과로 판단된다.

Case 3과 Case 4의 경우 MSE와 MAE는 감소하였으나 결정계수 또한 감소하고 있는 것을 알 수 있다. MAE와 MSE가 작은 것은 모델이 예측한 값과 실제 값의 오차가 작은 것을 의미하지만, 결정계수가 작다는 것은 모델의 데이터 설명력이 낮다는 것으로 모델의 예측이 부정확하거나 데이터를 잘 설명하지 못하고 있다는 것을 의미한다. 따라서 MAE와 MSE가 작지만 결정계수가 작은 Case 3, 4의 경우 모델의 성능이 여전히 부족한 것으로 판단된다.

Data Transformation과 Data Cleaning을 함께 적용한 Case 5, 6, 7의 경우 MSE와 MAE도 감소하였고 결정계수 또한 증가한 것을 알 수 있다. 또한 모델이 예측한 값과 실제 값을 그림으로 도식화하였을 때 데이터의 오차가 감소하고 데이터의 분포도 좁아진 것을 알 수 있다. 이는 데이터 전처리가 머신러닝 알고리즘 기반의 예측 모델 성능에 많은 영향을 주며 이상치 제거와 적절한 데이터 가공이 함께 이루어질 때 모델의 성능을 개선할 수 있을 것으로 판단된다.

4.3 학습 데이터가 예측 모델의 성능에 미치는 영향

앞서 데이터 전처리가 예측 모델의 성능에 미치는 영향을 분석하였을 때 이상치 제거와 데이터 가공이 모델의 예측 성능 개선에 도움을 주는 것으로 판단하였고 이에 따라 머신러닝 알고리즘을 기반으로 하는 예측 모델에서 학습 데이터가 예측 모델의 성능에 미치는 영향을 분석하기 위해 학습 데이터의 결정계수에 따른 예측 결과를 분석하였다.

Fig. 10은 결정계수를 기준으로 이상치를 제거한 학습 데이터를 나타낸 것이다. 결정계수에 대한 절대적인 평가 기준은 없으나 공학 분야에서는 결정계수가 0.7 이상일 때 높은 설명력을 가지는 것을 의미한다^{(Cohen 1988; Kim et al. 2022)}. 재료분리 등에 의한 이상치를 제거한 학습 데이터에서 데이터의 분포를 좁혀 결정계수를 높인 데이터를 학습 데이터로 사용하였을 때의 예측 성능을 분석하고자 하였다. 이 때 데이터를 이상치로 판단하여 제거하기 위해 Fig. 10(a)와 같이 전체 데이터 분포의 범위에서 벗어나는 데이터가 무엇인지 파악한 후 각각의 데이터의 분포가 범위 밖으로 벗어나는 이유를 배합요소, EIS, 데이터의 경향성 변화 등을 근거로 재료분리로 판단되거나 동일한 배합의 다른 데이터와 비교하여 결괏값이 크게 차이가 나 실험적 오차로 판단되는 경우 제거하였다.

예측 모델에 입력한 학습 데이터의 결정계수에 따른 예측 모델의 성능 평가 결과를 Fig. 11에 나타내었다. 학습 데이터의 결정계수가 높아질수록 예측 모델의 성능 지표 또한 개선되는 것을 알 수 있었다. 결정계수가 증가함에 따라 MAE, MSE 지표는 감소하고 모델이 예측한 예측값과 실제값 사이의 결정계수는 증가하는 것으로 보아 예측 모델의 학습 데이터의 품질이 예측 성능에 영향을 미치는 것으로 판단된다. 다만, 학습 데이터의 결정계수가 0.85일 때 예측 모델의 성능 지표 최솟값, 최댓값, 평균값의 차이가 감소하다 다시 증가하는 것을 볼 수 있는데 이는 학습 데이터의 결정계수를 높이기 위해 과도하게 데이터를 삭제하여 나타난 결과로 사료된다.

Fig. 10 Training data according to R-squared

Fig. 11 Performance evaluation results of the prediction model according to R-squared of the learning data

Fig. 12 Predictive performance evaluation results of the model learned using the model’s predicted data

Fig. 13 Prediction results when the data predicted by the model are used as training data

Fig. 11은 Fig. 10과 같이 입력 데이터의 R-squared를 다르게 하였을 때 예측 모델의 성능을 MAE, MSE, 모델이 예측한 예측값과 실제값 사이의 결정계수를 통해 평가한 결과를 나타낸 것이다. 학습 데이터의 결정계수 변화에 따른 예측 모델의 성능 평가 결과를 나타낸 Fig. 11과 비교하였을 때 예측 모델이 예측한 값을 다시 학습 데이터로 사용한 모델의 예측 성능이 더 높게 평가되는 것을 알 수 있었다. 이는 학습 데이터의 개수가 증가한 것에 영향을 받은 것으로 판단되며 모델이 예측한 값의 정확도가 높아 다시 학습 데이터로 제공하였음에도 성능이 저하되지 않고 개선된 것으로 사료된다. Fig. 12는 모델이 예측한 결괏값을 다시 학습 데이터로 사용하였을 때의 예측 모델의 성능을 MAE, MSE, 모델이 예측한 예측값과 실제값 사이의 결정계수를 통해 평가한 결과를 나타낸 것이다. 학습 데이터의 결정계수 변화에 따른 예측 모델의 성능 평가 결과를 나타낸 Fig. 11과 비교하였을 때 예측 모델이 예측한 값을 다시 학습 데이터로 사용한 모델의 예측 성능이 더 높게 평가되는 것을 알 수 있었다. 이는 학습 데이터의 개수가 증가한 것에 영향을 받은 것으로 판단되며 또한 모델이 예측한 값의 정확도가 높았기 때문에 다시 학습 데이터로 제공하였음에도 성능이 저하되지 않고 개선된 것으로 사료된다. Fig. 13은 모델이 예측한 결괏값을 다시 학습 데이터로 사용하였을 때 모델이 예측한 결괏값과 실제값을 도식화한 그림이다. 모델이 학습할 때 사용한 데이터의 결정계수가 높을수록 모델이 예측한 값을 다시 학습 데이터로 활용하였을 때 예측 정확도가 높아지는 것을 알 수 있었다. Fig. 10과 Fig. 13을 통해 학습 데이터의 결정계수가 커질수록 그리고 학습 데이터의 개수가 증가할수록 모델이 예측한 값의 분포가 좁아지는 것을 확인하였다. 위의 분석 결과들을 통해 머신러닝 알고리즘을 기반의 굳지 않은 콘크리트의 레올로지 정수 예측 모델에서 학습 데이터의 적절한 전처리 작업과 가공, 그리고 학습 데이터의 품질이 모델의 예측 성능에 많은 영향을 주는 것으로 분석하였다.