1. 연구의 배경 및 목적

안전문화는 한 기업의 안전수준을 나타내는 척도로서 안전성숙이라 불린다. Foster et al. (2013)은 한 기업의 안전문화 수준이 높아지기 위해서는 구성원의 자발적인 안전 이행의지와 책임감에 대한 문화인식 수준이 높아질 필요가 있으며, 아무리 훌륭한 안전향상을 위한 기술과 안전관리시스템이 뒷받침 된다 하더라도 적절한 수준의 안전문화 없이는 일정 목표 이상은 한계가 있다고 말한다. 지금까지 한국의 철도산업은 양적·기술적 측면에서 비약적인 발전을 이루었고 그러한 기술의 발전과 철도운영기관의 적극적인 안전수준 향상 노력 덕분에 철도사고 발생 또한 상당히 감소되었다. 아울러 한 층 더 발전된 철도안전 관리체계 구성을 위해 2012년 12월 철도안전법이 새롭게 개정되었다. 개정된 내용은 철도안전에 관련된 기술, 시스템, 인적·물적 자원, 직원 교육 및 자격 등에 대한 전반적인 관리를 효율적·신뢰적·투명하게 관리하도록 강조하고 있다.

철도안전관리체계의 구축은 분명히 철도의 종합적인 안전 향상에 크게 기여할 것임에 틀림없다. 그러나 어느 한계이상을 뛰어 넘는 안정목표 달성을 위해서는 개별 구성원들의 안전 인식 및 태도가 그러한 시스템 향상과 더불어 반드시 성장되어야 한다. 회사 내 지속적인 안전에 대한 교육 및 사람들 간의 의사소통 증대, 상호간의 신뢰 구축 노력은 사람들의 안전 인식 및 태도 향상에 좋은 방법들이다. 그러나 그런 방법들을 적용하기 위해서는 가장 먼저 조직의 정확한 안전문화 수준이 진단되어야 하며, 그것을 바탕으로 안전문화 수준을 끌어올리기 위한 적절한 처방이 내려질 수 있다. 결론적으로 철도분야에서는 “어떻게 사람들의 인식 및 태도 수준을 평가할 수 있는가?” 라는 질문에 적합한 대답을 내릴 수 있는 관련연구가 미흡한 실정이다(Lim et al. 2014). 이는 안전문화 평가가 이미 정착되어 있는 해양산업(Fleming, 2000; Hudson, 2007), 원자력(IAEA, 2002),항공(Gordon et al., 2007), 석유화학(Lardner, 2002; Filho et al, 2010), 광산(Foster and Hoult, 2013), 오일 및 가스 산업(Hudson, 2003) 분야와는 크게 대조를 이룬다.

이러한 관점에서 본 연구는 철도안전문화 성숙 평가의 신뢰성을 높이기 위해 설문구성 시 어떻게 평가 요인(여기서 요인이란 설문 문항을 그룹화 하는 그룹명을 말하며 주요인-보조요인 등으로 위계화 될 수 있음)을 구성하고, 각 요인별 문항들이 일관성을 나타내기 위한 방법이 무엇인지를 고민해 보았다. 실제로 적절한 절차(통계적 절차 포함) 없이 구성된 설문지를 통해 조사된 2012년 철도안전문화 설문 자료(TS 교통안전공단, 2012)를 활용하여 신뢰성(reliability) 및 요인분석(factor analysis)을 실시하였다. 신뢰성 및 요인분석은 요인 그룹과 각 요인별 설문문항 그룹이 얼마나 그 요인을 적절하게 설명하고 있는지 알아보기 위한 통계적인 방법이다. 분석을 통해 새로운 요인을 포함한 위계 제시 가능성을 검토하였다. 이러한 설문조사 사례를 통해 설문자의 최초 설문 기획 의도와 피설문자가 받아들이는 이해의 방향이 일부 다를 수 있음을 확인하는 것이 본 연구의 궁극적인 목적이다.

2. 기존 문헌 고찰

철도분야에서 안전문화 측정에 관한 연구는 아직까지 많이 활발하지는 않으나, 국내의 경우 한국철도공사와 같은 대규모 철도운영회사를 중심으로 자체적인 안전문화 수준 측정을 최근에 실시하고 있는 것으로 파악되었다. 그러나 실제 어떤 설문구성으로 실행되었고 그 결과가 어떤지는 공개되지 않고 있다. 철도운영기관과는 달리 TS (2011, 2012)에서 2011년도 처음으로 ‘철도안전문화 측정기준 및 프로세스 개발 연구’가 진행되었다.

그 연구에 따르면 평가요소를 ‘철도안전문화지표’라 정의하고 5개 지표를 제시하였다: ‘안전정책 및 안전리더십, 이해당사자간 의사소통, 변화관리 및 자기진단, 학습문화, 안전책임마인드’. 첫 번째 요소(지표)인 “안전정책 및 안전리더십”은 9개의 설문문항, “이해당사자간 의사소통”에는 10개, “변화관리 및 자기진단” 8개, “학습문화” 9개, “안전책임마인드” 7개 문항 그룹들로 구성되었다.

실제 설문단계에서는 철도안전에 관련된 발생 가능한 6가지 시나리오를 제시하고 각 시나리오별 설문문항을 재배열하여 리커드 척도 1을 “매우 그렇다” 척도 5를 “매우 그렇지 않다”로 정의하여 측정하였다. 각 요소별 수준에 대한 결과는 해당 질문별 평가 점수에 대한 평균값을 사용하여 그 문화 수준을 나타내었다. 본 연구는 국내 철도안전문화를 처음으로 측정했다는 측면에서 커다란 의미가 있다. 그러나 설문구성을 위한 요소를 추출해 내고 어떻게 구성하여야 하는지에 대한 통계적인 검토는 전혀 고려되지 않았다. 즉, 비록 다른 산업분야에서 제시된 다양한 평가요소들이 반영되지 못하였더라도 연구에서 제시된 5개 요소로 철도안전문화가 적절히 설명되기에 충분한지, 그리고 요소별 해당되는 문항 셋이 적절하게 구성되었는지에 대한 통계적인 검증은 누락되었다. 이러한 적절한 평가요인의 발굴 및 이들의 위계 구성, 적합한 설문문항의 그룹화에 대한 사전평가 없는 설문조사는 그 결과의 신뢰성을 약화시킬 수 있다.

영국의 철도안전규제국(Office of Rail Regulation)은 평가요소 위계를 설정하여 전반적인 철도안전관리에 대한 성숙도를 RM3 (Railway Management Maturity Model) 라는 평가 툴을 개발하여 사용하고 있다(ORR, 2011). 그러나 안전성숙도를 동일하게 5단계로 표현하여 결과를 나타낸다 하더라도 설문에 의한 평가로 이루어지기 보다는 안전심사관들이 각 요소별 해당되는 증거자료들을 토대로 직접 평가를 내리는 절차로써 설문방식의 평가 방법과는 근본적으로 다르다. 그러나 평가를 위한 평가요소들의 발굴 및 위계화는 오랜 현장 경험이 있는 전문가와 철도안전 심사관들이 함께 참여하여 만든 결과물이라는 측면에서 TS (2011, 2012)의 요인(지표) 구성 방법과는 대조된다.

이외에도 설문의 신뢰성을 높이기 위한 측면의 연구를 살펴보면 Filho (2010)는 설문조사가 실행되기 전에 문항들의 적합성을 검증하기 위한 소규모 예비실험(Pilot test)을 강조하고 있다. 또한 실제 설문 조사 중에도 질문별 응답자의 일관된 응답이 결여 될 수 있으므로 이의 신뢰성을 높이기 위해 1주일 이내 동일 인물에 대해 다른 문항 구성(단 모든 문항의 내용은 동일)으로 재 설문 조사를 실시(동형 신뢰도 실험, Alternate-form reliability test)하도록 하고 있다(Lammers et al., 2005). 보다 구체적으로 Frazier et al. (2013)은 5개 서로 다른 산업분야의 안전문화측정에서 설문요소의 위계 정립 및 각 요인별 설문문항 셋이 해당 요인을 얼마나 적절히 설명하고 있는지를 분석하여 설문요소의 위계를 재정립 하였다. 본 연구는교통안전공단에서 2012년 5개 평가 요소별 개발된 설문문항 셋이 실제로 그 평가 요소들을 얼마나 적절히 설명하는지 신뢰성 및 요인분석을 통하여 설문문항 구성의 적절성을 확인하는 주목적으로 하였다.

3. 철도안전문화 설문조사 데이터

교통안전공단은 2011년부터 철도운영기관의 안전문화 수준을 매년 조사하여 왔다. 참고로 기존문헌 검토에서 언급된 바와 같이 본 연구는 어떠한 소규모 예비실험이나 응답의 신뢰성 확인을 위한 동형 신뢰도 실험은 실행되지 않았다. 이로 인한 설문 요인별 문항구성의 적절성 확인은 실제 설문조사 이전에 보완되지 않은 채 실시되었으나 본 연구에서는 이러한 부분은 무시하기로 한다. 또한 동형 신뢰도 실험 미 실시로 인한 피 설문자의 설문응답은 비록 1회 응답이라 하더라도 시간차를 둔 다수의 응답과 동일할 것이라고 가정한다(즉, ‘응답의 일관성 있음’으로 가정). 이러한 조건에서 실시된 설문조사 자료 중 2012년 10.29~11.7일 열흘 동안 수행된 자료를 활용하여 설문문항 간의 신뢰도 및 요인분석을 실시한다(2011년 자료는 미확보로 활용되지 못함). 설문은 10개 철도운영기관에 소속된 분야별(안전, 관제, 운행, 차량, 시설, 전기 및 신호) 안전담당자 및 직원 182명을 대상으로 실시되었고, 83명(응답률 45.6%)이 이에 응답하였다. 응답자의 60.2%는 40대 이며, 과장 및 차장 직급은 전체의 60.2%로 상당수가 철도분야 경력자로 구성되었다. 분야별로는 안전분야 종사자 42.2%, 시설분야가 16.9%를 차지하였다.

설문 조사된 분야(요소)를 살펴보면 TS (2011, 2012)는 HE (2005) 보고서에서 제시된 HMRI의 철도안전문화 구성요소를 기반으로 5개 요인 그룹을 정의하였다: ‘안전정책 및 안전리더십(경영진의 안전관리 가시성, 경영진이 승인한 안전정책의 안전문화 적정성, 경영진의 안전관련 마인드 및 직장 내 분위기 조성 등을 설명)’, ‘이해당사자간 의사소통(직원이 안전 논의 참여 여부, 직원의 안전문화에 대한 경영진에의 접근성, 직장내 신뢰 문화, 안전정보 전달 시스템, 안전정보의 이해도, 안전 우려사항의 기록, 조사, 완화 절차, 안전우려사항에 대한 내부 보고체계 등을 설명)’, ‘변화관리 및 자기진단(직원의 변화관리 참여, 변화관리에 대한 직원 교육, 변화관리에 대한 직원 동기 부여 및 피드백에 대한 적극적 대응 등을 설명)’, ‘학습문화(사고조사 시스템, 사고에 따른 귀책 배정과정 및 징벌 절차, 사고원인에 대한 피드백 시스템 등을 설명)’, ‘안전책임마인드(안전문화/풍토 모니터링 시스템, 안전우선 행동, 성과 대 안전관리의 우선순위 평가, 이례사항 발생 시 안전책임의식 등을 설명)’. 각 그룹별 전체 43개의 설문문항으로 구성되어 있으며 실제 설문조사에 사용되었다..

4. 설문조사 분석

4.1 기술 통계(Descriptive statistics)

83명의 설문응답 자료를 토대로 각 질문별 기술통계 결과를 Table 1에 제시하였다. Q6은 43개의 질문유형 중 유일하게 반대로 응답(reverse-scored)되는 질문으로 작성되었다(Skeness<0, Q6. “경영진은 회사의 경영성과를 위해 안전보다는 회사의 이익을 우선시하도록 직원을 압력 한다.”). 즉, ‘5. 매우 그렇지 않다’라고 답변한 경우가 긍정적인 안전문화를 의미한다. 전체적으로 상당수의 응답자가 자신이 속해 있는 조직의 안전문화가 긍정적이라고 평가하였다. 6개의 설문문항을 제외하고 대부분 분포의 중간 모양이 뾰족한 분포 형태를 갖는다(Kurtotis<0).

다음으로 43개의 문항은 철도안전문화를 표현하기 위한 하나의 그룹으로 그것들이 얼마나 그 그룹을 잘 표현하는지를 알아보았다. 이러한 것을 통계적으로 ‘내적 일치도(internal consistency)’라고 한다. 이 개념을 계산한 값이 Cronbach alpha(α)이며, 0과 1사이의 값으로 정의 된다(1에 가까울수록 내적 일치도가 높음). 철도안전문화를 설명하는 전체 43개의 질문을 모두 사용한 신뢰도 값은 0.92로 상당히 높게 측정되어 전체적으로 설문문항들이 철도안전문화를 효과적으로 설명하고 있는 것으로 보인다. 이러한 결과는 Frazier et al. (2013)의 α=0.95 값과 상당히 유사한 범위 내로 관찰되었다. 또한 5개 요인에 대한 내적 일치도 분석결과 모두 높게 측정되었다. 각각은: ‘안전정책 및 안전리더십’에 대해서 α=0.67, ‘이해당사자간 의사소통’ α=0.78, ‘변화관리 및 자기진단’ α=0.82, ‘학습문화’ α=0.70, ‘안전책임 마인드’ α=0.56. 즉, 교통안전공단(2012)에서 시행된 철도안전문화 측정을 위한 5개 요인별 설문문항들은 각 해당 요인을 적절히 설명하는 문항들로 구성되었음을 의미하며, 결과적으로 요인 분석이 가능함을 뜻한다(즉, 문항들 간 공통개념을 설명할 가능성이 큼).

4.2 요인 분석(Factor Analysis)

앞서 언급된 높은 신뢰성(내적일치도) 값은 문항들이 해당 요인을 적절히 설명하는 것으로 판단되어 요인의 그룹과 그에 맞는 적절한 이름이 부여된 것으로 생각될 수 있다. 그러나 설문조사에서 동일한 개념을 측정하기 위해 설계된 리커드 척도 문항들이 정말 그런지 통계적 검증을 통해 알아볼 필요가 있다.

이를 위해서 설문문항들의 내재된 상관관계를 이용하여 요인을 구하고 이를 이용하여 문항들을 분류하고 그 그룹에 적절한 의미를 부여할 수 있는 요인분석이 도움이 된다. 물론 그 문항들의 내적 일치도는 Cronbach α로 측정된다.

요인분석이란 n개의 설문문항들이 상호 어떤 관계가 있는지 결정하여 문항들을 m개의 문항 그룹으로 나누는 것을 의미하며, 이는 문항에 내재된 관계를 설명할 상호 독립된 요소를 얻고 몇 개의 요소로 내재된 관계를 충분히 설명할 수 있는가를 말한다. 이해를 돕기 위해 다음과 같은 예제를 생각해 보자. 물리와 수학이라는 두 가지 요인이 있고, 각 요인 안에는 이들을 적절히 설명하는 설문문항들이 구성되어 있다. ‘물리’와 ‘수학’ 이라는 이름은 분명히 다른 영역으로 구분되나, 물리를 좋아하는 정도와 수학을 좋아하는 정도에는 분명히 어느 정도 양의 상관관계가 있을 수 있다. 즉, 두 과목 간에 ‘논리적인 문제해결’과 ‘수리적 사고’라는 속성은 공통적으로 존재한다. 결론적으로, 요인분석은 이러한 무엇인가 공통적인 속성을 찾아내고 그에 따라 문항들을 재 그룹화 하는 것을 말한다.

설문문항의 그룹화는 요인 부하(loading)를 사용하고 그룹별 적절한 이름을 붙이는 것이다. 요인분석의 기본 가정에 따르면 각 설문문항은 m개의 공통 잠재요소 f_m에 가중치 l의 곱한 값과 설명되지 않는 오차 ε의 합으로 나타낼 수 있다. 즉,

=

+

(1)

여기서, x_n 은 n개의 설문문항이며, l_nm은 n 번째 설문문항이 요소 f_m에 미치는 가중치를 나타낸다. 이러한 가중치를 통계적으로는 ‘요인 적재량(factor loading)’이라 부르며 요인적재치가 어느 정도 크기 이상이어야 유의하다고 본다. 이에 대한 기준은 표본의 수, 질문문항의 수 및 요인의 개수 등에 따라 변동되며, 세부 설명은 아래 ‘요인 부하’에서 설명한다. 요인분석을 위하여 사회 및 행동과학에서 광범위하게 사용되는 주 성분분석(Principal Component Analysis, PCA) 방법을 사용하였고, SAS 프로그램을 사용하였다. 비록 Ledesma and Valencia (2007)은 PCA 방법이 탐색적 요인분석(Exploratory Factor Analysis, EFA) 방법보다 요인 추출의 정확성 측면에서 신뢰성이 떨어진다고 언급하였으나 본 논문은 다른 요인분석 방법 간의 비교·검토가 목적이 아니므로 실용분야에서 널리 활용되는 PCA 방법을 사용하였다.

4.2.1 공통요인 추출(Common Factor extraction)

PCA와 EFA 모두 다변량(Multivariate) 통계분석 방법이며, 중요한 것은 어떤 것을 적용하든 적절한 공통요소 f_m을 추출하는 것이다. 예컨대, 과소추출(Under-extraction)은 잠재적인 모든 요인 그룹을 적절히 대변할 수 없고 이는 필요한 정보의 손실을 의미하며, 반면에 과대추출(Over-extraction)은 의미의 중복 및 해석의 어려움을 초래하여 모두 왜곡된 정보를 전달하게 된다(Tabachnik & Fidell, 2007). 지금까지 요소를 추출하는 다양한 방법들이 제안되었다. PCA와 마찬가지로 실무에서 가장 보편적으로 사용되는 방법은 Kaiser (1960)에 의해 개발된 K1 Rule (K1-Kaiser's eigenvalue-greater-than-one Rule)로서 eigenvalues (각 요인이 기존변수의 정보를 어느 정도 설명하는지를 나타내는 지표로서, 값이 크다는 것은 그 요인이 변수들의 분산을 잘 설명한다는 것을 의미함)가 1보다 큰 값을 공통요인으로 추출하게 된다. 몇 가지 문제점으로는 첫째, eigenvalue 값이 경계에 있는 경우 즉, 1.00과 0.99가 정말 서로 다른 결과를 갖기에 충분한가에 대한 논란이다. 둘째, 실제보다 과대 추출하는 경향이 있다. 이러한 문제점을 극복하고자 Cattell's Scree test (Cattell, 1966), Minimum Average Partial (Velicer, 1976) 테스트, Parallel Analysis (PA) (Horn, 1965)와 같은 대안들이 개발되었다. Zwick & Velicer (1986)는 특히 PA 방법이 가장 정확한 요인을 추출하는 것으로 보고하였다.

이러한 이슈에도 불구하고, 본 연구는 가장 보편적으로 사용되는 K1방법을 요인추출에 사용하였고 그 결과는 다음 Table 2와 같다. 실제 분석결과 eigenvalue가 1보다 큰 요인이 9개로 도출되었으나, 다음 절의 요인 적재량 분석결과 8 & 9번째 요인에서 적재량 0.6 이상 해당되는 설문문항이 없어 그것들을 제외한 7개 요인을 최종 공통요인으로 추출하였다. 최종적으로 본 안전문화 설문조사의 27%가 Factor 1로 설명되며, 전체적으로 65%가 7개의 factor로 설명이 가능하다. 이는 Frazier et al.(2013)과 비교하였을 때 상대적으로 높게 관측되었다(50%).

4.2.2 요인 부하(Factor loading)

요인 부하 적재량의 절삭(Cutt-off) 기준은 많은 연구자들에 의해 제시되었다. 대표적으로 Tabachnik & Fidell (2007)은 0.33을 적재량의 최소 기준으로 제안하였고, Frazier et al. (2013)은 이러한 기준을 그대로 사용하였다. 그러나 이의 배경에는 설문문항 수 대비 응답자의 비율이 270배 이상으로 충분한 표본 수가 확보된 경우로서 상대적으로 훨씬 적은 표본 수(설문문항 대비 응답자의 비율 1.93배)를 사용한 본 연구의 경우 그 기준을 그대로 사용하기에는 무리가 있었다. 이에 Haier et al. (1998, p.112 참조)은 PCA 방법을 사용한 요인 부하 연구에서 표본 개수 별로 유의한 해석을 위한 적절한 절삭 기준을 다음 Table 3과 같이 제시하였고 본 연구에서는 0.6을 유의한 기준(응답자 83명)으로 사용하였다. 그러나 설문문항 대비 응답자의 비율이 1.93배로 아주 낮음에도 불구하고 이러한 기준이 본 연구의 경우에 그대로 적용될 수 있는지는 향후 추가적인 검증이 필요하다.

Table 4의 요인 부하(factor loading)결과, 절삭기준 0.6을 사용했을 때 43개중 31개 설문문항 만이 유의한 것으로 분석되었다(분석결과 최소 적재 값은 0.42임. 즉, 절삭 기준 0.4 사용 시 모든 설문문항 유의함). 예컨대, 설문문항 34, 5, 19, 33, 28, 40, 1, 13번은 모두 Factor1에 그룹화 될 수 있음을 의미한다. 12개의 누락된 설문문항의 경우 다른 설문문항과 그 의미가 유사한 경우가 있었다. 예를 들면, 누락된 설문문항 ‘37. 회사 내 모든 직원의 안전에 대한 책무가 정의 되어 있다’ 와 ‘41. 자신의 역할과 책무를 이해하고 있다’는 모두 Factor 7의 ‘38. 본인과 다른 직원들의 안전에 대한 책임을 인식하고 있다.’ 와 비교하였을 때, 기본적인 역할과 책임 이해라는 측면에서 동일한 의미를 갖는 문항들로 분류된다. 마찬가지로 누락된 설문문항 ‘7. 경영진은 안전보다 회사의 이익을 우선시 할 경우, 야기되는 위험도를 이해하고 있다.’ 는 Factor 1의 ‘1. 경영진 및 관리자는 해당기관을 안전 시찰할 경우, 운영 구간의 위험도를 인식하고 있다.’와 위험도 인식이라는 측면에서 동일한 개념이다.

다음 Table 5는 요인 부하 결과를 토대로 문항들을 분류하고 그 그룹에 적절한 의미를 부여하고자 하였다. 이때, 그룹 내의 문항들이 공통적으로 의미하는 것을 따르되 다양한 산업분야에서 제시된 철도안전문화 성숙 평가 요소 이름을 최대한 활용하였다. 그러나 유사한 관점을 갖는 문항이 여러 그룹에 분류되거나 서로 다른 개념의 문항이 동일한 그룹에 묶여 있는 경우가 있어 명확히 그 그룹의 이름을 구분하기 어려웠다. 가령 Factor 1의 33번과 Factor 4에 속한 문항들은 사고조사라는 특징을 설명하는 공통개념이며, Factor 5의 문항들은 전달확인과 그렇지 않을 경우의 책임에 대한 이해를 언급하는 내용으로 결국 Factor 7 ‘개인의 책임’과 일맥상통한다. 이러한 원인은 두 가지를 생각해 볼 수 있다. 첫째, 설문문항 대비 충분치 못한 표본(Table 2는 표본수를 사용한 기준이며, 설문문항 대비 비율은 미 고려됨). 둘째, 비록 앞선 요인 부하 분석을 통해 어느 정도 유사한 개념의 문항들이 이미 누락되었다 하더라도 연구자가 설문문항을 작성할 때부터 의도치 않게 서로 다른 그룹에서 동일한 개념을 갖는 다수의 문항(즉, 표현만 다름)이 여전히 존재 할 수 있다. 따라서 설문문항의 설계단계부터 영역 간 명확한 설문문항이 작성되기 위하여 문헌고찰에서 언급된 바와 같이 소규모 예비실험과 동형 신뢰도 실험은 필수적이다(Lim et al., 2014).

마지막으로 재분류된 그룹(요인)별 내부 신뢰성 분석 결과 Factor 1에 대해서 α=0.82, Factor 2 α=0.71, Factor 3 α=0.77, Factor 4 α=0.51, Factor 5 α=0.65, Factor 6 α=0.71, Factor 7은 α=0.75 으로 여전히 높은 내부 신뢰도를 보장하고 있다.

5. 결론 및 토론

5.1 결론

다양한 산업분야에서 각 분야의 특성에 맞는 안전문화 측정은 많이 활성화 되어 있다. 철도산업분야 또한 일부 철도운영회사 및 교통안전공단에서 철도안전문화 성숙도를 평가하기 위한 연구가 진행되어 왔으나, 대부분 단순하게 평가지표(또는 요소)를 설정하고 그에 따른 설문문항을 작성하여 적용하고 있는 초보적인 단계에 머물러 있다. 즉, 평가의 신뢰성을 높이기 위해 설문구성 단계부터 고려해야할 평가요소 선택 및 검증, 예비실험, 해당 요소별 설문문항들의 요소에 대한 설명력을 확인하기 위한 통계적인 분석은 고려되지 못한 한계를 갖고 있다. 이러한 관점에서 본 연구는 2012년 철도안전문화 평가를 위해 실시된 데이터를 사용하여 요소별 설문문항들이 각각의 요인을 얼마나 잘 설명하는지에 대한 내적 일치도를 분석하였다. 이후 설문문항들의 내재된 상관관계를 이용하여 문항들이 기존에 분류된 요인에 맞게 적절히 분류되었는지 검증하기 위한 요인 분석을 실시하였다.

원래의 다섯 가지 요인의 설문문항 그룹에 대한 내적일치도 분석결과 ‘안전정책 및 안전리더십’에 대해서 α=0.67, ‘이해당사자간 의사소통’ α=0.78, ‘변화관리 및 자기진단’ α=0.82, ‘학습문화’ α=0.70, ‘안전책임 마인드’ α=0.56으로 대부분 높게 관측되었다. 즉, 각 설문문항 그룹이 해당 요인의 특성을 적절히 대변하고 있음을 의미한다. 그러나 설문조사에서 동일한 개념을 측정하기 위해 설계된 리커드 척도 문항들이 원래 주어진 속성이외에 다른 공통적인 속성이 없는지 또는 내적 신뢰성을 더 높이기 위한 문항들의 재 그룹화가 필요한지에 대한 의문은 여전히 남는다. 이를 확인하기 위해 요인 분석을 실시하였고, 분석결과 두 개의 요인이 추가로 도출되었다. 설문문항은 요인부하 결과를 바탕으로 일곱 개 요인별로 재 그룹화 하고, 적절한 이름을 부여하였다. 새로운 일곱 개 요인에 대한 문항들의 내부 신뢰성은 이전과 비교하였을 때 여전히 높게 분석되었다(α는 각 0.82, 0.71, 0.77, 0.51, 0.65, 0.71, & 0.75). 이것은 처음 설문문항 구성 체계와 실제 피 설문자가 받아들이는 이해의 방향에 차이가 있음을 보여준다. 향후 설문조사 시 문항 간에 내제된 공통 속성을 잘 파악하여 이에 맞는 그룹화와 적절한 그룹(요소)의 이름이 정해져야 이러한 차이가 줄어들 수 있을 것이다.

5.2 토론

본 연구는 설문문항 그룹이 해당 요인을 얼마나 잘 대변하고 있는지, 그리고 그룹을 정의한 기준이 다른 공통 속성을 갖고 있는지 내적 신뢰도와 요인 분석이라는 통계적인 방법을 활용하여 기존 설문조사 결과를 검증한다는 측면에서 의의가 있다. 그러나 연구결과의 정확성 및 활용성을 높이기 위해서는 다음과 같은 한계와 향후 추가적인 사항이 고려되어야 할 것이다.

(1)표본 수: 비록 본 연구는 Hair et al.(1998)이 제시한 절삭기준을 요인추출에 사용하였더라도 사용된 응답자의 수는 설문문항 대비 너무 적었다. 이것은 전체적인 통계분석 결과의 신뢰성을 저하시킬 우려가 있으며, 이것은 Table 5의 요인별 이름 재부여의 경우에서처럼 다른 그룹 간 동일한 개념을 갖거나 그룹 내 상반되는 문항들이 여전히 존재하여 그에 대한 어려움이 있었다. 즉, 표본의 수가 충분할 경우 하나의 공통 속성을 내포한 문항끼리 그룹 화될 가능성은 더욱 높아질 것이다.

(2)다른 그룹 간 문항들의 의미 유사성: 설문조사 문항은 처음부터 서로 다른 평가 분야로 분류되었음에도 불구하고 여전히 분야 간 동일한 개념을 갖는 문항들이 존재하였다. 비록 요인 부하의 결과가 이러한 동일한 개념을 갖는 문항을 식별하는데 조금이나마 역할을 한다 하더라도 궁극적으로 처음부터 잘못 설계된 문항들은 요인 부하의 해석을 어렵게 만들었다(즉, 그룹간의 경계 구분을 어렵게 함). 이러한 문제를 극복하기 위해 실제 설문조사 전 예비실험, 동형신뢰도 실험 등을 통하여 최대한 설문문항 구성의 정확성을 높여야 할 것이다.

(3)응답의 주관성: 본 연구는 리커드 척도로 응답된 결과를 사용하였다. 그러나 단순히 숫자로 표현된 응답은 비록 개인별로 생각하는 정도가 같다 하더라도 실제적으로 점수 부여에서 차이가 발생될 수 있다. 이의 대안으로 숫자로 표기된 리커드 척도 대신 상황을 구체적으로 기술한 상황 기술 답변(Unique descriptive answers) 방법이 응답자간 답변의 신뢰성을 높일 수 있을 것이다(ORR, 2011).

(4)다른 요인분석 방법의 비교: 본 연구는 일반적으로 가장 널리 쉽게 사용되는 PCA 방법과 K1기준을 적용하였다. 그러나 여러 연구에서 증명된 바와 같이 이러한 방법은 해석의 정확성과 신뢰성 측면에서 문제가 제기되었다. 따라서 분석방법 측면에서도 신뢰성을 확보하기 위해서는 EFA, PA방법과 같은 다른 개선된 통계분석 방법을 사용하여 추가적인 비교·검토가 필요할 것이다.