최근 호

Journal of Social Science - Vol. 35 , No. 1

[ Article ]
Journal of Social Science - Vol. 33, No. 4, pp. 21-42
Abbreviation: jss
ISSN: 1976-2984 (Print)
Print publication date 31 Oct 2022
Received 31 Aug 2022 Revised 28 Sep 2022 Accepted 14 Oct 2022
DOI: https://doi.org/10.16881/jss.2022.10.33.4.21

델파이 분석을 통한 보건복지 분야 사회복무요원 직무교육의 체제 개선방안 연구: 체제이론을 중심으로
문영임 ; 박형준 ; 손영은 ; 주연선
건국대학교
공주대학교
한국보건복지인재원
충남대학교

Evaluating Education Programs for the Social Service Corps in Health and Welfare Using the Delphi Method: A Study Based on the Systems Theory
Youngim Moon ; Hyoung Joon Park ; Youngeun Son ; Yeonsun Joo
Konkuk University
Kongju National University
Korea Human Resource Development Institute for Health and Welfare
Chungnam National University
Correspondence to : 박형준, 공주대학교 사범대학 강사, 충청남도 공주시 공주대학로 56, E-mail : phjioe@gmail.com
문영임, 건국대학교 행정대학원 겸임교수(제1저자)손영은, 한국보건복지인재원 전임교수(공동저자)주연선, 충남대학교 사회복지학과 박사수료(공동저자)


초록

본 연구는 보건복지 분야 사회복무요원 직무교육 체제의 개선방안을 탐색하기 위하여 전문가의 의견을 수렴한 델파이 분석을 통하여 수행되었다. 이를 위해 사회복무요원 직무교육 체제 내에서 핵심적인 이해관계자로 기능하고 있는 교수자, 교육운영자, 복무기관 담당자, 그리고 사회복무요원 직무교육 관련 연구자 등 전문가 50명을 대상으로 2회의 델파이 조사를 실시하였다. 체제이론적 접근을 활용한 분석 결과, 인적자원 및 물적자원 영역의 투입요소, 교육내용과 방법, 운영 영역의 과정요소, 교육의 질과 인식 및 현업적용도에 대한 평가인 산출요소, 교육의 질 개선을 위한 환류요소별 19개의 세부 개선과제가 도출되었다. 본 연구는 사회복무요원 대상 직무교육의 개선을 체제적 관점에서 모색하였다는 점에서 기존의 연구와 차별성을 가지며, 이러한 과정을 통해 밝혀낸 결과를 토대로 실제 교육현장의 의사결정권자에게 정책적 시사점을 제시하는 데 의의가 있다.

Abstract

This study evaluates education programs for the social service corps in the field of health and welfare using the Delphi method that draws upon the opinions of a panel of experts. The panel comprised 50 experts viz. faculty, administrative staff, management at social service institutions, and researchers, all of whom play major roles in the education system for the social service corps. We surveyed the panel of experts over two rounds and arrived at 19 improvement plans covering four different components viz. input, process, output, and feedback, based on the systems theory. The results from this systematic perspective, which is novel as it studies on-the-job training for the social service corps, would provide policymakers with implications that contribute to improving education for the corps.


Keywords: Social Service Corps, On-the-job Training, Systems Theory, Delphi Method
키워드: 사회복무요원, 직무교육, 체제이론, 델파이 조사

1. 서 론

직무교육이란 조직의 구성원들이 지식, 기술, 태도 등 직무 관련 전문성을 갖추어 해당 업무의 능률을 높이고 양질의 서비스를 제공하도록 하는 제반 교육활동을 의미한다(김미혜, 육홍숙, 정명희, 2015). 1973년 제정된 공무원교육훈련법에 따르면 국민에 대한 봉사자로서 공무원이 갖추어야 할 자세와 효과적인 직무수행을 위한 기술 및 능력을 배양할 목적으로 직무교육의 필요성을 규정하였다. 이후 여러 차례 개정과정을 거치며 공공분야에서의 직무교육은 더욱 강조되었는데, 조직에서 요구되는 정신자세, 지식, 기술, 능력 등을 키워 조직구성원의 행태변화를 유도하는 인위적이고 지속적인 과정으로서 이러한 직무교육은 새로운 시대의 출현 및 조직 환경의 급격한 변화에 따라 그 필요성이 갈수록 증가하고 있다(천대윤, 2003).

사회서비스 제공 주체에 대한 직무교육이 나날이 강조되는 오늘날, 보건복지 분야에서는 특히 이들 주체 중 중요한 한 축인 사회복무요원을 대상으로 하는 직무교육에 관심이 커지고 있다. 생애주기별 국민의 삶의 질 개선을 목적으로 제공되는 사회서비스 수요가 증가함에 따라 비현역 병역자원을 활용하는 사회복무제도가 시행되고 있으며, 이들의 역할은 사회서비스 수요자와 가장 밀접한 행정 일선에서 복무를 수행한다는 점에서 매우 중요하다. 또한, 전체 사회복무요원의 규모는 2021년 기준 약 3만 5천 명으로 지난 5년간 7천 명가량 증가하였고, 이 중 보건복지 분야에 배정되는 인원도 1만 2천 명에서 1만 7천 명 수준으로 그 비율이 지속적으로 확대되었다(손영은, 박형준, 주연선, 문영임, 2021).

이에 한국보건복지인재원에서는 병역법 제33조2에 근거하여 보건복지 분야에서 근무하고 있는 사회복무요원을 대상으로 직무교육을 실시하고 있다. 복무기간 초기에 이루어지는 기본직무교육은 2008년 첫 시행 이후 매년 꾸준한 증가추세를 보이며 2020년까지 지난 13년간 약 13만 2천 명이 교육을 수료하였으며, 복무 1년 이후 실시하는 심화직무교육의 경우에도 2013년부터 신설된 이래 매년 성장세를 나타내며 최근까지 약 3만 2천 명의 수료생을 배출하였다(손영은 외, 2021). 이렇듯 보건복지 분야 사회복무요원을 대상으로 하는 직무교육의 양적 성장과 더불어 최근의 급변하는 환경에 적절히 대응하기 위해서는 교육의 내용과 방향성에 대한 검토를 바탕으로 직무교육의 질 개선이 필요하다.

지금까지 진행된 사회복무요원과 관련된 연구는 사회복무요원의 복무과정에서의 경험과 행동, 직무 만족, 그리고 이러한 복무 실제가 이들이 제공하는 서비스의 질에 미치는 영향 등(김대삼, 2013; 김대삼, 김수정, 2012; 김수정, 이전, 2016; 이경희, 박정윤, 2018)을 중심으로 이루어져 왔다. 일부 연구자들을 중심으로 직무교육의 효과(김명희, 이영환, 전희준, 2010; 신영일, 최종진, 정의식, 2020; 이승훈, 유병민, 2015; 이전, 권선진, 임정기, 2014)를 탐색하는 시도가 있었으나, 현행 사회복무제도에 대한 분석과 복무현장에서 이루어지는 현상을 파악하는 노력에 비해 사회복무요원을 대상으로 하는 직무교육과 관련된 실증적인 연구는 여전히 부족한 실정이다. 특히 보건복지 분야 사회복무요원을 둘러싼 직무 환경이 급변하고 있음에도 이들을 대상으로 하는 기존의 직무교육 체제에 대하여 평가하고 개선방안을 탐색한 연구는 지금까지 거의 이루어지지 않았다.

이에 본 연구에서는 ‘보건복지 분야에 종사하는 사회복무요원을 위한 현재의 직무교육 체제를 어떻게 개선할 수 있을까?’라는 연구 질문을 설정하고, 전문가 델파이 기법을 통해 보건복지 분야 사회복무요원 직무교육 체제의 개선방안을 탐색하였다. 지금의 사회복무요원 직무교육 체제 내에서 핵심적인 이해관계자로 기능하고 있는 교수자, 교육운영자, 복무기관 담당자, 그리고 사회복무요원 직무교육 관련 연구자를 본 연구의 조사 집단에 포함하여 해당 교육에 대한 이해도와 대표성이 높은 여러 대내·외 전문가로부터 직무교육 체제 개선방안을 도출하고자 하였다. 본 연구는 사회복무요원 대상 직무교육의 개선을 체제이론적 관점에서 모색하였다는 점에서 기존의 연구와 차별성을 가진다. 체제이론은 사회복무요원 직무교육을 제공하는 교육조직의 기능을 단편적인 접근에서 벗어나 종합적이고 전체적인 차원에서 파악하는 데 유용하며, 이러한 관점을 바탕으로 발굴한 개선방안은 실제 교육현장의 의사결정권자에게 정책적 시사점을 제시한다는 점에서 의의가 있다.


2. 이론적 배경
1) 사회복무요원 직무교육

사회복무요원 직무교육의 체제를 살펴보기 이전에 직무교육의 개념적 정의를 검토할 필요가 있다. Knowles(1996)는 직무교육을 조직구성원들이 맡은 직무에 직접적인 도움이 되는 교육으로서 직무와 관련된 지식과 기술을 함양하는 교육이라고 정의하였다. 또한, 사회에서 직무를 수행하면서 계속적이고 주기적인 교육훈련을 실시하는 것으로, 조직구성원의 인격 및 태도 형성과 관련되는 지식과 업무수행에 직접적으로 필요한 기술을 습득하게 하는 교육을 말한다(박성열, 남민우, 김학섭, 최종일, 2005). 사회복무요원은 국가, 지방자치단체, 사회복지시설의 공익목적에 필요한 보건, 의료, 복지 등 사회서비스 및 행정 지원 업무를 수행하는데, 사회복무요원의 직무수행에 있어 직무교육은 직무역량을 강화하는 중요한 요인이다. 특히, 사회복무요원은 직무교육을 통해 근무기관의 직무에 대해 이해하고 서비스 대상자에게 제공할 실천기술과 태도를 익히게 되어 실제 서비스의 질에 기여하는 중요한 동인이 된다.

사회서비스 분야에서 복무하는 사회복무요원을 대상으로 수행하는 직무교육은 보건복지 분야 직무수행능력 배양을 위한 교육으로 보건복지부로부터 위탁을 받아 한국보건복지인재원이 전국 6개 사회복무교육센터에서 실시하고 있다(손영은 외, 2021). 기본직무교육은 복무기간 초기인 군사훈련 후 3개월 이내에 노인·장애인 수발 및 이동 보조방법 등에 대한 기본 이해를 교육하는 과정으로 사회복지과정, 보건의료과정, 공무원보조과정의 3개의 과정으로 구분된다. 심화직무교육은 복무기간 1년 전후 일부 영역의 사회복무요원을 대상으로 심층적인 직무기술과 마인드 형성을 위한 보수교육의 성격으로 이루어진다. 사회복무요원이 현업적용을 높이고 현장에서 제공하는 서비스의 질을 담보하기 위해서는 업무배치 전 보건복지 분야에 대한 사전교육은 필수적이다. 이러한 제도와 원칙에 근거하여 사회복무요원 제도가 정착되는 데 중요한 역할을 한 것이 직무교육의 내실화라고 볼 수 있다(이승훈, 2015). 직무교육을 통해 사회복무요원의 역량을 강화하고 직무수행 수준을 높이는 성과가 도출된 바 있다(한익희 외, 2014).

2) 사회복무요원 직무교육 관련 선행연구

사회복무요원의 직무에 대한 선행연구는 사회복무제도의 도입에 대한 연구(강혜규 외, 2007; 최현수, 2007), 사회복무요원 배정체계와 직무관리에 관한 연구(한익희 외, 2014; 황운성, 최현수, 노수현, 2015), 사회복무요원의 직무만족(김대삼, 김수정, 2012; 한윤섭, 2003), 조직문화특성(김대삼, 2013), 심리적 적응(박혜경, 2019)등에 대한 연구들이 있다. 사회복무요원 직무교육과 관련하여는 교육성과에 대한 연구(이전 외, 2014), 재미와 학습몰입에 관한 연구(이승훈, 유병민, 2015), 직무교육 중장기 발전방안 연구(손영은 외, 2021), 성과와 변화요구에 대한 연구(주연선, 박형준, 문영임, 손영은, 2022)가 이루어진 바 있으나, 대인 서비스를 위주로 제공되는 보건복지 분야의 특성상 사회복무요원이 갖추어야 할 직무에 대한 소양과 전문적 지식이 중요함에도 이를 지원하는 교육체제가 적절한지에 대한 평가는 이루어지지 못하였으며 교육체제 내에서 어떤 환경 변화와 요구사항들이 있는지를 탐색한 연구는 부족하다. 유사분야의 교육 효과성이나 성과에 대한 연구들을 살펴보면 사회복지사 직무교육(강상훈, 2020; 강현주, 조상미, 2010; 안정선, 진혜경, 윤철수, 2006), 사회복지전담공무원의 직무교육(전선영, 윤정혜, 안정선, 2011), 요양보호사의 직무교육(이성덕, 2014; 황경애, 임선옥, 2021) 등 여러 연구가 수행된 바 있다. 이렇듯 다양한 분야에서 체계적 고찰을 통한 개선방안을 제시하고 있는 것과 비교하여 사회복무요원 직무교육의 효과성이나 성과에 관한 고찰은 상당히 제한적임을 알 수 있다.

인적자원을 개발하기 위한 교육훈련이 효과를 발휘하고 해당 분야에의 적용 가능성을 높이기 위해서는 교육참가자가 학습한 것을 실제 업무에 활용할 수 있도록 설계하는 것이 중요하다(Noe & Tews, 2008). 최근 직무교육을 둘러싼 법적, 제도적 환경 변화를 반영하고 보건복지 분야에 대한 실질적 이해를 제고 할 수 있는 실효성 있는 교육방안을 마련하기 위해서는 교육체제를 둘러싼 다양한 이해관계자의 의견 청취가 중요한 시점이다. 이에 본 연구는 델파이 연구방법을 활용하여 사회복무요원의 직무교육에 실질적으로 적용할 수 있는 교육체제 개편방안을 도출해보고자 한다.

3) 이론적 모델로서 체제이론

교육행정에서 체제이론이란 교육을 하나의 체제로 보고 구성요소들의 구조 및 기능을 파악하여 교육조직을 체계적으로 이해하려는 접근방식이다. 체제이론은 교육조직의 관리와 운영을 계획하고 실천하는데 널리 사용되고 있다. Kaufman(2003)은 체제를 특정한 목적을 위해 상호작용적으로 기능하는 부분들의 집합체라고 하였고, Luthans와 Paul, Baker(1981)는 상호 관련되고 의존적인 요소로 구성되어 상호 작용을 통해 통일된 전체를 이룰 수 있다고 정의하였다. Dick과 Carey, Carey(2005)는 체제를 공동목적 달성을 위해 협력하는 상호 관련된 구성요소의 집합체라고 정의하고 경계선에 의해 상위체제인 환경과 구분된다고 하였다. 즉, 교육학에서의 체제는 목적달성에 필요한 부분이나 구성요소가 상호 간에 유기적으로 상호작용하는 집합체로 정의할 수 있다. 체제이론은 교수설계나 교수체제 개발 분야의 이론적 체계 정립에 결정적 역할을 한 이론으로서 시청각 커뮤니케이션이 개념적으로 확산되던 1950·60년대 도출되는 결과나 산출물을 강조하던 관점에서 교수법에 과정 중심의 관점으로 변화하면서 시작되었다.

체제론적 접근에서는 교육조직을 환경과 상호작용하는 것으로 보고 있으며 투입, 전환, 산출의 과정으로 간주한다(신현석, 2006; 이만희, 2003; 최금진, 신동은, 2012; Astin, 1993; Conrad & Wilson, 1985). 교육평가에 관련된 최근의 연구들은 교육 선진국을 중심으로 투입요소에서 과정 및 산출요소를 강조하는 방향으로 변화하고 있다. 또한, 과거 인적, 물적 자원을 강조하는 시각에서 가치적 측면들을 강조하는 방향으로 교육의 질 평가의 패러다임이 전환되고 있다(최금진, 신동은, 2012; Barnett, 1992).

체제이론에 있어 투입(Input)은 체제의 목적달성을 위해 체제 밖에서 안으로 투입하는 요소를 말한다. 교육체제에서는 교육의 목표, 인적, 물적 자원 등에 해당한다. 과정(Process)은 체제가 목적달성을 위해 여러 자원, 정보를 활용하여 산출로 만들고 가치를 창조하는 과정을 뜻하며 교육체제에서는 교과과정, 수업, 학습활동, 학습활동 체계 등이 포함된다(최정윤, 정진철, 이정미, 2009). 산출(Output)은 체제가 환경이나 인접한 체제로 내보내는 자원이나 정보로써, 체제가 의도적으로 생산해내는 모든 것이다. 교육체제에서는 학습성과, 결과, 만족도, 실적 등이 해당할 수 있다. 마지막으로 환류(Feedback)는 조직에서 내보낸 산출이 다시 조직 내로 투입되는 반복적 과정이 계속해서 이루어지는 현상을 말한다. 교육행정에서 환류는 시스템 안에서 투입, 과정, 산출 이후 마지막 단계의 활동으로서 교육의 결과를 인지하고 다시 투입에 반영되는 과정을 말한다. 즉 교육과정의 성과평가가 다시 교육방법이나 운영의 개선에 활용되는 지속적 활동이라고 할 수 있다.

본 연구는 사회복무요원 델파이 조사를 활용한 직무교육 체제의 분석을 통해 보건복지 분야 사회복무교육 체제의 투입요소, 과정요소, 산출요소 등의 각 요인이 총체적인 질을 담보하여야 한다는 관점에서 체제이론을 이론적 분석 틀로 하여 투입-과정-산출-환류의 각 측면에서 개선방안을 도출하고자 한다.


3. 연구방법

본 연구는 체제이론을 분석 틀로 하여 보건복지 분야 사회복무요원의 직무교육 개선방안 도출을 목적으로 델파이 조사를 수행하였다. 델파이 조사는 특정 영역에서 관련 전문가들의 의견을 수렴하고 이를 바탕으로 집단의 합의를 끌어내기 위한 연구로 전문가의 의견 분포 특성에 대한 제시가 가능한 조사 방법이다(김동일, 김은삼, 이연재, 최서현, 2021; Turoff & Hiltz, 1996). 이에 본 연구에서는 사회복무요원 직무교육과 관련된 전문가 집단을 대상으로 2회의 델파이 조사과정을 통해 개선방안을 도출하였으며, <그림 1>과 같은 과정으로 진행하였다. 먼저 델파이 조사를 시작하기 전 사전조사 형태의 1, 2차 전문가 자문 회의를 수행하여 델파이 조사항목 및 문항을 구성하기 위한 체제 요소별 개선방안을 도출하였다. 직무교육 개선방안 수립을 위한 기본 방향 중 근거기반의 개선방안 도출 원칙에 따라 사회복무 직무교육 관련 전문가(연구자, 유관기관 관리자, 직무교육 참여 외래교수, 복무기관 담당자 등)를 대상으로 자문 회의를 수행하여 개선방안과 관련 주요 세부 항목을 도출하였다. 이후 사회복무요원 직무교육을 수행하는 6개 지역교육센터(서울, 부산, 대구, 경인, 광주, 대전)의 센터장을 대상으로 서면자문을 실시하였다. 이를 통해 도출된 세부 항목에 대한 검토를 수행하였으며, 사전조사 결과에 따라 도출된 사회복무요원 직무교육 교육 개선방안을 재 범주화하여 델파이 조사 수행을 위한 최종 영역을 도출하였다.


<그림 1> 
단계별 연구방법

<표 1> 
영역별 델파이 참여자 인구사회학적 특성
구분 빈도(%) 구분 빈도(%)
성별 남성 35(70%) 직무 직무교육센터 센터장 6(12%)
여성 15(30%) 직무교육 수행 전임교수 6(12%)
연령대 20대 3(6%) 직무교육센터 교육 담당자 15(30%)
30대 13(26%) 직무교육센터 외래교수 12(24%)
40대 28(56%)
50대 이상 6(12%) 사회복무요원 복무기관 담당자 4(8%)
학력 대학(4년제) 졸업 15(30%) 사회복무요원 직무교육 연구자 3(6%)
대학원 석사 졸업 24(48%) 기타 전문가 4(8%)
대학원 박사 졸업 11(22%) 지역 서울 14(28%)
경력 총 경력(평균) 13.64년 경인 9(18%)
광주 6(12%)
사회복무요원
직무교육 관련
경력(평균)
5.46년 대구 8(16%)
대전 6(12%)
부산 7(14%)

이를 바탕으로 수행된 델파이 조사 1단계는 사회복무요원 직무교육의 체계별 개선방안을 사전조사를 통해 도출된 투입, 과정, 산출, 환류의 분석 틀을 기준으로 항목별로 중요하다고 생각하는 수준을 조사하여 이를 분석하였다. 이를 바탕으로 평균(표준편차), 내용타당도(CVR), 수렴도, 합의도 수준을 파악하였다. 이후 수행된 델파이 조사 2단계는 1차 델파이 조사를 통해 도출된 조사 결과를 바탕으로 내용 타당도(CVR) 및 합의도, 신뢰도 기준과 항목별 평균 순위를 파악하여 제시하였다.

델파이 방법은 전문가 패널이 면대면 논의를 수행하지 않더라도 의사 결정에 대한 합의를 끌어낼 수 있다는 것을 기본 전제로 한다. 이를 통해 쟁점에 대한 합의 도출된 결론뿐만 아니라 항목별 전반적인 인식 분포를 확인하고 소수 의견까지 파악할 수 있다는 강점이 있다. 이에 본 연구에서는 1차 델파이 조사와 2차 델파이 조사 결과를 각각 병렬적으로 제시함으로써 항목별 전문가 패널 간의 합의 과정을 기술하였다.

1) 연구절차

본 연구의 1차 델파이 조사는 사회복무요원 직무교육 전문가 50명을 대상으로 2021년 11월 25일부터 11월 30일까지 진행되었다. 현행 사회복무요원 직무교육 과정별 커리큘럼 중요도 및 교육 및 운영 개선방안의 필요성 및 항목별 중요도와 관련하여 개방형 질문 및 구조화된 폐쇄형 설문을 혼용하여 조사하였다. 1차 델파이 조사 결과는 각 항목에 대해 동의하는 정도를 중요도와 필요도로 구분하여 리커트 척도를 사용하여 결과를 도출하였다.

2차 델파이 조사는 1차 델파이 조사에 참여한 사회복무요원 직무교육 관련 전문가 50명을 대상으로 2021년 12월 3일부터 12월 7일까지 진행되었다. 1차 조사에서 분석된 항목별 평균값과 패널 본인의 1차 응답 내용을 고려하여 각 항목의 필요도를 수정하여 응답하도록 요청하였으며, 항목별 시급도를 추가하여 조사하였다. 조사 도구는 온라인 설문 개발을 통한 개별 링크를 통해 전달되고 회수되었으며, 1차 델파이 조사에 참여한 50명 모두 2차 조사에도 응답하여 100.0%의 응답률을 보였다. 조사 결과 분석은 Excel을 활용하여 각 문항의 항목별 중요도 평균, 표준편차, 내용 타당도 비율(Content Validity Ratio: CVR) 및 합의도, 수렴도를 산출하여 내용 타당도를 확보하고자 하였다.

2) 델파이 조사 참여자 특성

델파이 조사에서 효과적인 연구 수행을 위해 대표성, 적절성, 전문적 지식과 능력, 참여의 성실성, 인원수 등은 매우 중요하며, 조사자의 판단을 통한 합리적 결과 도출을 달성하기 위한 전문가 패널의 선정은 매우 중요하다(박도순, 2005; 차성미 외, 2010). 또한, 델파이 패널은 최소 12명 이상이어야 하며, 표본의 크기가 클수록 유효성을 확보할 수 있다(Vogel et al., 2019). 이에 본 연구에서는 사회복무요원 직무교육의 관계자 및 전문가 집단 선정을 통한 패널단을 구성하여 연구 수행의 전문성을 확보할 수 있도록 50명의 조사 참여자를 선정하여 결과의 유효성을 확보하고자 하였다. 이에 보건복지 분야 사회복무요원 직무교육의 교육과 운영의 대표적인 이해관계자로 기능하고 있는 교수자, 교육운영자, 복무기관 담당자, 그리고 사회복무요원 직무교육 관련 연구자를 본 연구의 조사 집단에 포함하여 해당 교육에 대한 이해도와 대표성이 높은 한국보건복지인재원 지역교육센터의 대내·외 전문가를 대상으로 델파이 패널을 구성하였다. 연구의 목적에 따른 조사 패널 표집 방법은 범위를 지정한 표집 방식(Sampling for Range)을 통해 연구대상을 몇 개의 하위범주로 나누고 각각의 하위범주별로 대상자의 범주와 수집목표를 정해놓는 방식으로 델파이 조사 참여자를 선정하였다.

3) 델파이 결과 분석 및 해석

델파이 조사 결과 분석은 Excel 2018을 활용하여 각 문항의 항목별 중요도 평균, 표준편차, 내용타당도 비율(Content Validity Ratio: CVR), 합의도를 산출하였다. 우선 중요도 평균값은 4.0 이상일 경우 타당한 문항으로 판단하였다. 내용타당도 판단 기준은 우선 전체 응답자 비율이 50% 이상일 경우이며, CVR 값은 델파이 조사 참여 인원수가 40명일 때 0.29 이상, 50명일 때 0.25 이상이어야 하므로 본 연구에서는 0.25 이상을 기준으로 내용타당도를 확보하고자 하였다(이종성, 2006). 수렴도와 합의도는 제1사분위수, 제3사분위수, 중앙값을 산출하여 전문가 사이의 의견 수렴과 합의 정도를 검증하는 방법으로 의견이 완전수렴되었을 경우 0, 합의되었을 경우 1의 값을 가진다. 이에 수렴도 0.5 이하, 합의도 0.75 이상일 경우 전문가 합의가 이루어졌다고 판단한다(이종성, 2006).

4) 연구의 분석 틀

보건복지 분야 사회복무요원 직무교육의 개선방안을 도출하기 위한 분석 틀은 교수체제 개발 분야의 이론적 근거를 통하여 체제이론의 투입-과정-산출-환류 모형을 설정하였다(신현석, 2006; 이만희, 2003; 최금진, 신동은, 2012; 최정윤 외, 2009). 선행연구에 기반하여, 사회복무요원 직무교육의 교육과정의 틀에 맞게 도출된 항목별 지표는 <표 2>에 제시된 바와 같다. 먼저, 투입요소는 교육의 목표 달성을 위한 인적자원 및 물적자원을 중심으로 살펴보았으며, 과정요소는 사회복무요원 직무교육의 교육내용, 교육방법, 교육운영의 개선방안 항목을 논의하였다. 산출요소는 교육의 질, 사회복무요원의 인식, 직무현장에의 적용력 항목으로 도출하였으며, 마지막으로 환류요소는 교육의 질 개선 항목을 살펴보았다.

<표 2> 
사회복무요원 직무교육의 체제론적 구분
구분 항목
투입(체제 밖에서 안으로 투입되는 요소) 인적자원 인력확보
전문성 신장
역할재정립 및 교류협력
물적자원 예산확보
시설 및 환경정비
시설교류협력
과정(자원정보를 활용하는 과정) 교육내용
교육방법
교육운영
산출(다른 체제로 내보내는 자원) 교육의 질
사회복무요원의 인식
직무현장에의 적용력
환류(산출과 투입의 반복) 교육의 질 개선


4. 연구결과
1) 1차 델파이 조사 결과
(1) 투입

사회복무요원 직무교육 교육체제를 투입-과정-산출-환류로 구분하였으며, 요소별 개선방안 및 그에 따른 하위영역을 도출하였다.

먼저 투입요소와 관련해서는 인적자원과 물적자원으로 영역을 구분하였으며, 각 영역에 대한 개선방안 관련 1차 델파이 조사 결과는 <표 3>과 같다. 먼저 인적자원과 관련하여 중요도에서 높은 수준을 나타낸 개선방안에는 ‘우수 외래강사 확보(4.43점)’, ‘교육운영자 역량 개발(4.39점)’, ‘병무청 등 유관기관 연계 체계 구축(4.17점)’등이 포함되었다. 인적자원의 중요도는 전체적으로 평균 4.08점의 수준으로 나타났다.

<표 3> 
1차 델파이 조사 결과: 사회복무요원 직무교육 투입요소 개선방안별 중요도
구분 항목 평균
(표준편차)
CVR 수렴도 합의도 평균
순위
인적
자원
인력확보 체계적 교육담당인력 구성 4.09(1.20) 0.64 0.50 0.75 5
우수강사 확보를 위한 강사양성과정 운영 3.82(1.00) 0.41 0.75 0.62 9
우수 외래강사 확보 4.43(0.63) 0.84 0.50 0.80 1
외래교수 전문성 향상 방안 마련 4.15(0.72) 0.60 0.50 0.75 4
전문성
신장
교육운영자 역량 개발 4.39(0.71) 0.80 0.50 0.80 2
교수자 교육 역량 및 전문성 강화 지원 3.92(1.04) 0.33 1.00 0.50 7
역할재정립 및
교류협력
병무청 등 유관기관 연계 체계 구축 4.17(0.67) 0.68 0.50 0.75 3
복무기관 근무담당자 교육 및 간담회 개최 3.96(0.92) 0.49 0.75 0.62 6
병무청 등 유관기관 합동 워크숍 실시 3.86(0.88) 0.33 0.75 0.62 8
물적
자원
예산확보 사업의 안정적 운영을 위한 예산확대 및 출연금 사업으로의 전환 4.02(1.11) 0.41 1.00 0.50 5
시설 및
환경정비
체험장 환경 변화 및 확대 4.03(0.90) 0.56 0.50 0.75 3
센터별 교육 시설 및 환경 개선 4.31(0.70) 0.72 0.50 0.75 1
안전한 대면교육 환경 조성 4.31(0.77) 0.76 0.50 0.75 1
어플리케이션 도입 4.03(0.98) 0.60 0.50 0.75 3
정보교류 온라인 플랫폼 개발 3.86(1.02) 0.41 1.00 0.50 6
시설교류
협력
현장실습기관 개선 3.82(1.23) 0.45 1.00 0.50 7

한편 인적자원 관련 세부 개선방안들의 수렴도 및 합의도 수준을 살펴보면, 다수의 개선방안이 수렴도 0.5 이하, 합의도 0.75 이상에 포함되어 전문가 패널들의 합의가 이루어진 것으로 나타났다. CVR값의 경우에도 50명 이상의 패널 참여 시 요구되는 최소 기준인 0.25보다 높은 0.33-0.84로 나타남에 따라 활성화가 필요한 세부 개선방안으로 선정하는 것이 타당한 것으로 판단되었다. 더불어 1차 조사에서 CVR값이 가장 낮은 인적자원 개선방안으로는 ‘병무청 등 유관기관 합동 워크숍 실시(0.33)’, ‘교수자 교육 역량 및 전문성 강화 지원(0.33)’으로 나타났으며, ‘우수 외래강사 확보(0.84)’가 가장 높은 타당도를 보이는 것으로 나타났다.

다음으로 물적자원 관련 개선방안 내용에 대한 1차 델파이 조사 결과, 중요도에서 높은 수준을 나타낸 개선방안에는 ‘센터별 교육 시설 및 환경 개선(4.31점)’, ‘안전한 대면교육 환경 조성(4.31점)’, ‘체험장 환경 변화 및 확대(4.03점)’, ‘어플리케이션 도입(4.03점)’등이 포함되었다. 물적자원의 중요도는 전체적으로 평균 4.05점의 수준으로 나타났다.

한편 물적자원 관련 세부 개선방안들의 수렴도 및 합의도 수준을 살펴보면, 과반수 이상의 개선방안 항목이 수렴도 0.5 이하, 합의도 0.75 이상에 포함되어 전문가 패널들의 합의가 이루어진 것으로 나타났다. CVR값의 경우에도 최소 기준치인 0.25보다 높은 0.41-0.76으로 나타나고 있어 활성화가 필요한 세부 개선방안으로 선정하는 것이 타당한 것으로 판단되었다. 1차 조사에서 CVR값이 가장 낮은 물적자원 개선방안으로는 ‘사업의 안정적 운영을 위한 예산확대 및 출연금 사업으로의 전환(0.41)’, ‘정보교류 온라인 플랫폼 개발(0.41)’로 나타났으며, ‘안전한 대면교육 환경 조성(0.76)’의 타당도가 가장 높은 것으로 나타났다.

(2) 과정

사회복무요원 직무교육 교육체제 중 과정요소 개선방안을 3개의 하위영역(교육내용, 교육방법, 교육운영)으로 구분하였으며, 각 영역에 대한 1차 델파이 조사 결과는 <표 4>와 같다.

<표 4> 
1차 델파이 조사 결과: 사회복무요원 직무교육 과정요소 개선방안별 중요도
구분 항목 평균
(표준편차)
CVR 수렴도 합의도 평균
순위
교육
내용
필수과목 의무수강, 선택과목 수강 선택권 부여 3.29(1.36) 0.09 1.00 0.50 12
과목별 영역 재범주화 및 직무특성에 따른 재구성 4.27(0.88) 0.76 0.50 0.75 1
교과과정 신규 수요 개발 및 과목 연계 4.17(0.87) 0.64 0.50 0.75 2
4차 산업혁명 및 미래사회 대응 가능 신규 교과목 개발 4.00(1.08) 0.45 1.00 0.50 5
심화교육 패러다임 전환을 통한 커리큘럼 재설계 3.96(0.96) 0.45 1.00 0.50 7
교육 수요자 연간 보수교육 실시 3.62(1.26) 0.13 1.00 0.50 9
인성 및 소양 교육 신규 개설 3.96(1.18) 0.33 1.00 0.50 7
사회복무요원 힐링 및 자기계발 교육 개설 4.00(1.13) 0.37 1.00 0.50 5
교과목 명칭 변경 4.13(0.97) 0.52 0.50 0.75 3
오리엔테이션 과목 신설 3.58(1.28) 0.17 1.00 0.50 10
가치교육 등 신규 과정 개설 4.02(1.09) 0.33 1.00 0.50 4
소집해제 교육 신설 3.33(1.02) -0.09 0.50 0.66 11
교육
방법
팀활동 확대 3.49(1.17) 0.17 0.50 0.75 10
팀활동 시간 활용한 자기계발 및 일자리 교육 연계 4.35(0.73) 0.76 0.50 0.75 2
체험활동 확대 4.23(0.94) 0.72 0.50 0.75 4
실습활동 확대 4.21(0.91) 0.56 0.50 0.75 5
센터별 교육수준 편차 해소 3.84(1.16) 0.22 1.00 0.50 7
사례관리 교육 확대 4.39(0.76) 0.80 0.50 0.80 1
사고형·문제해결형 교육 확대 4.25(0.81) 0.68 0.50 0.75 3
사이버 교육과정 개발 3.98(1.09) 0.49 0.75 0.62 6
게임러닝 교육방식 도입 3.66(0.96) 0.17 0.50 0.75 9
메타버스 활용 교육방식 도입 3.15(1.28) -0.17 1.00 0.33 12
플립러닝 3.31(1.32) 0.20 1.00 0.50 11
마이크로러닝 3.68(1.11) 0.29 0.50 0.75 8
교육
운영
공정한 교육 운영을 위한 공통기준 수립 필요 4.45(0.72) 0.80 0.50 0.80 1
교육기간 축소 3.70(1.07) 0.13 1.00 0.50 5
교육생 참여동기 강화를 위한 보상체계 수립 4.23(0.75) 0.68 0.50 0.75 2
센터 간 통합 운영 3.60(1.03) 0.09 0.50 0.75 7
직무교육 시행시기 조정 3.88(1.02) 0.41 1.00 0.50 4
교육분야 선호도 조사 실시 3.58(1.27) 0.25 1.00 0.50 8
지역센터의 교육 운영 자율성 확대 4.02(1.12) 0.64 0.50 0.75 3
수업 규모 축소 3.70(1.07) 0.13 1.00 0.50 5

먼저 교육내용 관련 중요도에서 높은 수준을 나타낸 개선방안에는 ‘과목별 영역 재범주화 및 직무특성에 따른 재구성(4.27점)’, ‘교과과정 신규 수요 개발 및 과목 연계(4.17점)’등이 포함되었다. 교육내용 관련 개선방안의 중요도는 전체적으로 평균 3.86점의 수준으로 나타났다. 한편 교육내용 관련 세부 개선방안들의 수렴도 및 합의도 수준을 살펴보면, 과반수 이상의 항목에서 전문가 패널 간 합의가 이루어지지 않았으나, 몇몇 개선방안의 경우 수렴도 0.5 이하, 합의도 0.75 이상에 포함되어 전문가 패널들의 합의가 이루어진 것으로 나타났다. CVR값의 경우에도 몇몇 문항을 제외하고 최소 기준치인 0.25보다 높은 0.33-0.76으로 나타남에 따라 활성화가 필요한 세부 개선방안으로 선정하는 것이 타당한 것으로 판단되었다. 1차 조사에서 CVR값이 낮은 세부 개선방안으로는 ‘소집해제 교육 신설(-0.09)’, ‘필수과목 의무수강, 선택과목 수강 선택권 부여(0.09)’로 나타났으며, ‘과목별 영역 재범주화 및 직무특성에 따른 재구성(0.76)’이 가장 높은 타당도를 보였다.

다음으로 교육방법 관련 중요도에서 높은 수준을 나타낸 개선방안에는 ‘사례관리 교육 확대(4.39점)’, ‘팀활동 시간 활용한 자기계발 및 일자리 교육 연계(4.35점)’등이 포함되었다. 교육방법 관련 개선방안의 중요도는 전체적으로 평균 3.86점의 수준으로 나타났다. 한편 교육방법 관련 세부 개선방안들의 수렴도 및 합의도 수준을 살펴보면, 대부분의 개선방안이 수렴도 0.5 이하, 합의도 0.75 이상에 포함되어 전문가 패널들의 합의가 이루어진 것으로 나타났다. CVR값의 경우 개선방안 13개 문항 중 7문항이 최소 기준인 0.25보다 높은 0.29-0.80으로 나타남에 따라 타 영역 대비 교육방법과 관련해서는 전문가 패널별 세부영역 개선방안 선정과 관련 타당성에 이견이 있는 것으로 나타났다. 1차 조사에서 CVR값이 낮은 교육방법 개선방안으로는 ‘메타버스 활용 교육방식 도입(-0.17)’, ‘게임러닝 교육방식 도입(0.17)’으로 나타났으며, ‘팀활동 시간 활용한 자기계발 및 일자리 교육 연계(0.76)’의 타당도가 가장 높은 것으로 나타났다.

마지막으로 교육운영 관련 중요도에서 높은 수준을 나타낸 개선방안에는 ‘공정한 교육 운영을 위한 교육기관별 공통기준 수립 필요(4.45점)’, ‘교육생 참여동기 강화를 위한 보상체계 수립(4.23점)’등이 포함되었다. 교육운영 관련 개선방안의 중요도는 전체적으로 평균 3.90점의 수준을 보였다. 한편 교육운영 관련 세부 개선방안들의 수렴도 및 합의도 수준을 살펴보면, 절반의 개선방안 항목이 수렴도 0.5 이하, 합의도 0.75 이상에 포함되어 전문가 패널들의 합의가 이루어진 것으로 나타났다. CVR값의 경우 다수의 개선방안이 패널 참여의 최소값(0.25)보다 높은 0.41-0.80으로 나타나고 있어 실행이 필요한 세부 개선방안으로 선정하는 것이 타당한 것으로 판단되었다. 1차 조사에서 CVR값이 낮은 교육운영 개선방안으로는 ‘센터 간 통합 운영(0.09)’, ‘교육기간 축소(0.13)’, ‘수업 규모 축소(0.13)’로 나타났으며, ‘공정한 교육 운영을 통한 공통기준 수립 필요(0.80)’가 가장 높은 타당도를 보이는 것으로 나타났다.

(3) 산출

사회복무요원 직무교육 교육체제 중 산출요소 개선방안을 3개의 하위영역(교육의 질에 대한 평가, 인식에 대한 평가, 현업적용도에 대한 평가)으로 구분하였으며, 각 영역에 대한 1차 델파이 조사 결과는 <표 5>와 같다.

<표 5> 
1차 델파이 조사 결과: 사회복무요원 직무교육 산출요소 개선방안별 중요도
구분 항목 평균
(표준편차)
CVR 수렴도 합의도 평균
순위
교육의 질 정밀하고 포괄적인 교육 평가지표 신규 개발 3.96(0.90) 0.52 0.50 0.75 1
사회복무요원의 인식 사회복지 인식도 조사 확대 3.88(0.94) 0.29 1.00 0.50 2
직무현장에의 적용력 직무현장의 현업적용도를 높이기 위한 다면 평가 체계 도입 3.82(1.07) 0.41 1.00 0.50 3

먼저 중요도와 관련해서는 ‘정밀하고 포괄적인 교육 평가지표 신규 개발(3.96점)’, ‘사회복지 인식도 조사 확대(3.88점)’, ‘직무현장의 현업적용도를 높이기 위한 다면평가 체계 도입(3.82점)’ 순으로 나타났다. 산출 영역 개선방안의 중요도는 전체적으로 평균 3.89점의 수준으로 나타났다. 한편 산출 영역 관련 세부 개선방안들의 수렴도 및 합의도 수준을 살펴보면, 3개의 개선방안 항목 중 1개의 항목만이 수렴도 0.5 이하, 합의도 0.75 이상에 포함되어 전문가 패널들의 합의가 이루어진 것으로 나타났다. CVR값의 경우 모든 개선방안이 패널 참여의 최소값(0.25)보다 높은 0.29-0.52로 나타남에 따라 실행이 필요한 세부 개선방안으로 선정하는 것이 타당한 것으로 판단되었다. 1차 조사에서 CVR값이 가장 낮은 산출 영역 개선방안으로는 ‘사회복지 인식도 조사 확대(0.29)’로 나타났으며, ‘정밀하고 포괄적인 교육 평가지표 신규 개발(0.52)’이 가장 높은 타당도를 보이는 것으로 나타났다.

(4) 환류

사회복무요원 직무교육 교육체제 중 환류요소, 즉 직무교육의 질 개선 관련 1차 델파이 조사 결과는 <표 6>과 같다. ‘직무교육 사후관리체계 구축’의 중요도는 3.86점으로 나타났으며, 수렴도 및 합의도 수준은 각각 1.00, 0.50으로 전문가 패널들의 합의가 이루어지지 않은 것으로 나타났다. 그러나 CVR값의 경우 0.41점으로 최소값(0.25)보다 높은 타당도를 나타냄에 따라 실행이 필요한 세부 개선방안으로 선정하는 것은 타당한 것으로 분석되었다.

<표 6> 
1차 델파이 조사 결과: 사회복무요원 직무교육 환류요소 개선방안별 중요도
구분 항목 평균(표준편차) CVR 수렴도 합의도
교육의 질 개선 직무교육 사후관리체계 구축 3.86(0.97) 0.41 1.00 0.50

2) 2차 델파이 조사 결과
(1) 투입

사회복무요원 직무교육 체제 개선방안 관련 투입요소에 대한 2차 델파이 조사 결과는 <표 7>과 같다.

<표 7> 
2차 델파이 조사 결과: 사회복무요원 직무교육 투입요소 개선방안별 중요도
구분 항목 평균
(표준편차)
CVR 수렴도 합의도 평균
순위
인적
자원
인력확보 체계적 교육담당인력 구성 4.12(1.11) 0.60 0.50 0.75 5
우수강사 확보를 위한 강사양성과정 운영 3.67(1.05) 0.36 0.50 0.75 8
우수 외래강사 확보 4.46(0.64) 0.80 0.50 0.80 1
외래교수 전문성 향상 방안 마련 4.16(0.84) 0.60 0.50 0.75 4
전문성
신장
교육운영자 역량 개발 4.46(0.61) 0.84 0.50 0.80 1
교수자 교육 역량 및 전문성 강화 지원 3.73(1.08) 0.32 0.50 0.75 7
역할재정립

교류협력
병무청 등 유관기관 연계 체계 구축 4.28(0.63) 0.76 0.50 0.75 3
복무기관 근무담당자 교육 및 간담회 개최 3.98(0.93) 0.44 1.00 0.50 6
병무청 등 유관기관 합동 워크숍 실시 3.65(1.08) 0.20 0.50 0.75 9
물적
자원
예산확보 사업의 안정적 운영을 위한 예산확대 및 출연금 사업으로의 전환 3.95(1.02) 0.36 1.00 0.50 4
시설 및
환경정비
체험장 환경 변화 및 확대 4.08(0.98) 0.56 0.50 0.75 3
센터별 교육 시설 및 환경 개선 4.36(0.74) 0.72 0.50 0.80 2
안전한 대면교육 환경 조성 4.42(0.60) 0.84 0.50 0.75 1
어플리케이션 도입 3.91(1.06) 0.60 0.50 0.75 5
정보교류 온라인 플랫폼 개발 3.44(1.05) 0.12 0.50 0.75 7
시설교류
협력
현장실습기관 개선 3.55(1.16) 0.20 0.50 0.75 6

먼저 인적자원 개선방안에 대한 항목별 평균을 기준으로 중요도를 살펴보면 1순위는 1차 조사 결과와 동일하게 ‘우수 외래강사 확보’(4.46점) 및 1차 조사 시 2순위였던 ‘교육운영자 역량 개발’(4.46점)로 나타났으며, 3순위는 ‘병무청 등 유관기관 연계체계 구축’(4.28점) 순으로 조사되었다. 한편 세부 항목별 수렴도 및 합의도를 살펴보면 1차 조사 시 총 9개의 세부 개선방안 중 4개 항목에서 전문가 패널 간 의견 합의가 이루어지지 않은 것으로 나타났으나, 2차 조사 시에는 ‘복무기관 근무담당자 교육 및 간담회 개최’ 항목만 제외하고 나머지 7개의 세부 항목은 수렴도 0.5 이하 및 합의도 0.75 이상에 포함되어 전문가 패널 간 의견이 합의된 것으로 분석되었다.

다음으로 물적자원 개선방안에 대한 항목별 평균을 기준으로 중요도를 살펴보면 1순위는 1차 조사 결과와 동일하게 ‘안전한 대면교육 환경 조성’(4.42점)으로 나타났으며, 다소 순위가 변경되었지만 2순위 ‘센터별 교육 시설 및 환경 개선’(4.36점), 3순위 ‘체험장 환경 변화 및 확대’(4.08점) 순으로 조사되었다. 한편 세부 항목별 수렴도 및 합의도를 살펴보면 1차 조사 시 총 7개의 세부 개선방안 중 3개 항목이 기준에 부합되지 않는 것으로 나타났으나, 2차 조사 시에는 ‘사업의 안정적 운영을 위한 예산확대 및 출연금 사업으로의 전환’ 항목만 제외하고 나머지 6개의 세부 항목은 수렴도 0.5 이하 및 합의도 0.75 이상에 포함되어 전문가 패널 간 의견이 합의된 것으로 나타났다.

(2) 과정

사회복무요원 직무교육 체제 개선방안 관련 과정요소에 대한 2차 델파이 조사 결과는 <표 8>과 같다. 먼저 교육내용 개선방안에 대한 항목별 평균을 기준으로 중요도를 살펴보면 1순위는 1차 조사 결과와 동일하게 ‘과목별 영역 재범주화 및 직무특성에 따른 재구성’(4.28점)로 나타났으며, 약간의 순위 변동은 있었으나 2순위 ‘교과목 명칭 변경’(4.24점), ‘교과과정 신규 수요 개발 및 과목 연계’(4.18점) 순으로 조사되었다. 한편 세부 항목별 수렴도 및 합의도를 살펴보면 1차 조사 시 총 12개의 세부 개선방안 중 3개 항목만이 기준에 부합하는 것으로 나타났으나, 2차 조사 시에는 ‘심화교육 패러다임 전환을 통한 커리큘럼 재설계’, ‘사회복무요원 힐링 및 자기계발 교육 개설’의 항목을 포함한 총 5개의 항목이 수렴도 0.5 이하 및 합의도 0.75 이상에 포함되어 전문가 패널 간 의견이 합의된 것으로 나타났다.

<표 8> 
2차 델파이 조사 결과: 사회복무요원 직무교육 과정요소 개선방안별 중요도
구분 항목 평균
(표준편차)
CVR 수렴도 합의도 평균
순위
교육
내용
필수과목 의무수강, 선택과목 수강 선택권 부여 3.24(1.15) 0.40 1.00 0.50 11
과목별 영역 재범주화 및 직무특성에 따른 재구성 4.28(0.74) 0.84 0.50 0.75 1
교과과정 신규 수요 개발 및 과목 연계 4.18(0.86) 0.68 0.50 0.75 3
4차 산업혁명 및 미래사회 대응 가능 신규 교과목 개발 3.88(1.10) 0.48 0.87 0.56 7
심화교육 패러다임 전환을 통한 커리큘럼 재설계 4.04(0.95) 0.60 0.50 0.75 4
교육 수요자 연간 보수교육 실시 3.44(1.11) -0.08 0.50 0.66 9
인성 및 소양 교육 신규 개설 3.84(1.12) 0.36 1.00 0.50 8
사회복무요원 힐링 및 자기계발 교육 개설 3.96(0.97) 0.52 0.50 0.75 6
교과목 명칭 변경 4.24(0.90) 0.64 0.50 0.75 2
오리엔테이션 과목 신설 3.44(1.31) -0.04 1.00 0.33 9
가치교육 등 신규 과정 개설 4.02(1.06) 0.40 1.00 0.50 5
소집해제 교육 신설 3.16(1.05) -0.32 0.50 0.66 12
교육
방법
팀활동 확대 3.42(1.18) 0.12 0.50 0.75 9
팀활동 시간 활용한 자기계발 및 일자리 교육 연계 4.46(0.67) 0.80 0.50 0.80 1
체험활동 확대 4.36(0.71) 0.80 0.50 0.75 3
실습활동 확대 4.26(0.84) 0.64 0.50 0.75 5
센터별 교육수준 편차 해소 3.62(1.19) 0.20 1.00 0.50 7
사례관리 교육 확대 4.46(0.80) 0.76 0.50 0.80 1
사고형·문제해결형 교육 확대 4.36(0.76) 0.72 0.50 0.80 3
사이버 교육과정 개발 4.08(1.01) 0.60 0.50 0.75 6
게임러닝 교육방식 도입 3.30(1.04) -0.08 0.50 0.66 10
메타버스 활용 교육방식 도입 2.98(1.19) -0.24 1.00 0.33 12
플립러닝 3.14(1.26) -0.12 1.00 0.33 11
마이크로러닝 3.60(1.14) 0.29 0.50 0.75 8
교육
운영
공정한 교육 운영을 위한 공통기준 수립 필요 4.44(0.64) 0.80 0.50 0.80 1
교육기간 축소 3.67(1.09) 0.16 1.00 0.50 5
교육생 참여동기 강화를 위한 보상체계 수립 4.24(0.79) 0.72 0.50 0.75 2
센터 간 통합 운영 3.46(0.97) -0.08 0.50 0.66 7
직무교육 시행시기 조정 3.91(0.90) 0.44 1.00 0.50 4
교육분야 선호도 조사 실시 3.40(1.14) -0.04 0.50 0.66 8
지역센터의 교육 운영 자율성 확대 4.14(0.94) 0.68 0.50 0.75 3
수업 규모 축소 3.67(1.09) 0.16 1.00 0.50 5

다음으로 교육방법 개선방안에 대한 항목별 평균을 기준으로 중요도를 살펴보면 1차 조사와 다르게 1순위는 동점으로 ‘팀활동 시간 활용한 자기계발 및 일자리 교육 연계’(4.46점), ‘사례관리 교육 확대’(4.46점)로 나타났으며, 3순위는 ‘체험활동 확대’(4.36점)와 ‘사고형·문제해결형 교육확대’(4.36점) 순으로 조사되었다. 한편 세부 항목별 수렴도 및 합의도를 살펴보면 1차 조사 시 총 12개의 세부 개선방안 중 8개 항목만이 기준에 부합하는 것으로 나타났으나, 2차 조사 시에는 ‘사이버 교육과정 개발’ 항목을 포함한 총 7개의 항목이 수렴도 0.5 이하 및 합의도 0.75 이상에 포함되어 전문가 패널 간 의견이 합의된 것으로 나타났으나 1차에서 기준을 통과했던 ‘게임러닝 교육방식 도입’ 항목은 제외되었다.

마지막으로 교육운영 개선방안에 대한 항목별 평균을 기준으로 중요도를 살펴보면 1차 조사 결과와 동일하게 1순위 ‘공정한 교육 운영을 위한 공통기준 수립 필요’(4.44점), 2순위 ‘교육생 참여동기 강화를 위한 보상체계 수립’(4.24점), 3순위 ‘지역센터의 교육 운영 자율성 확대’(4.14점) 순으로 조사되었다. 한편 세부 항목별 수렴도 및 합의도를 살펴보면 1차 조사 시 총 8개의 세부 개선방안 중 4개 항목만이 기준에 부합하였으며, 2차 조사 시에는 ‘센터 간 통합 운영’ 항목을 제외하고 중요도 상위 3개 항목만이 수렴도 0.5 이하 및 합의도 0.75 이상에 포함되어 전문가 패널 간 의견이 합의된 것으로 나타났다.

(3) 산출

사회복무요원 직무교육 체제 개선방안 관련 산출요소에 대한 2차 델파이 조사 결과는 <표 9>와 같다. 산출요소 개선방안에 대한 항목별 평균을 기준으로 중요도를 살펴보면 1차 조사와 동일하게 1순위 ‘정밀하고 포괄적인 교육 평가지표 신규 개발’(3.93점), 2순위 ‘사회복지 인식도 조사 확대’(3.73점), 3순위 ‘직무현장의 현업적용도를 높이기 위한 다면평가 체계 도입’(3.57점)의 순으로 조사되었다. 한편 세부 항목별 수렴도 및 합의도를 살펴보면 1차 조사 시에는 총 3개의 세부 개선방안 중 ‘정밀하고 포괄적인 교육평가지표 신규 개발’ 만이 기준에 부합하는 것으로 나타났으나, 2차 조사 시에는 ‘직무현장의 현업적용도를 높이기 위한 다면평가 체계 도입’ 만이 중요도 순위에서는 가장 낮은 점수임에도 불구하고 수렴도 0.5 이하 및 합의도 0.75 이상에 포함되어 1·2차 조사간 전문가 패널 의견 합의와 관련하여 문항별 차이를 보이는 것으로 나타났다. 이상의 분석 결과를 바탕으로 산출요소 개선방안과 관련하여 연구진 회의를 진행하였으며, 2개의 항목이 전문가 패널 간 수렴도 및 합의도 기준점에는 미충족하였으나 중요도 순위는 높은 것으로 나타남에 따라 3개 문항 모두를 최종 개선방안으로 도출하였다.

<표 9> 
2차 델파이 조사 결과: 사회복무요원 직무교육 산출요소 개선방안별 중요도
구분 항목 평균
(표준편차)
CVR 수렴도 합의도 평균
순위
교육의 질 정밀하고 포괄적인 교육 평가지표 신규 개발 3.93(0.93) 0.44 1.00 0.50 1
사회복무요원의 인식 사회복지 인식도 조사 확대 3.73(1.00) 0.16 1.00 0.50 2
직무현장에의 적용력 직무현장의 현업적용도를 높이기 위한 다면평가 체계 도입 3.57(1.05) 0.24 0.50 0.75 3

(4) 환류

사회복무요원 직무교육 교육체계 중 환류요소, 즉 직무교육의 질 개선 관련 2차 델파이 조사 결과는 <표 10>과 같다. ‘직무교육 사후관리체계 구축’의 중요도는 3.61점으로 나타났으며, 1차 조사와 달리 2차 조사에서는 수렴도 및 합의도 수준이 기준에 부합하는 것으로 나타났다. 다만 CVR값의 경우 1차 델파이 조사 0.41점에서 2차 델파이 조사 시 0.20점으로 내용 타당도가 낮아진 것으로 분석되었다.

<표 10> 
2차 델파이 조사 결과: 사회복무요원 직무교육 환류 요소 개선방안별 중요도
구분 항목 평균
(표준편차)
CVR 수렴도 합의도
교육의 질 개선 직무교육 사후관리체계 구축 3.61(1.08) 0.20 0.50 0.75


5. 논의 및 결론

다양한 기술혁신에 따른 보건복지 분야 환경 변화에 따라 서비스 제공 주체에 대한 직무교육의 중요성이 강조되고 있으며, 보건복지 분야의 중요한 축을 형성하는 사회복무요원 직무교육의 질적 개선은 매우 중요하다. 급변하는 환경과 사회서비스 수요 증가에 따른 직무교육의 양적 성장에도 불구하고 이를 둘러싼 직무 환경의 변화에 기반하여 교육체제를 개선하기 위한 연구는 부족한 실정이다. 이에 본 연구는 사회복무요원 직무교육을 둘러싸고 있는 사회환경의 급속한 변화에 대응하고자 교육체제의 개선방안을 탐색하고 교육 운영의 새로운 방향점을 제시하기 위해 실시되었다. 이를 위하여 문헌고찰 및 1, 2차 델파이 조사를 순차적으로 수행하였으며, 사회복무요원 직무교육과 관련된 다양한 현장 관계자 및 전문가들의 의견 수렴 결과를 거쳐 이를 분석하였다. 본 연구의 결과를 토대로 최종 도출된 사회복무요원 직무교육 교육체제의 항목별 개선방안은 <표 11>과 같다.

<표 11> 
사회복무요원 직무교육 교육체제 개선방안
구분 영역 세부 개선방안
투입 인적자원 ○ 우수 외래강사 확보
○ 교육운영자 역량 개발
○ 병무청 등 유관기관 연계 체계 구축
물적자원 ○ 안전한 대면교육 환경 조성
○ 센터별 교육 시설 및 환경 개선
○ 체험장 환경 변화 및 확대
과정 교육내용 ○ 과목별 영역 재범주화 및 직무특성에 따른 재구성
○ 교과목 명칭 변경
○ 교과과정 신규 수요 개발 및 과목 연계
교육방법 ○ 사례관리 교육 확대
○ 팀활동 시간 활용한 자기계발 및 일자리 교육 연계
○ 체험활동 확대
교육운영 ○ 공정한 교육 운영을 위한 공통기준 수립 필요
○ 교육생 참여동기 강화를 위한 보상체계 수립
○ 지역센터의 교육 운영 자율성 확대
산출 교육의 질 ○ 정밀하고 포괄적인 교육 평가지표 신규 개발
사회복무요원의 인식 ○ 사회복지 인식도 조사 확대
직무현장에의 적용력 ○ 현업적용도를 높이기 위한 다면평가 체계 도입
환류 교육의 질 개선 ○ 직무교육 사후관리체계 구축

연구 질문에 따른 결과를 바탕으로 보건복지 분야 사회복무요원의 교육체제 개선방안에 대한 제언은 다음과 같다. 첫째, 사회복무요원 직무교육을 둘러싸고 있는 인적·물적 자원의 내실 있는 관리체계 구축이 필요하다. 지속적인 양질의 교육 서비스를 제공하기 위해서는 외래강사 등 관련 우수 인재 발굴과 더불어 교육 운영 관계자의 전문성 및 역량 강화가 선행되어야만 한다. 즉 우수 인력을 충분히 확보하는 것뿐만 아니라 기존 확보 인력이 본인의 전문성 발휘 및 업무의 효율성을 제고하기 위한 체계적 인적관리시스템 구축이 필요하다. 이와 더불어 사회복무요원 직무교육에 대한 유관기관의 이해 제고 및 상호조력 관계 조성을 위해 관련 교육과 간담회 등을 확대하는 등 유관기관 간 긴밀한 협력체계를 구축하는 것 또한 필요할 것으로 사료된다. 한편 위드 코로나 시대 안전하고 쾌적한 대면 교육이 실행될 수 있도록 제반 도구의 마련 및 환경정비가 필요하다. 특히 센터별 교육 시설개선 및 체험장 환경 변화는 1, 2차 델파이 조사 시 중요도 부분에서 높게 언급된 항목으로 교육장 시설 보강을 위한 중앙정부 차원의 지원 확대가 요구된다. 이외에도 다양한 정보교류 및 교육 자료 공유가 가능한 온라인 플랫폼 구축 등 스마트폰을 통한 앱 활용에 익숙한 교육생들의 특성에 맞춰 온라인 교육 환경 또한 동시에 개선될 필요가 있을 것으로 사료된다.

둘째, 사회서비스 분야의 확대와 더불어 보건복지현장에서 요구하는 사회복무요원의 역량도 변화하고 있어 이에 기반한 교육 설계 개편이 필요하다. 사회복무요원 특성 및 복무 환경 변화를 파악하여 직무를 분석하고, 이를 기반으로 핵심역량 모델링을 통한 교육과정을 재구성할 필요가 있다. 현재의 기본직무교육은 사회복지과정, 공무원 보조과정, 보건의료과정으로 구분되나 일부 교과를 제외하면 대부분 동일한 과목으로 구성되어 있고 과정 간 경계가 불분명하다. 이에 사회복무요원의 직무특성과 핵심역량에 따른 교육과정의 재구성을 통해 각 과정의 정체성이 분명하게 구분되어야 하며, 이를 고려한 교육내용 재구성이 필요하다. 또한, 기존의 교육과정이 직관적으로 이해되기 쉽도록 교과목 명칭 변경 및 교과별 학습 목표를 보다 명료화할 필요가 있다. 이를 통해 보건복지 분야 현장성을 강화하는 다양한 신규 교과과정이 개발되어야 할 것이다.

셋째, 사회복무요원의 비자발성을 극복하고 수업 참여 동기를 불러일으키기 위해 교육방법의 개선이 필요하다. 이와 관련하여 이 연구에서는 특히 사례관리 및 체험활동 확대를 구체적인 개선방안으로 도출하였다. 교육의 방법 측면에서 중요한 문제는 교육대상자의 교육 참여와 몰입도를 높이는 방안을 마련하는 것이다. 이에 정보의 일방향적 전달에 중점을 둔 기존의 교육방식에서 탈피하여 교육수요자의 자발적 참여와 교육 몰입에 이르기 위한 다양한 체험 및 실습활동을 확대하여 교육수요자의 호기심을 자극하는 방법이 고안될 필요가 있다. 또한, 보건복지 분야의 사례를 중심으로 한 교육을 통해 사회복무요원이 자신의 역할에 대한 인식을 강화하고 직무수행 과정에서 필요한 역량을 갖출 수 있도록 지원해야 한다. 특히 다양한 실습 및 체험을 접목한 교육방식의 다변화를 고려해 볼 수 있는데, 보건복지현장의 변화되는 환경 및 사례체험 등을 가상현실(VR) 등을 통해 접목할 수 있다. 최근 간호교육 및 장애인 직업 재활교육 분야에서 가상현실 기술을 도입한 프로그램 개발 등 체험을 극대화하기 위한 새로운 시도들을 사회복무요원 특성에 맞게 도입하는 방안을 고려해 볼 수 있다.

한편, 자기계발 및 일자리 교육으로의 연계 또한 중요한 개선방안으로 도출되었다. 교육공급자의 입장에서 벗어나 교육수요자의 관점에서 효과적인 교육을 제공하기 위해서는 사회복무요원의 복무 생애주기를 심층적으로 이해할 필요가 있다. 이를 위해 사회복무요원 복무주기별 교육확대를 위한 소집해제 교육을 제안하고자 한다. 소집해제 전 사회복무요원을 대상으로 한 일자리 연계 교육을 통해 교육대상자의 성장 및 근무경력을 통한 일자리 창출 연계 등의 성과를 달성할 수 있을 것이다.

넷째, 교육 운영 및 관리의 표준화를 이루고 주요 사항에 대해서는 공통기준을 마련하여 공정성을 확보할 필요가 있다. 사회복무요원 직무교육을 운영하는 지역센터 간 교육을 수행하는 과정에서 나타나는 교육생 관리의 어려움을 줄이기 위하여 교육 운영의 공통기준 수립이 필요하다. 이를 통해 운영의 안정화를 이루었다면 그 밖의 세부 사항에 대해서는 교육 운영의 자율성을 확대하여 구성원들의 과업 수행에 몰입을 돕고, 전문적 성장을 이끌 수 있을 것이다.

다섯째, 직무교육의 성과를 관리하기 위해서는 교육의 질 평가지표가 마련될 필요가 있다. 교육의 질 평가지표 마련은 교육의 질을 보다 객관적으로 평가하여 개선방안을 도출할 수 있는 선순환 구조를 촉진할 것으로 기대된다. 그간 직무교육 평가는 만족도 조사나 현업적용도 평가를 중심으로 교육의 결과를 단선적으로 평가하고 있어 사실상 질 평가와는 거리가 멀었다. 특히, 교육과정의 적절성이나 교수 방법의 효과성, 운영 효율성 등 직무교육 전반의 질을 포착하는 데 한계가 있었다. 따라서 직무교육의 다양한 요소를 평가할 수 있는 포괄적이며 정교한 평가지표의 개발이 필요하다.

마지막으로 직무교육의 투입-과정-산출이 유기적으로 선순환할 수 있도록 사후관리체계 마련이 필요하다. 현재의 직무교육은 그 과정에 초점을 두고 있는 경향이 있어 교육 종료 이후 사후관리를 통한 실제의 업무 적용이나 모니터링에 대한 관심은 비교적 적었다. 직무교육의 효과성을 높이고 현업적용도를 개선하기 위한 보수교육이 추가적으로 개설될 필요가 있으며, 사후관리체계 구축을 통해 직무교육의 성과가 다시 교육과정에 적용되어 교육의 질을 개선하는 데 활용되도록 효율적 환류 방안이 마련될 필요가 있다.

이 연구는 사회복무요원 대상 직무교육과 관련 있는 전문가들을 대상으로 델파이 조사를 통해 사회복무요원 직무교육의 교육체제 개선방안을 제시하였다. 이러한 델파이 기법의 활용은 과거 사회복무요원의 직무교육 관련 연구에서는 시도되지 않은 새로운 접근으로 직무교육을 둘러싼 현상을 이해하는 데 그쳤던 선행 연구의 한계를 극복하고 현재의 직무교육이 직면한 환경 변화에 대응하기 위해 전문가들의 의견을 수렴하여 구체적인 대안을 탐색하였다는 점에서 의의가 있다. 이 연구의 목적을 달성하기 위하여 직무교육과 관련성이 높은 다양한 전문가를 적절한 규모로 선정하는 것에 각별한 주의를 기울였고, 전문가 간의 합의도출에 이르는 과정에서 응답의 안정도를 확보하였다. 그러나 직무교육의 대상으로서 해당 교육을 이수한 사회복무요원은 본 연구의 델파이 조사에 참여하지 않아 이들의 경험이나 견해는 담아내지 못했다는 한계가 있다. 향후 델파이 조사 설문의 적절성과 타당성을 보완하고, 직무교육의 직접적 당사자인 사회복무요원의 관점이 포함된 연구가 다양하게 이루어질 필요가 있다. 나아가 연구를 통해 도출한 여러 방안이 실제 현장에서는 어떻게 적용되어 현실화되고 궁극적으로 어떤 교육 효과를 거둘 수 있는지에 대한 후속 연구가 이어진다면 직무교육의 지속적인 질 개선을 이룰 수 있을 것으로 기대된다.


Acknowledgments

본 논문은 한국보건복지인재원 연구보고서 「사회복무요원 직무교육 중장기 발전 방안 연구」 내용의 일부를 기반으로 작성되었음.


References
1. 강상훈 (2020). 직무교육 만족도와 임파워먼트가 조직몰입에 미치는 영향: 경상북도 종합사회복지관 사회복지사를 대상으로. 대구대학교 대학원 석사학위논문.
2. 강현주·조상미 (2010). 사회복지 종사자의 직무만족에 관한 연구경향 분석. <한국사회복지행정학>, 12(1), 301-335.
3. 강혜규 외 (2007). <사회복무제도 도입에 따른 사회복무자원 활용방안 연구>. 서울: 한국보건사회연구원.
4. 김대삼 (2013). 사회복무요원의 조직문화 특성이 사회복지서비스 질에 미치는 영향에 관한 연구: 상사-부하간 교환관계의 조절효과. <한국군사회복지학>, 6(1), 35-65.
5. 김대삼·김수정 (2012). 사회복지서비스 질에 있어 사회복무요원과 사회복지사간 관계의 매개효과 분석: 사회복무요원의 직무요인과 직무만족을 중심으로. <사회과학연구>, 38(3), 73-100.
6. 김동일·김은삼·이연재·최서현 (2021). 발달장애인 학력보완교육 프로그램 내용 체계화를 위한 델파이 연구. <아시아교육연구>, 22(3), 693-720.
7. 김명희·이영환·전희준 (2010). 공공서비스기관 교육훈련이 학습의 전이수준과 직무만족에 미치는 영향에 관한 실증연구: 조직지원과 감정노동 조절효과를 중심으로. <대한경영학회지>, 23(5), 2523-2541.
8. 김미혜·육홍숙·정명희 (2015). 요양보호사의 직무교육과 직무연관성에 관한 연구. <사회복지 실천과 연구>, 12(1), 103-132.
9. 김수정·이전 (2016). 사회복무요원의 사회서비스 지원 경험 연구. <사회과학연구>, 42(3), 215-245.
10. 박도순 (2005). <교육연구방법론(개정판)>. 서울: 문음사.
11. 박성열·남민우·김학섭·최종일 (2005). 대학직원들의 직무교육에 대한 만족도, 필요도, 내용 및 방법 선호도와 e-Learning의 직무교육효과와 만족도. <농업교육과 인적자원개발>, 37(3), 169-193.
12. 박혜경 (2019). 사회복무요원 소집을 기다리는 남자 대학생의 심리적 적응에 관한 현상학연구. <사회과학연구>, 58(2), 125-156.
13. 손영은·박형준·주연선·문영임 (2021). <사회복무요원 직무교육 중장기 발전 방안 연구: 직무수행 필요역량개발과 직무교육 개편을 위한 교육체계 및 운영체계 고도화를 중심으로>. 충북: 한국보건복지인력개발원.
14. 신영일·최종진·정의식 (2020). 사회복무제도의 시대적 변천사와 사회복지시설 사회복무요원의 조직유효성에 관한 연구. <한국행정사학지>, 49, 65-87.
15. 신현석 (2006). 교육양극화의 교육행정학적 접근: 동향의 분석과 접근 방향의 탐색. <교육행정학연구>, 24(3), 315-341.
16. 안정선·진혜경·윤철수 (2006). 학교사회복지사의 직무분석과 직무표준안 개발. <한국아동복지학>, (21), 147-179.
17. 이경희·박정윤 (2018). 사회복무요원의 자아분화와 자아탄력성이 복무 부적응행동. <한국콘텐츠학회논문지>, 18(4), 60-76.
18. 이만희 (2003). <고등교육기관 체제의 수행지표 개발 연구>. 서울: 한국교육개발원.
19. 이성덕 (2014). 노인 장기요양시설 종사원이 지각하는 사회적 지지가 서비스지향성과 고객지향성에 미치는 영향: 직무스트레스, 조직몰입의 매개효과. 제주대학교 경영대학원 박사학위논문.
20. 이승훈 (2015, 가을). PBL 환경에서 재미와 학습몰입, 팀 학습활동 학습만족 간의 구조적 관계 분석: 사회복무요원 직무교육을 중심으로. <한국사회복지학회 학술대회 자료집>, 1009-1024.
21. 이승훈·유병민 (2015). 사회복무요원 직무교육 재미요인과 학습만족, 몰입 간 관계 분석. <한국콘텐츠학회논문지>, 15(5), 674-683.
22. 이전·권선진·임정기 (2014). Kirkpatrick의 교육평가모델을 적용한 사회복무요원 직무교육성과에 관한 연구. <한국사회복지행정학>, 16(3), 317-346.
23. 이종성 (2006). <델파이 방법>. 서울: 교육과학사.
24. 전선영·윤정혜·안정선 (2011). 사회복지전담공무원의 사회복지교육성과와 직무성과와의 관계: 임파워먼트의 매개효과를 중심으로. <한국사회복지학>, 63(1), 291-316.
25. 주연선·박형준·문영임·손영은 (2022). 보건복지분야 사회복무요원 직무교육의 성과와 변화요구 분석: 포커스그룹 인터뷰(FGI)를 중심으로. <공공정책연구>, 39(1), 261-289.
26. 차성미 외 (2010). 델파이 기법을 이용한 대표적인 한국의 맛과 음식에 관한 연구. <한국식품조리과학회지>, 26(2), 155-164.
27. 천대윤 (2003). 교육공학관점을 고려한 공무원교육훈련의 바람직한 방향 모색. <한국행정학보>, 37(2), 105-130.
28. 최금진·신동은 (2012). 민간평가기구에 의한 학문분야평가의 인증기준에 대한 체제론적 분석. <교육정치학연구>, 19(1), 157-181.
29. 최정윤·정진철·이정미 (2009). 주요국의 질 평가 접근법 비교분석에 기초한 대학의 질적 수준 평가 지표 개발. <비교교육연구>, 19(1), 25-58.
30. 최현수 (2007, 겨울). 독일 민사복무제도의 운영체계와 사회복무제도에 대한 정책적 함의. <국제사회보장동향>, 81-103.
31. 한윤섭 (2003). 공익근무요원 유형에 따른 직무만족도 연구. 제주대학교 행정대학원 석사학위논문.
32. 한익희 외 (2014). <보건복지 분야 사회복무요원 배치 및 활용 적정성 평가연구>. 충북: 한국보건복지인력개발원.
33. 황경애·임성옥 (2021). 경북지역 재가요양보호사의 직무교육이 요양서비스 질에 미치는 영향: 직무만족도의 매개효과를 중심으로. <대구경북연구>, 20(2), 215-231.
34. 황운성·최현수·노수현 (2015). <보건복지분야 사회복무요원 배정체계 구축 및 직무관리 방안>. 충북: 한국보건복지인력개발원.
35. Astin, A. W. (1993). Principles of good practice for assessing student learning. Leadership Abstracts, 6(4).
36. Barnett, R. (1992). Improving higher education: Total quality care. Bristol, PA: Open University Press.
37. Conrad, C. F., & Wilson, R. F. (1985). Academic program reviews: Institutional approaches, expectations, and controversies, Washington, D.C.: Association for the Study of Higher Education.
38. Dick, W., Carey, L., & Carey, J. O. (2005). The systematic design of instruction. Boston: Pearson.
39. Kaufman, D. M. (2003). Applying educational theory in practice. British Medical Journal, 326(7382), 213-216.
40. Knowles, M. (1996). Andragogy: An emerging technology for adult learning. Boundaries of adult learning, 53-70.
41. Luthans, F., Paul, R., & Baker, D. (1981). An experimental analysis of the impact of contingent reinforcement on salespersons' performance behavior. Journal of applied Psychology, 66(3), 314-323.
42. Noe, R. A., & Tews, M. J. (2008). Strategic training and development. In Storey, J., Wright, P., & Ulrich, D (Eds.), The Routledge companion to strategic human resource management (pp. 262-284). London: Routledge.
43. Turoff, M., & Hiltz, S. R. (1996). Computer-based Delphi processes. In Adler, M., & Ziglio, E (Eds.), Gazing into the oracle: The Delphi method and its application to social policy and public health (pp. 56-85). London: Jessica Kingsley.
44. Vogel et al. (2019). A Delphi study to build consensus on the definition and use of big data in obesity research. International Journal of Obesity, 43(12), 2573-2586.