Part 2. 정책실험이란?

최영준·구교준·고동현

LAB2050

Published in

LAB2050

15 min readFeb 28, 2020

* LAB2050 보고서 ‘정책실험의 개념과 필요성: 청년 기본소득 지급 실험 모델 제안’의 온라인 버전입니다. 주석, 참고문헌 등은 별도 포스트(링크)와 PDF 버전(다운로드)에서 보실 수 있습니다.

가. 정책실험의 정의

정책실험은 자연과학에서 활용되는 실험 설계를 사회과학에 해당하는 정책 분석 및 평가 분야에 응용함으로써 가장 엄밀하게 정책의 효과를 측정하고 입증하는 방법이다. 정책실험은 <그림 3>과 같은 구조로 진행되는데, 정책 대상 단위(사람, 지역 등)의 전체 또는 (표본 추출한)일부를 ‘실험집단’(treatment group)과 ‘통제집단’(control group)으로 무작위로 배정(randomization)한 뒤에 실험집단에만 정책을 시행하고, 두 집단에 나타난 차이를 비교해 정책 효과를 추정한다. ‘무작위 통제 실험’(Randomized Controlled Trial, RCT) 또는 ‘진실험 설계’(true-experimental design)와도 같은 의미로 쓰인다.

정책 효과의 평가, 즉 정책의 목표 달성 여부나 사회적 영향을 밝히기 위해서는 체계적인 ‘연구 설계’(research design)가 필요하다. 이중 정책 대상자에게 만족도를 묻는 ‘간접 측정’(indirect measurement) 방식도 정책 효과 평가에 중요한 부분이지만, 정책 효과를 좀 더 완전하고 종합적으로 이해하기 위해서는 정책의 목표 달성 여부를 직접 측정해야 한다(DeLong Hamilton et al., 2011). 이런 측면에서 정책실험은 정책 효과를 ‘직접 측정’(direct measurement)하는 방식으로, 정책 분석 및 평가에 있어 다른 연구 방법에 비해 정책 증거로서 가치가 압도적으로 높은 것으로 알려져 있다(Hollister, 2008).

정책실험의 작동 원리를 구체적으로 살펴보면, 정책 효과 평가의 핵심 요소는 정책이라는 원인 변수와 효과라는 결과 변수 간의 인과 관계를 밝히는 것이다. 이때 인과 관계는 원인 변수가 전혀 다른 두 값을 가질 때 나타나는 결과 변수 값의 변화(King et al., 1994)를 통해 파악해야 한다.
하지만 사회과학 분야에서 연구자는 이를 하나의 현실에서 관찰할 수 없다. 예를 들어 선거에서 현직 정치인의 프리미엄 효과를 밝히기 위해선 한 정치인이 현재 재임 중인 경우(원인 변수1)와 그렇지 않을 경우(원인 변수2)의 당선 가능성(결과 변수)을 비교해야 하는데, 선거에서 한 사람이 현직이면서 동시에 현직이 아닐 수는 없다. 즉 인과 관계를 밝히기 위한 두 가지 경우(원인 변수가 전혀 다른 두 값을 가지는 경우)는 관찰 불가능하며, 이를 ‘인과적 추론의 근본 문제’(fundamental problem of causality)라고 한다. 이 문제를 현실적으로 해결하는 방법이 바로 정책실험이다.

일반적으로 정책실험을 위해서는 정책 대상에서 추출한 ‘표본 집단’(sample group)을 실험집단과 통제집단에 무작위로 배정한다. 이 때 충분한 표본 수가 확보된다면, 두 그룹은 정책에 따른 효과(결과 변수의 변화)를 제외하면 평균적으로는 같은 특징을 보인다. 따라서 ‘만약 실험집단에게 정책을 실행하지 않았다면 결과가 어땠을까?’에 대한 답을 통제집단의 결과 변수를 통해 추정할 수 있고, 두 집단 간의 결과 변수 차이를 통해 정책의 순수한 효과를 측정할 수 있다(그림 4).

따라서 정책실험의 핵심은 실험집단과 통제집단의 무작위 배정에 있다. 무작위 배정을 통해 할당하지 않는 경우 정책이 실행된 집단과 실행되지 않은 집단은 여러 가지 특징이 다를 수 있다. 선택적 편의(selection bias)가 발생하는 것인데, 두 집단의 결과 변수 차이를 정책 효과로 보기 어려울 수밖에 없다. 예를 들어 방과 후 보충수업 프로그램의 효과를 평가할 때 학생의 소득 수준에 따라 실험집단과 통제집단을 구성했다면, 보충수업이 성적 개선에 효과가 있더라도 이 효과가 보충수업에 따른 순수 효과인지, 소득 수준의 차이가 영향을 미쳤는지를 정확하게 분리해서 판단할 수 없다.

나. 정책실험의 방법[3]

정책실험을 실행하는 방법은 다음과 같이 크게 3가지로 나눌 수 있다.

① 정책 수혜 대상 무작위 배정
앞서 설명한 정책실험의 원리에 가장 부합하는 방법은 정책 대상 중 표본 집단을 선정, 정책의 수혜자(실험집단)와 비수혜자(통제집단)를 무작위로 배정하는 것이다. 동일한 두 집단의 비교를 통해 정책 효과를 명확하게 측정할 수 있으며, 필요한 경우 추적 조사를 통해 정책의 장기적인 효과도 파악할 수 있다. 다만 통제집단에 대해서는 정책실험 참여에 따른 혜택이 없기 때문에 참여자들의 중도 이탈 가능성이 크다는 한계점이 있다. 이탈자가 많아지면 정책 효과의 충분한 근거가 될 수 없기 때문이다. 뒤에서 자세히 설명할 핀란드의 기본소득 실험이 이 방법으로 진행됐다.

② 정책 수혜 시점 무작위 배정
통제집단 이탈의 우려가 클 경우 정책 수혜 시점을 무작위로 배정하는 방법을 활용할 수 있다. 정책 대상 중 무작위로 실험집단과 통제집단을 구성한 뒤, 실험집단이 먼저 정책의 수혜를 받고 일정 기간이 지난 뒤 통제집단도 정책 수혜를 받는 방법이다. 결과적으로 실험집단과 통제집단에 모두 정책을 실행하게 되므로 통제집단 참여자들도 이탈할 가능성이 줄어든다.
하지만 정책의 장기 효과를 측정하는데 한계가 있고, 통제집단의 미래 정책 수혜에 대한 기대가 행동에 변화를 준다면 정책 효과에도 영향을 줄 위험성도 있다. 뒤에서 설명할 멕시코의 프로그레사 정책이 이 방법에 해당하며, 실험집단과 통제집단을 무작위로 선정하지는 않았지만, 정책 수혜 시점에 차이를 두고 두 집단을 비교했다는 점에서는 우리나라의 두루누리 사업(저임금 근로자 사회보험료 지원사업)에 대한 정책 평가도 유사한 형태로 진행된 바 있다(박윤수 외, 2018).

③ 정책 참여 유인 무작위 배정
또 다른 방법은 정책 참여 유인을 무작위로 배정하는 방법이다. 정책 대상자가 많은데 비해 정책 참여율이 낮은 정책의 효과성을 제고할 수 있는 방법이다. 정책 대상자 중 무작위로 배정한 실험집단에 대해서만 상세안내나 참여 혜택 등을 제공하고, 통제집단과의 참여율 비교를 통해 해당 유인의 효과를 측정한다. 정책실험에대한 윤리적 문제 제기나, 참여자 이탈 등의 우려가 없고, 비교적 적은 예산으로도 실행할 수 있다는 장점이 있다. 하지만 정책 홍보와 같은 전체 정책 과정 중 일부의 효과를 측정하고 이를 개선하는데만 활용할 수 있는 방법이다.

다. 정책실험의 한계

정책실험은 실험 설계 과정과 관련된 내적 타당성(Internal Validity)과 이후 정책 확대에 대한 외적 타당성(External Validity)의 측면에서 정책 효과 측정 수단으로서 한계점도 갖고 있다.

내적 타당성의 측면에서 보면, 실험집단은 실험 사실을 인지하고 의도적으로 행동에 변화를 줄 수 있으며, 통제집단도 추후 정책 확대 실시를 기대하고 다르게 행동할 수 있다. 정책실험 기간 중 실험집단과 통제집단 간 상호 교류도 정책 효과에 영향을 줄 수 있는 요인이다. 이런 문제 때문에 이론 상의 실험집단과 통제집단을 현실에서 구성하는 것이 불가능하다는 지적이 있다.

외적 타당성(External Validity)의 한계는 정책 대상자 중 일부만으로 정책실험을 했을 때와 전체 대상자에게 적용했을 때 효과가 달라질 수 있다는 점이다. 전체 정책 대상자에게 적용할 경우 상호작용에 따라 나타날 수 있는 공동체 효과(Community Effect)[4] 역시 일부 집단에만 적용했을 경우와 달리 부가적으로 나타나는 효과라 할 수 있다.

라. 정책실험의 활용 분야

정책실험의 작동 원리와 실행 방법, 한계점 등을 감안했을 때 정책실험을 적용하기에 적합한 정책의 요건은 다음과 같다. 정책이 구체적 대상자와 목표, 효과 측정에 적합한 지표를 갖고 있어야 하며, 정책 효과가 정책실험 기간 내에 나타날 수 있어야 하고, 실험집단과 함께 통제집단을 손쉽게 확보할 수 있어야 한다(박윤수 외, 2018).
정책의 사회적 함의도 정책실험 적용 여부의 중요한 기준이다. 정책 중 전면 도입시 예산 규모가 크고, 정책 효과에 대한 논란이 존재하지만 그 근거가 불충분한 정책일수록 정책실험을 적극 고려할 필요가 있다.

분배 정책에 해당하는 고용·노동, 보건·복지 정책은 이런 요건을 충족시키기 때문에 정책실험을 활용하기에 적합한 분야[5]로 꼽힌다. 현재 국내에서 이들 정책의 효과를 평가하는 수단은 시범사업과 예비타당성조사다.
시범사업은 정책 도입과 집행 과정에서는 정책실험과 유사한 측면을 갖고 있다. 새로운 정책의 전면 시행에 앞서 일부 집단(또는 지역)에 우선적으로 실시하고 그 결과를 평가해 확대 및 재검토 여부를 결정하는 것이기 때문이다. 하지만 상당수의 시범사업에 대해 제대로 된 평가가 진행되지 않고 있고, 평가를 하더라도 대부분 해당 정책 대상자의 사전·사후 변화를 비교하거나, 만족도 조사와 같은 사후 효과만 평가하고 있기 때문에 엄밀하게 정책 효과를 측정했다고 보기 어렵다.

또한, 국내에서 중기 재정 지출 계획이 500억 원 이상으로 규모가 큰 분배 정책(고용·노동, 보건·복지 등)에 대해서는 예비타당성조사가 실시된다. 예비타당성조사는 건설이나 SOC 사업을 위주로 개발된 계량 기법을 통해 편익(Benefit) 또는 효과(Effectiveness)를 추정하기 때문에 분배 정책에 대해서는 정확한 효과 추정이 어렵다는 한계(박노욱 외, 2015)가 있다.

마. 정책실험 운용 사례

앞서 언급한 개발도상국에서의 국제 개발 사업 이외에도 1995년 미국 정부가 공공임대주택 거주자의 이주 정책에 정책실험을 활용[6]하는 등 정책실험은 여러 지역에서 활용돼 왔다. 2010년대에 들어서면서 선진국들은 정부의 주요 정책 과제로 정책실험을 내세우고, 전담 조직을 만드는 등 정책실험을 더욱 적극적으로 활용하고 있다. 이 중 영국과 미국, 핀란드의 사례를 소개한다.

(1) 영국: 증거 기반 정책과 BIT[7]

① 설립 배경 및 현황
영국 정부는 1990년대 말 ‘정부의 현대화’(Modernizing Government) 백서를 통해 정책 개발의 초점을 단기적 결과가 아닌 장기적 결과에 두기로 하고, 이를 위한 새로운 정책 패러다임으로 ‘증거 기반 정책’(Evidence-based Plicy)[8]을 내세웠다. 이후 정책실험은 증거 기반 정책의 여러 방법 중 정책 효과 추정에 가장 강력한 증거를 제공하는 방법으로 부상했고, 2010년 집권한 보수당 연립정권은 정책실험을 정부 정책 평가에 적극 활용하기 위해 총리실 산하에 전담 조직인 BIT(Behavioural Insights Team)를 설립했다.

설립 초기 BIT는 안내 메일의 단어 변화와 같은 간단한 실험들을 통해 예산을 절감하는 등 성과를 축적해 나갔다. 2014년 정부와 민간 정책 연구기관인 네스타(Nesta), BIT 참여 직원이 공동소유하는 기관으로 전환됐고, 현재는 180여 명으로 확대돼 경제·교육·안전·환경·정부 조직·건강·지역 서비스 등 다양한 정책 분야에 정책실험을 적용하는 사업을 수행하고 있다. 세계은행·과테말라 정부와 협업해 안내 문구 개선을 통해 조세 납부율을 높이는 정책실험[9]을 수행하는 등 영국 외에도 뉴욕과 싱가폴, 시드니 등에도 지사를 두고 해외 기관과의 협력 사업도 진행하고 있다.

② BIT의 정책실험 사례: 구직 프로그램 개선 실험[10]
BIT는 2012년 영국 고용부와 협력해 고용 센터(Job Center)의 서비스 제공 방식 변화를 통해 구직자의 구직 성공률을 높이기 위한 정책실험을 진행했다. 구직 프로그램 참여 의사를 밝힌 2,000명의 구직자를 무작위 배정해서 통제집단은 기존의 고용 센터 프로그램을 적용하고, 실험집단에는 아래와 같이 세 단계로 구성된 새로운 프로그램 ‘잡 센터 플러스’(Job Centre Plus)를 적용했다.

1단계: 구직센터 직원과 구직자가 첫 대면시 즉각 상담(기존 프로그램: 첫 상담이 2주 뒤에 진행됨)
2단계: 구직자에게 ‘동기부여기제’를 적용해 향후 2주 동안 구직을 위해 무엇을 할 것인지에 대한 계획을 수립하도록 함
3단계: 구직 활동이 8주 이상 지속될 경우, 심리적 자신감을 높일 수 있도록 표현적 글쓰기 등의 프로그램을 지원

정책실험 결과 실험집단에 속한 구직자가 통제집단에 속한 구직자에 비해 15% 정도 더 높은 구직 성공률을 보인 것으로 나타났다.

(2) 미국: 오바마 정부의 증거 기반 정책 시도와 사회행동연구팀[11]

① 증거기반 정책 시행 계획
2015년 미국 오바마 정부도 증거 기반 정책 시행 계획(Evidence Based Policy Initiative)[12]을 수립해 신규 및 기존 정책의 예산 변경 또는 조정을 위해서는 진실험 설계((true-experimental design)를 통한 정책실험이나 ‘준실험 설계’(Quasi-experimental design)[13]를 통해 정책 효과의 근거를 제시하게 했다. 이를 위해 정부 부처 간 행정 데이터 공유를 활성화하고 저비용 실험 평가 방안으로 무작위 통제 실험(RCT)을 권장했으며, 각 부처로부터 증거에 기반한 정책 제안을 공모해 예산을 지원하기도 했다. 또한 증거 기반 정책에 대한 부처 역량을 강화하기 위해 정부의 정책 평가 결과 아카이브(What Works Clearinghouse)를 만들고 부처 간 평가 학습 네트워크(Cross-agency Learning Network)도 구축했으며, 정책실험을 위한 윤리적 교육도 진행했다.

② 사회행동연구팀
오바마 정부는 증거기반 정책 시행 계획과 더불어 BIT를 벤치마킹한 정책실험 전담 조직인 ‘사회행동연구팀’(Social and Behavioral Science Team)을 설치했다. 주로 다른 정부 부처의 정책실험 지원 사업을 진행했는데 대표적 사례는 대학 학자금 대출 상환을 높이는 실험이었다. 이를 통해 대출 상환에 대한 안내 이메일을 받은 학생들이 이를 받지 못한 학생들 보다 대출 상환 프로그램에 더 많이 참여하고 있음을 밝혀냈다. 하지만 트럼프 정부가 집권한 2017년 1월부터 사회행동연구팀이 운영을 중단[14]하는 등 증거기반 정책을 활성화하려던 오바마 정부의 노력은 이후 지속성을 갖지 못했다.

(3) 핀란드: 실험하는 핀란드[15]

핀란드에서는 2015년 선거 이후 구성된 연립 정부가 정부 개혁 과제의 하나로 ‘디지털화, 실험, 규제 완화’(Digitalization, experimentation and deregulation)를 제시하고, ‘실험하는 문화’(experimental culture)를 확산하는 전략[16]을 추진했다. 이 전략은 핀란드 사회에 실험하는 문화를 확립해 공공 서비스를 혁신하고, 시민들의 기업가 정신을 촉진해 지역 사회의 민주적 의사결정 체계를 확립는 것이 궁극적 목적이다. 이를 위해 총리실 산하에 전담 조직 ‘실험하는 핀란드’(Experimental Finland)가 만들어졌다.

실험하는 핀란드는 실험을 ‘풀뿌리’, ‘시범·협력 사업’, ‘전략적 차원’ 3가지 수준으로 나누어 지원하고 있다. 풀뿌리 수준에서는 시민들이 사회 문제를 개선하거나 창업을 하기 위한 아이디어를 실험하거나 사례를 공유할 수 있도록 지원한다. 시범·협력 사업 수준에서는 정부 부처나 비영리 단체 등과 협력해 기존 정책을 개선하거나 정책에 대한인식을 변화시키는 정책실험을 지원한다. 전략적 수준에서는 정부가 선정한 주요 과제에 대한 정책실험을 지원한다. 현재까지 현물 복지 수당 체계 개선, 디지털 정부 시범 사업 등 중앙 정부 및 지역 정부의 정책 혁신을 위한 정책실험과 사전 연구가 진행됐다. 뒤에서 소개할 핀란드 기본소득 실험 역시 전략적 수준의 과제에 해당한다.

이외에도 실험하는 핀란드는 웹 플랫폼인 ‘실험을 위한 공간’(Place to Experiment)을 운영함으로써 시민들이 직접 실험을 제안·하고 크라우드 펀딩의 형태로 자금도 조성할 수 있는 플랫폼을 운영하고 있다. 이와 함께 정책실험을 위한 윤리규정, 가이드, 관련 자료 등을 제공하는 역할도 하고 있다.

바. 정책실험을 통한 정책 혁신의 가능성

현재까지 논의한 정책실험의 원리와 적용 방안, 해외에서의 적용 사례 등을 종합했을 때, 정책실험은 아래 세 가지 측면에서 기존 정책을 혁신하거나 새로운 정책을 도입하는 효과적인 방안이 될 수 있다.

① 새로운 정책 대안의 효과성 입증
변화된 사회 나아가 미래 사회에 필요한 정책은 기존에 시도됐던 문제 해결 방식과는 다른 대안을 필요로한다. 하지만 이 대안들은 현실에서 효과가 검증되지 않은 경우가 많다. 기존 사례가 있다해도 각 정책은 사회의 맥락에 따라 다른 효과를 보인다. 사회 구조가 복잡해지면서 이론적 예측도 한계를 보인다. 정책실험은 새로운 정책 대안의 효과를 정확하게 측정하고 실행 여부를 판단할 수 있는 방법이다.

② 위험과 예산 부담의 감소
정책실험은 정책의 무조건 도입을 전제 하지 않는다. 관료 체계는 새로운 정책의 효과보다 부작용에 더 민감한 위험 회피 성향을 가진다. 정책실험은 정책의 도입 자체를 목적으로 하지 않기 때문에 정책 추진에 따른 위험 부담을 줄여준다. 또한 신규 정책을 위해 조직 구조를 전면적으로 개편하기보다 정책실험을 위한 임시 조직을 구성하고, 효과가 검증된 이후에 조직을 구성할 수 있어 과도한 조직 체계 개편에 따른 위험도 줄일 수 있다. 무엇보다 정책실험은 검증되지 않은 정책의 막대한 인력과 예산 소모를 방지하는 가장 효과적인 방법이다. 또한 다른 지역에서 충분한 효과성을 검증한 정책이라도 정책실험의 과정을 거쳐 보완 요소를 파악한다면, 정책의 효과성을 더 높일 수도 있다.

③ 정책 확산과 사회적 합의
최근 여러 지방자치단체에서 다양한 정책이 시도되면서 특정 정책이 성공하고 주목을 받으면 그 정책이 쉽게 다른 지역으로 확산되곤 한다. 하지만 이 정책이 왜 효과를 냈는지, 다른 지역에도 적용 가능한지에 대한 충분한 고려 없이 복제되는 탓에 실패하는 경우도 적지 않다. 따라서 새로운 정책이 정책실험을 거침으로써 효과가 과학적으로 검증되고, 그 과정이 명확하게 공유된다면 무분별한 확산에 따른 부작용을 줄일 수 있다. 정책실험을 통한 정책 효과의 검증은 해당 정책 도입에 반대하는 진영을 설득하는데도 강력한 근거가 될 수 있다(최현수 외, 2018). 정책실험 과정이 사회적으로 알려지고 그 실험 결과에 기반해 정책 도입에 여부에 대한 사회적 합의가 이뤄진다면 정책이 더 광범위하게 확산될 수도 있다.