증거 기반 정책결정은 왜 과대평가되었나

3년 전, 미국은 팬데믹 비상사태의 종식을 선언했고, 나라 전체가 한숨을 돌렸습니다. 친애하는 독자 여러분, 여러분은 아마 이 모든 일을 이미 한쪽으로 치워 두셨을 것입니다. 죄송하지만, 저는 도무지 그러지 못하겠고, 지난주 아일랜드에서 돌아오는 길에 Macedo와 Lee의 탁월한 “In Covid’s Wake“를 읽으면서 그 이유를 새삼 떠올렸습니다. 물론 바이러스는 우리 중 누구 한 사람의 잘못도 아니었습니다.¹ 그러나 민주 사회로서 우리가 그것을 어떻게 추론해냈는가는 전적으로 우리 자신의 잘못이었습니다. 이른바 전문가라는 사람들은 수년간 나머지 우리에게 “과학을 따르라”고 말해 놓고는, 과학이 결코 부여하지 않은 확실성을 주장했고, 가치 판단을 기술적 판단인 양 포장했으며, 우리를 위한답시고 숱한 고결한 거짓말을 늘어놓았고, 자신들의 좁은 전문 영역 바깥에 놓인 비용은 죄다 손짓 하나로 치워 버렸습니다. 우리는 데이터에 빠져 허우적댔지만, 정작 우리에게 없었던 것은 정직한 판단이었습니다.

이 반사적인 증거 기반 사고방식은 단지 팬데믹에 국한된 것이 아니며, 한 종류의 데이터를 유일하게 가치 있는 데이터로 취급하는 곳이라면 어디서든 나타납니다. 2018년, 한 일류 의학 학술지는 사람들이 항공기에서 뛰어내릴 때 낙하산이 사망이나 부상을 막는 데 아무 효과도 없었다는 무작위 대조 시험(RCT) 결과를 게재했습니다. 함정은 그 비행기들이 지상에 주기되어 있었고, 평균 점프 고도가 약 0.5미터였다는 것입니다. 물론 그 연구 전체는 하나의 농담이었습니다. 저자들은 실험 그 자체에 반대한 것이 아니라, 비행기 창밖만 내다봐도 확인할 수 있는 주장에 대해서조차 RCT를 유일하게 존중받을 만한 지식의 형태로 취급하는 동료들 사이의 흔한 반사 작용을 조롱하고 있었습니다.²

저는 직업 인생의 많은 부분을 이민 논쟁에서 더 나은 증거를 요구하고 거기에 기여하는 데 바쳐 왔고, 대개는 같은 편 사람들의 조용한 짜증을 사면서까지 그랬으니, 이제 와서 데이터를 비웃으며 “느낌”에 따라 행동하기 시작할 생각은 없습니다. 좋은 정책결정에는 증거와 비용편익 분석, 그리고 신중한 반사실적 사고가 필요합니다. 그러나 거기에는 또한 겸손과, 주어진 질문이 실제로 어떤 종류의 증거를 요구할 수 있는지, 혹은 도대체 요구하기는 하는지에 대한 더 나은 판단이 필요합니다.

어떤 정책들은 너무나 명백하게 좋아서 시도해 보는 데 완벽한 연구가 필요하지 않습니다. 수요가 높은 곳에 더 많은 주택을 합법적으로 허용하는 것, 대체재가 화석연료인 상황에서 믿을 만한 저탄소 전력을 계속 가동하는 것, 혹은 모두가 원한다고 입을 모으는 해외 최고 인재에 대한 비자를 늘리는 것 같은 일들이 그렇습니다. 합리적인 사람들은 세부 사항과 상충관계를 두고 논쟁할 수 있습니다. 그러나 이런 질문들에서 행동의 근거는 완벽한 RCT에 달려 있지 않으며, 입증의 부담이 무한해서도 안 됩니다.

또한 어떤 정책들은 너무나 명백하게 나빠서 그것을 멈추는 데 연구가 필요하지 않습니다. 비호 신청자 취업 금지 같은 것이죠. 정말이지, 법적 미결 상태에 놓인 의사 있는 성인에게 일을 금지하고, 그 대신 그들을 보호하느라 비용을 치르며, 그러고는 그들의 무위(無爲)를 가리키며 시스템이 망가졌다는 증거라고 주장할 때 무슨 일이 벌어지는지를 예측하는 데에는 무작위 시험은커녕 어떤 확고한 증거도 필요하지 않습니다. 정책에서 가장 어려운 결정들 대부분은, 잘 설계된 실험을 요하는 어떤 거대한 미스터리라기보다는 이쪽에 더 가깝게 생겼습니다.

“증거”가 실제로 의미하는 것

낙하산 한 칸 아래에는 치실이 놓여 있습니다. 저는 개인적으로 치실질을 즐기지 않지만, 우리 대부분은 푸짐한 식사 뒤에 치실로 이를 청소하고 나면 그 차이를 느낄 수 있을 것이고, 우리 치과의사는 다음 스케일링 때 그것을 볼 수 있습니다. 그런데 일부 기자들이 치실에 대한 양질의 무작위 증거가 거의 없다는 한 리뷰를 붙잡고 늘어지자, 치실이 효과가 있다는 증거가 전혀 없다고 알리는 헤드라인이 줄줄이 쏟아졌습니다. 과학사가 Naomi Oreskes가 지적하듯, 그것은 오독이었습니다. 우리는 증거에 대해 “넓은 마음을 가져야” 하며, 특히 깔끔한 장기 시험이 비현실적이거나 결코 연구비를 받지 못할 영역에서는 직업적 경험과 일상적 관찰까지 헤아려야 한다고 그는 주장합니다.

훨씬 더 큰 판돈이 걸린 채로, 똑같은 혼란이 COVID 팬데믹 전반을 관통했습니다. 이 주제를 다룬 최근의 (강력히 추천하는) 책에서 Stephen Macedo와 Frances Lee는 놀라운 주장을 펼칩니다. 호흡기 팬데믹에 어떻게 대처할 것인가에 관한 관련 지식의 상당 부분은 이미 존재하고 있었지만, 서구 전역의 정부들은 대체로 그것을 한쪽으로 치워 버렸다는 것입니다. 2020년 이전까지 지배적이던 팬데믹 대비 계획들은 봉쇄나 장기간의 학교 폐쇄 같은 광범위한 조치에 회의적이었고, 그에 대한 증거는 빈약하며 인적·경제적 비용은 크다고 경고했습니다. 2020년 초의 공황 속에서, 그 정부들은 거의 하룻밤 사이에 그 지침을 폐기했고, 그러고는 과학이 결코 뒷받침하지 않은 확신을 내비쳤습니다.

사물을 그것이 주는 피드백의 종류에 따라, 그리고 어떤 목적을 위한 것인지에 따라 분류해 보면 도움이 됩니다. 낙하산은 가장 단순한 종류의 피드백을 줍니다. 살아남는다는 혜택은 즉각적이고, 개인적이며, 놓치기가 불가능하므로, 시험을 해 봤자 누구나 이미 볼 수 있는 것을 확인해 줄 뿐입니다. 새로운 약이나 백신은 정반대를 줍니다. 혜택과 비용이 실재할 수는 있으나, 그것들은 또한 훨씬 더 다양하고 흔히 눈에 보이지 않습니다. 끝내 찾아오지 않은 감염은 운이나 몸이 스스로 낫는 것과 혼동하기 쉬운데, 바로 그렇기 때문에 위약을 쓴 무작위 시험이 필수적이며, 현대 의학이 그 위에서 돌아가는 것입니다.

대부분의 정부 정책은 그 사이에 놓여 있습니다. 어떤 정책이 이득을 가리키는지 손실을 가리키는지는 거기에 깔끔한 숫자를 붙일 수 있기 한참 전부터 대개 알 수 있고, 그 효과는 노동 시장, 가격, 그리고 정치를 한꺼번에 관통하기에, 어떤 단일한 시험으로도 그것들을 분리해낼 수 없으며, 흔히 시험 자체를 아예 돌릴 수가 없습니다. 그러나 낙하산처럼 그저 들여다보는 것만으로 결론을 낼 수도 없고, 약처럼 한 번의 깔끔한 실험으로 결론을 낼 수도 없습니다. 남는 것은 누적된 증거와, 장소와 시대를 가로지른 비교, 그리고 불확실성 아래에서의 정직한 비용편익 추론에 기댄 판단이며, 이 모두가 확정된 과학으로 위장된 채가 아니라 공개적으로 밝혀져야 합니다.

지금 실제로 존재하는 반사적 증거 기반 정책의 또 다른 희생물은, 도대체 무엇이 관련된 증거로 간주되며 누구의 전문성이 그것을 결정할 권한을 갖느냐는 선결 질문입니다. 여기서 Macedo와 Lee는 통렬합니다. 그들이 기록하듯, 한 줌의 틈새 공중보건·감염병 전문가 집단이 삶의 모든 부분을 건드린 위기에 대해 돌연 유일하게 정당한 권위로 취급되었고, 그들의 렌즈는 설계상 좁았습니다. 감염을 최소화하는 데 고정된 채, 경제적이든 비경제적이든 거의 모든 다른 효과를 누군가 다른 사람의 소관으로 치부하며 탁자 밖으로 밀어냈던 것입니다.

국립보건원을 이끌었던 Francis Collins는, 자신이 공유했던 “공중보건적 사고방식”이 자신으로 하여금 “질병을 멈추는 데 무한한 가치를 부여”하고 “이것이 실제로 사람들의 삶을 완전히 망가뜨리고, 경제를 무너뜨리며, 수많은 아이를 학교에 못 가게 하는지에는 영(零)의 가치를 부여”하게 만들었다고 인정했습니다. 영국에서는 최고의료책임자 Chris Whitty가 공식 코로나 조사에서, 정부 자문단에 경제·사회 전문가를 추가했다면 자문단이 너무 “다루기 힘들어졌을” 것이라고 말했습니다. 바이러스를 멈추는 일이 과학을 따르는 것으로 간주되는 유일한 목표가 되었고, 어떤 정직한 정책이든 저울에 올려야 할 비용들은 논의 범위 밖으로 배제되었습니다.

경제학자들은 이미 이 싸움을 겪었다

개발경제학자들은 20년 동안 이 문제를 두고 논쟁해 왔습니다. “신뢰성 혁명”은 사회과학에 엉성한 인과 주장을 불신하고 식별을 중시하라고 가르쳤으며, 이는 진정한 진보였습니다. 그러나 경제학자 Lant Pritchett는 그 옹호자들 가운데 일부가 그러고 나서 기묘한 속임수를 부렸다고 주장합니다. 논문 안의 좁은 추정치에 대해서는 가능한 가장 엄격한 증거를 요구해 놓고는, 돌아서서는 그 추정치 위에 세워진 광범위한 시스템 차원의 주장을 “완전하고 전적인 잘 속아 넘어감”으로 받아들였다는 것입니다. 그는 이를 잘 속아 넘어가는 혁명이라 부릅니다. 한 실험은 내적으로 빈틈없으면서도, 어떤 프로그램이 다른 나라에서 전국적 규모로 작동할지에 대해서는 거의 아무것도 말해 주지 못할 수 있습니다.

이 불만은 그 분야의 한복판에서 나옵니다. 결코 계량화의 적이라 할 수 없는 Angus Deaton과 Nancy Cartwright는, 무작위 시험이 이론 및 기제와 나란히 “누적적 프로그램의 일부로서”만 그 값어치를 한다고 주장합니다. 단일 시험에 외적 타당성을 요구하는 것은 “RCT에 너무 많은 것을 기대하는 동시에 그 기여를 과소평가하는 것”입니다.

Pritchett는 자신의 분야인 경제 성장에 대해 더 무뚝뚝한 냄새 검사를 제시합니다. 어떤 유행하는 요소를 부유한 나라가 가난한 나라보다 더 많이 갖고 있지 않다면, 그것이 발전을 설명한다는 주장은 의심해야 한다는 것입니다. 부(富)에 이르는 길에 무작위 시험을 돌린 나라는 일찍이 없었습니다. 폴란드가 공산주의에서 벗어나 번영으로 올라선 것은 잘 돌아간 현금 이전 실험 덕분이 아니었습니다. 그것은 어떤 시험도 사전에 검증할 수 없었을, 시장과 제도와 정치의 어수선하고 대규모적인 변화를 통해서였습니다. 방법은 질문에 맞아야 합니다. 그러지 못할 때, 잘못된 질문에 더 많은 엄밀함을 들이는 것은 그저 자신만만하게 핵심을 빗나가는 더 값비싼 방식일 뿐입니다.

시험이 제값을 할 때

오해는 마십시오. 저는 제 RCT들을 좋아하고 직접 몇 개를 수행하기도 했습니다. 무작위 연구는 직관이 지식을 앞질러 갈 때 필수적입니다. 시험의 최선의 명분은 낙하산의 거울상입니다. 때로는 답이 전혀 명백하지 않고, 거의 모두가 공유하는 직관이 알고 보니 틀렸으며, 알아낼 유일한 길은 실험을 돌리고 그 비용을 치르는 것뿐입니다. 그저 들여다보는 것만으로 효과를 곧장 볼 수 없을 때는, 그것을 반드시 신중하고 체계적으로 측정해야 합니다.

부유한 나라에서의 현금 이전이 여기서 흥미로운 사례가 될 수 있습니다. 가난한 나라에서, 사람들에게 돈을 쥐여주는 것이 그들의 삶을 개선한다는 증거는 사회과학이 얻을 수 있는 가장 강력한 수준에 가깝습니다. 무작위 연구들이 소득, 자산, 식량 안보, 심지어 더 낮은 영아 사망률에서까지 큰 이득을 발견했죠. 경제학자들이 가난한 사람들에게 그저 현금을 쥐여주자고 처음 제안했을 때, 우려는 그들이 술이나 다른 유혹에 돈을 탕진하리라는 것이었고, 그래서 원조는 그토록 자주 식량으로, 혹은 조건이 달린 현금으로 주어졌습니다. 시험들은 그 우려가 대체로 근거 없음을 발견했습니다. 수십 건의 연구에 걸쳐, 현금은 술이나 담배에 대한 지출을 늘리지 않았고 오히려 줄이는 경우가 많았는데, 빈곤 속의 사람들은 알고 보니 자신에게 무엇이 필요한지를 잘 판단하기 때문입니다.

자, 이제 현금 이전이 분명히 효과가 있다는 것이 점점 더 많은 사람에게 갈수록 명백해지고 있으니, 여러분은 같은 논리가 부유한 나라로도 이어진다고 가정할지 모릅니다. 형편이 어려운 미국인에게 매달 몇백 달러를 주면 그들의 삶이 측정 가능하게 나아진다고 말이죠. 적어도 그것을 믿었던 연구자들에게는 그렇게 명백해 보였습니다. 그런데 그들이 시험을 돌렸습니다.

Kelsey Piper가 상세히 전하듯, 사람들에게 3년간 매달 1,000달러를 준 OpenResearch 실험을 포함한 일련의 면밀한 미국 연구들은 건강, 고용, 스트레스, 또는 자녀의 결과에서 지속적인 개선을 찾지 못했습니다. 현금이 더 도움이 되리라 기대하고 임했던 Piper는 그 증거를 “충격적”이라고 표현했습니다. 개발도상국의 발견들은 탄탄했지만, 이 맥락으로 깔끔하게 옮겨지지는 않았는데, 이것이 바로 Angus Deaton이 그토록 걱정했던 그 외적 타당성 문제입니다. 여기서 시험은 그것이 든 비용의 한 푼까지 제값을 했습니다. 판돈이 컸고, 직관이 강했지만, 그것이 끝내 틀렸기 때문입니다. 물론 문제는, 연구를 돌릴 가치가 있는지 결정하기 전에 낙하산과 의학 시험을 구별하는 일입니다.

그렇다 해도, 올바른 도구가 늘 실험인 것은 아니며, 때로는 아예 이용할 수조차 없습니다. 우리가 아는 가장 중요한 것들 가운데 일부는 어떤 단일 시험보다 이론과 모델링에 기대고 있습니다. 한 나라가 자유무역에 스스로를 열어야 하는지에 대해 무작위 연구를 돌린 사람은 아무도 없고, 돌릴 수도 없었습니다. 여기서의 근거는 두 세기 전에 정립되어 그 뒤로 산더미 같은 비실험적 증거로 다듬어진 비교우위 이론에 기댑니다. 어떤 삶이 더 나은지를 알아내겠다고 나라들을 민주주의와 독재로 무작위 배정한 사람도 없었습니다. 우리는 이런 질문들을 이론과 가치로부터 추론하며, 사고 실험과 형식적 모델에 기대는데, 사회과학자들이 바로 그런 계산적·사고적 시뮬레이션을 구축하는 것은 어떤 질문들은 결코 실험적 검증에 부쳐질 수 없기 때문입니다.

모두가 동시에 틀릴 때

저는 팬데믹 전문가가 결코 아닙니다. 그러나 그것은 여전히 공적 신뢰를 나쁜 쪽으로 형성하고 있는 매우 중요한 사례입니다. 우리는 증거 속의 불확실성을 이미 보았습니다. 그러나 더 깊은 실패는 그것을 인정하기를 거부한 것이었습니다. Macedo와 Lee가 기록하듯, 모든 층위의 관료들은 “우리는 코로나-19에 무엇이 효과가 있는지 안다”고 되풀이했습니다. “정책결정자들이 즉흥적으로 대응하고 있었고 실제로는 무엇이 효과가 있는지 확실히 알지 못했음이 점점 더 분명해지는 와중에도” 말이죠. 존재하지도 않은 곳에서 확실성이 주장되었습니다. 과학은 어떤 정책이 무엇을 할 가능성이 있는지 말해 줄 수 있습니다. 그러나 무엇을 가치 있게 여겨야 하는지는 말해 줄 수 없으며, 그렇지 않은 척하는 것은 다음번에 필요할 신뢰를 미리 써 버리는 일입니다.

비판자들도 흔히 거울상의 실수를 저질러, 깔끔한 시험의 부재를 어떤 조치가 쓸모없다는 증거로 취급했는데, 이것이 바로 치실의 오류를 전국적 비상사태 규모로 키운 것입니다. Macedo와 Lee는 두 반사 작용을 동시에 나무랍니다. 그들이 쓰듯, “마스크 회의론자를 조롱하고 검열하는 것”이 잘못이었던 만큼 “마스크가 효과가 없다고 확신에 차서 주장하는 것” 또한 잘못이었다는 것입니다. 그리고 그 고함 아래에는 아무도 이름 붙이고 싶어 하지 않은 상충관계가 자리하고 있었습니다. 그들이 지적하듯, 마스크 착용에 관한 연구들은 “방정식의 한쪽만을” 측정했고, “아이들의 학습, 의사소통, 사회화, 그리고 심리적 안녕에 마스크 착용이 끼치는 비용에 대해서는” 아무 말도 하지 않았으며, 학교 폐쇄는 “가난한 아이들을 가장 크게 해쳤습니다”. 두 오류가 공유하는 것은 정직한 말을 하기를 거부한 점입니다. 증거는 불완전했고, 그 선택들은 한 표도 던질 수 없었던 사람들에게 무거운 비용을 떠안겼다는 사실 말입니다.

“과학을 따르라”는 실패는 가치에 관한 의견 차이를, 즉 젊은이의 교육과 노인의 안전에, 자유와 신중함에 각각 얼마만큼의 비중을 둘 것인가에 관한 의견 차이를, 데이터가 이미 정리해 놓은 기술적 분쟁인 양 포장했습니다. 이민은 끊임없이 똑같은 수를 둡니다. 증거에 관한 논쟁처럼 보이는 것의 상당 부분은 사실 정부가 자국민에게 빚진 것과 외국인에게 빚진 것에 관한 논쟁입니다. 어떤 실험도 시민의 임금을 낯선 이의 안전에 견주어 얼마나 비중을 두어야 하는지, 혹은 더 다양한 사회가 더 응집된 사회보다 나은지를 말해 줄 수 없습니다.

이것들은 모두 가치의 질문이며, 만약 사람들이 더 다양한 사회 같은 어떤 결과를 단지 원하지 않는다면, 어떤 정책이 그것을 가져다주리라는 깔끔한 추정치도 그들의 마음을 바꾸지 못할 것입니다. 저는 이 주장을 길게 펼친 바 있습니다. 여기서 증거가 할 수 있는 가장 유용한 일은, 주어진 정책이 무엇을 치르게 하고 무엇을 만들어낼지를 말해 줌으로써 가치 논쟁을 규율하는 것입니다. 증거가 가치 논쟁을 사라지게 만들 수는 없으며, 가치 갈등을 과학적 갈등으로 고쳐 부르는 것은 대개 사람들이 정작 무엇을 두고 싸우는지를 가릴 뿐입니다.

Dan Williams는 정치적 부족이 어떻게 서로 경쟁하는 현실을 구성하는지에 관한 그의 새 에세이에서 이와 밀접하게 관련된 지적을 합니다. 정치적 의견 차이는 흔히, 어떤 사실이 중요한지, 무엇이 대표적인 것으로 간주되는지, 그리고 누가 피해자나 악당이나 영웅으로 그 이야기에 속하는지를 결정하는 서로 경쟁하는 해석 체계를 관통합니다. 바로 그래서 “증거”에 호소하는 것이 그토록 자주 실망을 안기는 것입니다. 그 싸움은 부분적으로는 사실을 둘러싼 것이지만, 또한 그 사실이 사람들에게 무엇을 의미하는지를 일러 주는 프레임을 둘러싼 것이기도 합니다.

명백한 혜택

어떤 무작위 시험도, 세금을 내고, 기록된 인력 부족을 메우고, 회사를 차리거나, 의사를 못 구하는 마을에서 환자를 돌보는 생산적이고 숙련된 노동자를 받아들이는 일에 대해 여러분이 알고 싶은 모든 것을 결코 말해 주지 못할 것입니다. 여기서의 피드백은 다양한 제도를 관통하며, 다이얼을 돌리는 동안 나머지 세상을 고정해 둘 수도 없습니다. 그럼에도 기본 방향은 전혀 신비롭지 않습니다. 더 많은 적격 과학자를 전문 비자로 들일지, 아니면 불필요한 숙련 노동자 적체를 해소할지를 저울질하는 정책결정자는 그 질문 전체를 정리해 주는 깔끔한 실험적 증거를 결코 손에 넣지 못할 것이며, 그것을 기다리는 것은 그저 나쁜 기본값이 계속 버티게 두는 일일 뿐입니다.

이것이 바로 숙련 이민이 그토록 대중적인 이유입니다. 그 혜택은 누구도 계량경제학 논문을 읽지 않아도 직관적이고 눈에 보입니다. 미국 유권자 약 80퍼센트가 당파를 가로질러 고숙련 이민을 지지하며, 그에 따라 행동하고자 하는 정책결정자는 단 하나의 새 법률 없이도 비범한 능력을 가진 노동자를 위한 상한 없는 O-1A 비자를 당장 내일이라도 간소화할 수 있습니다. 이것이 제가 명백히 유익한이라는 말로 의미하는 바입니다. 나라에 대한 그 기여를 보통 사람들이 실용적인 측면에서 볼 수 있고, 명시적이고 직접적으로 국익에 복무하는 정책을 뜻하죠. 설득력 있는 프레임이 이미 정책 자체에 녹아 있어서, 그것을 설명하기 위한 캠페인이 필요하지 않습니다.

그러나 물론 이민 정책을 세우는 일은 낙하산을 고르는 일과는 다릅니다. “세금을 내고 기록된 인력 부족을 메우는 숙련 노동자는 나라에 자산이다”라는 말은 사회적 사실이 도달할 수 있는 한도에서 거의 관찰적 포화에 가까운 주장입니다. “이 특정한 비자 개혁이 이 특정한 규모로 그 혜택을 만들어낼 것이다”라는 말은 식별을 정말로 필요로 하는 진정한 경험적 질문이며, 제 동료들이 평생을 바쳐 추정하려 애쓰는 그런 종류의 것입니다. 두 번째 주장을 마치 첫 번째만큼이나 자명한 것처럼 취급하는 것은 낙하산 저자들이 조롱했던 바로 그 오류이며, 다만 더 우호적인 방향을 겨눌 뿐입니다. 제가 전에 주장했듯, 추상적인 “이민”에는 발견되기를 기다리는 깔끔한 효과 따위가 없습니다. 특정한 규칙 아래 특정한 사람을 받아들이는 특정한 정책에는 있죠.

눈에 보이는 모든 혜택이 이민만큼 골치 아픈 것은 아닙니다. 마침 치실 이야기를 하던 참이니, 일본식 변기라는 발상을 생각해 보십시오. 온수 워시렛을 한두 번만 써 보면 그것이 대부분의 평범한 화장실이 제공하는 것보다 낫다는 것을 알게 되며, Noah Smith가 방금 주장했듯, 청결도나 만족도를 측정하는 무작위 시험 따위는 누구에게도 필요하지 않습니다. 저도 일본에서 얼마간 지낸 뒤 최근에 하나 샀고, 할 말이 있습니다.³ 저는 호텔과 공항에 워시렛을 대규모로 설치하는 것이 수많은 미국 기관에 도입하면 좋을 정책이라고 꽤 확신하며, 그것이 어떤 진지한 의미에서도 증거 기반일 필요가 없다는 것 또한 그만큼 확신합니다. 여기서의 발목은 증거의 부족이 아닙니다. 우리의 문화적 습관, 건축 법규, 그리고 대부분의 미국 화장실이 애초에 갖추도록 지어진 적 없는 전기 배선이 발목입니다.

명백한 해악

똑같은 논리가 반대 방향으로도 작동하며, 그것은 부유한 세계에서 어쩌면 가장 분명한 자기 파괴적 이민 정책을 낳습니다. 비호 신청 처리 중인 비호 신청자의 취업을 금지하는 것 말이죠. 많은 나라에서 그 배제는 반년 이상 이어지며, 실제로는 훨씬 더 길게 늘어질 수 있습니다.

정치를 고려하기에 앞서, 이것이 한 사람에게 무엇을 하는지부터 생각해 봅시다. 정부는 비호 신청을 심사 대상으로 받아들이고, 신청자를 보호하는 비용을 치르며, 그러고는 그들이 스스로를 부양하고, 기록을 쌓고, 소속되기 시작하도록 해 줄 유일한 활동, 즉 일을 금지합니다. 몇 달에 걸친 강요된 무위는 저축을 갉아먹고, 기술을 녹슬게 하며, 누군가를 고용 가능하게 만드는 습관과 자신감을 잠식하고, 그 피해는 금지 조치보다 몇 년을 더 갑니다. 이것이 나쁜 거래임을 알아채는 데에는 영리한 도구도, 무작위 시험도 필요하지 않습니다.

그다음으로는 이 사안의 골치 아픈 정치가 있습니다. 이 금지는 반이민 정치인들이 시스템이 망가졌다는 증거로 가리키는 바로 그 이미지를 제조해냅니다. 멀쩡한 신참자들이 납세자가 비용을 댄 호텔에서 빈둥거리거나, 공식 경제가 그들에게 닫혀 있는 탓에 신호등 앞에서 과일을 팔고 있는 이미지 말이죠. 그 눈에 보이는 의존은 유권자가 이민 전반에, 그들이 평소 좋아하던 숙련 경로까지 포함해, 등을 돌리게 만들 수 있습니다.

이민 정책이 대중적 지지를 유지하려면 직관적으로 유익해야 한다고 제가 주장할 때마다, 누군가는 유익하지 않은 친(親)이민 정책이라는 게 도대체 어떤 모습이겠느냐고 묻습니다. 바로 이런 모습입니다. 그리고 난민의 장기적 재정 기여에 관한 그 어떤 총량 증거도, 거리에서 펼쳐지는 비호 위기의 눈에 보이는 무질서를 유권자가 안 본 것으로 만들어 주지는 못합니다. 정직한 해법은 애초에 그 눈에 보이는 실패를 만들어내기를 멈추는 정책입니다.

증거 연극에 반대하여

증거 기반 정책의 극대화 버전이 왜 그 옹호자들을 거듭 실망시키는지를 보면 도움이 됩니다. 모든 칩을 “과학” 위에 밀어 넣고, 전문가들이 현재 합의하는 무엇이든 거기에 따른다 해도, 그것은 여전히 정책을 내놓지 못합니다. 가장 어려운 질문들은 과학이 답하도록 만들어진 질문이 아니기 때문입니다. Macedo와 Lee는 코로나에 대해 그 사례를 제시합니다. 그들이 쓰듯, 과학자들은 “그들의 좁은 전문성의 토대를 가지고는 정책을 만들어서는 안 되는데”, 그 선택들이 어떤 연구도 저울질할 수 없는 가치와 상충관계에 달려 있기 때문입니다. 똑같은 간극이 기후 문제에서도 드러나는데, 경제학자 Matt Burgess는 “별일 아니다”와 “실존적 위협”이라는 시끄러운 프레임이 둘 다 아마 틀렸으며, 책임 있는 정책은 상충관계를 저울질하고 어떤 시나리오가 그럴듯한지를 판단해야 한다고 주장합니다. 이는 합의에 대한 어떤 호소로도 정리할 수 없는 것이죠. 그리고 그것은 이민에서도 드러나는데, 여기서 “증거”는 근본적으로 우리가 서로에게 무엇을 빚지고 있느냐를 둘러싼 싸움인 것을 정리하겠다며 양측 모두에 의해 동원됩니다.

그렇다면 증거 뒤에 숨지 않으면서도 증거를 진지하게 받아들이고 싶은 사람에게, 이것이 실제로 어떤 모습일까요? 다음 질문들이 도움이 됩니다.

실제로 탁자에 오른 것이 어떤 종류의 주장인가? 데이터가 정리할 수 있는 경험적 주장인가, 아니면 어떤 회귀분석으로도 결코 해소하지 못할 규범적 주장인가?

그 정책은 어떤 종류의 피드백을 만들어내는가, 그리고 결정을 내려야 하는 시점 전에 깔끔한 연구가 과연 유효하고 또 이용 가능하기는 한가?

그리고 증거를 모으는 데 무엇이 드는가, 기다리는 데 무엇이 드는가, 그리고 그 지연의 대가는 누가 치르는가?

기제가 분명하고 강하며, 단점이 되돌릴 수 있고, 혜택을 받을 사람들이 기다릴 여유가 없을 때, 정직한 행보는 지금 행동하고 진행하면서 계속 연구하는 것입니다. 그리고 의견 차이가 근본적으로 가치에 관한 것일 때, 전문가들은 그것을 “과학”을 통해 세탁하는 대신 그렇다고 말해야 합니다.

증거 기반 정책에서 정직한 민주적 판단으로

모든 연구에는 값이 있고, 모든 지연에도 그렇습니다. 작가 Jeremiah Johnson은 최근 The Argument에 실린 글에서 예외 사례의 폭정이라 이름 붙인 실패 양식을 짚었습니다. 아무리 드물어도 누군가에게 끼칠 수 있는 어떤 상상 가능한 해악이든 아무도 행동하지 말아야 할 이유가 되어 버리는 양식이며, 연구를 하나 더 하라는 요구가 그것이 가장 즐겨 쓰는 도구 가운데 하나입니다. 그 요구는 좀처럼 고르게 떨어지지 않습니다. 누군가 싫어하는 개혁에는 기준이 올라가고, 대개 어떤 시험에도 기대고 있지 않은 현상 유지에는 기준이 사라집니다.

도달하고 싶지 않은 결론에만 겨눠진 고립된 엄밀함의 요구는, 증거에 대해 칭찬받을 만큼 신중한 듯한 소리를 내면서 행동을 가로막는 가장 효과적인 방법 가운데 하나입니다. 시험을 돌린다는 것은 돈을 쓰고, 시간을 태우며, 때로는 통제 집단에 속한 사람들에게서 유망한 정책을 보류한다는 뜻이고, 그동안 기다리며 보낸 매달은 현행 규칙이 계속 효력을 유지하는 한 달입니다. 여러분은 대개 이것을 비공식적으로 저울질할 수 있습니다. 비호 금지가 그러하듯 사람들에게 돈을 주어 빈둥거리게 하고는 그것을 두고 그들에게 분개하는 것이 나쁜 거래임을 알아채는 데에는 누구도 무작위 시험이 필요하지 않습니다.

이 모든 것을 정직하게 지켜 주는 규율은 무엇이 당신의 마음을 바꿀지를 말하려는 의지입니다. 만약 제가 비호 취업 금지가 명백히 옹호 불가능하다고 주장한다면, 저는 여러분에게 제가 그 주장을 거둘 조건을 빚지고 있습니다. 그것이 부정한 신청을, 그러지 않았다면 일했을 사람들에게 몇 년의 소득 상실과 통합 지연을 감수할 만한 규모로 억제한다는 탄탄한 증거 말이죠. 저는 그런 증거를 본 적이 없지만, 진심으로 그것을 살펴볼 것입니다. 당신을 움직일 발견이 무엇인지를 이름 붙이는 것이야말로 숙고된 판단을 편의적인 판단과 갈라놓는 것이며, 그것은 “증거 기반 정책”을 가장 시끄럽게 요구하는 자들이 정작 자신에게는 너무 드물게 적용하는 시험입니다.

오해는 마십시오. 이 어느 것도 느낌을 위한 면허는 아닙니다. 낙하산 연구가 웃긴 것은 고도에서라면 명백히 누구에게도 무작위 시험이 필요하지 않기 때문이지만, 중요한 선택들 대부분은 낙하산보다는 우리 이민 시스템에 더 가깝게 생겼습니다. 증거는 부분적이고 피드백은 느리거나 보이지 않습니다. 그런 선택들에 증거는 없어서는 안 됩니다. 그러나 증거가 당신을 대신해 그 어려운 판단을 내려 줄 수는 없으며, 좋은 판단이라도 그 뒤에 놓인 정책이 어떤 정치적 성향의 평범한 시민이든 실제로 살아가는 세상 속에서 그 가치를 보여주지 못한다면 민주주의 안에서 오래 살아남지 못할 것입니다.