Почему доказательная политика переоценена

Три года назад Соединённые Штаты объявили о завершении пандемической чрезвычайной ситуации, и страна выдохнула. Вы, дорогой читатель, наверное, уже отложили всю эту историю в сторону. Простите, но я просто не могу её отпустить, и чтение прекрасной книги Macedo и Lee «In Covid’s Wake» по дороге из Ирландии на прошлой неделе напомнило мне почему. Вирус, разумеется, не был виной кого-то из нас в отдельности.¹ Но то, как мы рассуждали о нём как демократическое общество, было целиком нашей виной. Так называемые эксперты годами твердили остальным «следовать за наукой», а затем заявляли об уверенности, которой наука им никогда не давала, выдавали ценностные суждения за технические, говорили немало благородной лжи для нашего же блага и отмахивались от любых издержек, лежавших за пределами их собственной узкой компетенции. Мы тонули в данных, но не хватало нам честного суждения.

Этот рефлекторно доказательный образ мышления — не только про пандемию, и он проявляется везде, где мы относимся к одному виду данных как к единственному, что имеет значение. В 2018 году ведущий медицинский журнал опубликовал рандомизированное контролируемое исследование (РКИ), установившее, что парашюты никак не предотвращают смерть или травмы при прыжке из самолёта. Загвоздка была в том, что самолёты стояли на земле, а средняя высота прыжка составляла около половины метра. Всё исследование, конечно, было шуткой. Авторы не были против экспериментов как таковых, но высмеивали распространённый среди коллег рефлекс, который относится к РКИ как к единственной респектабельной форме знания — даже о том утверждении, которое можно проверить, выглянув в иллюминатор самолёта.²

Большую часть своей профессиональной жизни я посвятил тому, чтобы вносить вклад в качество доказательств и требовать их лучшего качества в дебатах об иммиграции, обычно к тихому раздражению людей из моего же лагеря, так что я вовсе не собираюсь начинать насмехаться над данными и действовать «по ощущениям». Хорошая политика действительно нуждается в доказательствах, анализе издержек и выгод и тщательном контрфактическом мышлении. Но ещё ей нужны смирение и более здравое суждение о том, какой именно вид доказательств тот или иной вопрос на самом деле может потребовать, если вообще может.

Есть политические меры настолько очевидно хорошие, что нам не нужно идеальное исследование, чтобы их попробовать: например, законодательно разрешить больше жилья там, где высок спрос, держать в строю надёжную низкоуглеродную генерацию, когда замена ей — ископаемое топливо, или увеличить число виз для лучших иностранных талантов, которых, по общим словам, все хотят. Разумные люди могут спорить о деталях и компромиссах. Но в вопросах вроде этих обоснование для действия не зависит от идеального РКИ, а бремя доказывания не должно быть бесконечным.

Есть и меры настолько очевидно плохие, что нам не нужно исследование, чтобы их остановить: например, запреты на работу для просителей убежища. Серьёзно, вам не нужно рандомизированное испытание — да и вообще никаких жёстких доказательств, — чтобы предсказать, что произойдёт, когда вы запрещаете готовому к труду взрослому человеку в правовом лимбе работать, платите за его кров вместо этого, а затем указываете на его праздность как на доказательство того, что система сломана. Большинство самых трудных решений в политике выглядят скорее так, чем как некая великая тайна, требующая хорошо спланированного эксперимента.

Что на самом деле означает «доказательство»

На ступеньку ниже парашюта расположилась зубная нить. Лично я не люблю чистить зубы нитью, но большинство из нас наверняка чувствуют разницу, вычистив остатки плотного ужина, а наши стоматологи видят её при следующей чистке. И всё же, когда некоторые журналисты ухватились за обзор, обнаруживший мало качественных рандомизированных доказательств пользы зубной нити, череда заголовков объявила, что доказательств её эффективности нет вовсе. Как отмечает историк науки Naomi Oreskes, это было ошибочным прочтением. Нам следует быть «широкими в понимании доказательств», доказывает она, учитывая профессиональный опыт и обыденное наблюдение — особенно там, где чистое долгосрочное испытание нереалистично или никогда не будет профинансировано.

Та же путаница, хотя и с куда более высокими ставками, пронизала пандемию COVID. В своей недавней (настоятельно рекомендуемой) книге на эту тему Stephen Macedo и Frances Lee выдвигают поразительный довод: значительная часть актуального знания о том, как справляться с респираторной пандемией, уже была в наличии, но правительства по всему Западу в основном отложили его в сторону. До 2020 года господствующие планы готовности к пандемии скептически относились к таким радикальным мерам, как локдауны и затяжное закрытие школ, предупреждая, что доказательства в их пользу слабы, а человеческие и экономические издержки высоки. В панике начала 2020 года эти правительства почти за одну ночь отбросили те рекомендации и затем стали излучать уверенность, которой наука никогда не подкрепляла.

Полезно сортировать вещи по тому виду обратной связи, который они дают, и с какой целью. Парашют даёт простейший вид: выгода остаться в живых немедленна, индивидуальна и её невозможно не заметить, так что испытание лишь подтвердило бы то, что любой и так видит. Новое лекарство или вакцина дают обратное: выгоды и издержки могут быть подлинными, но они куда более разнообразны и часто невидимы. Инфекцию, которая так и не наступила, легко спутать с удачей или с тем, что организм сам исцелился, — именно поэтому рандомизированное испытание с плацебо незаменимо и поэтому на нём держится современная медицина.

Бо́льшая часть государственной политики расположена посередине. Обычно можно понять, указывает ли мера в сторону выигрыша или потери, задолго до того, как удастся подобрать ей чистое число, а её эффекты проходят через рынки труда, цены и политику одновременно, так что ни одно отдельное испытание не способно их изолировать, а нередко его и вовсе нельзя провести. Но вы не решите вопрос, просто посмотрев, как с парашютом, и не решите его одним чистым экспериментом, как с лекарством. Остаётся суждение, опирающееся на накопленные доказательства, сравнения между местами и эпохами и честное рассуждение об издержках и выгодах в условиях неопределённости — всё это заявленное открыто, а не замаскированное под устоявшуюся науку.

Ещё одной жертвой нашей реально существующей рефлекторно доказательной политики стал предварительный вопрос о том, что вообще считается релевантным доказательством и чья экспертиза вправе это решать. Здесь Macedo и Lee сокрушительны. Как они документируют, нишевую когорту специалистов по общественному здоровью и инфекционным болезням внезапно стали считать единственным легитимным авторитетом по кризису, затронувшему каждую часть жизни, а их оптика была узкой по своей сути: зафиксированная на минимизации заражений, она вытесняла почти всякий иной эффект, и экономический, и неэкономический, со стола как чужую заботу.

Francis Collins, возглавлявший Национальные институты здравоохранения, признал, что «образ мышления общественного здоровья», который он разделял, заставлял его «придавать бесконечную ценность остановке болезни» и «нулевую ценность тому, действительно ли это полностью разрушает жизни людей, губит экономику и оставляет множество детей без школы». В Британии главный медицинский советник Chris Whitty сказал официальному расследованию по Covid, что добавление экономических или социальных экспертов в правительственную консультативную группу сделало бы её слишком «громоздкой». Остановка вируса стала единственной целью, которая засчитывалась как следование науке, а издержки, которые любая честная политика обязана взвешивать, были выведены за рамки.

Экономисты уже вели эту битву

Экономисты, занимающиеся развитием, спорят об этом уже 20 лет. «Революция достоверности» научила социальную науку не доверять небрежным причинным утверждениям и ценить идентификацию, что было подлинным шагом вперёд. Но экономист Lant Pritchett доказывает, что некоторые из её поборников затем проделали странный трюк: потребовав самых строгих возможных доказательств для узкой оценки внутри статьи, они разворачивались и принимали широкие, системного уровня утверждения, построенные на этих оценках, «с полной и абсолютной доверчивостью». Он называет это революцией доверчивости. Эксперимент может быть внутренне безупречным и всё же почти ничего не говорить вам о том, сработает ли программа в национальном масштабе в другой стране.

Претензия исходит из самого центра дисциплины. Angus Deaton и Nancy Cartwright, отнюдь не враги количественных методов, доказывают, что рандомизированные испытания оправдывают себя лишь «как часть кумулятивной программы» наряду с теорией и механизмом. Требовать внешней валидности от единственного испытания «значит ожидать от РКИ слишком многого, недооценивая при этом его вклад».

Pritchett предлагает более прямолинейный нюхательный тест для своей собственной области — экономического роста: если у богатых стран нет какого-то модного фактора в большем количестве, чем у бедных, нам стоит с подозрением относиться к утверждениям, что он объясняет развитие. Ни одна страна никогда не проводила рандомизированного испытания на своём пути к богатству. Польша выбралась из коммунизма к процветанию не благодаря хорошо проведённому эксперименту с денежными выплатами; она сделала это через беспорядочные, масштабные изменения в рынках, институтах и политике, которые ни одно испытание не могло бы проверить заранее. Метод должен соответствовать вопросу. Когда он не соответствует, бо́льшая строгость в неверном вопросе — это лишь более дорогой способ уверенно бить мимо цели.

Когда испытание оправдывает себя

Поймите меня правильно — я люблю свои РКИ и сам некоторые проводил. Рандомизированные исследования незаменимы, когда интуиция забегает вперёд знания. Лучшее обоснование для испытания — это зеркальное отражение парашюта: иногда ответ вовсе не очевиден, интуиция, которую разделяют почти все, оказывается неверной, и единственный способ это выяснить — провести эксперимент и оплатить его цену. Когда вы не можете немедленно увидеть эффект, просто посмотрев, вам совершенно необходимо измерить его тщательно и систематически.

Денежные выплаты в богатых странах могут быть здесь интересным примером. В бедных странах доказательства того, что раздача людям денег улучшает их жизнь, примерно настолько сильны, насколько вообще бывает в социальной науке: рандомизированные исследования обнаруживают значительный рост доходов, активов, продовольственной безопасности и даже снижение младенческой смертности. Когда экономисты впервые предложили просто раздавать бедным людям наличные, опасение было в том, что те растранжирят их на алкоголь и прочие соблазны, — именно поэтому помощь так часто приходила в виде продуктов или денег с условиями. Испытания обнаружили, что это опасение в значительной мере необоснованно: в десятках исследований наличные не повышали расходов на алкоголь или табак и часто их снижали, потому что люди в бедности оказываются хорошими судьями того, что им нужно.

И вот, поскольку всё большему числу людей становится всё очевиднее, что денежные выплаты явно работают, вы могли бы предположить, что та же логика переносится и на богатую страну: если дать борющемуся за выживание американцу несколько сотен долларов в месяц, его жизнь измеримо улучшится. По крайней мере, это казалось очевидным исследователям, которые в это верили. Но затем они провели испытания.

Как подробно описывает Kelsey Piper, череда тщательных американских исследований, включая эксперимент OpenResearch, который давал людям 1000 долларов в месяц на протяжении трёх лет, не обнаружила устойчивого улучшения в здоровье, занятости, уровне стресса или результатах детей. Piper, которая шла в это, ожидая, что наличные помогут сильнее, назвала эти доказательства «шокирующими». Выводы по развивающимся странам были обоснованны, но не перенеслись чисто в этот контекст — а это и есть та самая проблема внешней валидности, о которой так беспокоился Angus Deaton. Здесь испытание отработало каждый потраченный доллар, потому что ставки были высоки, интуиция была сильна, но в итоге неверна. Проблема, конечно, в том, чтобы отличить парашют от медицинского испытания, прежде чем решить, стоит ли вообще проводить исследование.

Но и тогда верный инструмент — не всегда эксперимент, а порой его и вовсе нет в наличии. Некоторые из важнейших вещей, которые мы знаем, держатся на теории и моделировании больше, чем на каком-либо отдельном испытании. Никто не проводил — и не мог бы провести — рандомизированного исследования о том, стоит ли стране открыться свободной торговле. Обоснование здесь держится на теории сравнительных преимуществ, разработанной два века назад и отточенной горами неэкспериментальных доказательств с тех пор. Никто не распределял нации в демократию и диктатуру случайным образом, чтобы узнать, какой режим производит лучшую жизнь. О вопросах вроде этих мы рассуждаем из теории и ценностей, опираясь на мысленные эксперименты и формальные модели — те самые вычислительные и мысленные симуляции, которые социальные учёные строят именно потому, что некоторые вопросы никогда нельзя поставить на экспериментальную проверку.

Когда все ошибаются разом

Я вовсе не эксперт по пандемии. Но это очень важный случай, который до сих пор подрывает общественное доверие. Неопределённость в доказательствах мы уже видели. Но более глубоким провалом был отказ её признать. Чиновники на всех уровнях повторяли, что «мы знаем, что работает против Covid-19», как документируют Macedo и Lee, «даже когда становилось всё очевиднее, что политики импровизируют и на деле не знают с уверенностью, что работает». Уверенность заявлялась там, где её не было. Наука может сказать вам, что та или иная политика, скорее всего, сделает. Но она не может сказать вам, что вы должны ценить, и притворство в обратном растрачивает доверие, которое понадобится вам в следующий раз.

Критики же часто совершали зеркальную ошибку, относясь к отсутствию чистого испытания как к доказательству бесполезности меры, — это ошибка с зубной нитью, раздутая до масштаба национальной чрезвычайной ситуации. Macedo и Lee упрекают оба рефлекса разом: было неправильно, пишут они, «высмеивать и цензурировать скептиков масок, как и настаивать с уверенностью, что маски не работают». А под всем этим криком лежал тот компромисс, который никто не хотел назвать. Исследования по ношению масок измеряли «лишь одну сторону уравнения», указывают они, и не говорили «ничего об издержках масок для обучения, общения, социализации и психологического благополучия детей», тогда как закрытие школ «больнее всего било по бедным детям». Что объединяет обе ошибки — это отказ сказать честную вещь: доказательства были неполны, а сделанный выбор возлагал тяжёлые издержки на людей, которым никто не дал права голоса.

Провал «следования за наукой» взял разногласие о ценностях — о том, сколько веса придать обучению молодых против безопасности пожилых, свободе против осторожности — и нарядил его в технический спор, который данные якобы уже разрешили. Иммиграция постоянно держится на том же приёме. Многое из того, что выглядит как спор о доказательствах, на деле есть спор о том, чем правительство обязано собственным гражданам в противовес тому, чем оно обязано иностранцам. Никакой эксперимент не скажет вам, сколько веса придать зарплате гражданина против безопасности чужака или лучше ли более разнообразное общество, чем более сплочённое.

Всё это — вопросы ценностей, и если люди попросту не хотят определённого исхода, скажем более разнообразного общества, никакая чистая оценка того, что политика его обеспечит, не изменит их мнения. Я подробно изложил этот довод: самое полезное, что здесь могут сделать доказательства, — это дисциплинировать ценностный спор, сказав нам, во что обойдётся та или иная политика и что она произведёт. Они не способны заставить ценностный спор исчезнуть, а переописание ценностного конфликта как научного по большей части лишь прячет то, о чём люди на самом деле спорят.

Dan Williams высказывает близкую по смыслу мысль в своём новом эссе о том, как политические племена конструируют соперничающие реальности. Политическое разногласие часто проходит через соперничающие системы интерпретации, которые решают, какие факты важны, что считается репрезентативным и кто входит в историю как жертва, злодей или герой. Вот почему апелляции к «доказательствам» так часто разочаровывают. Борьба идёт отчасти о фактах, но также и о рамке, которая говорит людям, что эти факты значат.

Доказуемые выгоды

Никакое рандомизированное испытание никогда не расскажет вам всего, что вы хотите знать о приёме продуктивного, квалифицированного работника, который платит налоги, закрывает документированный дефицит, основывает компанию или лечит пациентов в городке, который не может заполучить врача. Обратная связь здесь проходит через множество институтов, и вы не можете удерживать остальной мир неизменным, поворачивая ручку. И всё же общее направление вовсе не загадочно. Политик, взвешивающий, направить ли больше подходящих учёных по специализированной визе или расчистить ненужный затор по квалифицированным работникам, никогда не получит чистых экспериментальных доказательств, разрешающих весь вопрос, а ожидание их означает лишь сохранение скверного положения дел по умолчанию.

Вот почему квалифицированная иммиграция так популярна: её выгоды интуитивны и видны без чтения кем-либо эконометрической статьи. Около 80 процентов американских избирателей поддерживают высококвалифицированную иммиграцию поверх партийных линий, и политики, желающие действовать в этом ключе, могли бы упростить неквотируемую визу O-1A для работников выдающихся способностей хоть завтра, без единого нового закона. Вот что я имею в виду под доказуемо полезным: политика, вклад которой в страну обычные люди могут увидеть в практических терминах, явно и без обиняков служащая национальному интересу. Убедительная рамка уже встроена в саму политику, так что вам не нужна кампания, чтобы её объяснить.

Но выстраивание иммиграционной политики, разумеется, не то же самое, что выбор парашютов. «Квалифицированный работник, который платит налоги и закрывает документированный дефицит, — это актив для страны» — это утверждение примерно настолько близко к наблюдательной насыщенности, насколько это вообще бывает с социальными фактами. «Именно эта визовая реформа произведёт именно эту выгоду именно в этом масштабе» — это подлинно эмпирический вопрос, который действительно нуждается в идентификации, и это то, что мои коллеги пытаются оценить, посвящая этому целые карьеры. Относиться ко второму утверждению так, будто оно столь же самоочевидно, как первое, — та же ошибка, которую высмеивали авторы исследования о парашютах, лишь направленная в более дружественную сторону. Как я доказывал ранее, «иммиграция» в абстракции не имеет чистого эффекта, ждущего открытия; его имеют конкретные меры, впускающие конкретных людей по конкретным правилам.

Не всякая видимая выгода так чревата осложнениями, как иммиграция. Раз уж мы заговорили о зубной нити, рассмотрим… идею японского туалета. Достаточно воспользоваться подогреваемым биде один-два раза, чтобы понять, что оно превосходит то, что предлагает большинство обычных уборных, и никому не нужно рандомизированное испытание, измеряющее чистоту или удовлетворённость, чтобы решить вопрос, как только что доказал Noah Smith. Я и сам недавно купил такое, проведя некоторое время в Японии, и имею на этот счёт мнение.³ Я вполне уверен, что установка биде в массовом масштабе, в отелях и аэропортах, была бы хорошей политикой для множества американских учреждений, и столь же уверен, что ей не нужно быть доказательной в сколько-нибудь серьёзном смысле. Помеха здесь — не нехватка доказательств. Это наши культурные привычки, строительные нормы и электропроводка, под которую большинство американских уборных никогда не проектировались.

Доказуемые вред

Та же логика работает и в обратную сторону, и она производит то, что может быть самой явно саморазрушительной иммиграционной политикой в богатом мире: запрет на работу для просителей убежища, пока их заявления рассматриваются. Во многих странах это исключение длится полгода или дольше, а на практике может растягиваться куда сильнее.

Прежде чем рассматривать какую-либо политику, подумаем о том, что это делает с человеком. Правительство принимает заявление об убежище к рассмотрению, платит за кров заявителю, а затем запрещает единственное занятие, которое позволило бы тому содержать себя, накопить послужной список и начать укореняться, — а именно работу. Месяцы вынужденной праздности истощают сбережения, размывают навыки и разъедают привычки и уверенность, делающие человека пригодным к найму, и ущерб переживает сам запрет на годы. Вам не нужен хитрый инструмент или рандомизированное испытание, чтобы увидеть, что это скверная сделка.

Затем идёт чреватая осложнениями политика вокруг вопроса. Запрет фабрикует ровно тот образ, на который антииммиграционные политики указывают как на доказательство, что система сломана: трудоспособные новоприбывшие праздно сидят в финансируемых налогоплательщиками отелях или торгуют фруктами на светофорах, потому что формальная экономика для них закрыта. Эта видимая зависимость может настроить избирателей против иммиграции в целом, включая те квалифицированные пути, которые избирателям в иных случаях нравятся.

Всякий раз, когда я доказываю, что иммиграционная политика должна быть интуитивно полезной, чтобы оставаться популярной, кто-нибудь спрашивает, как вообще выглядела бы неполезная проиммиграционная политика. Вот как она выглядит, и никакой объём агрегированных доказательств о долгосрочном фискальном вкладе беженцев не заставит избирателя «не увидеть» видимый беспорядок кризиса убежища на улицах. Честное решение — это политика, которая прежде всего перестаёт порождать видимый провал.

Против театра доказательств

Полезно понять, почему максималистская версия доказательной политики раз за разом разочаровывает своих поборников. Бросание всех фишек на «науку» и подчинение тому, о чём эксперты в данный момент согласны, всё равно не даёт политики, потому что самые трудные вопросы — не те, на которые наука была призвана отвечать. Macedo и Lee выстраивают этот довод применительно к Covid: учёные, пишут они, «с их узкими основаниями экспертизы, не должны делать политику», потому что выбор упирается в ценности и компромиссы, которые ни одно исследование не может взвесить. Тот же разрыв проявляется в вопросе климата, где экономист Matt Burgess доказывает, что громкие рамки — «ничего страшного» и «экзистенциальная угроза» — обе, вероятно, неверны, и что ответственная политика обязана взвешивать компромиссы и судить, какие сценарии правдоподобны, — то, что никакая апелляция к консенсусу разрешить не может. И он проявляется в иммиграции, где «доказательства» призываются обеими сторонами, чтобы решить то, что по сути есть борьба о том, чем мы обязаны друг другу.

Так как же это выглядит на практике для того, кто хочет относиться к доказательствам всерьёз, не прячась за ними? Помогают следующие вопросы.

Какого рода утверждение на самом деле лежит на столе: эмпирическое, которое способны разрешить данные, или нормативное, которое никакая регрессия никогда не разрешит?

Какого рода обратную связь производит политика, и было бы чистое исследование вообще валидным и доступным до того, как решение надо принять?

И во что обходится сбор доказательств, во что обходится ожидание и кто платит за задержку?

Когда механизм ясен и силён, обратная сторона обратима, а те, кто выиграл бы, не могут позволить себе ждать, честный ход — действовать сейчас и продолжать изучать по ходу дела. А когда разногласие по сути о ценностях, экспертам следует так и сказать, вместо того чтобы отмывать его через «науку».

От доказательной политики к честному демократическому суждению

У каждого исследования есть цена, и у каждой задержки тоже. Писатель Jeremiah Johnson недавно назвал режим провала, который он именует тиранией крайнего случая, в материале для The Argument, где любой мыслимый вред кому угодно, сколь бы редким он ни был, становится поводом для того, чтобы никто не действовал, а требование ещё одного исследования — среди его излюбленных инструментов. Это требование почти никогда не ложится поровну: планка поднимается для реформы, которая кому-то не по душе, и исчезает для статус-кво, обычно не опирающегося ни на какое испытание вовсе.

Избирательное требование строгости, нацеленное лишь на тот вывод, к которому вы предпочли бы не приходить, — один из самых действенных способов заблокировать действие, звуча при этом восхитительно осмотрительно в отношении доказательств. Проведение испытания означает трату денег, сжигание времени и порой удержание многообещающей политики от людей в контрольной группе, тогда как каждый месяц ожидания — это месяц, в течение которого нынешнее правило остаётся в силе. Обычно это можно взвесить неформально: никому не нужно рандомизированное испытание, чтобы увидеть, что платить людям за то, чтобы они сидели без дела, как делают запреты на убежище, а затем негодовать на них за это — скверная сделка.

Дисциплина, которая удерживает всё это в честности, — это готовность сказать, что изменило бы ваше мнение. Если я утверждаю, что запрет на работу для просителей убежища очевидно неоправдан, я обязан вам назвать условия, при которых я отказался бы от этого утверждения: убедительные доказательства того, что он сдерживает мошеннические заявления в масштабе, оправдывающем годы потерянного заработка и отложенной интеграции для людей, которые иначе работали бы. Я таких доказательств не видел, но я бы искренне на них взглянул. Назвать тот вывод, который сдвинул бы вас, — вот что отличает взвешенное суждение от удобного, и это проверка, которую самые громкие требователи «доказательной политики» слишком редко применяют к самим себе.

Поймите меня правильно — ничто из этого не лицензия на «ощущения». Исследование о парашюте смешно потому, что очевидно никому не нужно рандомизированное испытание на высоте, но бо́льшая часть значимых решений выглядит не как парашют, а скорее как наша иммиграционная система: доказательства частичны, а обратная связь медленна или невидима. Для таких решений доказательства незаменимы. Но они всё равно не способны сделать за вас трудное суждение, а хорошее суждение долго не проживёт в демократии, если стоящая за ним политика не может показать свою ценность в том мире, в котором на самом деле живут обычные граждане любых политических убеждений.