エビデンスに基づく政策立案が過大評価されている理由

三年前、アメリカはパンデミックの緊急事態の終わりを宣言し、この国は息をついた。読者の皆さんも、おそらくこの一件はもう棚に片づけてしまったことでしょう。申し訳ないが、私はどうしても割り切れません。先週アイルランドからの帰路でMacedoとLeeの傑作「In Covid’s Wake」を読み、その理由を思い出したのです。ウイルスそのものは、もちろん私たちの誰かのせいではありません。¹ けれども、民主的な社会としてそれをどう論じたかは、まぎれもなく私たちの責任でした。いわゆる専門家は、何年も私たちに「科学に従え」と説きながら、科学が決して与えなかった確実性を主張し、価値判断を技術的判断に見せかけ、私たちのためと称して数々の高貴な嘘をつき、自分の狭い専門の外にあるあらゆるコストを一蹴しました。データに溺れていたのに、欠けていたのは誠実な判断だったのです。

この脊髄反射的なエビデンス信仰はパンデミックに限った話ではなく、ある種のデータだけを唯一意味のあるものとして扱うところならどこにでも現れます。2018年、一流の医学誌が、人が航空機から飛び降りる際にパラシュートは死傷の防止に何の効果もない、というランダム化比較試験(RCT)を発表しました。種を明かせば、その飛行機は地上に駐機しており、平均の飛び降り高度はおよそ50センチでした。研究全体が、もちろんジョークだったのです。著者たちは実験そのものに反対していたわけではありません。RCTこそが唯一まともな知の形だと扱う同僚の反射的な習慣を——機内の窓から外を見れば確かめられる主張についてさえ——からかっていたのです。²

私は職業人生の多くを、移民論争により良いエビデンスを持ち込み、求めることに費やしてきました。たいていは味方であるはずの人々の静かな嘆息を買いながらです。ですからデータを嘲笑して「雰囲気」で動き出すつもりは毛頭ありません。良い政策立案にはエビデンスも、費用便益分析も、慎重な反実仮想の思考も必要です。けれども同時に必要なのは、ある問いがどんな種類のエビデンスを実際に要するのか、そもそも要するのかについての謙虚さと、より良い判断なのです。

完璧な研究を待たずとも試すべき、あまりに明白に良い政策もあります。需要の高いところで法的により多くの住宅を認めること、代替が化石燃料であるとき信頼できる低炭素電源を稼働させ続けること、誰もが欲しいと言う海外のトップ人材へのビザを増やすことなどです。良識ある人々が細部やトレードオフをめぐって議論するのは構いません。けれどもこうした問いでは、行動の正当性が完璧なRCTにかかってはおらず、立証責任が無限であってはならないのです。

逆に、研究を待たずとも止めるべき、あまりに明白に悪い政策もあります。亡命申請者の就労禁止などです。法的な宙づり状態にある働く意欲のある成人に労働を禁じ、代わりに税金で住居を与え、その怠惰を制度が壊れている証拠だと指さす——何が起きるかを予測するのに、ランダム化試験どころか何の確たるエビデンスも要りません。政策で最も難しい判断の多くは、設計の整った実験を要する大いなる謎というより、こちらに近いのです。

「エビデンス」とは実際に何を意味するのか

パラシュートから一段下にあるのがデンタルフロスです。私自身フロスは好きではありませんが、大きな食事の後にフロスをかければ違いを感じられる人が大半でしょうし、歯科医も次のクリーニングで見て取れます。それでも、フロスを支持する質の高いランダム化エビデンスがほとんどないという総説に一部の記者が飛びつき、効果を示すエビデンスは皆無だと喧伝する見出しが相次ぎました。科学史家のNaomi Oreskesが指摘するとおり、これは誤読です。私たちは「エビデンスについて広い心を持つ」べきだと彼女は論じ、とくにきれいな長期試験が非現実的だったり、資金がつくことが永遠になかったりする場面では、職業上の経験やふつうの観察も数に入れるべきだと言うのです。

同じ混乱が、はるかに高い賭け金とともにCOVIDパンデミックを貫きました。Stephen MacedoとFrances Leeはこのテーマに関する最近の(強くお勧めの)著書で、驚くべき主張を展開しています。呼吸器系パンデミックへの対処に必要な知識の多くはすでに存在していたのに、西側の政府はそれをおおむね脇に置いた、というのです。2020年より前、主流のパンデミック準備計画は、ロックダウンや長期の学校閉鎖といった大規模な措置に懐疑的で、それらを支えるエビデンスは弱く、人的・経済的コストは高いと警告していました。2020年初頭のパニックのなか、各国政府はその指針を一夜にしてほぼ放棄し、科学が決して支持しなかった確信を演じてみせたのです。

物事を、それがどんな種類のフィードバックを、何のために返すかで仕分けると役立ちます。パラシュートは最も単純な種類を返します。生き延びるという便益は即座で、個人的で、見逃しようがなく、試験は誰もが既に見て取れることを確かめるだけです。新しい薬やワクチンは正反対です。便益もコストも本物かもしれませんが、はるかに多様で、しばしば目に見えません。やって来なかった感染は、運や体が自力で治ったことと取り違えやすく、だからこそプラセボを用いたランダム化試験が不可欠であり、現代医学はそれを土台にしているのです。

ほとんどの政府の政策はその中間にあります。きれいな数字を当てはめるよりずっと前に、政策が利得と損失のどちらを向いているかはたいてい分かりますが、その効果は労働市場、価格、政治を一度に通り抜けるため、単一の試験ではそれらを切り分けられず、しばしば試験すら走らせられません。けれども、パラシュートのように見て決着させることもできず、薬のように一つのきれいな実験で決着させることもできません。残るのは、累積したエビデンス、場所と時代をまたいだ比較、そして不確実性のもとでの誠実な費用便益の論理に基づく判断です。すべてを、決着済みの科学に見せかけるのではなく、開かれた形で述べるのです。

現に存在する脊髄反射的なエビデンス政策のもう一つの犠牲者は、そもそも何が関連するエビデンスとみなされ、誰の専門性が決める資格を持つのか、というより手前の問いです。ここでMacedoとLeeは痛烈です。彼らが記録するとおり、公衆衛生と感染症の専門家のニッチな一群が、生活のあらゆる部分に触れる危機について突如として唯一の正統な権威として扱われました。そのレンズは設計からして狭く、感染の最小化に固定され、経済的なものも非経済的なものも含め、ほとんど他のあらゆる効果を、誰か別の部署の管轄として机から払いのけたのです。

国立衛生研究所を率いたFrancis Collinsは、自身も共有した「公衆衛生のマインドセット」のせいで「病気を止めることに無限の価値を置き」、「それが人々の生活を完全に破壊し、経済を台無しにし、多くの子どもを学校から締め出すかどうかにゼロの価値を置く」に至った、と認めています。イギリスでは、首席医務官のChris Whittyが公式のCovid調査委員会に対し、政府の助言グループに経済や社会の専門家を加えれば「扱いにくく」なりすぎたはずだと述べました。ウイルスを止めることだけが科学に従うとみなされる唯一の目標となり、誠実な政策なら必ず秤にかけるべきコストは、検討の枠外と裁定されたのです。

経済学者はすでにこの論争をやっていた

開発経済学者は20年このことをめぐって論じ合ってきました。「信頼性革命」は社会科学に、ずさんな因果の主張を疑い、識別を重んじることを教え、これは本物の前進でした。けれども経済学者のLant Pritchettが論じるとおり、その旗手の一部はやがて奇妙な手品を演じました。論文の内部では狭い推定値に対して可能なかぎり厳格なエビデンスを要求しておきながら、振り返ると、それらの推定値の上に築かれた大づかみで体系レベルの主張を「完全に全面的にだまされやすく」受け入れたのです。彼はこれをだまされやすさ革命と呼びます。実験は内部的に隙がなくとも、あるプログラムが別の国の全国規模で機能するかについては、ほとんど何も語らないことがあるのです。

この苦言は分野の中心から出ています。定量化の敵などでは到底ないAngus DeatonとNancy Cartwrightは、ランダム化試験が真価を発揮するのは理論やメカニズムと並ぶ「累積的なプログラムの一部として」に限られると論じます。単一の試験に外的妥当性を要求することは「RCTに多くを期待しすぎ、その貢献を過小評価する」のです。

Pritchettは、自身の専門である経済成長について、もっと身も蓋もない嗅覚テストを提示します。豊かな国が流行りの要因を貧しい国より多く持っていないなら、それが発展を説明するという主張は疑うべきだ、というものです。富への道のりでランダム化試験を走らせた国など一つもありません。ポーランドが共産主義から抜け出して繁栄に至ったのは、よく設計された現金給付の実験のおかげではありません。市場、制度、政治における、雑然とした大規模な変化を通じてであり、どんな試験も事前には検証しようがなかったものです。手法は問いに合わせるべきです。合っていないとき、間違った問いに対するさらなる厳密さは、自信たっぷりに的を外す、より高くつくやり方にすぎません。

試験が真価を発揮するとき

誤解しないでください。私はRCTが好きですし、自分でいくつか実施もしてきました。ランダム化研究は、直観が知識を追い越したときに不可欠です。試験の最良の出番はパラシュートの裏返しです。答えがまったく自明でなく、ほぼ誰もが共有する直観が間違っていると判明し、確かめる唯一の道が、コストを払って実験を走らせることである場合です。見るだけで効果を即座に捉えられないとき、それは慎重に体系的に測るほかありません。

豊かな国における現金給付は、ここで興味深い例になりえます。貧しい国では、人々に現金を渡せば生活が改善するというエビデンスは社会科学が得られるかぎり強固で、ランダム化研究は所得、資産、食料安全保障、さらには乳児死亡率の低下にまで大きな効果を見出しています。経済学者が貧しい人々に単に現金を渡すと初めて提案したとき、酒や他の誘惑に浪費するのではという懸念があり、だからこそ援助はしばしば食料として、あるいは条件付きの現金として届けられました。試験が見出したのは、その懸念がおおむね根拠のないものだったということです。数十の研究を通じて、現金は酒やたばこへの支出を増やさず、むしろ減らすことが多かったのです。貧困にある人々は、自分に必要なものをよく見極める判断者だと分かったからです。

さて、現金給付が明らかに効くことがますます多くの人に明白になりつつある以上、同じ論理が豊かな国にも引き継がれると思うかもしれません。生活に苦しむアメリカ人に月数百ドルを渡せば、その人生は目に見えて良くなる、と。少なくともそれを信じた研究者には自明に思えました。ところが彼らは試験を走らせたのです。

Kelsey Piperが詳述するとおり、人々に三年間月1,000ドルを渡したOpenResearchの実験を含む、一連の入念なアメリカの研究は、健康、雇用、ストレス、子どもの成果のいずれにも持続的な改善を見出しませんでした。現金がもっと役立つと予想して臨んだPiperは、そのエビデンスを「衝撃的」と評しました。開発途上国の知見は健全でしたが、この文脈にはきれいに移転しなかった——まさにAngus Deatonがあれほど案じた外的妥当性の問題です。ここでは賭け金が高く、直観は強かったのに、結局それが間違っていたため、試験は払ったコストに見合いました。問題はもちろん、研究を走らせる価値があるかを決める前に、パラシュートを医学試験から見分けることです。

そのうえなお、正しい道具は常に実験とは限らず、そもそも実験が手に入らないこともあります。私たちが知る最も重要な事柄のいくつかは、単一の試験というより理論とモデリングの上に立っています。ある国が自由貿易に開かれるべきかどうかについて、ランダム化研究を走らせた人はいませんし、走らせようもありません。ここでの論拠は、二世紀前に練り上げられ、以来山のような非実験的エビデンスで洗練されてきた比較優位の理論にかかっています。どちらがより良い生をもたらすかを学ぶために、諸国民を民主主義と独裁にランダムに割り付けた人もいません。こうした問いについて私たちは理論と価値から論じ、思考実験と形式モデルに頼ります。一部の問いは決して実験の検証にかけられないからこそ、社会科学者がまさにそのために組み立てる、計算上のそして思考上のシミュレーションです。

全員が一度に間違うとき

私はパンデミックの専門家では到底ありません。けれどもそれは、いまなお公共の信頼を悪い方へ形づくり続けている、きわめて重要な事例です。エビデンスにあった不確実性は、すでに見たとおりです。けれども、より深い失敗はそれを認めることの拒否でした。あらゆる層の当局者が「Covid-19に何が効くかは分かっている」と繰り返し続けたと、MacedoとLeeは記録しています。「政策立案者が即興で対応しており、実のところ何が効くのかを確実には知らないことがますます明白になっていったにもかかわらず」です。存在しないところに確実性が主張されました。科学は、政策が何をしそうかは教えてくれます。けれども、何を大切にすべきかは教えてくれず、そう装うことは次の機会に必要となる信頼を浪費するのです。

批判する側もしばしば裏返しの誤りを犯し、きれいな試験の不在を、ある措置が無価値である証拠のように扱いました。フロスの誤りを国家的緊急事態の規模に拡大したものです。MacedoとLeeは両方の反射を同時に批判します。「マスク懐疑論者を嘲り検閲することは間違いだったが、マスクは効かないと確信を持って言い張ることもまた間違いだった」と彼らは書きます。そして怒号の下には、誰も名指したがらないトレードオフが座っていました。マスク着用に関する研究は「方程式の片側だけ」を測り、「子どもの学習、コミュニケーション、社会化、心理的な幸福にとってのマスクのコストについては何も語らなかった」一方、学校閉鎖は「貧しい子どもを最も傷つけた」と彼らは指摘します。二つの誤りに共通するのは、誠実なことを言うのを拒む姿勢です——エビデンスは不完全で、選択は一票も投じられなかった人々に重いコストを課したのだ、と。

「科学に従え」の失敗は、価値をめぐる不一致——若者の就学に老人の安全をどれだけ秤にかけるか、自由に対する慎重さにどれだけ重みを置くか——を、データがすでに決着させた技術的論争に仕立て上げました。移民もまさに同じ動きで常に回っています。エビデンスをめぐる論争に見えるものの多くは、実のところ、政府が自国の市民に負うものと外国人に負うものをめぐる論争です。市民の賃金と見知らぬ人の安全をどれだけ秤にかけるか、あるいはより多様な社会がより結束した社会より良いかどうかは、どんな実験も教えてはくれません。

これらはすべて価値の問いであり、もし人々がたとえばより多様な社会という結果を端的に望まないなら、政策がそれをもたらすというどんなきれいな推定値も彼らの心を変えはしません。私はこれを詳しく論じてきました。ここでエビデンスにできる最も有用なことは、ある政策が何を要し何を生むかを教えることで、価値の論争を規律づけることです。価値の論争を消し去ることはできず、価値の対立を科学の対立に仕立て直しても、人々が何をめぐって争っているのかを隠すだけです。

Dan Williamsが、政治的部族がいかにして対立する現実を構築するかについての新作エッセイで、これと密接に関連する論点を述べています。政治的不一致はしばしば、どの事実が重要か、何が代表的とみなされるか、誰が被害者・悪役・英雄として物語に属するかを決める、対立する解釈の体系を通って走るのです。だからこそ「エビデンス」への訴えがあれほど期待を裏切ります。争いは一部は事実をめぐるものですが、事実が何を意味するかを人々に告げる枠組みをめぐるものでもあるのです。

明らかな便益

生産的で熟練し、税を払い、記録された不足を埋め、会社を起こし、あるいは医師を採用できない町で患者を診る労働者を受け入れることについて、知りたいことすべてを教えてくれるランダム化試験もまた、決して存在しないでしょう。ここでのフィードバックはさまざまな制度を通って走り、ダイヤルを回す間、世界の残りを固定しておくことはできません。それでも基本的な方向は少しも謎ではありません。より多くの有資格の科学者を専門ビザに通すか、不要な熟練労働者の滞留を解消するかを秤にかける政策立案者は、問い全体を決着させるきれいな実験的エビデンスを決して手にしないでしょうし、それを待つことは悪い既定状態を居座らせるだけです。

だからこそ熟練移民はこれほど支持されているのです。その便益は直観的で、計量経済学の論文を読まずとも目に見えます。アメリカの有権者の約80パーセントが党派を超えて高度人材移民を支持しており、それを実行に移したい政策立案者は、新しい法律を一つも作らずに、卓越能力の労働者向けの上限のないO-1Aビザを明日にも合理化できます。これが私の言う明らかに有益なということです。国への貢献をふつうの人々が実務的に見て取れる政策、明示的かつ率直に国益に資する政策です。説得の枠組みはすでに政策そのものに織り込まれているので、それを説明するキャンペーンは要りません。

けれども移民政策を決めることは、もちろんパラシュートを選ぶことと同じではありません。「税を払い、記録された不足を埋める熟練労働者は国の資産だ」という主張は、社会的事実が達しうる観察的飽和にほぼ近いものです。「この特定のビザ改革が、この特定の規模でその便益を生む」というのは、識別を要する正真正銘の実証的問いであり、私の同僚たちが生涯をかけて推定しようとする類いのものです。第二の主張を第一と同じくらい自明であるかのように扱うのは、パラシュートの著者が嘲笑したのと同じ誤りを、ただより友好的な方向に向けただけです。私が以前論じたように、抽象的な「移民」には発見を待つきれいな効果などなく、特定の規則のもとで特定の人々を受け入れる特定の政策にだけ、それがあるのです。

目に見える便益のすべてが移民ほど厄介なわけではありません。フロスの話をしていたついでに、日本のトイレという発想を考えてみましょう。温水洗浄便座は一度か二度使えば、ふつうの浴室が提供するものより優れていると分かりますし、清潔さや満足度を測るランダム化試験など誰も要りません。Noah Smithがちょうど論じたとおりです。私も日本でしばらく過ごした後に最近一台買い、言いたいことがあります。³ ホテルや空港で温水洗浄便座を大規模に設置することは、アメリカの多くの施設にとって良い政策になるだろうと、かなり確信していますし、それが真剣な意味でエビデンスに基づく必要などまるでないことにも、同じくらい確信があります。ここでの障害はエビデンスの不足ではありません。私たちの文化的習慣、建築基準、そしてアメリカのほとんどの浴室がそもそも想定していなかった電気配線です。

明らかな害

同じ論理は逆向きにも走り、それは豊かな世界で最も明白に自滅的な移民政策と言えるものを生みます。申請が処理される間、亡命申請者の就労を禁じることです。多くの国でその排除は半年以上続き、実際にはずっと長引くこともあります。

政治を一切考える前に、これが人に何をするかを考えてみましょう。政府は亡命申請を審査のために受理し、申請者の住居に費用を払い、そのうえで彼らが自立し、記録を築き、帰属し始めることを許す唯一の活動、すなわち労働を禁じます。数か月の強いられた無為は貯蓄を枯らし、技能をすり減らし、人を雇用に値する存在にする習慣と自信を蝕み、その損害は禁止が解けてから何年も尾を引きます。これが悪い取引だと見抜くのに、巧妙な操作変数もランダム化試験も要りません。

そして問題の厄介な政治があります。この禁止は、反移民の政治家が制度の機能不全の証拠として指さす、まさにその光景を製造します。健常な新参者が税金で賄われたホテルで無為に過ごし、あるいは正規の経済が閉ざされているため信号で果物を売る光景です。その目に見える依存は、移民全般について有権者の気持ちをそらしかねず、有権者が本来好む熟練の経路までも巻き添えにします。

移民政策が支持を保つには直観的に有益でなければならないと私が論じるたび、では非有益な移民推進政策とはどんなものかと誰かが問います。これがその姿です。そして難民の長期的な財政貢献に関するどれほどの集計的エビデンスも、街頭に見える亡命危機の混乱を、有権者の目から消し去ることはできません。誠実な解決策は、そもそも目に見える失敗を生み出さない政策なのです。

エビデンス劇場に抗して

エビデンスに基づく政策の極大主義版が、なぜその旗手を裏切り続けるのかを見ておくと役立ちます。すべてのチップを「科学」に賭け、専門家がいま合意していることに従っても、それでも政策は出てきません。最も難しい問いは、科学がそもそも答えるために作られたものではないからです。MacedoとLeeはCovidについて主張します。科学者は「狭い専門基盤を持つがゆえに政策を作るべきではない」、選択はどんな研究も秤にかけられない価値とトレードオフにかかっているからだ、と。同じ隙間は気候でも現れます。経済学者のMatt Burgessは、声高な枠組みである「大したことではない」と「実存的脅威」はどちらもおそらく間違っている、責任ある政策はトレードオフを秤にかけ、どのシナリオがもっともらしいかを判断せねばならず、それはコンセンサスへのどんな訴えも決着させられないと論じます。そしてそれは移民でも現れます。「エビデンス」が双方から持ち出されますが、根底にあるのは私たちが互いに何を負うのかをめぐる争いなのです。

では、エビデンスの陰に隠れることなくそれを真剣に受け取りたい人にとって、これは実際どんな形を取るのか。次の問いが役立ちます。

実際に俎上にあるのはどんな種類の主張なのか。データが決着させうる実証的なものか、それともどんな回帰分析も決して解けない規範的なものか。

政策はどんな種類のフィードバックを生むのか。そして決定を下さねばならない時点までに、きれいな研究はそもそも妥当で、手に入るのか。

そしてエビデンスを集めるのに何がかかり、待つのに何がかかり、その遅延の代償を誰が払うのか。

メカニズムが明快で強く、不利益が回復可能で、便益を得るはずの人々が待っていられないとき、誠実な動きは、いま行動し、進めながら研究を続けることです。そして不一致が根底において価値をめぐるものであるとき、専門家はそう言うべきです。それを「科学」を通して洗浄するのではなく。

エビデンスに基づく政策から、誠実な民主的判断へ

どんな研究にも値段があり、どんな遅延にもまた値段があります。作家のJeremiah Johnsonが最近、The Argumentの記事で、エッジケースの専制と呼ぶ失敗様式を名づけました。誰かに対するどんな考えうる害も、どれほど稀でも、誰もが行動しない理由になり、もう一つ研究をという要求はそのお気に入りの道具の一つです。その要求が均等に降りかかることはまずありません。誰かが嫌う改革には基準が上がり、たいてい何の試験にも立脚していない現状には基準が消えるのです。

たどり着きたくない結論だけに向けられた厳密さの孤立した要求は、エビデンスについて感心するほど慎重に聞こえながら、行動を阻む最も効果的な手段の一つです。試験を走らせるとは、金を費やし、時間を燃やし、ときに有望な政策を対照群の人々から差し控えることであり、一方で待つ一か月ごとに、現行の規則がそのまま効力を保ち続けるのです。これはたいてい非公式に秤にかけられます。亡命禁止がやっているように、人々に無為に座る金を払い、そのうえでそれを恨むのが悪い取引だと見抜くのに、ランダム化試験は誰も要りません。

これらすべてを誠実に保つ規律は、何が自分の考えを変えるかを進んで言うことです。亡命就労禁止が明白に擁護不能だと私が主張するなら、どんな条件でその主張を取り下げるかを読者に示す義務があります。本来働けたはずの人々にとっての、何年分もの失われた収入と遅れた統合に値するほどの規模で、それが不正な申請を抑止するという確かなエビデンス、です。私はそのエビデンスを見ていませんが、見せられれば本気で検討します。自分を動かす知見を名指すことが、熟慮した判断を都合のよい判断から分かつものであり、それは「エビデンスに基づく政策」を最も声高に要求する人々が、自分自身にはあまりに稀にしか適用しない試験なのです。

誤解しないでください。以上のどれも「雰囲気」への許可証ではありません。パラシュートの研究が笑えるのは、高度でランダム化試験など明らかに誰も要らないからですが、重要な選択の大半はパラシュートというより私たちの移民制度に似ています。エビデンスは部分的で、フィードバックは遅いか目に見えないのです。そうした選択にエビデンスは欠かせません。けれどもそれでも、難しい判断を代わりに下してくれることはできず、良い判断は、その背後の政策が、あらゆる政治的立場のふつうの市民が実際に生きる世界でその価値を示せないかぎり、民主主義のなかで長くは生き延びないのです。