학자들은 AI에 대해 정신을 차려야 한다

이 글은 제가 존경하는 사람들의 최근 AI 관련 글에서 영감을 받았습니다: 댄 윌리엄스, 알렉스 이마스, 벤 앤셀, 티보르 루타르, 스콧 커닝햄, 케빈 멍거, 홀리스 로빈스, 클로드(네!) 블랫먼, 케빈 브라이언, 앤디 홀, 켈시 파이퍼, 숀 웨스트우드 등 많은 분들입니다. 그래서 저도 불편하지만 필요한 의견을 쓰는 전통을 이어갑니다.

저는 이민과 여론을 연구하지 AI를 연구하지는 않습니다. 하지만 지난 몇 달간 AI가 제 연구 작업 흐름을 변화시키는 것을 지켜보면서 동료들에게 몇 가지 할 말이 생겼습니다. 생애 처음으로 5년 후 학계가 어떤 모습일지 정말로 알 수 없습니다.¹ 발전이 완전히 멈추고 현재 모델에 영원히 머물러 있더라도, 이미 진행 중인 변화는 학술 연구와 출판이라는 제 분야를 알아볼 수 없을 정도로 바꿔놓을 것입니다. 현재의 상태는 지속 불가능합니다. 학계가 지구상에서 가장 기질적으로 보수적인 제도이기 때문에 시간이 걸릴 수 있습니다. 하지만 변할 것입니다.

여기 대부분 아직 모르쇠로 일관하는 동료들을 위한 열 가지 테제가 있습니다.

1. AI는 이미 대부분의 교수보다 사회과학 연구를 잘할 수 있다.

이것은 과장이 아닙니다. 티보르 루타르는 최근 AI 프롬프트만으로 완전한 연구 논문을 작성한 사례를 소개했는데, 그 결과물이 상위 4분의 1 학술지에 게재 가능한 수준이라고 평가했습니다. 폴 노보사드는 2~3시간 만에 비슷한 결과를 달성한 것으로 알려졌습니다. 야사 뭉크는 클로드가 최소한의 피드백으로 2시간 이내에 게재 가능한 수준의 정치이론 논문을 작성할 수 있다고 주장합니다. 스콧 커닝햄은 원고 작성 비용이 이제 편집 서비스 약 100달러에 클로드 구독료 정도라고 추산합니다.

그리고 이것은 숫자를 처리하거나 기존 Stata 코드를 실행하는 것을 훨씬 넘어섭니다. 네, 제가 여기서 주장하는 것은 대규모 언어 모델(LLM)이 훌륭한 문헌 리뷰를 생산하고 기존 아이디어의 생산적인 재조합을 만들어낸다는 것입니다. 솔직히 말합시다: 학자들이 글쓰기를 특별히 잘한 것도 아니었고, AI는 여러분의 아이디어를 실제로 필요한 사람들에게 훨씬 더 접근 가능하게 만들 수 있습니다. 하지만 효과적으로 사용하려면 투자가 필요합니다: 아지즈 순데르지는 자신의 연구 작업 흐름, 판단 기준, 행동 가드레일을 담은 약 200줄의 지침 파일을 구축하는 과정을 설명합니다. 이것은 하나의 기술입니다.

2. 학술 논문은 사라져가는 형식이다.

숀 웨스트우드가 직설적으로 말했습니다: “AI가 문헌 리뷰를 더 잘합니다. AI가 동료심사를 할 것입니다. 사용자들은 AI 요약을 훑어볼 것입니다. 진짜 과학은 질문, 사전분석계획, 그리고 분석입니다. 30페이지짜리 논문은 그저 퇴화한 포장지입니다.” 그는 블루스카이에서 크게 비난받았습니다. 하지만 그의 말은 전적으로 옳으며, 그 반발이 오히려 그의 주장을 입증합니다: 학계는 명백한 것에 대해 논의하는 것조차 방어 태세에 들어갑니다. 아서 스펄링 역시 논문이란 무엇인지, “심사”가 무엇을 의미하는지, 생성형 AI의 올바른 역할에 대한 대화가 필요하다고 한 점에서 옳습니다. AI가 대학이 납세자 돈으로 상업 출판사에 비용을 지불해 공적 자금으로 수행된 연구의 유료 접근 PDF를² 매우 느리게 생산하는 시스템에서 마침내 벗어나게 해준다면, 그것은 아마 좋은 일일 것입니다.

3. 상업적 학술지 시스템은 살아남지 못할 수 있다.

커닝햄의 최근 글은 계산을 모델링합니다. 원고 작성이 몇 시간과 약 100달러로 줄어들면, 투고가 5배로 증가할 수 있지만 학술지 지면은 고정되어 있습니다. 편집자 판단 거절률(desk rejection)은 약 50%에서 약 90%로 올라갈 것입니다. 수익 모델이 붕괴됩니다. 이미 과부하 상태인 동료심사는 그 규모에서 불가능해집니다. 케빈 멍거는 투고 수수료, 유급 심사자, 사후 출판 심사, LLM 보조 스크리닝을 제안합니다. 문제는 학술지가 적응하느냐 우회당하느냐입니다. 제 판단에 대부분은 우회당할 것입니다.

4. 학자들은 AI에 터무니없는 이중 잣대를 적용한다.

환각(hallucination) 콘텐츠는 우려스럽고, 연구자들은 항상 출처를 확인해야 합니다. 하지만 자율주행차와 마찬가지로 기준점이 필요합니다: 인간 저자들은 오래전부터 초록만 보고 피상적으로 논문을 인용해왔습니다. 학술지는 이미 데이터 오류, p값 조작(p-hacking), 재현 불가능한 결과가 있는 연구를 놀라울 정도로 높은 비율로 출판하고 있습니다. 한 추정에 따르면 진정으로 유용한 출판 논문의 비율은 약 4%입니다. 가끔 인용을 환각하는 LLM은 심사를 통과할 만큼의 전문 용어로 치장한 쓰레기 과학을 일상적으로 생산하는 시스템과 경쟁하고 있는 것입니다. AI 결과물에 적용하는 것과 동일한 회의론을 인간이 생산한 연구에 적용한다면, 학술지의 절반을 내일 당장 폐간해야 할 것입니다.

5. 신진 학자들이 가장 큰 혼란과 기회에 직면한다.

이것은 아마 변화의 한가운데서 경력을 쌓으려는 신진 학자들에게 좋지 않은 소식일 것입니다. 제이슨 플레처는 테뉴어의 전략적 논리는 변하지 않았다고—먼저 관문을 통과하라고—주장하지만, AI가 거기에 도달하는 방법을 근본적으로 바꿉니다. 강의 준비 비용이 줄어듭니다. 데이터 정리와 디버깅이 AI에 위임됩니다. 병목이 실행에서 검증과 독창적 사고로 이동합니다.

가우티 에게르트손은 기술적 단순 노동에 비해 개념적 사고와 독창적 아이디어에 대한 상대적 수익이 이제 더 높아졌다고 관찰합니다. 좋은 아이디어를 가진 신진 학자가 클로드 코드를 사용하면 몇 년 전만 해도 전체 연구실이 필요했을 속도로 연구를 생산할 수 있습니다. 하지만 다른 모든 사람도 마찬가지이며, 평가 기준은 아직 따라잡지 못했습니다.³

6. 나는 더 이상 내 작업 흐름에서 연구 보조원의 역할을 구상하지 않는다.

멘티와 공동 저자를 갖는 것은 여전히 매우 소중하다고 생각합니다. 하지만 그들의 역할이 빠르게 변하고 있습니다. AI가 무시할 만한 비용으로 더 빠르게 모든 것을 해내는데, 데이터 정리, 회귀 분석 실행, 문헌 리뷰 초안 작성을 위해 사람을 고용하지는 않을 것입니다. 협력자에게 원하는 것은 독창적 사고, 분야 전문성, 지적 도전입니다. 이것은 전통적인 도제 모델에 대한 진정한 손실이며, 그것을 어떻게 대체할지에 대한 깔끔한 답은 없습니다. 플레처의 상호보완적 프레임워크—AI가 초기 분석을 생산하고, 인간 연구자가 독립적으로 처음부터 재현하는—는 유망한 방향을 제시합니다. 하지만 사회과학에서의 공동 저자 증가 추세가 매우 곧 역전될 수 있다는 것은 분명합니다.

7. AI에 대한 반대의 상당 부분은 원칙으로 포장된 지위 보호이다.

저는 최근 트위터에서 AI의 흔적에 대한 반감이 기본적으로 문법 교정의 새로운 버전—언어 통제를 통한 지위 표지 강제—이 아닐까 궁금해했습니다. 케빈 브라이언이 명쾌하게 말했습니다: “장인이 손으로 만든 연구, 행렬을 손으로 역산하는 연구에 대한 욕구는 이해합니다. 하지만 우리의 일은 지식의 프론티어를 전진시키는 것이지, 자기실현이 아닙니다.”

댄 윌리엄스는 거의 모든 사람이 같은 편향을 공유하는 제도 내에서 고급 허위정보가 어떻게 번성하는지에 대해 설득력 있게 글을 썼습니다. AI 부정(denial)에서도 비슷한 일이 일어나고 있다고 생각합니다. 많은 학자들—특히 블루스카이에⁴ 집중해 있는 이들, 그리고 완전히 오프라인인 이들도 그러리라 짐작하는데—은 이미 일어나고 있는 일에 대해 완전히 부정 상태에 있습니다. 크리스 블랫먼은 클로드 코드 회의론자에서 몇 주 만에 전체 AI 작업 흐름 도구 세트를 구축하는 것으로 바뀌었습니다. 로버트 라이트는 최근 알렉스 한나와 에밀리 벤더를 초대해 LLM이 쓸모없다고 주장하게 했습니다. 수백만 명이 유용하다고 느끼는 도구가 근본적으로 결함이 있다고 주장하는 똑똑한 사람들. 이 거만한 태도가 바로 포퓰리스트들이 승리하는 이유이며, AI 부정에도 정치만큼이나 적용됩니다.

8. 생산적인 걱정은 보안과 검증에 관한 것이다.

AI 역량을 무시하는 모든 분들에게 내리는 도전: 일주일 동안 클로드 코드나 코덱스와 단둘이 방에서 지내보십시오. 챗봇이 아니라 에이전트입니다. 대부분의 사람들은 여전히 AI를 가끔 엉터리를 만들어내는 검색 엔진 정도로 생각합니다. 에이전트형 AI 시스템이 무엇을 할 수 있는지 전혀 모릅니다.

LLM이 “진정으로 이해하는지” 또는 “진짜” 지식을 생산하는지에 집중하는 것은 진정으로 걱정할 가치가 있는 것들로부터 주의를 빼앗는 철학적 사치입니다. AI가 생성한 주장을 어떻게 대규모로 검증할 것인가? p값 조작을 어떻게 방지할 것인가? 앤디 홀의 팀은 AI 에이전트가 아첨적인 p값 조작에 놀라울 정도로 저항력이 있지만, 적당한 노력으로 탈옥(jailbreak)될 수 있음을 발견했습니다. AI 도구가 기관 저장소에 접근할 때 민감한 데이터를 어떻게 보호할 것인가? 온라인 설문 응답자가 실제 사람인지 어떻게 확인할 것인가? 이것들은 해결 가능한 공학적, 제도적 설계 문제이며, 홀리스 로빈스가 “라스트 마일” 과제라 부르는 것들입니다—전문성의 가장자리, 맥락적이고 확정되지 않은 영역에 존재하는 것들. 경쟁자가 문제 세트를 다 풀고 있는 동안 계산기가 “정말로” 수학을 하는지 논쟁하는 것과 같습니다.

9. 우리는 훨씬 더 나은 과학을 하게 될 것이다.

그러나 밝은 면도 있습니다. 제 전공 분야인 이민 연구에서: 이제 국가 간 정책과 여론 변화를 자동으로 목록화하고 실시간으로 개선안을 제안할 수 있습니다. 난민과 이주민을 수용 지역 사회에 더 잘 매칭하는 알고리즘을 구축할 수 있습니다. 학술지를 단 한 번도 읽어본 적 없는 정책 입안자와 유권자에게 연구와 증거를 접근 가능하게 만들 수 있습니다.

더 구체적으로, 야밀 벨레스와 패트릭 류는 2022년부터 AI 생성 실험 설계를 구축해왔습니다; 맞춤형 Qualtrics 실험을 이제 프롬프트로 15분 만에 만들 수 있습니다. 벨레스의 연구는 더 큰 것을 시사합니다: AI는 단순히 기존 설문 방법을 가속화하는 것이 아니라, 수작업으로 프로그래밍하기에는 비현실적이었을 완전히 새로운 형태의 상호작용적, 적응적 설문을 가능하게 합니다. 야나기자와-드롯 다비드는 한 걸음 더 나아가, AI로 1,000편의 경제학 논문을 생산하는 프로젝트를 시작했습니다—과시가 아니라, 연구 생산 비용이 거의 제로로 떨어질 때 무슨 일이 일어나는지에 대한 스트레스 테스트로서.

영어가 모국어가 아닌 연구자들도 엄청난 혜택을 받습니다: 카이로, 상파울루, 자카르타의 연구자들이 이제 케임브리지나 스탠퍼드에서 나오는 어떤 글 못지않은 산문을 생산할 수 있습니다. 에게르트손은 AI가 미국 상위 대학들이 오랫동안 누려온 독점적 지위를 약화시킬 것으로 예상하는데, 그 우위가 부분적으로 이제 거의 즉각적으로 가능해진 지식 전달에 기반했기 때문입니다. 과학의 민주화에 관심이 있다면, 이것은 대학이 돈을 쓰는 대부분의 것들보다 더 중요합니다.

10. 종말 시나리오를 제외하면, AI는 진심으로 흥미롭다.

네, 실질적인 위험이 있습니다. 일부 학자들(그리고 대부분의 다른 사람들)에 대한 직업 대체는 가정이 아닙니다. 정렬과 안전에 대한 우려는 진지하며, 최악의 시나리오가 현실화될 가능성은 낮더라도 그렇습니다. 저는 이것들을 진지하게 받아들이며 불확실한 미래를 어느 정도 두려워합니다.

하지만 계속 돌아오는 생각이 있습니다: AI는 유용하고 재미있습니다. “에이전트형 AI가 우리를 멍청하게 만든다”고 주장하는 사람들이 일부 맞는 부분이 있을 겁니다. 하지만 저는 딴짓의 기준이 올라간 것도 발견했습니다. 끝없이 스크롤하는 대신, 이제 클로드 코드로 사이드 프로젝트를 시도하며 시간을 보냅니다. 아마 가장 생산적인 형태의 딴짓일 것입니다. 지난 몇 주간 꽤 흥미로운 프로젝트 몇 개를 바이브코딩(vibecoding)해왔습니다. 기대해 주세요.

현명한 이칭 쉬는 모두가 한 달간 멈추고 작업 흐름을 재평가하고 재설계한 후 다시 시작하라고 조언합니다. 동의합니다. 그 보상은 클 것입니다. 클로드 코드와 함께 방에 들어가서 무슨 일이 일어나는지 보십시오.

추신. 이 글은 제 새로운 클로드 코드(Opus 4.6) 작업 흐름을 사용해 에이전트형 AI가 전적으로 작성하고 서브스택에 게시했습니다. 어떻게 받아들일지는 여러분에게 맡깁니다.

추추신. 즉, 이 주제에 대한 제 장인적이고 수작업으로 만든 인간 소셜 미디어 게시물과 생각을 기반으로 전적으로 생성되었습니다. 그러면 누가 쓴 것일까요? 여러분이 판단하십시오.