여기서 말하는 첨단 AI는 흔히 ‘프런티어 AI’라고 부르는 시스템, 곧 오픈AI(OpenAI), 구글 딥마인드(Google DeepMind), 앤트로픽(Anthropic) 같은 기업이 만드는 챗봇과 AI 에이전트처럼 가장 크고 성능이 뛰어난 AI 모델을 가리킨다. 논제의 핵심은 이것이다. 안전하게 다룰 수 있다는 확신이 들 때까지, 몇 달이든 몇 년이든 더 강력한 AI를 만드는 일을 멈춰야 하는가?
이 생각이 널리 알려진 것은 2023년 3월이다. 미국의 비영리단체 ‘삶의 미래 연구소(Future of Life Institute)’가 공개서한을 내고 모든 AI 연구소에 “GPT-4보다 강력한 AI 시스템의 학습을 최소 6개월 동안 즉시 중단하라”고 촉구했다.1 일론 머스크도 서명자 가운데 한 명이었다.25 며칠 뒤 여론조사기관 유고브(YouGov) 조사에서 미국인의 69%가 일부 AI 개발을 6개월 중단하는 데 찬성했다.2 그러나 개발을 멈춘 주요 연구소는 한 곳도 없었다.
경고의 목소리는 더 커졌다. 2023년 5월, 현대 AI의 개척자로 꼽히는 제프리 힌턴은 AI의 위험을 자유롭게 말하겠다며 구글을 떠났다. 그는 “내가 아는 한 지금은 AI가 우리보다 똑똑하지 않다. 하지만 곧 그렇게 될 수도 있다고 생각한다”고 말했다.4 힌턴과 요슈아 벤지오, 그리고 오픈AI·구글 딥마인드·앤트로픽의 대표들은 “AI로 인한 인류 멸종 위험을 줄이는 일은 전 지구적 우선 과제가 되어야 한다”로 시작하는 한 문장짜리 성명에도 서명했다.3
위험이 얼마나 큰지에 대해서는 전문가들의 의견도 엇갈린다. AI 연구자 2,778명을 대상으로 한 조사에서 38~51%가 첨단 AI가 인류 멸종만큼 나쁜 결과로 이어질 확률을 10% 이상으로 보았다. 응답을 종합하면 인간 수준의 기계 지능이 2047년까지 등장할 확률은 50%로, 1년 전 같은 조사보다 13년이나 앞당겨졌다.5 일반 시민은 전문가보다 더 걱정한다. 2024년 미국 성인의 51%가 AI에 대해 기대보다 우려가 크다고 답한 반면, AI 전문가 가운데 그렇게 답한 비율은 15%였다.6
그사이 경쟁은 더 빨라졌다. 2025년 1월 트럼프 대통령은 전임 대통령의 AI 안전 행정명령을 폐지한 바로 다음 날, 오픈AI와 소프트뱅크가 주도해 AI 인프라에 최대 5,000억 달러(약 690조 원)를 투자하는 ‘스타게이트’ 계획을 발표했다.17 그는 “중국도, 다른 나라들도 경쟁자다. 우리는 그것이 이 나라에 있기를 원한다”고 말했다.17 일주일도 지나지 않아 중국 스타트업 딥시크(DeepSeek)의 저렴한 모델이 등장하자 엔비디아 주가가 하루 오전에만 13% 넘게 떨어졌다.13
각국 정부는 대체로 ‘멈춤’보다 ‘규칙’을 택했다. 2023년 11월 미국과 중국을 포함한 28개국과 유럽연합(EU)은 영국 블레츨리 파크에 모여, 프런티어 AI가 “의도적이든 아니든 심각하고 심지어 파국적인 피해를 낳을 가능성”이 있다는 데 합의했다.7 EU의 인공지능법(AI Act)은 2024년 8월 발효되었다.16 한국도 2024년 12월 고영향 AI와 생성형 AI에 대한 투명성·안전 의무를 담은 ‘AI 기본법’을 국회에서 통과시켰고,29 이 법은 2026년 1월 22일부터 시행되었다.30 2025년 10월에는 “초지능 개발 금지”를 요구하는 새 성명이 나왔는데, 해리 왕자와 스티브 배넌, 스티브 워즈니악처럼 성향이 전혀 다른 인물들이 함께 서명했다.10
대립 지점은 분명하다. 개발 중단에 찬성하는 쪽은 이해하지도 통제하지도 못하는 것을 만들어서는 안 된다고 말한다. 반대하는 쪽은 중단 약속을 강제할 방법이 없고, 경쟁국에 주도권을 넘겨줄 뿐이며, 2024년 노벨 화학상의 바탕이 된 AI ‘알파폴드(AlphaFold)’ 같은 성과를 늦추게 된다고 반박한다.12
핵심 용어
프런티어 AI
그 시점에서 가장 성능이 뛰어난 AI 모델. 대개 자금력이 큰 소수 기업이 만든다.
범용 인공지능(AGI)
사람처럼 거의 모든 지적 과제를 배우고 해낼 수 있는, 아직은 가설 속의 AI.
초지능
과학, 전략, 설득 등 거의 모든 분야에서 인간보다 훨씬 똑똑한, 가설 속의 AI.
AI 정렬(alignment)
AI가 스스로 해로운 목표를 좇지 않고 설계자가 의도한 목표를 따르도록 만드는 연구 분야.
실존적 위험
핵전쟁이나 치명적인 세계적 대유행처럼 인류를 멸종시키거나 미래를 영원히 망가뜨릴 수 있는 위험.
모라토리엄
규칙을 만들거나 안전을 점검하는 동안, 합의에 따라 어떤 활동을 일시적으로 멈추는 것.
사전 예방 원칙
어떤 행동이 심각한 피해를 낳을 수 있다면, 그 일을 하려는 쪽이 먼저 안전을 증명해야 한다는 생각.
컴퓨팅 거버넌스
가장 큰 모델을 학습시키는 데 필요한 고성능 반도체의 흐름을 추적하거나 제한해 AI를 관리하는 방법.
찬반 한눈에 보기
찬성: 멈춰야 한다
반대: 계속 개발해야 한다
찬성 논거
반대 논거
핵심 쟁점
AI 개발 중단 토론의 승부는 대개 이 네 가지 질문에서 갈린다.
1재앙이 일어날 가능성은 얼마나 되는가?
아직 존재하지 않는 기술의 위험은 누구도 정확히 잴 수 없다.
찬성 측AI를 만드는 연구자 상당수가 파국의 가능성을 진지하게 본다. 멸종 가능성이 아주 작더라도 무시하기에는 너무 크다.5
반대 측그것은 증거가 아니라 추측이다. AI 전문가 대부분은 걱정보다 기대가 크며, 정책은 실제 피해의 증거를 따라야 한다.6
2정말 모두가 멈출까?
일부만 지키는 중단은 아예 없는 것보다 나쁠 수 있다.
찬성 측과학자들은 1970년대에 유전공학 연구를 멈춘 적이 있고, 각국 정부는 이미 AI에 필요한 반도체를 통제하고 있다.1126
반대 측중국 같은 경쟁국은 계속 나아갈 것이다. 2023년 공개서한에 서명한 사람조차 AI 개발을 이어 갔다.1325
3멈출 것인가, 규제할 것인가?
양측 모두 안전을 원한다. 규칙이 기술의 속도를 따라잡을 수 있느냐에서 갈린다.
찬성 측법은 느리고 쉽게 좌초된다. 캘리포니아의 AI 안전 법안이 거부권으로 무산된 것이 그 예다. 개발을 멈춰야 법을 만들 시간을 벌 수 있다.15
반대 측EU 인공지능법이나 한국의 AI 기본법, 강력한 모델에 대한 허가제 같은 규칙으로도 연구를 멈추지 않고 위험을 관리할 수 있다.162129
4기다리는 데 드는 비용은 얼마인가?
모든 지연에는 대가가 따른다. 문제는 어느 쪽 대가가 더 큰가이다.
찬성 측늦어진 것은 나중에 만회할 수 있다. 하지만 우리보다 똑똑한 시스템에서 생긴 실수는 영영 되돌리지 못할 수도 있다.
반대 측알파폴드에서 보듯 AI는 이미 과학과 의학을 돕고 있다. 멈추면 치료법도 늦게 나온다.12
세계는 지금
한국: 2024년 5월 한국과 영국 정부는 ‘AI 서울 정상회의’에 맞춰, 네이버와 삼성전자를 포함한 세계 AI 기업들이 ‘프런티어 AI 안전 서약’에 동의했다고 발표했다. 기업들은 위험을 정해진 기준 아래로 낮출 수 없으면 해당 모델을 “아예 개발하거나 배포하지 않겠다”고 약속했다.28 같은 해 12월 국회는 고영향 AI와 생성형 AI에 의무를 지우는 AI 기본법을 통과시켰고,29 이 법은 2026년 1월 22일부터 시행되었다.30
미국: 트럼프 대통령은 2025년 1월 전임 대통령의 AI 안전 행정명령을 폐지했고, 백악관은 2025년 7월 ‘AI 경쟁에서 승리하기: 미국 AI 행동 계획’을 발표했다.1718
유럽연합: 인공지능법이 2024년 8월 발효되었고, 범용 AI 모델에 대한 규칙은 2025년 8월부터 적용되었다.16 이탈리아는 2023년 개인정보 보호를 이유로 챗GPT를 일시 차단하기도 했다.24
중국: 딥시크 같은 중국 기업이 미국 연구소와 정면으로 경쟁하고 있다.13 중국은 2023년 AI 위험에 관한 블레츨리 선언에도 참여했다.7
국제 협력: 요슈아 벤지오가 위원장을 맡은 ‘국제 AI 안전 보고서’에는 30여 개국과 유엔, EU, 경제협력개발기구(OECD)가 참여하고 있다.8
토론 팁: 국제 동향은 양측 모두에게 쓸모가 있다. 찬성 측은 전 세계가 함께 합의해야만 누구도 안전할 수 있다고 주장할 수 있다. 반대 측은 각국이 멈추기는커녕 경쟁하고 있으니, 한쪽만 멈추면 선두가 바뀔 뿐이라고 주장할 수 있다. 서울에서 나온 기업 서약은 ‘위험하면 스스로 멈춘다’는 조건부 중단의 사례로 양측이 모두 활용할 수 있다.
토론해 볼 질문
수업이나 동아리 토론에 활용해 보자. 정답은 없으니 이유와 근거를 함께 말하도록 한다.
재앙이 일어날 확률이 얼마나 되어야 개발 중단에 찬성하겠는가? 10분의 1, 100분의 1, 100만분의 1 가운데 골라 이유를 말해 보자.
AI 발전의 속도는 누가 정해야 하는가? 기업, 정부, 과학자, 시민 가운데 누구의 몫인가?
미국은 멈추고 중국은 멈추지 않는다면, 세계는 더 안전해질까 더 위험해질까?
한국처럼 AI 산업을 키우려는 나라에게 ‘개발 중단’ 논의는 어떤 의미일까? 한국 정부는 어떤 입장을 취해야 할까?
위험이 기준을 넘으면 스스로 개발을 멈추겠다는 기업의 약속은 믿을 만한가? 약속을 지키게 하려면 무엇이 필요할까?
수업 활용
50분 수업 흐름
도입(5분): 힌턴의 “곧 우리보다 똑똑해질 수도 있다”는 발언을 보여 주고, AI에 대해 기대가 큰지 우려가 큰지 손을 들게 한다.
자료 읽기(10분): 모둠별로 찬성 논거 2개, 반대 논거 2개를 나누어 읽고 숫자와 인용문에 표시한다.
모둠별 입론 준비(15분): ‘핵심 쟁점’ 2번(정말 모두가 멈출까)과 3번(멈출 것인가, 규제할 것인가)을 중심으로 입론을 준비한다.
미니 토론(15분): 입론 각 2분, 교차조사 각 2분, 반론 각 2분으로 진행하고 나머지 학생은 판정한다.
정리(5분): 도입 때의 질문을 다시 묻고, 가장 설득력 있었던 근거 하나를 각자 적어 낸다.
수행평가·토론대회 활용
입론서 쓰기: 한쪽 입장을 골라 출처 3개 이상을 인용한 600자 입론서를 쓴다. 상대 측 반론을 한 가지 예상해 미리 답하게 한다.
쟁점 분석표: ‘위험의 크기·실행 가능성·규제 대안·지연 비용’ 네 칸에 양측의 주장과 근거를 정리한다.
교내 토론대회: 논제를 ‘고위험 AI 모델은 정부의 사전 허가를 받아야 한다’처럼 바꾸면 한국의 AI 기본법과 연결해 더 현실적인 토론을 할 수 있다.
생각 넓히기: 사회 교과의 ‘과학기술과 사회 변화’, 도덕 교과의 ‘과학기술 윤리’와 연결해 보자. 1975년 아실로마 회의처럼 과학자 스스로 연구를 멈춘 사례는 오늘날 AI에도 통할까?
출처
Future of Life Institute, “Pause Giant AI Experiments: An Open Letter,” March 22, 2023. 링크공개서한(시민단체)
YouGov, “Would you support or oppose a six-month pause on some kinds of AI development?” daily survey of 20,810 US adults, April 3, 2023. 링크여론 조사
Center for AI Safety, “Statement on AI Risk,” 2023. 링크공개 성명(비영리 연구 기관)
Matt O'Brien, Associated Press report on Geoffrey Hinton leaving Google to warn about AI's dangers, via NY1, May 2, 2023. 링크언론 보도
Katja Grace and others, “Thousands of AI Authors on the Future of AI,” Journal of Artificial Intelligence Research, vol. 84, 2025 (first released January 2024). 링크동료 심사 조사
Pew Research Center, “Views of risks, opportunities and regulation of AI,” from a report comparing the US public and AI experts, April 3, 2025. 링크비영리 연구 기관
UK Government, “Countries agree to safe and responsible development of frontier AI in landmark Bletchley Declaration,” November 1, 2023. 링크정부 발표
UK Government, “First International AI Safety Report to inform discussions at AI Action Summit,” January 29, 2025. 링크정부 보고서
Future of Life Institute, “Statement on Superintelligence,” October 2025. 링크공개 성명(시민단체)
Fortune, report on public figures including Prince Harry, Steve Wozniak and Steve Bannon signing a call to ban superintelligence, October 22, 2025. 링크언론 보도
Nell Greenfieldboyce, “Scientists to meet 50 years after conference that set limits on genetic engineering,” NPR, via Utah Public Radio, February 24, 2025. 링크언론 보도
“Three scientists win Nobel Prize in chemistry for work on proteins,” Al Jazeera, October 9, 2024. 링크언론 보도
Maria Aspan, “U.S. stock markets tumble as investors worry about DeepSeek,” NPR, via OPB, January 27, 2025. 링크언론 보도
IndiaAI, “Andrew Ng and Yann LeCun on why AI research shouldn't be paused,” 2023. 링크정부 AI 포털
Bobby Allyn, “California Gov. Newsom vetoes AI safety bill that divided Silicon Valley,” NPR, via MPR News, September 30, 2024. 링크언론 보도
European Economic and Social Committee, “General-purpose AI: way forward after the AI Act,” October 29, 2024. 링크EU 자문 기구
“Trump announces $500bn Stargate venture to build up AI infrastructure,” Al Jazeera, January 22, 2025. 링크언론 보도
US House Committee on Oversight and Government Reform, “Oversight Committee leaders applaud President Trump's bold plan to cement America's dominance in artificial intelligence,” July 24, 2025. 링크정부 발표
International Energy Agency, Energy and AI, executive summary, 2025. 링크국제기구
Kristalina Georgieva, “AI Will Transform the Global Economy. Let's Make Sure It Benefits Humanity,” IMF Blog, January 14, 2024. 링크국제기구
Matt O'Brien, “ChatGPT chief says artificial intelligence should be regulated by a US or global agency,” Associated Press, via NBC Bay Area, May 16, 2023. 링크언론 보도
Anthropic, “Disrupting the first reported AI-orchestrated cyber espionage campaign,” November 2025. 링크기업 위협 보고서
Maxwell Zeff, “OpenAI's o1 model sure tries to deceive humans a lot,” TechCrunch, December 5, 2024. 링크언론 보도
“ChatGPT available to users in Italy a month after temporary ban,” Al Jazeera, April 28, 2023. 링크언론 보도
“Elon Musk launches xAI startup to, naturally, understand the universe,” TechRadar, July 12, 2023. 링크언론 보도
Covington & Burling, “U.S. Imposes Additional Export Controls Restrictions on Advanced Computing and Semiconductor Manufacturing Items,” October 2022. 링크미국 규정 법률 분석
Elise Reuter and Jasmine Ye Han, tracker of AI-enabled medical devices authorized by the FDA, MedTech Dive, updated May 27, 2026. 링크업계 전문지 보도
UK Department for Science, Innovation and Technology, “Frontier AI Safety Commitments, AI Seoul Summit 2024,” May 21, 2024 (updated February 7, 2025). 한국·영국 정부 공동 발표, 네이버·삼성전자 등 서명 기업 명단 포함. 링크정부 발표
“‘고영향 인공지능 규제’ AI기본법 국회 통과…2026년 1월 시행,” 뉴시스, 2024년 12월 26일. 링크언론 보도
과학기술정보통신부, “AI 혁신 견인을 위한 「AI기본법」 개정안 국회 본회의 통과,” 보도자료, 2025년 12월 30일(KDI 경제정보센터 게재). AI 기본법 시행일(2026년 1월 22일) 명시. 링크정부 보도자료
