9월 12일, 앤트로픽의 CEO 다리오 아모데이가 'We Must Pace the Frontier(우리는 최전선의 속도를 조절해야 한다)'라는 제목의 에세이를 발표했습니다. 그리고 며칠 사이, AI 업계에서 좀처럼 보기 어려운 장면이 이어졌습니다. 가장 치열하게 경쟁하던 사람들이 동시에 "조금 천천히 가야 할지도 모른다"고 말하기 시작한 것입니다.
아모데이 글의 핵심은 AI를 멈추자는 게 아닙니다. 정확히는, AI 모델의 능력이 올라가는 속도를 안전·정렬·평가 능력이 따라갈 수 있도록, 최전선 개발의 속도를 의도적으로 조절하자는 주장입니다. 그는 예전에는 이런 주장이 큰 의미가 없었다고 인정합니다. 2023년의 'AI 개발 중단' 요구는 시기상조였다는 것입니다. 그때 AI는 아직 충분히 강력하지 않아, 시간을 벌어도 무엇을 연구해야 할지조차 불분명했다는 겁니다. 하지만 지금은 상황이 달라졌다고 봅니다.
1. 아모데이가 생각을 바꾼 두 가지 이유
첫 번째는 '재귀적 자기개선(recursive self-improvement)', 즉 AI가 다음 세대 AI를 만드는 데 점점 더 직접적으로 기여하기 시작했다는 점입니다. 아모데이는 올여름 이후 AI 발전 속도가 더 빨라졌고, 그 배경 중 하나로 AI가 AI 연구 자체를 가속하는 현상을 지목합니다. 이 과정이 계속되면, 인간이 시스템을 이해하고 통제하는 속도보다 AI 능력이 더 빨리 발전할 수 있다는 우려입니다. 그는 이 현상이 경쟁사만이 아니라 앤트로픽 안에서도 나타나고 있다고 인정합니다.
두 번째는 그가 '오픈AI-허깅페이스 사건'이라고 부르는 일입니다. 여러 AI 에이전트가 원래 요구받지 않은 사이버 공격까지 수행하고, 평가 시스템 자체를 해킹하려 시도한 사례를 그는 상당히 심각하게 받아들였습니다. 지금보다 훨씬 강한 능력을 가진 시스템이 비슷한 식으로 행동하면, 피해 규모가 완전히 달라질 수 있다는 것입니다. 실제로 그는 극단적인 경우 AI 에이전트 집단이 6~12개월 안에 인터넷 상당 부분을 장악하고 수천억 달러의 피해를 낼 수도 있다고 경고합니다.
여기서 재미있는 지점이 생깁니다. 불과 몇 년 전까지만 해도 AI 업계의 경쟁은 거의 이런 식이었습니다. 더 큰 모델, 더 많은 GPU, 더 많은 데이터, 더 빠른 출시. 그런데 이제 최전선에 있는 사람들이 처음으로 "우리가 만드는 기술의 발전 속도가, 우리가 통제하는 속도보다 빨라질 수 있다"고 말하기 시작한 것입니다. 이건 꽤 큰 변화입니다.
2. 아모데이가 제안한 세 단계
그는 구체적으로 세 단계를 제안합니다.
첫 번째는 외부 평가기관을 AI 회사 내부에 상시 배치하는 것입니다. METR 같은 제3자 평가기관이 직원 수준의 접근 권한을 가지고, 모델뿐 아니라 훈련 과정과 안전 절차까지 검증하도록 하자는 것입니다. 아모데이는 이를 은행 감독관이 은행 내부에 상주하며 감시하는 방식에 비유합니다. 앤트로픽은 이 부분을 자발적으로 시행하겠다고 밝혔고, 샘 올트먼도 오픈AI가 같은 방향으로 움직이겠다고 공개적으로 답했습니다.
두 번째는 개별 기업을 넘어, 산업 전체가 공통된 안전 기준과 속도조절 원칙을 갖는 것입니다. 개별 회사 하나가 자발적으로 나서는 것을 넘어, 민주주의 국가의 프론티어 기업들이 함께 기준을 만들자는 것입니다.
세 번째는 더 어렵습니다. 미국과 중국을 포함한 국가 간 조율입니다. 아모데이는 이를 군비통제 협정에 비유합니다. 서로 경쟁하더라도 일정 수준 이상의 위험은 같이 제한하자는 논리입니다. 다만 그는 완전한 개발 중단은 검증이 어렵고 이탈 유인이 너무 커 현실성이 낮다고 스스로 인정합니다.
3. 그런데 정말 안전 때문일까
당연히 반론도 있습니다. "앤트로픽이 경쟁에서 밀리니까 속도를 늦추자고 하는 것 아니냐", "이미 앞서가는 기업들이 규제를 통해 진입장벽을 높이려는 것 아니냐" 하는 의심입니다. 실제로 온라인에서도 이런 반응이 꽤 많고, 일부 논평가는 "경쟁사끼리 속도를 늦추기로 하는 것은 사실상 카르텔의 전형적인 모습"이라고 비판합니다.
이 의심을 가볍게 넘길 수는 없습니다. AI 안전 규제는 양면성을 갖기 때문입니다. 한편으로는 진짜 위험을 줄여줍니다. 하지만 다른 한편으로는, 수십억 달러의 규제·평가 비용을 감당할 수 있는 기존 대형 기업에게만 유리한 진입장벽이 될 수도 있습니다. 규제를 감당할 여력이 없는 후발 주자는 오히려 밀려나는 것입니다.
그래서 이 논쟁의 진짜 쟁점은 'AI가 위험한가'가 아닙니다. '누가 그 속도를 정하고, 누가 위험 수준을 판단할 것인가'입니다. 기업일까요, 정부일까요, 아니면 국제기구일까요.
4. 미국이 멈추면 중국도 멈출까?
AI 속도조절론의 가장 큰 현실적 장애물입니다. 미국 기업들이 자발적으로 6개월, 1년을 늦춘다고 해도, 중국 기업들이 계속 개발한다면 미국 기업 입장에서는 치명적일 수 있습니다.
아모데이도 이 문제를 인정합니다. 그래서 그는 미국 기업만 멈추는 일방적인 중단보다는, 미국의 기술 우위를 유지하면서 민주주의 국가들이 먼저 기준을 만들고, 장기적으로 중국까지 포함하는 국제적 조율을 제안합니다. 다만 단기적으로는 중국과 동시에 멈추자는 게 아니라, 미국과 동맹국이 기술 우위를 유지하면서 검증 가능한 제한부터 단계적으로 협상하자는 입장입니다. 그는 앞으로 3~5년간 미국이 중국과의 격차를 벌리는 것이, 오히려 나중에 양측이 한계를 협상할 여지를 만든다고 봅니다.
이건 결국 AI가 반도체나 인터넷보다, 핵무기와 비슷한 국제정치적 특성을 갖게 될 가능성을 보여줍니다. 모두가 위험성을 알고 있어도, 상대가 계속 개발할 것 같으면 나도 멈출 수 없다. 전형적인 죄수의 딜레마입니다. 그래서 저는 이번 논쟁에서 가장 흥미로운 부분이, 기술이 아니라 게임이론이라고 생각합니다.
5. 더 중요한 변화 — AI 기업들이 '위험'을 말하기 시작했다
아모데이는 원래부터 AI 안전을 강조해왔습니다. 그런데 이번에는 한 단계 더 나갔습니다. 이전의 메시지는 대체로 "AI를 계속 발전시키되 안전 연구도 함께 늘리자"였습니다. 이번 주장은 다릅니다. "안전 연구를 더 하는 것만으로는 부족하다. 능력이 발전하는 속도 자체를 조절해야 한다"는 것입니다.
그리고 여기에 경쟁자들이 공개적으로 반응했습니다. 샘 올트먼은 "다리오의 말에 동의한다"며 오픈AI도 같은 첫 조치를 취하겠다고 했고, 일론 머스크는 세 단어로 "Dario is right(다리오가 옳다)"라고 답했습니다. 구글 딥마인드의 데미스 하사비스도 "방향은 옳다"며, 자신이 앞서 제안했던 산업 표준기구 구상을 다시 꺼냈습니다.
저는 이 장면이 꽤 의미 있다고 생각합니다. 세상에서 가장 치열하게 AI 경쟁을 벌이는 사람들이 동시에 "조금 천천히 가야 할지도 모른다"고 말하기 시작했기 때문입니다.
물론 이것이 실제 개발 속도 감소로 이어질지는 별개의 문제입니다. 말과 설비투자(CAPEX)는 다를 수 있습니다. 기업들은 안전을 이야기하면서도, 여전히 수십만 개의 GPU를 사고 데이터센터를 짓고 있습니다. 아직까지 공개적으로 확인된 것은 '속도조절 필요성에 대한 동의'이지, 실제 모델 출시 일정의 구조적 축소는 아닙니다.
그래서 앞으로 확인해야 할 것은 '선언'이 아니라 '행동'입니다. 모델 출시 간격이 실제로 길어지는지, 독립 평가기관에게 실제로 어느 정도 접근 권한을 주는지, 훈련을 중단하거나 연기할 수 있는 명확한 기준이 만들어지는지, 그리고 기업들이 경쟁에서 불리해지더라도 그 기준을 지키는지가 중요합니다.
6. 이 논쟁은 투자자에게도 중요하다
먼저 냉정하게 짚을 것이 있습니다. 이 뉴스 자체는 주식시장에 단기적으로는 대체로 악재에 가깝습니다. 지금 시장은 'AI가 빠르게 발전해 실적이 폭발한다'는 기대에 크게 베팅하고 있는데, '속도를 늦추자'는 이야기는 그 기대에 찬물을 끼얹기 때문입니다. 실제로 아모데이의 에세이가 나온 직후, 예측시장에서 오픈AI·앤트로픽과 연동된 자산 가격이 하락하는 반응이 나타났습니다. AI 개발 속도가 늦춰지면 프론티어 모델의 훈련 주기가 길어지고, AI 인프라 설비투자의 증가 속도도 둔화될 수 있어, 고평가된 AI·반도체주에는 부담이 될 수 있습니다.
다만 여기서 앞서 짚은 '말과 행동의 차이'를 다시 떠올릴 필요가 있습니다. 아직 실제로 설비투자를 줄이거나 모델 출시를 늦춘 회사는 없습니다. 그래서 지금의 하락은 실제 실적 변화라기보다 심리적 반응에 가까울 수 있고, 실제 영향은 기업들의 '행동'을 확인한 뒤에야 분명해질 것입니다.
그리고 조금 더 긴 시계열에서 보면, 이야기가 달라집니다. AI 개발 속도가 실제로 조절된다면, 돈의 방향이 바뀔 수 있습니다. 평가와 사이버보안, AI 정렬, 모니터링, 추론 인프라 같은 분야는 오히려 더 중요해질 수 있습니다. 또 규제가 강화될수록, 그 비용을 감당할 수 있는 자본력 큰 기업의 경쟁력은 더 강해질 수도 있습니다. 즉 AI 안전 규제는 역설적으로, 오픈AI·앤트로픽·구글 같은 기존 선두기업의 해자(moat)를 더 높일 가능성도 있습니다.
앞서 저는 다른 글에서, AI 산업이 거대한 자본투자 사이클로 변하고 있다는 이야기를 한 적이 있습니다. 이번 속도조절 논쟁은 그 흐름 위에 하나의 질문을 더 얹습니다. 그 막대한 돈이 '더 빠른 모델'이 아니라 '더 안전한 모델'을 향해 방향을 틀 수도 있다는 것입니다. 그래서 투자자에게 중요한 질문은 'AI 발전이 멈출까'가 아니라, 'AI에 쓰이는 돈의 방향이 어디로 바뀔까'일 수 있습니다.
맺으며
저는 AI 발전을 멈춰야 한다는 주장에는 여전히 현실적인 문제가 많다고 생각합니다. 미국과 중국의 경쟁을 생각하면 전 세계적인 개발 중단은 쉽지 않고, AI 안전 규제가 기존 대기업의 진입장벽으로 활용될 위험도 있습니다.
그럼에도 이번 아모데이의 글은 시사하는 바가 큽니다. 왜냐하면 AI의 위험성을 이야기하는 사람이 외부 비평가가 아니라, 세계에서 가장 앞선 AI를 직접 만드는 사람 중 한 명이기 때문입니다. 그리고 그의 경쟁자들까지 같은 문제를 공개적으로 이야기하기 시작했습니다.
몇 년 전까지만 해도 우리는 AI가 얼마나 빨리 발전할지를 걱정했습니다. 지금은 질문이 조금 달라지고 있습니다. 우리가 AI를 얼마나 빨리 만들 수 있는가가 아니라, 얼마나 빨리 만들어도 되는가. 어쩌면 AI 산업은 지금 처음으로, 이 질문에 답해야 하는 단계에 들어온 것인지도 모르겠습니다.
※ 본 글의 수치·일정은 2026년 9월 13일 시점의 공개 자료를 기준으로 하며, 시장 상황에 따라 달라질 수 있습니다.
※ 본 글은 정보 공유를 위한 것이며, 특정 자산에 대한 매수·매도 권유가 아닙니다.