Anthropic Urges Global Pause in AI Development, Flags 'Self-Improvement' Risk
Anthropic이 AI 시스템이 인간 개입 없이 스스로 개선할 수 있는 '재귀적 자기 개선' 단계에 가까워지고 있다며 글로벌 AI 개발 속도 조절을 촉구했다. 이 회사는 자체 데이터를 공개하며 모델 성능 향상 속도가 사회적 대비 능력을 앞지르고 있다고 주장했다.
Anthropic이 최고 AI 연구소들에 개발 속도를 늦출 것을 촉구하는 블로그 게시물을 발표했다. 이 게시물은 AI 시스템이 인간 개입 없이 스스로 개선할 수 있는 '재귀적 자기 개선(recursive self-improvement)' 위험을 강조하며, 글로벌 합의와 검증 메커니즘을 제안했다.
Anthropic은 최근 약 1조 달러 가치 평가로 자금 조달을 마치고 기업공개(IPO)를 위한 기밀 서류를 제출했다. 회사의 연간 매출은 2025년 말 90억 달러에서 2026년 1월 말 500억 달러로 증가할 것으로 예상된다. 이러한 급성장 속에서도 AI 안전을 이유로 개발 속도 조절을 주장하는 것은 역설적으로 보일 수 있다.
Anthropic의 제안은 자사의 IPO 준비와 상충되는 듯 보이지만, 장기적 AI 안전을 위한 선제적 조치로 해석될 수 있다. 그러나 경쟁사들이 자발적으로 개발 속도를 늦출 가능성은 낮으며, 실질적인 규제로 이어지기까지는 많은 논의가 필요할 것으로 보인다.
해당 기사에 대한 HN 커뮤니티 반응은 대체로 회의적이며, Anthropic이 AI 개발 중단을 촉구하면서도 정작 자신들은 IPO를 준비하고 있다는 위선을 지적하는 의견이 다수였다. 일부 댓글러는 중국 등 경쟁국이 이런 호소에 응할 리 없다며 현실성이 없다고 비판했고, 다른 이들은 Anthropic의 주장을 자사 모델이 생성한 저질 콘텐츠에 대한 일시적 휴식 요구로 비꼬기도 했다. 또한 한 사용자는 Anthropic의 '자기 개선' 위험 보고서에 대한 자체 모델의 비판적 평가를 링크로 공유하며 논쟁을 촉발했다.