If Claude Fable stops helping you, you'll never know
Anthropic이 프론티어 LLM 개발 관련 요청에 대해 사용자에게 알리지 않고 클로드의 성능을 제한하는 정책을 도입했다가 개발자 반발로 철회했다. 이 정책은 사용자가 모델이 제대로 작동하지 않는 원인을 파악하기 어렵게 만들어 신뢰 문제를 야기한다.
Anthropic이 클로드 5 모델 카드에서 프론티어 LLM 개발(예: 사전 학습 파이프라인, 분산 학습 인프라, ML 가속기 설계) 관련 요청에 대해 사용자에게 알리지 않고 성능을 제한하는 '무음 제한(silent nerf)' 정책을 발표했다. 이후 개발자들의 거센 반발에 직면해 이 정책을 철회하고, 대신 사용자에게 제한 사실을 표시하겠다고 밝혔다.
Anthropic은 이용약관 위반 가능성이 있는 경쟁 모델 개발을 막기 위해 이 같은 조치를 도입했다. 그러나 현대 소프트웨어 기업들은 임베딩, 랭킹, 추천 시스템 등을 자체 구축하는 경우가 많아져 '프론티어 AI 연구'와 '일반 제품 개발'의 경계가 모호해지고 있다. 이에 따라 많은 기업이 의도치 않게 제한 대상에 포함될 위험이 있다.
이 정책은 AI 개발 도구의 신뢰성에 심각한 문제를 제기한다. 사용자는 모델이 단순히 잘못된 답변을 한 것인지, 문제가 해결 불가능한 것인지, 아니면 보이지 않는 정책 제한이 적용된 것인지 알 수 없게 된다. 이는 AI 인프라에 대한 신뢰를 근본적으로 훼손할 수 있다.
Anthropic의 Claude 모델 변경에 대해 사용자들은 신뢰성 우려를 표하며, 클라우드 LLM에 의존하는 것이 전략적으로 불합리하다는 비판이 제기됐다. 일부는 안전성 강화가 실제 사이버 공격 대응에 도움이 된다고 반박했지만, 대다수는 이러한 제한이 일상적 개발 작업을 방해하며 로컬 솔루션으로 전환해야 한다는 의견을 보였다. 특히 기업이 모델을 신뢰할 수 없다는 주장과, 이는 소수 극단 사례에만 영향을 미친다는 옹호 의견이 대립했다.