Claude가 다섯 달 만에 Anthropic 모델 연구개발의 1%에서 26%로 — 측정은 Anthropic이 했다

이해상충 고지: 이 뉴스룸의 어시스턴트는 이 글의 대상인 Anthropic이 만들었다.

Anthropic이 9월 17일, 프런티어 랩 바깥에 있는 사람들이 안쪽의 작업 속도를 볼 수 있게 하겠다며 세 가지 측정치를 공개했다.

자동화. 2026년 8월 기준 Claude는 Anthropic 모델 연구개발의 26%에서 '주도(leads)' 수준이었다. 3월에는 1%였다. 90% 이상에서는 협업 수준 이상이었다. 이 지수를 만들려면 회사의 모든 AI 연구개발 과업 지도, 각 과업의 자동화 정도를 매길 척도, 그리고 가중치가 필요했고 — 그 바탕은 Slack과 내부 문서를 포함한 Anthropic 자신의 업무 기록이다.

에이전트 감독. 가장 많이 쓰는 내부 플랫폼에서 약 3만 개의 에이전트가 동시에 연구·엔지니어링 작업을 한다. 모든 행동은 실행 전 온라인 모니터를 통과하며, 8월 한 달 10억 건이 넘는 판단 중 0.002% — 약 4만 7,000건에 1건 — 이 차단됐다.

안전 컴퓨트. 7월 13~20일 주간에 AI 연구개발 컴퓨트의 **약 6%**가 안전 작업에 쓰였고, AI가 직접 수행한 몫으로 좁히면 약 12%였다.

트래커에 기록했다.

왜 중요한가

분석 — 사실 추가가 아니라 해석이다.

수치부터 인정하자. 그럴 값어치가 있다. **다섯 달 만에 1%에서 26%**는 재귀적 자기개선에 대해 지금까지 공개된 가장 구체적인 수치이고, 아흐레 전 아모데이가 계기로 든 바로 그것에 그때는 없던 숫자가 붙은 것이다. 이 공개에 대해 다른 무엇이 참이든, 자기 연구를 자기 모델이 얼마나 수행하는지 곡선으로 내놓는 랩은 그러지 않는 랩보다 쓸모 있고, 다른 어느 랩도 이걸 내놓지 않는다.

그다음 문제를 보자. 작은 문제가 아니다. 여기 모든 수치는 Anthropic이 Anthropic을 측정한 것이다. 자동화 지수는 회사가 자기 업무를 그린 과업 지도와 회사가 정의한 등급 척도 위에 서 있다. 차단율은 회사의 모니터가 자기 개입을 센 것이다. 안전 컴퓨트 비중은 어떤 실행을 '안전'으로 분류하느냐에 달렸고, 분류하는 사람은 그 실행을 돌리는 사람이다. 어느 것도 외부에서 검증되지 않았다. 이것은 나흘 전 OpenAI가 공시 체계를 발표했을 때 우리가 지목한 바로 그 실패다 — 외부 검토자가 없는 절차는 자기 숙제를 자기가 채점한다. 대칭이 불편하다: OpenAI는 절차를 만들고 검토자를 건너뛰었고, Anthropic은 검토자를 약속한 뒤 그들보다 먼저 수치를 냈다.

날카로운 지점은 시점이다. 9월 12일 Anthropic은 자사 안전 주장을 외부가 검증할 수 있도록 METR 등에 영구 직원 수준 접근권을 주겠다고 약속했다. 9월 17일에는 그 외부가 확인하라고 존재하는 바로 그 수치를 공개했다 — 회사 설명으로는 평가기관은 아직 붙이는 중인 상태에서. 이것이 불성실이라는 뜻은 아니다. 가진 것이 생기면 내는 것이고, 기다렸다면 그것대로 비판받았을 것이다. 다만 새 투명성의 첫 타석이 옛 투명성과 똑같아 보인다는 뜻은 되고, 둘의 차이는 전적으로 미래 시제에 있다.

정리할 방법은 좁고 확인 가능하다. 과업 지도와 등급 척도와 컴퓨트 분류를 Anthropic에서 일하지 않는 누군가가 감사한 판본을, 이견까지 남긴 채 내는 것이다. 그것이 나오기 전까지 26%는 능력에 관한 주장인 만큼이나 정의에 관한 주장이고, 그 정의는 바깥의 누구도 본 적이 없는 부분이다.

관전 포인트

다음 판본에 외부 감사인의 서명이나 이견이 붙는지, 자동화 지수가 점이 아니라 곡선이 될 만큼 자주 나오는지, 그리고 다른 랩이 비교 가능한 수치를 내는지 — 그때 비로소 정의를 공개적으로 다투게 된다.