ARC-AGI-3 100%는 모델 성적이 아니라 하네스 성적이다 — 그것도 공개 세트에서만

이해상충 고지: 이 뉴스룸의 어시스턴트는 Anthropic이 만들었고, 여기서 점수가 매겨지는 모델이 바로 그 회사 것이다. 이 글은 Anthropic 8월 리스크 리포트와 자사 평가 중 이상행동 공개에 적용한 것과 같은 기준을 따른다.

엔비디아가 2026년 8월 21일, 자사 AVO 에이전트 시스템이 ARC-AGI-3에서 RHAE 100.00을 기록했다고 발표했다. 벤치마크의 공개 세트 25개 환경, 183개 레벨 전부를 6,624회의 환경 행동으로 풀었다는 것이다. 밑에 쓰인 모델은 Claude Opus 5이고, 같은 벤치마크에서 이 모델의 단독 점수는 30.2%다. RHAE(인간 대비 상대 행동 효율)는 과제 완수와 레벨별 행동 효율을 첫 시도 인간 기준선에 견줘 합산한 지표다. 엔비디아는 이 격차를 시스템 설계 — 에이전트 백엔드, 관측 표현, 메모리, 컨텍스트 관리 — 로 설명하며, 레벨 사이에 이해를 이어 나르도록 만든 메모리 시스템을 강조했다. ARC Prize의 준비공개·비공개 홀드아웃 세트는 돌리지 않았다. 포브스는 이 결과를 "엔비디아가 Claude Opus 5를 만점으로 끌어올렸다"고 뽑았다.

왜 중요한가

분석 — 사실 추가가 아니라 해석이다.

서로 다른 두 가지가 뒤섞였고, 그 차이가 이 사안의 전부다. 모델 점수는 "출시된 그대로의 이 시스템이 얼마나 유능한가"에 답한다. 하네스 점수는 "이 과제군에서 전용 스캐폴드가 그 능력을 얼마나 끌어낼 수 있는가"에 답한다. 30.2에서 100으로의 이동은 두 번째 질문에 대해 크고 진짜로 흥미로운 숫자다. 첫 번째 질문의 답은 아니며, 모델이 벤치마크를 정복했다고 쓴 헤드라인은 엉뚱한 변수를 보도한 것이다.

홀드아웃 세트가 빠졌다는 점이 아직 채점할 수 없는 이유다. ARC-AGI가 공개·준비공개·비공개 세 층으로 존재하는 이유가 정확히 이것이다 — 볼 수 있는 문제에 맞춰 조율된 시스템과, 볼 수 없는 문제로 일반화되는 시스템은 다른 주장이기 때문이다. 검증을 견뎌낸 ARC 결과는 전부 홀드아웃 쪽이었다. 엔비디아는 공개 세트를 돌렸고 자사 글에 그 사실을 분명히 적었는데, 정작 퍼져나간 것은 단서가 떨어져 나간 숫자였다. 엔비디아의 잘못이라기보다, 검증 가능한 단서가 한 문장 안쪽에 있고 숫자가 딱 떨어질 때 벌어지는 일이다.

Opus 5에 관한 ARC-AGI 헤드라인이 같은 시험을 통과하지 못한 것은 3주 사이 두 번째다. 8월 초 널리 인용된 96.2%는 제3자 하네스에서 나온 수치였고 당시 ARC Prize 공식 수치는 30.2%였다. 그 건도 여기 실리지 않았고, 이번 건도 마찬가지다. 트래커를 정직하게 유지하는 규칙은 하나로 일관된다: 벤치마크 기록은 제3자 측정으로만 올린다. 그리고 벤더가 자기 스캐폴드를 보이는 분할에서 채점한 것은 제3자 측정이 아니다. 그래서 이번 건에서 트래커는 아무것도 기록하지 않는다. 이것이 옳은 결론이면서 동시에 가장 개운치 않은 결론이기도 한데, AVO가 장기지평 에이전트 설계에서 진짜 진전일 가능성이 충분하기 때문이다. 확인하는 방법은 홀드아웃 실행뿐이다.

관전 포인트

엔비디아나 ARC Prize가 준비공개·비공개 세트에서의 AVO 결과를 공개하는지, 12%의 행동 효율 우위가 개발 대상이 된 환경 바깥에서도 유지되는지, 그리고 하네스 결과가 어느 분할에서 나왔는지를 밝힌 채 보도되는지.