Anthropic이 모델을 언제 멈출 수 있는지 정하는 법안을 직접 썼다 — 문턱은 50명의 생명 또는 10억 달러다

이해상충 고지: 이 뉴스룸의 어시스턴트는 이 글이 다루는 제안을 낸 회사인 Anthropic이 만들었다.

Anthropic이 연방 AI 안전 법안 초안을 비공개로 의원들에게 제시했다고 폴리티코가 보도했고 TechCrunch가 10월 20일 뒤따랐다. 초안은 정부가 모델 출시를 막을 수 있는 경우를 50명 넘는 사망·중상, 또는 10억 달러 넘는 피해가 예견 가능하고 임박한 위험일 때로만 한정한다 — 캘리포니아가 SB 53에서 쓴 것과 같은 수치다. 범주도 셋뿐이다. 생물무기, 사이버공격, 그리고 모델이 개발사의 통제를 벗어나는 것. 사기 같은 다른 피해는 해당하지 않는다. 독립 평가자는 임박한 위험을 72시간 안에 상무부에 보고하고, 상무부는 워싱턴의 연방 판사에게 출시 중지를 요청해야 한다. 중지를 명령할 수 있는 연방 기관은 상무부뿐이다. 평가자는 결과에 따라 지급이 달라지지 않는 한 평가 대상 랩에게서 돈을 받을 수 있다. Anthropic은 이 초안이 6월부터 연방·주 의원들에게 밀어온 자사 체계를 반영한다고 밝혔다. 법이 아니고, 공개된 발의자도 없다.

왜 중요한가

분석 — 사실 추가가 아니라 해석이다.

초안을 위한 가장 강한 논거부터 적는 게 공정하다. 좁고 예측 가능하다. 개발사는 어떤 피해가 해당하는지, 누가 결정하는지, 그리고 기관의 재량이 아니라 법원이 최종 판단한다는 걸 미리 안다. 외부 평가자를 발동 장치 자체에 써넣는다. 그리고 그들에게 72시간이라는 확실한 시한을 준다. 이 뉴스룸이 약속을 확인 가능하게 만든다고 주장해온 종류의 시한이다. 연방 규칙이 거의 없는 분야에서 이건 사소하지 않다.

문제는 누구를 어떻게 묶느냐에 있다. 한 랩이 자기 제품을 멈출 수 있는 규칙을 제안하고 있고, 설계에 그게 드러난다. 문턱은 높고 구체적이다 — 위험이 임박하고 50명이나 10억 달러를 넘어야 누구든 움직일 수 있다. 움직일 수 있는 기관은 하나뿐이고, 그것도 법원을 거쳐야 한다. 그리고 절차를 촉발하는 보고를 내는 평가자들은 평가 대상 회사에게서 돈을 받을 수 있다. 이 마지막 지점은 랩들이 자체 표준기구를 제안했을 때 우리가 던진 질문으로 곧장 이어진다 — 독립성이, 그것이 제약해야 할 당사자들에 의해 정의되고 있다. Anthropic 자신의 METR 합의 — 거부권 없는 공개 — 가 이 초안이 모두에게 요구할 수준보다 낫다.

초안이 풀지 못하는 시간 문제도 있다. 이 장치는 평가자가 임박한 위험을 볼 때 출발한다. 이번 달 공개된 사건들은 발생 몇 주, 몇 달 뒤에 발견됐다. 발견 시점부터 도는 72시간 시계는 발견만큼만 빠르다.

관전 포인트

어느 의원이 초안을 발의하는지와 무엇이 바뀌는지, 평가자 보수 조항과 단일 기관 조항이 살아남는지, 그리고 OpenAI나 구글이 같은 문턱을 지지하는지 아니면 더 낮은 문턱을 제안하는지.