원문의 뉘앙스는 그것보단 복합적입니다. 미래 가능성을 3가지로 요약하는데, 사실은 이 성장 커브가 지금은 가팔라보이지만 그것 자체가 멈출 가능성(The trend stalls, but today’s AI capabilities are widely diffused. This article features many exponential trajectories. But these trajectories may actually turn out to be S-curves. )을 먼저 제시하고 있습니다.
애초에 4년 전에 지금의 GenAI 수준이나 그 비슷한 것들은 Sci Fi 및 일본 애니메이션에서나 논의되던 것이기에 이제와서 무엇이 가능하다, 불가능하다라고 속단하는 것 역시 금물이겠고, 본문에서 언급하는 것처럼 근본적 차이는 있지만 핵무기처럼 핵확산금지 같은 것을 떠올릴 수 있다고 언급하고 있습니다.
기술발전 커브가 기술한계로 꺽이는 건 다 같이 의도적으로 멈추는 것과는 다른 예이고,
속단하긴 했습니다만 여전히 그렇게 생각합니다. 언급하신 핵확산금지 같은 예만 보아도, 미국과 소련이 압도적인 선도국가로 그 자신들은 충분한 탄두를 확보한 후에 나머지 국가가 갖는 걸 막는 형태로 작동하기 시작했고, 그럼에도 파키스탄이나 북한 같은 파탄국가도 구비하고 있는 것이 현실입니다.
기사제목은 도발적이지만 앤트로픽의 본문은 좀 더 신중한 뉘앙스입니다. 제 수석비서인 클로드에게 내용 검토을 지시했고, 그 결과를 공유합니다.
---
Anthropic Institute의 "When AI builds itself"(Marina Favaro·Jack Clark)를 정독했다. 핵심 주장과 근거를 먼저 정리하고, 그 다음 검증 관점에서 짚을 지점을 따로 분리하겠다.
## 글의 골자
중심 개념은 **재귀적 자기개선(recursive self-improvement)** 이다. AI 개발 과정—코드 작성,...더 보기
기사제목은 도발적이지만 앤트로픽의 본문은 좀 더 신중한 뉘앙스입니다. 제 수석비서인 클로드에게 내용 검토을 지시했고, 그 결과를 공유합니다.
---
Anthropic Institute의 "When AI builds itself"(Marina Favaro·Jack Clark)를 정독했다. 핵심 주장과 근거를 먼저 정리하고, 그 다음 검증 관점에서 짚을 지점을 따로 분리하겠다.
## 글의 골자
중심 개념은 **재귀적 자기개선(recursive self-improvement)** 이다. AI 개발 과정—코드 작성, 인프라 구축, 실험 설계·해석—을 점차 AI에게 위임하고 있으며, 이 추세를 끝까지 밀면 AI가 자신의 후속 모델을 자율적으로 설계·훈련하는 지점에 도달한다는 것이다. 글은 "아직 거기 도달하지 않았고 필연도 아니다"라고 단서를 달면서도, 그 시점이 대다수 기관의 준비보다 빨리 올 수 있다고 본다.
근거는 두 층위로 제시된다.
외부 지표로는 METR의 작업 시간지평(task time-horizon)이 7개월마다 2배에서 4개월마다 2배로 가속되었다는 점, SWE-bench(실제 버그 수정)와 CORE-bench(논문 재현)가 2년 안팎에 포화에 가까워졌다는 점을 든다.
내부 지표가 이 글의 진짜 무게중심이다. 2026년 5월 기준 Anthropic 코드베이스에 병합되는 코드의 80% 이상이 Claude 작성분이며, 엔지니어 1인당 일일 병합 코드량이 2024년 대비 8배라고 한다. 연구 측면에서는 훈련 코드 최적화 실험에서 Opus 4의 약 3배 속도향상이 1년 뒤 Mythos Preview에서 약 52배로 올랐고, weak-to-strong 감독 연구를 에이전트가 800시간·약 1.8만 달러로 자율 수행해 인간 대비 격차의 97%를 메웠다는 사례가 나온다.
전반적 진단은 "인간의 역할이 각 단계에서 좁아지고 있으며, 남은 비교우위는 연구 취향·판단(어떤 문제가 중요한가, 어떤 결과를 신뢰할 것인가)에 있다"는 것이다. 마지막으로 세 가지 미래 시나리오(추세 정체·복리적 효율 향상·완전한 재귀적 자기개선)와, 검증 가능한 속도 조절/일시 중단 메커니즘의 필요성을 정책 제언으로 제시한다.
## 검증 관점에서의 검토
**자기측정 지표의 구조적 한계.** 8배·80%라는 수치는 글 스스로도 인정하듯 코드 "양"의 지표다. 줄 수(lines of code)는 품질을 담지 못하고, 자동생성·실험용 코드가 분자에 섞인다. 더 근본적인 문제는 표본 편향이다. AI 개발 도구를 만드는 회사의 엔지니어가 자사 모델로 측정한 생산성은 일반 소프트웨어 노동의 대표값이 아니다. 따라서 이 수치는 "Anthropic 내부 가속의 방향성"으로는 신뢰할 만하나, 산업 일반으로의 외삽 근거로는 약하다.
**글이 정직하게 드러낸 약점들.** 이 점은 평가에서 중요하다. 130명 설문의 4배 생산성 주장에 대해, 인용된 METR 연구(arXiv 2507.09089)가 개발자 자기보고가 과대추정되는 경향을 보였음을 스스로 각주에 단다. 연구 판단력 실험(n=129)도 "인간이 개선 여지가 있던 순간만 골랐으므로 동등 비교가 아니다"라고 명시하고, 대조군(인간이 이미 좋은 선택을 한 127개 순간)에서는 모델이 약 20%만 우세했다고 밝힌다. weak-to-strong 결과도 프로덕션 규모로 깔끔히 전이되지 않았고 문제 선정·채점 기준은 인간이 했다고 단서를 단다. 즉 가장 인상적인 수치(64% 우세, 97% 격차 회복)일수록 비교 조건이 제한적이라는 점을 글 자체가 노출하고 있다.
**이해관계의 비대칭.** 자사 모델의 역량이 빠르게 강해진다는 서사는 Anthropic에 상업적·정책적 양면 인센티브가 있다. 역량 강조는 제품 신뢰도를 높이는 동시에, "위험하니 검증 가능한 속도 조절 체제가 필요하다"는 규제 포지셔닝을 뒷받침한다. 결론부의 핵심 제언(검증 가능한 다자 pause 메커니즘, INF 조약 비유)이 정확히 이 서사 위에 놓인다. 주장이 틀렸다는 뜻은 아니나, 내부 비공개 데이터에 의존하는 1차 출처를 외부에서 재현할 수 없다는 점은 epistemic 차감 요인이다.
**핵심 미확정 쟁점은 글도 인정한다.** 재귀적 자기개선의 성립 여부는 "연구 취향"이 스케일링으로 획득되는 역량인지에 달려 있는데, 글은 이를 양방향으로 논증한다—한편으로 "농담 설명·마음 이론·언어 퍼즐처럼 한동안 못하다 잘하게 된 정성적 기술의 패턴"이라 낙관하고, 다른 한편 S-커브 굴절·공급망(전력·반도체) 제약·아키텍처 한계 가능성을 시나리오 1로 열어 둔다. 이 양가성은 솔직하지만, 그만큼 결론의 핵심 변수가 아직 데이터로 결판나지 않았음을 의미한다.
**전반 평가.** 선언적 과장보다는, 자기측정 한계·표본 편향·비교 조건의 비대칭을 본문과 각주에 비교적 성실히 노출한 글이다. 그 점에서 신뢰도 관리가 잘 된 문서라고 보인다. 다만 가장 강한 주장들은 모두 (a) 재현 불가능한 내부 데이터, (b) 추세 외삽, (c) 정책 제언과 정렬된 서사라는 세 가지 의존성을 공유하므로, "AI가 AI 개발을 가속하고 있다"는 약한 명제는 설득력 있게 뒷받침되지만 "완전한 재귀적 자기개선이 임박했다"는 강한 명제는 여전히 추정의 영역에 머문다. 글 자신의 표현을 빌리면 "기각도 입증도 안 된" 구간에 가까운 셈이다.
