Paper of the Week #2 — 점수는 초록에, 청구서는 표 2에

Paper of the Week #2 — 점수는 초록에, 청구서는 표 2에

코딩 에이전트를 Planner→Developer→QA 바깥 루프로 감싸는 것이 요즘 가장 뜨거운 스케일링 축입니다. 논문이 감싸지 않은 Claude Code로 가장 작은 정직한 버전을 직접 만들어 돌려봤습니다. 점수 차이는 재실행 노이즈 안이었고, 토큰은 정확히 세 배였습니다.

2026년 8월 26일 – 9월 2일 · Harness-of-Harness · Meta-Harness · StateM · JIT-Agent

The Claim

하네스 스케일링은 실재합니다. 그리고 지금은 분모 없이 팔리고 있습니다.

고정된 모델 주위에 루프를 쌓는 논문들의 점수 향상은 진짜입니다. 문제는 헤드라인이 항상 점수라는 겁니다. 비용은 부록 표에 있거나, 정규화 없는 토큰 수로 있거나, 아예 없습니다. 그래서 "루프를 하나 더 감자"를 유일하게 의미 있는 대조군과 비교할 수가 없습니다. 같은 토큰을 그냥 에이전트한테 더 쓰는 것 말입니다. 포인트당 토큰으로 적기 전까지, 상대 52% 향상은 결과가 아니라 분자입니다. 이번 주 리드 논문이 가장 깨끗한 사례입니다. 청구서를 공개하긴 했거든요. 초록이 한 번도 언급하지 않는 표에서요.

The Receipt: HoH를 Claude Code 둘레에 작게 다시 지었습니다

Yan, Su, Zhang 외 (Shanghai AI Laboratory) · 9월 1일 · arXiv:2609.01481

Harness-of-Harness는 코딩 에이전트를 손대지 않고 바깥에서 세 역할로 감쌉니다. 범위를 정하는 Project Planner, 구현하는 Developer, 요구사항 기준으로 독립 검증하는 QA Tester. 산출물과 증거를 다음 반복으로 넘기며 이걸 세 바퀴 돌립니다. 결과는 standalone 하네스(Codex+GPT-5.5, OpenCode+DeepSeek-V4-Pro, Pi+MiniMax-M3) 대비 평균 상대 +52.25%, 최대 +82.86%입니다.

초록에 없는 숫자는 표 2에 있습니다. 누적 토큰이 vanilla 1회의 2.59M에서 HoH@3의 8.41M로, 3.25배가 됩니다.

세 에이전트 중에 Claude Code는 없습니다. 그래서 그 칸을 제가 채웠습니다. 같은 세 역할을 각각 독립된 Claude Code 호출로 돌리는 120줄짜리 하네스를 짰습니다. Planner가 PLAN.md를 쓰고, Developer가 구현하고, QA는 명세만 읽고 자기 테스트를 만들어 검증합니다. QA→Developer 수리 사이클은 최대 두 번. 과제는 Exercism의 어려운 축 8개(Forth 인터프리터, reactive cells, SGF 파서 등)이고, 채점은 두 팔 모두 못 보는 정식 테스트 스위트로 러너가 직접 합니다. 셀당 1회 실행, 모델은 sonnet.

1회 호출은 8개 중 7개를 풀고 $2.04, 58,498 토큰을 썼습니다. 래핑은 8개 전부를 풀고 $5.98, 177,100 토큰을 썼습니다. 비용 2.9배, 토큰 3.0배. HoH 자신의 3.25배 바로 아래입니다. 다른 에이전트, 다른 모델 계열, 세 자릿수 작은 과제에서 같은 배수가 나온 겁니다.

예상과 다르게 흘러간 지점이 둘 있습니다. 첫째, 저는 QA→Developer 수리 루프가 이 설계의 엔진일 거라고 생각했습니다. 한 번도 안 돌았습니다. 여덟 과제 모두 QA가 Developer의 첫 결과물을 통과시켜서, 래핑 실행 전부가 QA 1회로 끝났습니다. 3배의 프리미엄이 산 것은 반복이 아니라 사전 계획과 독립 테스트 작성이었고, 역할별 분해가 돈이 어디로 갔는지 말해줍니다. QA $2.76, Planner $2.07, Developer $1.15. 구현이 제일 쌌습니다. 회의가 비쌌습니다.

둘째, 점수 이득은 만지자마자 부서졌습니다. 래핑의 유일한 승리는 rest-api였는데, 1회 호출이 사용자 간 채무를 누적으로 해석한 반면 숨겨진 테스트는 상계(netting)를 기대했습니다. 그 과제만 다시 돌려봤습니다. 1회 호출은 3번 중 2번 통과, 래핑은 2번 중 2번. 셀당 1회로는 "Planner가 명세의 모호함을 잡는다"와 시드 운을 구분할 수 없고, 저는 전자를 주장할 자격이 없습니다. 재실행에서 살아남은 것은 분모 쪽입니다. 점수 차이는 노이즈 안이고, 3배 청구서는 노이즈 밖입니다.

결론 앞에 약점부터 적습니다. 이 과제들은 15분짜리이고 HoH는 여러 날짜리 프로젝트입니다. 바깥 루프의 계획이 규모가 있어야 돈값을 할 가능성은 실재합니다. 그쪽 FrontierSWE 실행은 열 바퀴까지 가는데 제 것은 한 바퀴에 수렴했으니까요. 제 래핑은 뼈대입니다. warm start도, 과제 간 증거 아카이브도 없습니다. 모델 하나, 셀당 1회. 그리고 제 초안 자체의 정정 하나. 처음에 "하네스 논문들은 비용을 안 적는다"라고 썼다가 지웠습니다. HoH는 본문에 꼼꼼히 적었습니다. 제 불만은 더 좁고, 그래서 더 공정하다고 생각합니다. 점수는 초록에 있는데 청구서는 거기 없다는 것.

The Contrast

Meta-Harness — 스스로 값을 매기는 반례

Lee 외 (Stanford) · 2026년 3월 · arXiv:2603.28052

HoH가 분모 없는 하네스 스케일링이라면, Meta-Harness는 분모를 제대로 단 쪽입니다. 하네스 자체를 탐색 가능한 코드로 취급합니다. 제안자 에이전트가 이전 후보 전부의 소스·점수·실행 트레이스를 읽고 다음 하네스를 씁니다. 온라인 텍스트 분류에서 최신 컨텍스트 관리 시스템을 7.7점 이기면서 컨텍스트 토큰은 4분의 1만 씁니다. 발견된 하네스 하나는 IMO급 문제 200개를 5개의 held-out 모델 평균 +4.7점 올립니다. 더 좋은데 더 싸다는 걸 같은 표에 적었습니다. 이 분야가 베껴야 할 보고 형식이고, 분모가 회계 잡무가 아니라 엔지니어링 대상이라는 가장 강한 증거입니다.

StateM — 비용 축의 반대쪽 끝, 재등판

Qin, Lu, Wang, Wang · 8월 15일 · arXiv:2608.15089

StateM은 1호에서 해석가능성의 운영 버전으로 다뤘는데, 이번엔 비용을 헤드라인으로 만든 드문 하네스 논문이라 다시 나옵니다. durable state와 복구 가능한 runbook, 절차 통제만으로 GPT-5.5를 Terminal-Bench 2.1에서 83.1%에서 92.1%로, $15 아래로 끌어올립니다. 비싼 끝에서는 GPT-5.6 Sol xhigh가 445 trial에 걸쳐 95.3%. 점수와 가격을 나란히 적었습니다. StateM의 "$15 run"과 HoH의 파묻힌 3.25배 사이의 차이는 엄밀함이 아닙니다. 둘 다 측정합니다. 무엇을 첫 페이지로 승격시켰느냐의 차이입니다.

JIT-Agent — 하네스가 수공예에서 제품이 되는 중

Zhang 외 · 8월 26일 · arXiv:2608.25593

JIT-Agent는 아무 LLM이나 건네받으면 그 자리에서 과제 맞춤 하네스를 합성해 주는 것만 하는 모델을 학습시켰습니다. 이걸 달면 DeepSeek-V4-Flash가 GPT-5.6을 DeepSearchQA에서 +9.1, OdysseyBench에서 +4.3 앞서고, GLM-5.2는 최대 +20.2를 법니다. 비용 질문의 증거로는 못 씁니다. 이쪽도 포인트당 토큰 정규화가 없거든요. 다만 방향으로는 이번 주 그림을 완성합니다. Self-Harness(6월, 공저자 Hangfan Zhang으로 HoH와 같은 계보)가 하네스를 스스로 고치게 했고, HoH가 하네스로 하네스를 감쌌고, JIT-Agent는 하네스를 납품물로 만들었습니다. 하네스는 더 이상 손으로 짜는 부품이 아닙니다.

Where I'd Be Wrong

관측 가능한 반증 조건 두 개입니다. 첫째, 제가 안 돌린 등비용 대조군. 1회 호출에 래핑과 같은 예산을 주는 겁니다. 같은 지출로 best-of-3을 돌리되, 카타가 아니라 레포 수준 과제에서요. 같은 토큰에서도 래핑이 이기면 "노이즈 안"이라는 제 결론은 정작 중요한 곳에서 틀린 것이고, 프리미엄은 재실행이 못 사는 무언가를 사고 있는 겁니다. 3호에서 정확히 이걸 돌리고 어느 쪽이든 채점하겠습니다. 둘째, HoH의 연장 실행. 열 바퀴 내내 품질이 오르면서 매칭된 예산의 vanilla보다 포인트당 토큰이 계속 앞선다면, 분모 불만은 긴 호흡에서 힘을 잃습니다. 그쪽 산출물이 매칭 예산 비교를 허락하는 시점에 채점합니다.

Ship It · Code of the Week

래핑에서 토큰값을 한 부품이 훔치기도 제일 쉽습니다. 구현을 보지 않고 명세만 읽고 테스트를 쓰는 QA입니다. 제 실행에서 이번 주 가장 날카로운 산출물이 그 역할에서 나왔습니다. 시키지도 않았는데, 명세의 예시 객체가 본문 어디에도 명시되지 않은 채무 처리 방식을 전제하고 있다는 걸 QA 리포트가 짚어냈습니다. 에이전트 자신의 초록불 테스트를 통과하고도 살아남는 바로 그 부류의 버그입니다.

월요일 아침에 할 일 하나. 에이전트가 짠 코드를 머지하기 전에, 요구사항만 읽고 적대적 테스트 파일을 쓰는 호출을 하나 끼워 넣으세요. 코드 쪽 테스트는 보여주지 마시고요. 제 120줄 하네스(hoh_lite.py, 이번 호 번들)가 QA 역할로 정확히 이걸 합니다. 이 문헌의 지도는 RUCAIBox/awesome-agent-harness에 있습니다.

정산

1호가 약속한 것은 둘이었습니다. matched-loss 대조군은 돌았습니다. 두 모델 모두 약속한 val loss 1.60 이하에 도달했고(ReLU Transformer 1.5608, BDH 1.5458, cosine 스케줄, seed 1337), 희소성은 각자의 best-val 체크포인트에서 쟀습니다. 1호의 학습 종료 시점 측정과 다른 프로토콜이라 명시해 둡니다. 품질을 맞추고 나니 평범한 Transformer의 FFN 은닉층이 97.40% exact zero, BDH의 단일 잠재값은 77.86%. 반증 조건은 dead unit을 배제하면 ReLU가 50% 근처로 무너진다는 것이었는데, 정반대로 갔습니다. 1호의 주장은 유지되고, 오히려 날카로워졌습니다. 품질을 맞추면 평범한 베이스라인이 더 희소합니다. 두 번째 약속, 실제 발행 작업에 검사된 runbook을 적용하는 것은 실행 가능한 발행 전 체크로만 이행됐고 상태 기계 전체는 아니었습니다. 부분 이행으로 셉니다.

Reproduction streak: 2주. 다음 호는 등비용 하네스 대조군, 그리고 별도의 실측 글 하나입니다. edge-native MoE 서빙 스택을 데이터센터 A100에 올리는 이야기인데, 설치 단계에서 이미 첫 발견이 나왔습니다.

하네스: hoh_lite.py(약 120줄, 원본 JSON과 함께 번들). Exercism 8과제, 숨긴 정식 pytest 스위트, 채점은 러너가 직접. 모델 sonnet, Claude Code 2.1.247. 셀당 1회 + 쟁점 과제 재실행 3회. matched-loss 대조군: matched_loss.py, A100 1장, 8,000 스텝, 활성값 4.8B/1.2B개 집계.

총 소요: 래핑 벤치마크 약 80분 + matched 대조군 약 85분. 확인 일자: 2026-09-02.

참고 자료

• Yan, Su, Zhang 외, Harness-of-Harness, Shanghai AI Laboratory · Self-Harness (6월, 같은 계보)
• Lee 외, Meta-Harness, Stanford · 레퍼런스 코드
• Qin 외, StateM · henryqin1997/statem
• Zhang 외, JIT-Agent
• RUCAIBox/awesome-agent-harness — 서베이 + 읽기 목록
• Paper of the Week #1 — 희소하다고 해석 가능한 건 아닙니다