Paper of the Week #8 — 과학 벤치마크 20개는 모두 넘었고, 후속 논문 135편은 한 편도 통과하지 못했습니다
이번 주 화제를 묶었습니다. 프론티어 에이전트가 과학 ML 벤치마크 20개의 재현 기준선을 모두 넘었다는 Agent4Sci와, 과학자가 낸 미발표 연구 방향으로 쓴 후속 논문 135편 중 모든 조건을 채운 논문이 0편이었다는 Into the Unknown이 같은 주에 화제가 됐습니다. 목표 달성과 규칙 준수를 따로 채점하는 결제 업무 벤치마크 BizAgentBench, 대화 기록 대신 만든 결과물로 컨텍스트를 짜는 CarryOn도 다룹니다.
Paper of the Week #8 — 과학 벤치마크 20개는 모두 넘었고, 후속 논문 135편은 한 편도 통과하지 못했습니다
2026년 10월 19일-23일 · Agent4Sci · Into the Unknown · BizAgentBench · CarryOn
이번 주에는 AI 에이전트에게 과학 연구를 맡긴 논문 두 편이 반대 방향의 숫자를 냈습니다. Anthropic 쪽 저자들의 Agent4Sci에서는 에이전트가 과학 ML 벤치마크 20개 모두에서 기존 최고 기록의 재현값을 넘었습니다. CMU 주도의 Into the Unknown에서는 에이전트 아홉 개가 쓴 후속 논문 135편 가운데 과학자가 정한 조건을 모두 채운 논문이 한 편도 없었습니다. 두 결과는 서로 부딪히지 않습니다. 앞의 논문은 지표 하나를 올렸는지를 봤고, 뒤의 논문은 정직하게 했는지, 요구한 기록을 다 남겼는지, 과학자의 기준을 넘었는지를 따로 봤습니다. 이번 호의 네 항목은 모두 같은 질문으로 묶입니다. 점수가 결과만 보는지, 결과에 이르는 과정도 보는지입니다. 항목마다 무엇이 나왔는지, 저희가 원문에서 확인한 숫자, 읽을 때 주의할 점, 직접 확인할 수 있는지를 적었습니다. 이번 호에는 저희가 직접 잰 항목이 없습니다.
과학 벤치마크 20개를 모두 넘었지만, 대부분은 엔지니어링이었습니다
무엇이 나왔나. 「Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?」(Zhong·Li·Carlini·Jagielski, Anthropic Fellows Program·Anthropic, arXiv 2610.28763, 10월 20일, NeurIPS 2026 E&D 트랙, 코드 Apache-2.0)는 11개 분야의 과학 ML 벤치마크 20개(과제 25개)를 모아 Agent4Sci라는 시험대를 만들었습니다. 에이전트마다 H200 8장과 12시간을 주고 정해진 지표를 올리라고만 지시했습니다. 비교 기준은 원 논문의 숫자가 아니라 저자들이 다시 재현하고 사람이 확인한 값입니다. 에이전트는 Claude Code(Opus 4.6, Sonnet 4.6), Codex(GPT-5.4), Gemini CLI(Gemini 3.1 Pro) 네 개입니다. 네 에이전트 중 적어도 하나가 20개 벤치마크 모두에서 기준값을 넘었고, 벤치마크별로 가장 좋은 개선 폭은 ProteinGym 1.1%에서 PFDelta 64.4% 사이였습니다(3.2절). 기준값 대비 상대 개선을 20개 벤치마크로 평균하면 Opus 10.4%, Sonnet 9.6%, Gemini 6.8%, Codex 4.4%였습니다(표 5). 저자들이 만든 플러그인 스킬(연구 아이디어, 실험 관리, 한 시간마다 자기 점검을 하는 마크다운 문서 세 개)을 붙이면 Opus는 20.1%, Codex는 8.1%로 올랐습니다(표 2).
눈여겨볼 부분. 저자들의 결론은 개선 대부분이 연구 수준의 통찰이 아니라 ML 엔지니어링 기법에서 나왔다는 것입니다. Opus가 쓴 전략을 일곱 범주로 나누니 하이퍼파라미터 조정이 56%, 모델 구조 변경이 44%였습니다(그림 3b). 이 분류를 사람이 했는지 모델이 했는지는 본문에 적혀 있지 않습니다. 하이퍼파라미터 탐색만 시킨 대조 실행에서는 PFDelta가 4.6%, Mars-Bench가 4.3%에 그쳐서, Opus가 낸 64.4%와 46.4%는 탐색만으로는 설명되지 않았습니다(표 6). 부정행위 점검도 있습니다. 예비 실험에서는 12개 과제 중 5개에서 시험 데이터의 유리한 일부만 평가하는 식의 평가 조작이 나왔고(2.2절), 그래서 본 실험에서는 시험 데이터를 별도 컨테이너에 두었습니다. 본 실험의 실행 기록은 Opus 4.6이 모두 감사했고 절반은 세 회사 모델이 다시 감사했는데, 120쌍의 판정이 모두 같았고 걸린 실행은 없었습니다(부록 B.6).
읽을 때 주의할 점. 평균은 큰 개선 두 개가 끌어올렸습니다. 표 5로 저희가 계산해 보면 Opus의 중앙값은 5.6%이고, PFDelta와 Mars-Bench를 빼면 평균이 5.4%입니다. "모든 벤치마크를 넘었다"는 네 에이전트 중 가장 좋은 결과 기준입니다. Opus만 보면 LITHOS −3.8%, NeuroGraph −0.2%로 두 개는 기준값 아래였습니다. 에이전트와 과제 조합마다 한 번씩만 돌렸습니다. Opus로 벤치마크 6개를 네 번씩 돌린 실험에서 PFDelta는 64.4, 65.3, 32.5, 29.4%로 두 배 넘게 흔들렸습니다(표 6). 스킬은 이 벤치마크에서 에이전트가 실패하는 모습을 보고 만들었고 같은 벤치마크로 평가했습니다. 저자들도 다른 곳으로 옮겨지지 않을 수 있다고 적었습니다(부록 A.5). 저자 모두 Anthropic 소속이고 가장 좋은 결과가 Claude에서 나왔는데, 저자들은 이 결과를 순위표로 읽지 말라고 적었습니다(부록 A.1). 벤치마크도 아직 포화되지 않은, 즉 올릴 여지가 있는 것으로 골랐습니다(부록 B.2).
직접 확인할 수 있나. 코드와 데이터는 GitHub와 Hugging Face에 있습니다. 실행 단위가 H200 8장에 12시간이라 저희는 돌리지 못합니다. 실행 기록은 공개된 곳을 찾지 못해서, 전략 분류를 다시 세어 보는 것도 지금은 어렵습니다. 에이전트 바깥의 스킬·하네스가 점수를 얼마나 바꾸는지는 저희 Harness² 연재에서 다뤘습니다.
과학자가 낸 미발표 연구 과제, 후속 논문 135편 중 통과한 논문은 없었습니다
무엇이 나왔나. 「Into the Unknown: Benchmarking AI agents on open scientific research problems」(Seungone Kim 외 27명, CMU 주도에 미국 에너지부 국립연구소 등 공동, arXiv 2610.19159, 10월 13일, 심사 중인 프리프린트, 코드 Apache-2.0)는 과학자 10명에게 자기 논문의 후속 연구 방향 가운데 아직 발표되지 않은 것을 받아 15개 과제를 만들었습니다. 분야는 양자 컴퓨팅, 플라스마 물리, 계산 화학, 재료 과학, 과학 ML 등입니다. 에이전트는 원 논문과 코드, 데이터를 받아 후속 논문과 그 코드, 실행 기록을 냅니다. 시간 제한은 없고 인터넷도 쓸 수 있으며, 에이전트가 끝낸 뒤 최대 다섯 번 다시 실행해 고칠 수 있습니다. 채점은 관문 세 개입니다. 정직하게 했는지(G1), 요구한 산출물을 다 냈는지(G2), 과학자가 정한 성공 조건을 넘었는지(G3)입니다. 에이전트 아홉 개가 15편씩 쓴 135편 가운데 세 관문을 모두 통과한 논문은 0편이었고, 114편이 정직성 관문에서 떨어졌습니다(초록, 표 2).
눈여겨볼 부분. 정직성 관문에서 떨어진 이유는 논문과 코드가 맞지 않음(90편), 기록과 모순되는 숫자(85편), 하지 않은 작업을 했다고 씀(68편) 순이었습니다(4절, 중복 집계). 정직성 관문을 통과한 21편은 세 에이전트에서만 나왔습니다. GPT-6-Astra 11편, GPT-5.6-Sol 6편, Claude-Opus-5.5 4편입니다. 노드의 90%만 통과하면 되는 느슨한 채점으로 바꿔도 과학자 기준(G3)을 넘은 비율은 가장 높은 에이전트가 26.67%(15편 중 4편)였습니다. 저자들이 제출물 64개의 실행 기록을 직접 읽어 보니, 58개에서 에이전트가 일부만 확인해 놓고 요구 조건 전체를 채웠다고 판단했습니다(5.1절). 오래 돌린다고 결과가 나아진다는 증거는 찾지 못했다고 적었습니다(5.2절).
읽을 때 주의할 점. 채점자는 GPT-6-Astra 한 모델이고(네 번 채점, 노드별 다수결), 가장 높은 점수를 받은 에이전트도 GPT-6-Astra입니다. 논문은 이 겹침을 따로 다루지 않았습니다. 원 논문 저자들이 에이전트 세 개(Claude-Opus-5, Claude-Fable-5, GPT-5.6-Sol)의 제출물을 누가 썼는지 모르는 상태로 읽고 채점 결과와 대조했는데, "방향을 충족했나"는 100% 일치했고 품질과 영향력 판단은 68.68%만 일치했습니다(부록 A, 표 4). 엄격 채점은 노드 하나만 떨어져도 관문 전체가 떨어집니다. 135편 중 128편이 요구한 파일이나 기록이 부족했는데, 여기에는 평가를 돌리기 전에 써 두고 작성 시각이 찍힌 계획 파일 같은 항목이 들어 있습니다. 에이전트당 15편이라 한 편이 6.67%p입니다. 본문 5.2절의 일부 숫자는 표 2와 조금 달라서, 이 글에서는 표 2를 따랐습니다.
직접 확인할 수 있나. 코드는 GitHub, 데이터는 Hugging Face에 있고, 제출물을 웹 뷰어에서 읽어 볼 수 있습니다. 위의 Agent4Sci와 같이 읽으면 좋습니다. 지표 하나를 올리라는 과제와, 과학자의 조건을 지키며 논문을 쓰라는 과제는 다른 능력을 잽니다.
목표는 달성했지만, 가는 길에 규칙을 어겼습니다
무엇이 나왔나. 「BizAgentBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business」(Zhao 외 8명, 베이징대·Ant International, arXiv 2610.20424, v1 10월 14일·v2 10월 18일, 코드·데이터 MIT)는 결제 회사의 실제 업무 절차를 재구성해 과제 50개를 만들었습니다. 문서 789개와 도구 601개가 있고, 기록은 합성 데이터입니다. 이번 주 Hugging Face 주간 논문 목록에서 추천이 가장 많았습니다(10월 23일 조회 기준 492개). 채점은 LLM 판정 없이 실행 결과와 실행 이력을 코드로 검사합니다. 요청한 결과를 얻었는지(G)와 별도로, 사전 승인 같은 절차를 지켰는지(P), 건드리면 안 되는 것을 건드리지 않았는지(F)를 보고, 셋 다 통과해야 성공입니다. 초록에 따르면 Claude Opus 5는 64.0%, GPT-6 Sol은 61.3%였고, Qwen3.8-27B는 목표 달성 42.0%가 엄격 기준에서 32.7%로 내려갔습니다.
눈여겨볼 부분. 결과만 보면 성공인데 엄격 기준에서 떨어진 실행이 있습니다. DeepSeek-V4.1-Flash의 실행 네 개는 목표를 이루고 마지막에는 필요한 현금 보유액 위에 있었지만, 중간 단계에서 그 아래로 내려갔습니다(5.5절). 같은 모델은 실행당 도구를 평균 191.3번 불렀는데, 기준 실행은 111.8번입니다(5.4절). 늘어난 호출은 대부분 조회였습니다. DB 조회가 111.1번 대 59.2번이었고, 업무 기능 호출과 요청 실행은 26.9번 대 28.7번으로 비슷했습니다. 작은 모델에서는 격차가 더 큽니다. Qwen3.5-9B는 엄격 성공 0.0%, 절차 준수 18.7%였습니다(표 1). 같은 모델에게 정답 문서를 쥐여 주면 43.3%에서 50.0%로, 고객 정보를 처음부터 다 알려 주면 70.0%로 올랐습니다(DeepSeek-V4.1-Flash, 표 2). 필요한 정보를 찾아내는 것부터가 어렵다는 뜻입니다.
읽을 때 주의할 점. Claude Opus 5와 Muse Spark 1.3은 과제마다 한 번씩만 돌렸고, 나머지 모델은 세 번 돌린 평균입니다(표 1 캡션). 과제가 50개라 한 과제가 2%p이므로, 64.0%와 61.3%는 순위로 읽기 어렵습니다. 고객 역할은 LLM(DeepSeek-V4.1-Flash)이 맡았는데, 평가 대상에도 같은 모델이 있습니다. 고객 역할 모델을 바꿔 보는 실험은 Qwen3.8-27B 하나로만 했고, 30.7%에서 36.0% 사이였습니다(5.6절). 환경은 실제 사내 시스템이 아니라 민감한 내용을 바꿔 다시 만든 것입니다. 한계를 다루는 절은 따로 없습니다. v1의 이름은 BizBench였고, v2에서 이름만 바뀌었습니다.
직접 확인할 수 있나. 됩니다. 코드와 데이터가 MIT이고, OpenAI 호환 도구 호출로 돌아가서 로컬 모델 서버를 붙일 수 있습니다. 다만 고객 역할을 맡을 LLM이 하나 더 필요하고, 과제 하나에 제한 시간이 90분입니다.
대화 기록 대신, 지금까지 만든 것을 들고 갑니다
무엇이 나왔나. 「Pack Light, CarryOn: Building Object-Oriented Context for Long-Horizon Agents」(Lu·McAuley·Zhang, UC San Diego, arXiv 2610.18784, v1 10월 13일·v2 10월 14일)는 긴 작업을 하는 에이전트의 컨텍스트를 세 부분으로 다시 짭니다. 지금까지 만든 결과물을 가리키는 기록(파일·문서, 찾아낸 정보와 출처, 앱 안의 상태), 남은 목표와 제약, 그리고 최근 상호작용 원문입니다. 최근 기록이 일정량 쌓이면 그 내용을 결과물 기록의 갱신으로 바꾸고 원문을 비웁니다. 바뀐 기록만 새로 쓰고 나머지는 그대로 이어 갑니다. Claude Opus 4.7로 OSWorld 2.0이 43.9%에서 49.7%로, BrowseComp-Plus 100문항이 49%에서 56%로 올랐고, 전체 토큰은 각각 51.9%와 22.9% 줄었습니다(초록, 표 2). 토큰과 비용에는 이 장치가 쓴 호출도 들어 있습니다. OSWorld의 과제당 비용은 $36.83에서 $23.62였습니다.
눈여겨볼 부분. 같은 시점에 컨텍스트를 접는 방식만 바꿔 비교한 40개 과제 실험이 있습니다(표 4). 부분 점수는 접지 않은 기준선 50.32, 오래된 것부터 버리는 방식 37.41, 일반 요약 44.94, CarryOn 55.93이었습니다. 그대로 버리면 크게 떨어지고, 요약은 덜 떨어지며, 결과물 기록으로 접으면 기준선보다 조금 높았습니다. 결과물 기록을 빼면 44.62로 내려갔습니다(표 5).
읽을 때 주의할 점. 모든 결과가 Claude Opus 4.7 한 모델이고, 반복 횟수나 분산은 적혀 있지 않습니다. 오른 폭은 상대값이 아니라 %p이고, BrowseComp-Plus의 7%p는 100문항 중 7문항입니다. 40개 과제 실험에서 성공·실패만 센 점수는 CarryOn과 기준선이 22.50으로 같았고, 결과물 기록을 뺀 판이 25.00으로 오히려 높았습니다(표 5). 다른 모델과 비교한 표에는 저자들이 다시 돌린 값과 다른 논문이 보고한 값이 섞여 있습니다. 저자들은 이 장치의 검사가 상태 기록의 일관성을 볼 뿐 과제가 맞게 됐는지는 확인하지 않는다고 적었습니다(3.3절).
직접 확인할 수 있나. 지금은 안 됩니다. 저장소 README에 "코드는 심사가 끝난 뒤 공개한다"고 적혀 있습니다. 토큰 절감이 가장 크게 와닿는 곳은 컨텍스트가 짧은 로컬 모델이라, 코드가 나오면 작은 모델로 같은 비교를 해 볼 만합니다.
다음 호에서도 이번 주에 화제가 된 숫자를 원문 기준으로 대조해 정리합니다. 놓치지 않으려면 아래에서 뉴스레터를 구독해 주세요.