AI 연구•SOTAAZ Lab••EN

Paper of the Week #5 — 낡은 캐시, 버스트 FLOPS, 내 컴퓨터로 온 판단 모델

이번 주 화제를 묶었습니다. 컨텍스트를 스스로 고쳐 쓰는 모델이 낡은 KV 캐시를 그대로 재사용하고, Jev식 판단 모델을 직접 돌릴 길이 두 가지 생겼고, NVIDIA GPU 네 종의 지속 FLOPS는 버스트 값보다 8-17%p 낮았고, 지도 평가에서는 항상 '바다'라고만 답해도 66%가 나옵니다.

Paper of the Week #5 — 낡은 캐시, 버스트 FLOPS, 내 컴퓨터로 온 판단 모델

2026년 9월 29일-10월 3일 · Context Language Models · Cloudflare Clef · llama.cpp 판단 모델 · MSMF · 육지·바다 평가 · SWE-sweep · EasyPPO · From Sampling to Reinforce

이번 주에 많이 이야기된 일곱 가지를 묶었습니다. 대부분을 관통하는 흐름이 하나 있습니다. 헤드라인에 걸린 숫자와 그 아래에 있는 숫자가 다르다는 것입니다. 짧은 벤치마크와 오래 돌린 측정, 상대 개선율과 절대 점수, 벤더가 낸 표와 직접 돌려 볼 수 있는 것, 평가 점수와 "항상 바다"라고만 답했을 때의 점수가 그렇습니다. 항목마다 무엇이 나왔는지, 원문에서 확인한 숫자, 읽을 때 주의할 점, 직접 확인해 볼 수 있는지를 적었습니다.

Context Language Models: 낡은 캐시를 그대로 쓴다

무엇이 나왔나. Context Language Models(Rulin Shao 외 12명, 워싱턴대·Meta Superintelligence Labs·MIT·Trillium Labs, arXiv 2609.37725, 코드)는 모델이 일하는 도중에 자기 컨텍스트를 고쳐 쓰게 합니다. 낡은 블록을 지우고 요약으로 바꾼 뒤 이어서 일하는 식입니다. 코드는 CC BY-NC 4.0이라 상업적으로는 쓸 수 없습니다. 초록에는 BrowseComp-Plus에서 정확도가 11.4% 높고 FLOPs가 21.5% 적었다는 결과와, Qwen3.5-9B를 온라인 RL로 학습해 같은 벤치마크에서 47.6% 개선했다는 결과가 있습니다. 둘 다 상대값입니다. 점수로 바꾸면 앞의 것은 가장 강한 기준선 약 53.3% 대 59.4%이고, 뒤의 것은 28.8%에서 42.5%로 오른 것입니다.

눈여겨볼 부분. 헤드라인이 아니라 Suffix Cache Reuse입니다. 컨텍스트 중간을 고치면 그 뒤의 토큰은 원래 다시 인코딩해야 합니다. 그 토큰들의 키와 값은 이제는 없는 앞부분을 기준으로 계산됐기 때문입니다. 이 논문은 그 낡은 상태를 그대로 두고도, 표준 SGLang과 같은 성능을 SGLang 앞부분 재사용 FLOPs의 65.0%로 냈다고 보고합니다. 낡은 캐시가 "경우에 따라 오히려 도움이 될 수 있다"는 문장도 있습니다. 주 결과는 벤치마크 하나, 모델 하나(BrowseComp-Plus, Qwen3.6-27B)에서 나왔고, 부록에서 일반 채팅 설정으로 넓힙니다. 이 확장이 중요한 이유가 각주에 있습니다. Qwen3.6-27B의 기본 채팅 템플릿과, 상태를 기억하지 않는 Chat Completions API로 쓰는 GPT-5.6 Sol은 이전 턴의 추론 토큰을 지웁니다. 그러면 그 뒤가 전부 다시 계산됩니다. 즉 Suffix Cache Reuse는 이 모델만의 이야기가 아닙니다.

주의할 점. "이제 컴팩션은 해결됐다"는 이 논문이 보여 준 것이 아닙니다. 낡은 캐시 결과는 벤치마크 하나, 모델 하나에 기대고 있습니다. 초록의 35%는 같은 성능에서 서버 쪽 연산량이 줄었다는 뜻이고, 처음부터 끝까지 걸리는 시간이 35% 빨라졌다는 뜻이 아닙니다.

직접 확인할 수 있나. 할 수 있습니다. GPU 한 장으로, 작은 Qwen에 긴 문서를 넣고 가운데를 고친 뒤 세 경우를 비교하면 됩니다. 전부 다시 계산, 앞부분만 재사용, 뒷부분까지 낡은 그대로 재사용입니다. 정답률과 첫 토큰 분포의 KL을 봅니다. 저희가 가장 제대로 재 보고 싶은 항목이라, KV 캐시 연재에서 따로 글로 쓰겠습니다.

판단 모델이 내 컴퓨터로: Cloudflare Clef와 llama.cpp

이틀 사이에 나온 두 가지 덕분에, 글 대신 선택지마다 확률을 돌려주는 Jev식 판단 모델을 직접 가진 장비에서 돌릴 수 있게 됐습니다.

Clef. Cloudflare가 Clef와 Clef-flash를 Apache-2.0 오픈 웨이트로 공개했습니다(블로그). Clef는 Qwen3.8-27B를 고정하고 그 위에 라우팅 헤드와 rank-256 저랭크 어댑터를 학습했고, Clef-flash는 같은 방식으로 Qwen3.5-9B를 썼습니다. Cloudflare가 직접 잰 표에서 Clef는 BANKING77에서 94.20으로 Jev(79.74)를 앞섰습니다. 반대로 When2Call(72.37 대 80.97)과 BRIGHT(45.91 대 47.52)에서는 뒤졌습니다. 범위 밖 질문이 섞인 CLINC150에서 Clef-flash는 66.77로, Clef(97.43)와 Jev(89.27)보다 크게 낮았습니다. 학습에 Brier 손실을 함께 썼다고 하지만, 출력 확률이 실제 정답률과 얼마나 맞는지 보여 주는 표는 찾지 못했습니다. 모델 카드의 ForecastBench Brier 점수는 예측 벤치마크 점수라 그런 표가 아닙니다. Hacker News에서는 제목이 "오픈소스"에서 "오픈 웨이트"로 고쳐졌고(블로그 원제는 여전히 open-source), 한 댓글은 호스팅 Clef 입력 가격을 100만 토큰당 $0.24, Jev를 $0.042로 비교했습니다.

llama.cpp. llama.cpp가 10월 2일 판단 모델 지원을 병합했습니다(HF 블로그, PR #29818). 요청 형식은 Jev와 같은 /v1/systemone입니다. 블로그는 RTX PRO 6000 한 장에서 Julia-1(144M, 3ms), Laya(421M, 5ms), Kev-4B(12ms), Lev(4B, 36ms), OpenJev 27B(43ms, CC BY-NC 4.0)를 지원 모델로 들고, 다음은 Clef라고 적었습니다. PR은 결정 헤드를 계산 그래프에 넣고, llama.cpp가 낸 확률을 각 모델의 원래 구현과 비교했습니다. 가장 큰 차이는 OpenJev 0.0002부터 Julia-1 0.022까지입니다. 이건 입력 하나로 변환이 원본과 같은지 본 것이고, 정확도나 보정을 본 것은 아닙니다.

주의할 점. Cloudflare의 지연(Workers AI 기준 Clef 209ms, Clef-flash 39ms, Jev 524ms), llama.cpp의 로컬 지연, 다른 곳에서 잰 Jev API 지연은 서로 다른 측정입니다. 한 열에 섞어 비교하면 안 됩니다. BANKING77 숫자의 감을 잡자면, 저희 실측에서 라벨 데이터로 학습한 CPU 분류기는 테스트 세트 전체에서 92.9%였고, Jev는 154건 표본에서 76.0%였습니다. Cloudflare와 표본이 다르니, 비교가 아니라 위치를 가늠하는 숫자로만 보시면 됩니다.

직접 확인할 수 있나. 할 수 있습니다. Jev, Kev, Jeff, Ollama 모델을 잰 BANKING77과 CLINC150 분할이 그대로 있으니, Clef-flash와 llama.cpp 경로를 같은 문장으로 잴 수 있습니다. 다음 실측 글로 쓰겠습니다.

MAMF와 MSMF: GPU의 "달성 가능한 FLOPS"는 순간값이었다

무엇이 나왔나. Stas Bekman이 GPU가 실제로 낼 수 있는 성능을 나타내는 두 번째 숫자를 제안했습니다. MSMF(Maximum Sustainable Matmul FLOPS)로, 칩이 전력 상한에 닿아 포화된 뒤 유지하는 행렬곱 속도입니다. 기존의 MAMF는 이제 짧은 부스트 클럭 순간값이라고 설명합니다. 그의 표(ml-engineering)는 BF16 이론 최대치 대비 비율로 그 차이를 보여 줍니다. B300 84.1%에서 67.5%, B200 75.7%에서 63.5%, H200 84.3%에서 76.3%, A100 PCIe 91.0%에서 81.7%입니다. B200의 BF16 MAMF는 295W, 1,965MHz에서 쟀고, 지속 측정은 978W, 1,455MHz에서 쟀습니다. 짧은 벤치마크는 칩이 달아오르기 전에 끝난다는 뜻입니다.

주의할 점. 차이는 신형일수록 큽니다(B300 16.6%p, A100 PCIe 9.3%p). "신형일수록 스펙에 가깝다"는 통념과 반대입니다. 다만 각 숫자는 카드 한 장, 냉각 환경 하나, 측정자 한 명의 결과이고, B200 행은 옆 GPU들이 일하는 상태에서, 나머지는 혼자 잰 것입니다. MSMF도 행렬곱 하나를 반복한 값이라, 통신과 메모리 대기가 섞이는 실제 학습과는 다릅니다.

직접 확인할 수 있나. 할 수 있습니다. GPU 한 장으로 30분이면 됩니다. 같은 크기의 행렬곱을 짧게 돌리고, 이어서 20분 동안 돌리며 전력과 클럭을 기록합니다. 그의 표에 있는 A100 PCIe가 저희가 쓰는 GPU라, GPU가 빌 때 독립 재측정으로 하겠습니다.

육지냐 바다냐: "바다"라고만 해도 66%

무엇이 나왔나. 위도·경도 격자의 각 점이 육지인지 바다인지 LLM에 묻고, 그 답을 세계 지도로 그린 글이 이번 주에 널리 퍼졌습니다. 원래 아이디어는 2025년 8월 블로그 글 "How Does A Blind Model See The Earth?"이고, 이 글은 일부러 정확도를 매기지 않았습니다. 이후 나온 저장소(egangu/land-water-eval, 코드는 MIT)는 2도 격자 16,200점을 GSHHG 해안선과 대조해 채점합니다. Gemma 4 31B 기본 모델이 73.98%, 지시 튜닝 모델이 가능도 방식으로 82.81%, 추론을 거치면 90.63%였습니다.

주의할 점. 고른 격자는 대부분 바다입니다. 저장소의 정답 파일을 직접 세 보면 16,200점 중 10,697점이 바다라, 항상 "바다"라고만 답해도 66.0%가 나옵니다. 73.98%는 50%가 아니라 이 66.0%와 나란히 놓고 읽어야 합니다. 위도·경도로 나눈 격자는 극지방을 실제보다 많이 담기 때문에, 이 비율이 지구 표면의 바다 비율은 아닙니다. 기본 모델과 지시 튜닝 모델의 순서도 출처마다 다릅니다. 2025년 글은 일부 변형 모델에서 사후 학습이 "꽤 파괴적"이라고 했고, 저장소에서는 지시 튜닝한 Gemma가 앞섰습니다.

직접 확인할 수 있나. 할 수 있습니다. 노트북에서 작은 기본 모델과 지시 모델 한 쌍으로 됩니다. 무엇보다 먼저 같은 정답 기준으로 "항상 바다" 점수를 계산해 두세요.

저희가 나중에 Qwen3.5 0.8B-9B로 직접 쟀습니다. 큰 모델일수록 대륙 모양을 더 잘 그렸고, 9B에게 북위·서경 같은 한국어 표기로 물으면 지도가 좌우 대칭이 되어 동쪽과 서쪽을 가리지 못했습니다. 같은 좌표를 37°N 123°W로 쓰면 대칭이 사라졌습니다. 북위·서경은 몰라도 N·W는 안다

SWE-sweep: 힌트가 없으면 4.7%, 그리고 채점 방식

무엇이 나왔나. SWE-sweep(Meta·하버드·워싱턴대·스탠퍼드 12명, swesweep.com, 아직 arXiv ID가 없는 프리프린트, 코드는 MIT)은 저장소 100개의 과거 커밋에 있던 실제 버그를, 위치를 알려 주는 이슈 설명 없이 에이전트가 찾아 고치게 합니다. 22개 언어에 버그 4,068개입니다. 가장 좋은 구성인 Sol 5.6(xhigh)이 4.7%를 풀었고 저장소당 API 비용은 $72.30이었습니다. Luna 5.6(xhigh)은 2.5%, $2.24였습니다.

주의할 점. 미래 커밋에 들어 있는 숨긴 테스트를 통과해야만 해결로 칩니다. 그래서 다른 실제 버그를 고친 에이전트는 0점을 받습니다. 환경에서 미래 git 이력을 지웠다고 밝혀 이번 주에 나온 우려 하나는 해소됐지만, 이런 거짓 음성이 얼마나 되는지는 분석하지 않았습니다. "에이전트는 버그를 5%밖에 못 찾는다"는 이 벤치마크가 잰 것이 아닙니다.

직접 확인할 수 있나. 일부만 됩니다. 의미 있는 점수를 내려면 비용이 큽니다.

EasyPPO: 방법마다 한 번씩 돌린 결과

무엇이 나왔나. EasyPPO(Xuanyi Zhou, Qiuyang Mang 외, UC 버클리·프린스턴, arXiv 2609.36802)는 LLM 사후 학습용으로 더 안정적인 PPO를 제안합니다. Qwen3.5-9B에서 일반 PPO, actor-only 필터를 단 PPO, VAPO, HL-Gauss PPO와 비교했습니다.

주의할 점. 논문에 방법과 과제마다 한 번씩 돌렸다고 적혀 있습니다. 헤드라인 개선율(14.89%, 2.28%, 9.47%)은 상대값이고, 절대 점수로는 가장 좋은 체크포인트가 일반 PPO보다 FrontierCS, AIME24, Search-R1에서 각각 1.92, 1.46, 3.74점 높습니다. 그다음으로 좋은 방법과는 0.91, 1.46, 0.89점 차이입니다. 한 번 돌린 결과로 내린 안정성 결론은 시드를 여러 개 돌려 봐야 하는 종류입니다.

직접 확인할 수 있나. 논문 규모로는 안 됩니다. 작은 PPO를 방법마다 시드 세 개씩 돌려도 몇 시간이 걸립니다.

From Sampling to Reinforce

Sasha Rush가 RL 사후 학습에 쓰는 REINFORCE와 KL 추정량을, 작은 이산 분포를 빠짐없이 열거하는 방식으로 설명하는 튜토리얼을 공개했습니다. 표본을 뽑지 않으니 편향과 분산을 추정하지 않고 정확히 계산할 수 있습니다. RL 미세조정을 다룬다면 저녁 시간 하나를 쓸 만합니다. 새 결과가 아니라 설명이고, 본인 말대로 열거 방식은 실제 어휘 크기로는 "확장할 수 없습니다". 글은 본인이 썼고 코드는 AI가 썼다고 밝혔습니다.

정산

#4에서는 이번 호에 두 가지를 돌리겠다고 했습니다. #3의 MoE 결과에 대한 두 번째 대조군(DeepSeek-V2-Lite)과, 모든 조건에 같은 토큰 열을 강제하는 수정입니다. 둘 다 돌리지 않았습니다. 메인 논문 하나를 골라 직접 측정하겠다는 약속도 했는데, 이번 호에는 그 측정이 없습니다. 이번 호부터 Paper of the Week의 형식이 바뀌기 때문입니다. 앞으로는 논문 한 편과 실험 하나가 아니라, 그 주에 화제가 된 것들을 원문에서 숫자를 확인해 묶어 전합니다. 측정은 충분히 다룰 수 있는 별도 글로 옮깁니다. 남은 항목도 그쪽으로 옮깁니다. MoE의 DeepSeek 대조군과 토큰 열 강제, HoH 10회 반복, 그리고 이번 주에 생긴 Suffix Cache Reuse, 같은 BANKING77·CLINC150 문장으로 잰 Clef-flash, A100 PCIe의 MSMF 재측정입니다. 매 호 실험이 없어지므로 재현 연속 기록은 여기서 끝내고, 실측 글이 각자 기록을 이어 갑니다.