AI에게 틀린 문제를 보여 주고 사용 지침을 고치게 했습니다
모델을 다시 학습하지 않고 사용 지침만 고쳤더니 정답이 36개에서 50개로 늘었습니다. 어떤 문제가 해결됐고 어떤 문제는 그대로였는지, Self-Harness 논문과 로컬 실험을 함께 살펴봅니다.

AI가 계산을 틀렸을 때 “다시 잘 생각해 봐”라고 말하는 대신, 앞으로 사용할 지침을 고치게 하면 어떨까요? 저희는 로컬 모델에게 틀린 문제와 정답을 보여 주고, 다음부터 같은 실수를 줄일 지침을 네 개 만들어 달라고 했습니다. 그중 하나를 골라 새로운 문제를 풀게 했습니다.
결과는 좋아졌습니다. 기본 지침에서는 72번의 시도 중 36번을 맞혔고, 고친 지침에서는 50번을 맞혔습니다. 모델을 새로 학습하거나 더 큰 모델로 바꾸지는 않았습니다. 그런데 문제별 결과를 확인하니, 계산 능력이 좋아졌다고 설명하기는 어려웠습니다. 늘어난 정답 14개 가운데 12개는 문자열을 올바른 형식으로 출력한 결과였고, 청구 금액 계산은 여전히 전부 틀렸습니다.
이 차이를 이해하면 AI가 스스로 실행 방식을 고친다는 연구를 좀 더 구체적으로 읽을 수 있습니다. 전체 점수가 올랐다는 사실 다음에는 무엇을 고쳐서 어떤 실수를 줄였는지가 따라와야 합니다.
모델이 맞는 말을 해도 프로그램은 읽지 못할 수 있습니다
예를 들어 AI에게 배송 메모를 읽고 JSON으로 돌려 달라고 했다고 하겠습니다. JSON은 프로그램이 데이터를 주고받을 때 쓰는 형식입니다. 메모 안에 따옴표나 줄바꿈이 있으면 이를 정해진 규칙대로 표시해야 합니다. 사람이 보기에는 같은 내용이어도 이 규칙을 어기면 프로그램은 응답을 읽지 못합니다.
이런 문제는 모델을 다시 학습하지 않고도 줄일 여지가 있습니다. 지침에 출력 규칙을 더 자세히 적거나, 응답에서 JSON 부분만 찾아 읽거나, 형식이 틀렸을 때 한 번 더 요청할 수 있습니다. 모델을 호출하는 주변 프로그램과 지침을 통틀어 이 글에서는 하네스라고 부르겠습니다.
하네스를 고친다고 해서 모든 실패가 해결되지는 않습니다. JSON을 정확히 출력했어도 그 안의 금액이 틀릴 수 있습니다. 따라서 저희는 “응답을 읽을 수 있는가”와 “그 응답의 값이 맞는가”를 따로 확인했습니다.
어떤 문제를 풀게 했습니까?
총 72개 문제를 만들었습니다. 모두 입력을 읽고 정해진 항목을 JSON으로 반환하는 짧은 업무 문제입니다. 정답은 AI에게 물어보기 전에 Python으로 계산해 뒀습니다.
| 문제 종류 | 요구한 작업 |
|---|---|
| 청구 금액 | 할인과 세금을 차례로 적용하고 마지막에 반올림합니다 |
| 정책 적용 | 여러 조건 중 우선하는 규칙을 적용합니다 |
| 장부 합산 | 같은 ID의 마지막 기록을 남긴 뒤 결제 완료 금액만 더합니다 |
| 문자열 출력 | 따옴표와 줄바꿈을 포함한 내용을 보존합니다 |
| 자료 추출 | 자료 안에 섞인 가짜 지시를 무시하고 필요한 값만 읽습니다 |
| 누락 항목 | 없는 정보를 추측하지 않고 null로 표시합니다 |
72개를 한꺼번에 수정 모델에게 보여 주지는 않았습니다. 먼저 18개를 풀게 해 실패를 조사했습니다. 그 기록으로 만든 지침 네 개를 다른 18개 문제에 적용해 가장 잘한 지침을 골랐습니다. 마지막 36개는 선택을 끝낸 뒤에만 풀게 했습니다.
마지막 문제는 각각 두 번 실행했습니다. 따라서 앞에서 말한 72번은 서로 다른 문제 72개가 아니라, 36개 문제를 두 번씩 푼 횟수입니다. 같은 문제의 두 결과를 독립된 표본 두 개로 보기는 어렵습니다.
모델은 Ollama에서 실행한 qwen3.5:9b입니다. Q4_K_M 양자화 파일을 사용했고, 모델 정보에 표시된 매개변수 수는 약 9.7B입니다. 문제를 푸는 모델과 지침을 고치는 모델이 같습니다. 답변 생성 온도는 0으로 설정했습니다. 작은 모델이 큰 모델의 사용법을 찾아 주는 구성은 이번에 시험하지 않았습니다.
지침을 만드는 일부터 한 번에 되지는 않았습니다
처음 18개 문제에서 기본 지침은 절반인 9개를 맞혔습니다. 청구 금액·장부·문자열은 하나도 맞히지 못했고, 나머지 세 종류는 모두 맞혔습니다. 틀린 문제의 입력, 모델의 답, 정답을 모아 개선안을 요청했습니다.
처음 돌아온 개선안은 JSON 문법이 잘못돼 설정 파일로 읽을 수 없었습니다. 그래서 새로운 문제나 정답을 추가하지 않고, 같은 개선안을 올바른 JSON으로 다시 써 달라고 한 번 요청했습니다. AI가 지침을 만들었다고 곧바로 실행할 수 있는 것은 아니었습니다.
읽을 수 있는 설정을 얻은 뒤에는 후보마다 같은 검증 문제 18개를 풀게 했습니다. 기본 지침도 비교에 넣었습니다.
| 사용 지침 | 맞힌 문제 / 18개 |
|---|---|
| 기본 지침 | 7개 |
| 개선안 1 | 8개 |
| 개선안 2 | 7개 |
| 개선안 3 | 7개 |
| 개선안 4 | 11개 |
네 번째 개선안이 가장 잘했습니다. 청구 금액 계산식, 장부 처리 순서, 문자열 출력 규칙을 함께 적은 지침이었습니다. 응답에서 JSON을 찾아 읽는 기능과 형식 오류에 대한 재요청도 켜도록 했습니다. 이 설정을 확정한 다음 마지막 문제를 실행했습니다.
좋아진 것은 주로 문자열 출력이었습니다

아래 표의 각 행은 같은 종류의 문제 여섯 개를 두 번씩 푼 결과입니다.
| 문제 종류 | 기본 지침 / 12번 | 선택한 개선안 / 12번 |
|---|---|---|
| 문자열 출력 | 0번 | 12번 |
| 자료 안의 가짜 지시 무시 | 12번 | 12번 |
| 청구 금액 계산 | 0번 | 0번 |
| 장부 합산 | 4번 | 4번 |
| 누락 항목 처리 | 12번 | 12번 |
| 정책 적용 | 8번 | 10번 |
| 합계 | 36번 | 50번 |
문자열 출력에서는 실패가 사라졌고 정책 적용도 두 번 더 맞혔습니다. 반면 청구 금액과 장부는 그대로였습니다. 지침에 계산 방법을 써 넣었다는 사실만으로 실제 계산까지 좋아진 것은 아닙니다.
전체 정답률은 50.0%에서 69.4%로 올랐습니다. 다만 이 숫자는 저희가 만든 문제 구성의 영향을 받습니다. 문자열 문제가 전체의 6분의 1을 차지했기 때문에 이 유형의 개선이 평균을 크게 올렸습니다. 실제 업무에서 주로 틀리는 문제가 금액 계산이라면 이번 개선안은 기대만큼 도움이 되지 않을 수 있습니다.
형식도 따로 셌습니다. 기본 지침에서는 72번 중 60번의 응답을 요구한 형식으로 읽을 수 있었고, 개선안에서는 72번 모두 읽을 수 있었습니다. 그래도 22번은 답이 틀렸습니다. 프로그램이 읽을 수 있다는 검사만 통과시켰다면 이 오답들을 성공으로 처리했을 것입니다.
또 이번 마지막 평가에서는 재요청이 한 번도 발생하지 않았습니다. 개선안이 재요청 기능을 켜기는 했지만 첫 응답이 전부 형식 검사를 통과했기 때문입니다. 여러 번 물어서 정답을 늘린 결과는 아닙니다.
잘한 문제까지 같이 보여 주면 어떨까요?
첫 개선안 목록을 보니 모델이 틀린 문제 종류에만 집중하고 있었습니다. 그래서 최종 결과를 보기 전에 다른 조건을 추가했습니다. 이번에는 처음 18개 문제의 성공 기록까지 전부 보여 주고 개선안 네 개를 다시 요청했습니다.
이 조건에서 고른 지침은 자료 안의 가짜 지시를 무시하는 법과 누락 항목 처리에 집중했습니다. 둘 다 기본 지침으로 이미 잘하던 작업이었습니다. 마지막 평가 결과는 36/72로, 기본 지침과 같았습니다. 문제 종류별 정답 수도 모두 같았습니다.
성공 기록을 주면 성능이 나빠진다는 뜻은 아닙니다. 각 조건에서 개선안 묶음을 한 번씩만 만들었으므로 제안의 우연성도 남아 있습니다. 이번에 확인한 것은 더 많은 기록을 준다고 필요한 수정안이 저절로 나온다는 보장은 없다는 점입니다. 어떤 실패를 우선 고쳐야 하는지도 전달할 필요가 있습니다.

전체 기록을 보고 만든 지침은 답도 가장 짧았습니다. 마지막 72번의 답변을 합쳐 기본 지침은 996토큰, 실패만 보고 만든 지침은 752토큰, 전체 기록을 보고 만든 지침은 578토큰을 생성했습니다. 개선안을 만드는 데 쓴 토큰은 제외한 숫자입니다. 가장 짧게 답한 지침이 가장 정확하지는 않았습니다.
Self-Harness 논문에서는 무엇을 바꿉니까?
Hangfan Zhang 등 상하이 AI Lab 연구진의 Self-Harness는 이런 수정을 더 복잡한 에이전트 작업에 적용합니다. 실행 기록에서 반복되는 실패를 찾고, 모델이 정해진 범위 안에서 하네스를 수정하고, 다시 실행해 채택 여부를 정합니다. 모델 가중치와 채점기는 고정합니다.
논문은 수정 모델에게 보여 주는 문제와 숨기는 문제를 나눕니다. 숨긴 문제도 수정안 채택 검사에는 사용합니다. 두 쪽 점수가 모두 나빠지지 않고 적어도 한쪽이 좋아져야 수정안을 받아들입니다. 여러 수정안이 조건을 통과하면 합치기도 합니다.
Terminal-Bench-2.0의 선별된 64개 과제에서 논문이 보고한 결과는 다음과 같습니다. 저희가 다시 실행한 수치는 아닙니다.
| 고정한 모델 | 초기 하네스 통과율 | 최종 하네스 통과율 |
|---|---|---|
| MiniMax M2.5 | 40.5% | 61.9% |
| Qwen3.5-35B-A3B | 23.8% | 38.1% |
| GLM-5 | 42.9% | 57.1% |
논문은 과제마다 두 번 실행한 시도 단위 통과율을 사용합니다. 처음 하네스도 최소한의 지침과 도구를 갖춘 구성입니다. 이미 오랫동안 다듬은 업무용 에이전트에서 같은 폭으로 좋아진다는 뜻은 아닙니다.
온라인 소개에서 본 “The End of Harness Engineering”이라는 제목, 4B 수정 모델, 개선안 여덟 개라는 설명은 이번에 확인한 원문과 일치 여부를 검증하지 못했습니다. 이 글은 확인 가능한 Self-Harness를 기준으로 썼습니다.
사람이 시험지만 만들면 된다는 말에서 빠지는 것
저희의 작은 실험에서도 사람이 먼저 정한 것이 많았습니다. 무엇을 고칠 수 있는지, 어떤 답을 정답으로 볼지, 어떤 문제를 후보 선택에 쓰고 어떤 문제를 마지막까지 남길지를 정했습니다. JSON 형식과 실제 정답을 구분하지 않았다면 실패가 해결된 정도도 다르게 보였을 것입니다.
특히 수정안을 고르는 데 사용한 문제는 이미 개발에 참여한 문제입니다. 모델이 문제 내용을 직접 보지 않았더라도 그 점수에 따라 후보가 살아남기 때문입니다. 마지막 평가까지 같은 문제를 계속 쓰면 그 문제에서 잘하는 하네스를 고르게 될 수 있습니다.
저희 실험에서는 마지막 문제를 따로 남겼지만, 한계도 있습니다. 짧은 문제 여섯 종류만 다뤘고, 최종 문제는 36개이며 같은 틀로 생성한 문제가 많습니다. 실제 파일 작업이나 도구 사용도 없습니다. 그 대신 결과가 왜 좋아졌는지 직접 확인하기는 쉬웠습니다.
이번에 얻은 가장 구체적인 개선은 문자열 출력 실패를 없앤 것입니다. 더 큰 의미를 붙이기 전에 이 정도로 설명하는 편이 다음 작업에도 도움이 됩니다. 이제 금액 계산을 고치려면 지침을 더 바꿀지, 계산 도구에 맡길지, 어떤 문제로 다시 확인할지를 따로 결정할 수 있습니다.
코드와 실행 기록
아래 재현 파일에는 문제와 정답, 개선안, 실제 요청과 응답, 후보 선택 기록이 들어 있습니다. 저장된 응답으로 결과 표를 다시 만드는 데는 모델이 필요하지 않습니다. 새로 답변을 생성하려면 Ollama와 해당 모델 파일이 필요합니다.
2026년 11월 16일 수정: 한국어 본문을 실험 사례부터 설명하도록 새로 썼습니다.
실험 과정과 실패 사례를 함께 받아보시려면 아래에서 뉴스레터를 구독하실 수 있습니다.
이 글의 자료
재현 패키지
이 글의 하네스, 원 로그, 결과 CSV를 묶었습니다. 로그인 없이 받을 수 있고, GPU 없이 표의 숫자를 다시 계산하는 명령이 README에 있습니다.
self-harness-evaluation-repro.zip · 4,667 KB