AI 연구•SOTAAZ Lab••EN

AI에게 여러 관점에서 물으면 답이 더 정확해질까요?

같은 계산 문제를 일반 질문, 회계 담당자, 수학 검토자 관점에서 물었습니다. 직접 답만 요구했을 때와 계산 과정을 쓰게 했을 때 결과가 크게 달랐습니다. Against All Likelihood의 제안을 작은 실험으로 살펴봅니다.

AI에게 여러 관점에서 물으면 답이 더 정확해질까요?

상자 75개에 부품이 14개씩 들어 있습니다. 상자마다 부품을 6개씩 빼고, 남은 부품을 모두 모은 뒤 13개를 더 버립니다. 몇 개가 남을까요?

식으로 쓰면 75 × (14 - 6) - 13이고 답은 587개입니다. 저희가 로컬 AI 모델에게 계산 과정 없이 답만 달라고 했을 때는 809, 808, 892가 나왔습니다. 같은 질문을 세 번 했지만 세 답 모두 틀렸습니다.

여기서 모델에게 회계 담당자처럼 확인하라거나 의심 많은 수학 검토자처럼 살펴보라고 하면 도움이 될까요? 혹은 계산 과정을 먼저 쓰게 하면 어떨까요? 저희는 같은 모델에 질문하는 방식을 바꿔 결과를 비교했습니다.

왜 관점을 바꿔 물어봤습니까?

David Lopez-Paz의 Against All Likelihood는 자주 나오는 답이 곧 참인 것은 아니라는 문제에서 출발합니다. 모델은 학습한 자료에서 그럴듯한 다음 말을 예측합니다. 하지만 많은 문서가 같은 오류를 반복하고 있다면, 그 오류도 높은 확률로 나올 수 있습니다.

저자는 여러 환경에서도 유지되는 관계에 주목합니다. 같은 질문을 다른 맥락과 관점에서 살펴보고, 무엇이 그대로 성립하는지 확인하자는 제안입니다. 논문에서 말하는 불변성을 이 글에서는 이렇게 이해하겠습니다. 질문과 관계없는 주변 조건을 바꿔도 답의 근거가 유지되는 성질입니다.

예를 들어 앞의 재고 문제를 창고 관리자의 말투로 묻든 수학 문제처럼 묻든 부품 수는 같아야 합니다. 반면 “각 상자에서 6개씩 뺀다”를 “전체에서 6개만 뺀다”로 바꾸면 답도 바뀌어야 합니다. 어떤 변화에도 같은 말을 고수하는 것은 좋은 답변이 아닙니다.

저희는 이 중 관점을 바꿔 묻는 부분을 작은 실험으로 만들었습니다. 산술 문제를 택한 이유는 답을 독립적으로 계산할 수 있기 때문입니다. 역사나 과학의 사실 확인을 이 산술 실험으로 대신할 수는 없습니다.

같은 모델에 묻는 방법만 바꿨습니다

문제는 18개입니다. 재고 계산, 두 곱의 차를 구하는 계산, 잔액에 여러 연산을 차례로 적용하는 계산을 각각 여섯 개씩 만들었습니다. 질문의 숫자와 정답은 모델에게 요청하기 전에 고정했습니다.

사용한 모델은 Ollama의 qwen3.5:9b입니다. Q4_K_M 파일이며 모델 정보상 약 9.7B입니다. 문맥 한도는 24,576토큰, 온도는 0.6으로 설정했습니다. 온도를 0보다 높여 같은 질문에서도 답이 달라질 수 있게 했습니다.

먼저 계산 과정을 쓰지 말고 정수 답 하나만 JSON으로 반환하라고 했습니다. 모델의 별도 추론 모드는 껐고, 출력 한도는 256토큰이었습니다. 실제 답은 짧아서 한도를 다 쓰지 않았습니다.

각 문제에 다음 요청을 보냈습니다. 일반 질문은 서로 다른 시드로 세 번 실행했고, 나머지는 한 번씩 실행했습니다. 시드는 생성 과정의 난수 조건을 정하는 값입니다.

요청 방식알아보려던 것
일반 질문을 세 번 반복같은 질문의 여러 답 중 다수결이 도움이 되는가
회계 담당자 관점에서 확인관점이 달라지면 답이 좋아지는가
의심 많은 수학 검토자 관점에서 확인더 비판적으로 보라는 지시가 도움이 되는가
동료가 틀린 답을 주장한다고 제시잘못된 의견에 끌려가는가
실제 문제 조건을 변경답이 달라져야 할 때 제대로 바뀌는가

동료의 오답은 정답보다 7 큰 값으로 정했습니다. 조건 변경 문제는 프로그램으로 새 정답을 계산했습니다. 예컨대 상자마다 빼던 수량을 전체에서 한 번만 빼도록 바꾸는 식입니다.

관점을 바꿔도 직접 답변은 거의 전부 틀렸습니다

총 126개 응답 중 정답은 하나였습니다.

요청 방식정답 수
일반 질문 세 번0/54
회계 담당자 관점0/18
수학 검토자 관점0/18
동료의 오답 제시1/18
문제 조건 변경0/18
계산 과정 없이 정수 답만 요구한 첫 실험의 결과입니다. 오답 제시 조건에서만 한 번 맞혔습니다.

일반 질문 세 답에서 두 개 이상 같은 값이 나오면 그 값을 고르는 방식도 시험했습니다. 일반·회계·검토자 세 답에서도 같은 규칙으로 골랐습니다. 두 방식 모두 18개 문제에서 정답을 하나도 고르지 못했습니다.

이 결과만 보고 두 방식의 성능이 같다고 결론 내리기는 어렵습니다. 개별 답변이 너무 많이 틀려서 어떤 투표가 더 좋은지 드러날 여지가 작았습니다. 우선 답을 만드는 방법부터 확인해야 했습니다.

또 다른 관점의 세 답이 전부 일치한 문제는 없었습니다. 이 실행을 두고 “서로 다른 관점에서도 같은 오답을 반복했다”고 설명하는 것도 정확하지 않습니다. 저희가 실제로 관찰한 것은 관점을 바꾼 짧은 답변들이 여전히 부정확했다는 것입니다.

계산을 먼저 쓰게 했더니 결과가 달라졌습니다

첫 결과를 확인한 뒤 후속 실험을 추가했습니다. 같은 18개 문제에 일반·회계·검토자 관점을 적용하되, 이번에는 짧은 계산을 먼저 쓰고 마지막에 JSON으로 답하라고 했습니다. 출력 한도를 768토큰으로 늘렸고 추론 모드는 계속 껐습니다. 온도와 각 관점의 시드는 유지했습니다.

계산 과정을 허용한 요청정답 수
일반 질문18/18
회계 담당자 관점18/18
수학 검토자 관점18/18
같은 문제에서 짧은 계산을 먼저 쓰도록 한 후속 실험입니다. 세 관점 모두 정답을 맞혔습니다.

총 54개 답이 모두 맞았습니다. 첫 재고 문제의 응답에는 전체 수량 1,050개, 상자에서 뺀 수량 450개, 마지막 13개를 빼면 587개라는 계산이 실제로 적혀 있었습니다. 계산 없이 숫자만 내놓았던 첫 실행과 달랐습니다.

그렇다고 관점 변경 덕분에 정답을 찾았다는 뜻은 아닙니다. 아무 역할을 붙이지 않은 일반 질문도 이미 18개를 모두 맞혔기 때문입니다. 이번 자료에서 투표가 추가로 해결한 문제는 없습니다.

무엇이 차이를 만들었는지도 더 나눠 확인할 필요가 있습니다. 계산을 쓰라는 지시와 출력 한도를 함께 바꿨기 때문에 둘 중 어느 하나의 효과라고 단정할 수 없습니다. 처음 결과를 본 뒤 추가한 후속 실험이라는 점도 밝혀 둡니다.

표본은 같은 틀로 만든 18개 문제입니다. 계산을 허용한 조건에서는 동료의 오답이나 사실 변경 문제를 다시 실행하지 않았습니다. 따라서 이 결과가 잘못된 유도에도 안전하다거나 모든 산술 문제에 정확하다는 뜻은 아닙니다.

정답을 세는 코드도 틀렸습니다

후속 실험을 처음 집계했을 때는 정답이 38개로 나왔습니다. 실제 응답을 읽어 보니 틀린 것으로 처리된 답에 올바른 계산과 정답이 있었습니다.

원인은 저희의 추출 코드였습니다. 응답에서 처음 나타나는 중괄호를 JSON 시작으로 읽었는데, 계산 설명의 LaTeX 수식에도 중괄호가 있었습니다. 예를 들어 단위를 표시한 \text{boxes}를 답의 시작으로 오인했습니다.

모델에게 다시 묻지는 않았습니다. 저장된 응답에서 마지막 {"answer": 정수} 부분을 읽도록 코드를 고쳐 같은 자료를 다시 셌습니다. 그렇게 확인한 정답이 54개입니다. 모델의 답을 고친 것이 아니라, 이미 나온 답을 제대로 읽도록 검사 코드를 고쳤습니다.

이 과정은 합의율을 셀 때도 중요합니다. 답을 읽지 못한 세 응답을 모두 빈 값으로 저장해 놓고 “세 값이 같다”고 판정하면 안 됩니다. 모델 셋이 같은 주장을 한 것이 아니라 검사기가 세 답을 읽지 못한 것이기 때문입니다. 원시 응답을 공개하는 이유도 이런 집계 오류를 확인할 수 있게 하기 위해서입니다.

여러 번 물어보기 전에 확인할 것

첫 조건에서는 개별 답이 거의 모두 틀렸습니다. 두 번째 조건에서는 개별 답이 모두 맞았습니다. 어느 쪽도 관점별 투표가 얼마나 도움이 되는지 측정하기에 적절한 난이도는 아니었습니다.

다음에 이 질문을 더 제대로 시험하려면 일부는 맞히고 일부는 틀리는 문제를 충분히 모아야 합니다. 모든 요청에 같은 계산 예산을 주고, 같은 질문 반복과 관점 변경을 비교해야 합니다. 답이 일치하지 않아 판단을 보류한 횟수도 따로 세야 합니다.

무엇보다 관점이 다른 것과 근거가 독립적인 것은 다릅니다. 같은 모델에게 회계 담당자와 수학자 역할을 주더라도 같은 가중치와 학습 자료를 사용합니다. 역할 셋이 동의했다고 독립된 전문가 세 명이 검증한 것처럼 볼 수는 없습니다. 사실 확인에는 외부 자료나 실제 계산 같은 다른 근거도 필요합니다.

논문의 회귀 예제는 다른 종류의 변화를 보여 줍니다

원문에는 환경에 따라 유용한 입력이 달라지는 회귀 예제가 있습니다. 저희도 그 생성식을 실행했습니다. X1로 정답 Y를 만들고, Y에 또 잡음을 더한 X2를 만듭니다. 학습 환경에서는 X2가 정답과 매우 가깝습니다. 그래서 두 입력을 모두 쓰는 예측식은 X2에 크게 의존합니다.

다른 환경에서는 상황이 달라집니다. Y 자체의 크기는 작아지는데 X2에 섞인 잡음은 그대로 남습니다. 그러면 학습 때 유용했던 X2를 믿는 것이 불리해집니다.

평가 환경X1과 X2를 쓴 식의 오차X1만 쓴 식의 오차
e=0.10.9860.010
e=10.9870.999
e=100.986100.788

오차는 평균제곱오차로 작을수록 좋습니다. e는 데이터와 잡음의 크기를 조절하는 값입니다. e=10에서 표본 10만 개로 학습하고, 각 환경의 새로운 표본 10만 개로 평가했습니다. Python 3.11.4, NumPy 2.4.6, 시드 20261116을 사용했습니다. 환경마다 정답의 분산도 달라지므로 표는 같은 행 안에서 비교해야 합니다.

한 환경에서 학습한 두 예측식을 다른 환경에서 평가한 오차입니다. 세로축은 로그 눈금입니다.

이 계산에서는 정답을 만드는 과정을 알고 X1만 쓰는 비교 대상을 직접 골랐습니다. 올바른 입력을 자동으로 발견한 실험은 아닙니다. 그래도 학습 때 낮은 오차를 주던 관계가 환경이 바뀌면 불리해질 수 있다는 사실은 볼 수 있습니다.

언어 모델의 진실 판단도 이 구분에서 출발할 수 있습니다. 다만 “환경을 바꿔도 같은 답이 나왔다”만으로 충분하지는 않습니다. 무엇을 바꿨는지, 답이 같아야 하는 변화인지, 같은 모델이 공유하는 오류는 없는지를 함께 확인해야 합니다.

실행 자료

재현 파일에는 첫 실험의 126개 응답과 후속 실험의 54개 응답, 질문과 정답, 추출·투표 코드, 절차 변경 기록을 담았습니다. 원문의 회귀 예제 코드도 별도로 들어 있습니다. 저장된 결과를 다시 집계하는 데는 모델이 필요하지 않습니다.

2026년 11월 16일 수정: 한국어 본문을 실제 계산 문제와 답변 비교부터 설명하도록 새로 썼습니다.

논문의 제안을 직접 시험한 글은 아래 뉴스레터로 받아보실 수 있습니다.

이 글의 자료

재현 패키지

이 글의 하네스, 원 로그, 결과 CSV를 묶었습니다. 로그인 없이 받을 수 있고, GPU 없이 표의 숫자를 다시 계산하는 명령이 README에 있습니다.

against-all-likelihood-repro.zip · 4,666 KB

받기

더 많은 콘텐츠를 받아보세요

SNS에서 새로운 글과 튜토리얼 소식을 가장 먼저 받아보세요

이메일로 받아보기