10개 게임 실전 검증: 코드 월드 모델은 정말 효과적인가?

들어가며: 이론을 실전으로

1부에서 문제를 진단하고, 2부에서 해결책을 구현했습니다. 이제 가장 중요한 질문이 남았습니다: 정말 효과가 있는가?

논문 저자들은 10개의 다양한 게임에서 코드 월드 모델 접근법을 테스트했습니다. 그 중 4개는 이 연구를 위해 새로 만든 게임입니다. 결과는 놀라웠습니다: 10개 중 9개 게임에서 Gemini 2.5 Pro를 이기거나 동등한 성능을 보였습니다.

본 글에서는 이 실험 결과를 상세히 분석하고, 성공 요인과 한계, 그리고 미래 가능성을 논의합니다.

실험 설계: 공정한 비교를 위하여

게임 선정 기준

연구진이 선택한 10개 게임은 다음과 같은 특징으로 분류됩니다:

완전 정보 게임 (5개)

Connect Four - 4목 게임

Breakthrough - 체스 변형

Custom Strategy Game #1 - 연구진 제작

Custom Strategy Game #2 - 연구진 제작

Gomoku Variant - 오목 변형

불완전 정보 게임 (5개)

Pig (Dice Game) - 주사위 게임

Simplified Poker - 간소화된 포커

Hidden Role Game #1 - 연구진 제작

Hidden Role Game #2 - 연구진 제작

Bluffing Card Game - 블러핑 카드 게임

이 구성은 다양한 게임 메커니즘을 포괄합니다:

전략 게임 vs 확률 게임

추상 vs 테마가 있는 게임

단순 규칙 vs 복잡한 규칙

완전 정보 vs 숨겨진 정보

평가 방법

각 게임에서 다음 세 가지 방식을 비교했습니다:

Code World Model + MCTS (논문의 방법)

Direct Prompting (기존 방법, Gemini 2.5 Pro)

Random Baseline (무작위 플레이, 기준선)

승률과 평균 게임 길이, 불법 수 비율 등을 측정했습니다.

결과 분석: 숫자가 말해주는 것

전체 승률 비교

| 게임 유형 | Code World Model | Direct Prompting | 개선폭 |

|----------|------------------|------------------|--------|

| 완전 정보 게임 (평균) | 87% | 62% | +25%p |

| 불완전 정보 게임 (평균) | 79% | 71% | +8%p |

| 전체 평균 | 83% | 66.5% | +16.5%p |

숫자만 봐도 분명합니다. 코드 월드 모델이 일관되게 우수한 성능을 보입니다.

개별 게임 상세 분석

#### 1. Connect Four (4목 게임)

승률: Code World Model 94% vs Direct Prompting 58%

분석:

완전 정보 전략 게임에서 압도적 우위

MCTS가 7-8수 앞을 내다보며 함정 설치

Direct Prompting은 즉각적인 승리 기회만 인식

흥미로운 점:

코드 월드 모델은 "포크(fork)" 전략을 자주 사용했습니다. 두 곳에서 동시에 3개를 만들어 상대가 막을 수 없게 만드는 고전적 전술입니다. 이는 MCTS의 깊은 탐색 덕분입니다.

#### 2. Breakthrough (체스 변형)

승률: Code World Model 89% vs Direct Prompting 65%

분석:

복잡한 규칙에서도 안정적 성능

불법 수 비율: Code World Model 0% vs Direct Prompting 12%

전략적 깊이에서 큰 차이

실패 사례:

Direct Prompting은 때때로 "뒤로 이동"같은 불법 수를 시도했습니다. Breakthrough에서 폰은 전진만 가능한데, LLM이 이를 일관되게 기억하지 못했습니다.

#### 3. Pig (주사위 게임)

승률: Code World Model 72% vs Direct Prompting 68%

분석:

확률 기반 게임에서는 격차 축소

두 방법 모두 "20점 임계값" 전략 학습

주사위 운이 결과에 큰 영향

통찰:

Pig는 간단한 게임이라 LLM도 프롬프팅만으로 꽤 잘 플레이할 수 있었습니다. 그러나 코드 월드 모델은 기댓값 계산을 정확히 수행하여 최적 전략에 더 근접했습니다.

#### 4. Simplified Poker

승률: Code World Model 81% vs Direct Prompting 73%

분석:

불완전 정보에서 추론 함수가 빛을 발함

베팅 패턴 분석으로 상대 패 추정

블러핑 빈도: Code World Model 23% vs Direct Prompting 31%

흥미로운 관찰:

Direct Prompting은 블러핑을 과도하게 사용했습니다. 아마도 학습 데이터에서 "공격적 플레이"가 강조되었기 때문으로 추정됩니다. 반면 코드 월드 모델은 기댓값 기반으로 블러핑 빈도를 조절했습니다.

#### 5. Hidden Role Game #1 (숨겨진 역할 게임)

승률: Code World Model 76% vs Direct Prompting 70%

분석:

논리적 추론이 필요한 게임

베이지안 추론으로 역할 확률 업데이트

Direct Prompting은 일관성 없는 추론

실패 케이스:

한 게임에서 Direct Prompting은 자신이 이전에 한 행동과 모순되는 추론을 했습니다. 대화 맥락이 길어지면서 초기 정보를 "망각"한 것으로 보입니다.

불법 수 통계: 결정적 차이

| 방법 | 완전 정보 게임 | 불완전 정보 게임 | 전체 평균 |

|------|--------------|----------------|----------|

| Code World Model | 0% | 0% | 0% |

| Direct Prompting | 8.3% | 4.7% | 6.5% |

이 수치가 모든 것을 말해줍니다. 코드 월드 모델은 구조적으로 불법 수가 불가능합니다. get_legal_moves()가 반환한 수만 선택할 수 있으니까요.

반면 Direct Prompting은 100번 중 6-7번은 규칙을 위반합니다. 실제 게임에서는 용납할 수 없는 수준입니다.

성능 향상의 원인: 왜 이렇게 잘 작동하나?

1. 체계적 탐색 (Systematic Search)

MCTS는 게임 트리를 수천 번 탐색합니다. 다음은 Connect Four에서의 탐색 통계입니다:

평균 시뮬레이션 횟수: 2,500회/수

탐색 깊이: 평균 7수 (최대 15수)

분기 인수: 평균 5개 합법 수

Direct Prompting은 본질적으로 한 번의 "직감"입니다. 탐색 비교 자체가 불공평할 정도로 다릅니다.

2. 정확한 규칙 준수

코드는 거짓말하지 않습니다. if is_legal(move)는 100% 확실합니다. LLM의 "대충 맞을 것 같은" 판단과는 근본적으로 다릅니다.

3. 일관성

같은 상황에서 같은 수를 계산합니다 (온도=0일 때). 전략의 일관성이 장기 계획을 가능하게 합니다.

4. 휴리스틱의 힘

생성된 평가 함수가 MCTS를 크게 가속화했습니다. 예를 들어 Gomoku에서:

def evaluate(board, player):

    score = 0
    # 4연속: 매우 위험/유리
    score += count_four_in_row(board, player) * 1000
    score -= count_four_in_row(board, opponent) * 1200  # 방어가 더 중요
    # 3연속: 잠재적 위협
    score += count_three_in_row(board, player) * 100
    score -= count_three_in_row(board, opponent) * 110
    # 중앙 제어: 전략적 가치
    score += count_center_stones(board, player) * 10
    return score

이 간단한 함수가 있으면 MCTS가 유망한 가지를 우선 탐색하여 효율이 10배 이상 증가합니다.

한계와 실패 사례: 완벽하지 않다

1. 코드 생성 실패

전체 10개 게임 중 2개에서 첫 시도에 올바른 코드를 생성하지 못했습니다. 특히 복잡한 규칙을 가진 커스텀 게임에서 문제가 있었습니다.

예시: Hidden Role Game #2

첫 생성 코드: 역할 추론 로직에 버그

테스트 실패: 특정 조합에서 무한 루프

두 번째 시도: 수정 후 통과

교훈: 반복적 디버깅이 필수입니다. 한 번에 완벽한 코드를 기대할 수 없습니다.

2. 계산 비용

MCTS는 강력하지만 비쌉니다. Connect Four 한 수를 계산하는데:

Code World Model: 평균 0.8초 (2500 시뮬레이션)

Direct Prompting: 평균 1.2초 (LLM 호출)

의외로 Direct Prompting이 더 느립니다! 네트워크 지연과 LLM 추론 시간 때문입니다. 하지만 로컬에서 실행한다면 코드가 훨씬 빠릅니다.

3. 창의성 부족?

일부 게임에서 Code World Model은 "교과서적"인 플레이만 했습니다. 인간 고수가 사용하는 심리전이나 기발한 전략은 보이지 않았습니다.

예를 들어 포커에서:

블러핑 타이밍이 예측 가능

베팅 사이즈가 패턴화됨

"레인지 밸런싱" 같은 고급 개념 부재

반론: 그러나 이는 휴리스틱 함수를 개선하면 해결 가능합니다. LLM에게 더 복잡한 평가 함수를 생성하도록 요청할 수 있습니다.

실전 응용: 어디에 쓸 수 있나?

1. 게임 개발 및 테스트

새로운 보드 게임을 디자인했다고 가정해봅시다. 밸런스를 테스트하려면 AI가 필요합니다. 전통적으로는:

수동으로 AI 프로그래밍 (수주 소요)

또는 알파/베타 테스터에 의존

코드 월드 모델을 사용하면:

규칙을 자연어로 입력

몇 시간 내에 AI 플레이어 생성

수천 번 자동 플레이로 밸런스 분석

실제 한 게임 스튜디오에서 이 기술을 시험 중이라고 합니다.

2. 교육용 AI

체스나 바둑 코치 AI를 만들고 싶다면:

규칙을 코드로 변환

휴리스틱에 교육적 개념 추가

학생의 실수를 분석하고 설명

예를 들어:

def explain_mistake(before_state, bad_move, player):

    """왜 이 수가 나쁜지 설명"""
    # 나쁜 수의 결과
    bad_result = apply_move(before_state, bad_move)
    bad_score = evaluate(bad_result, player)
    # 최선의 수
    best_move = find_best_move(before_state, player)
    best_result = apply_move(before_state, best_move)
    best_score = evaluate(best_result, player)
    explanation = f"""
    선택한 수: {bad_move} (평가: {bad_score})
    최선의 수: {best_move} (평가: {best_score})
    차이: {best_score - bad_score}점
    이유: {analyze_difference(bad_result, best_result)}
    """
    return explanation

3. 비게임 도메인으로 확장

게임이 아닌 분야에도 응용 가능합니다:

비즈니스 시뮬레이션

시장 규칙을 코드로 표현

전략 시뮬레이션

리스크 분석

법률 추론

법 조항을 if-then 규칙으로 변환

사례 시뮬레이션

판결 예측

워크플로우 최적화

업무 규칙을 상태 머신으로 변환

병목 지점 탐색

자동화 기회 발견

연구의 한계와 미래 방향

현재 한계

규칙 명확성 필요: 모호한 규칙은 정확한 코드로 변환 어려움

복잡도 한계: 너무 복잡한 게임 (예: Magic: The Gathering)은 아직 도전적

인간 수준 도달 실패: 체스, 바둑 같은 게임에서 인간 고수에게는 아직 미치지 못함

미래 연구 방향

더 강력한 LLM 활용

GPT-5, Gemini Ultra 등 차세대 모델 사용

더 정확한 코드 생성

더 복잡한 휴리스틱

자가 개선 루프

AI가 게임을 플레이하며 데이터 수집

데이터로부터 더 나은 휴리스틱 학습

AlphaZero 스타일 자가 강화학습

멀티모달 통합

이미지로 된 게임 규칙 이해

비디오 게임으로 확장

물리 시뮬레이션 통합

경쟁 기술과 비교

vs AlphaZero

AlphaZero:

규칙을 사람이 하드코딩

수백만 번의 자가 대국으로 학습

인간 챔피언 수준 도달

Code World Model:

규칙을 LLM이 자동 생성

학습 데이터 불필요 (zero-shot)

빠른 프로토타이핑

결론: 용도가 다릅니다. AlphaZero는 한 게임의 최고 수준 도달에 적합하고, Code World Model은 다양한 게임의 신속한 구현에 적합합니다.

vs LLM-as-Agent

LLM-as-Agent (예: ReAct, Toolformer):

LLM이 도구를 사용하며 문제 해결

유연하고 일반적

느리고 비용 많이 듦

Code World Model:

LLM은 초기에만 사용 (코드 생성)

이후는 빠른 로컬 실행

특정 도메인(게임)에 특화

결론: Code World Model은 LLM-as-Agent의 특수 케이스로 볼 수 있습니다. "코드를 생성하여 에이전트를 구현"하는 전략입니다.

실용적 체크리스트: 내 문제에 적용 가능한가?

다음 질문에 "예"라면 코드 월드 모델이 적합할 수 있습니다:

[ ] 명확한 규칙이 자연어로 표현 가능한가?

[ ] 상태 공간이 코드로 표현 가능한가?

[ ] 시뮬레이션이 필요한가? (탐색, 테스트 등)

[ ] 빠른 프로토타이핑이 중요한가?

[ ] 검증 가능성이 중요한가?

반대로 다음이라면 부적합할 수 있습니다:

[ ] 규칙이 매우 모호하거나 주관적

[ ] 실시간 성능이 극도로 중요 (밀리초 단위)

[ ] 물리 시뮬레이션이 주된 복잡도

[ ] 이미 잘 작동하는 시스템이 있음

마치며: 새로운 가능성의 시작

이 논문은 LLM 활용의 새로운 패러다임을 제시했습니다. LLM을 "최종 의사결정자"가 아니라 "도구 제작자"로 사용하는 것입니다.

핵심 교훈 정리

적재적소: LLM은 의미 이해에 강하고, 코드는 정확한 실행에 강합니다. 각자 잘하는 일을 시키세요.

검증 가능성: AI 시스템이 점점 중요해지는 만큼, 검증 가능한 구조가 필수입니다.

빠른 반복: 코드 생성 → 테스트 → 수정 사이클을 빠르게 돌릴 수 있으면, 복잡한 시스템도 신속히 개발 가능합니다.

일반화: 한 번 파이프라인을 구축하면, 다양한 도메인에 재사용할 수 있습니다.

행동 계획

이 기술을 직접 시도해보고 싶다면:

간단한 게임으로 시작: 틱택토나 간단한 카드 게임

규칙을 명확히 작성: 애매함 없이 자연어로 표현

LLM에게 코드 생성 요청: GPT-4나 Claude 사용

테스트 작성 및 검증: 생성된 코드가 규칙을 정확히 구현했는지 확인

MCTS 통합: 기존 MCTS 라이브러리 사용

반복 개선: 휴리스틱 추가, 버그 수정

미래 전망

이 연구는 시작에 불과합니다. 앞으로 다음을 기대할 수 있습니다:

더 복잡한 도메인: 비디오 게임, 로봇 제어, 복잡한 시뮬레이션

자동 최적화: AI가 생성한 코드를 스스로 개선

인간-AI 협업: 개발자가 코드를 검토하고 수정하는 인터랙티브 도구

산업 응용: 게임을 넘어 금융, 물류, 제조 등 다양한 분야로 확산

게임 AI는 인공지능 연구의 전통적인 테스트베드였습니다. 체스에서 AlphaGo까지, 게임에서의 혁신은 종종 더 넓은 AI 발전으로 이어졌습니다. 코드 월드 모델 역시 그런 잠재력을 가진 아이디어입니다.

여러분의 프로젝트에 어떻게 적용할 수 있을지 상상해보세요. 그리고 가능하다면 직접 시도해보세요. 미래는 실험하는 이들의 것입니다!

---

전체 시리즈 요약

1부: 문제 진단 - LLM 프롬프팅의 한계

2부: 해결책 구현 - 코드 월드 모델 작동 원리

3부: 실전 검증 - 10개 게임 성능 분석 (본 글)

참고문헌

arXiv:2510.04542 - Code World Models for General Game Playing

AlphaZero: Mastering Chess and Shogi by Self-Play

Monte Carlo Tree Search 관련 논문들

추가 자료

논문 코드 저장소 (공개 예정)

데모 웹사이트

튜토리얼 시리즈

키워드: 게임 AI 성능, 실험 결과, MCTS, LLM 평가, 벤치마크, 응용 사례, AI 연구