RAG Evaluation: Precision/Recall을 넘어서

문제: 검색은 잘 됐는데 답변이 이상하거나, 검색 결과는 별로인데 답변은 괜찮은 경우를 구분 못함.

사례 1: 검색 O, 답변 X — 관련 문서 3개 검색됨 (Precision 높음), 하지만 LLM이 문서 내용 왜곡해서 답변 (Hallucination)

사례 2: 검색 △, 답변 O — 관련 문서 1개만 검색됨 (Precision 낮음), 하지만 그 문서로 정확한 답변 생성됨

RAG 평가의 세 축

RAG 시스템은 세 가지 축으로 평가해야 합니다: