RAG Evaluation: Precision/Recall을 넘어서
"RAG가 잘 동작하는지 어떻게 알죠?" — Precision/Recall만으로는 부족합니다. Faithfulness, Relevance, Context Recall까지 측정해야 진짜 품질이 보입니다.
RAG Evaluation: Precision/Recall을 넘어서
"RAG가 잘 동작하는지 어떻게 알죠?" — Precision/Recall만으로는 부족합니다. Faithfulness, Relevance, Context Recall까지 측정해야 진짜 품질이 보입니다.
왜 기존 메트릭으로 부족한가?
전통적인 IR(Information Retrieval) 메트릭:
| 메트릭 | 측정 대상 | RAG에서의 한계 |
|---|---|---|
| Precision@K | 상위 K개 중 관련 문서 비율 | 답변 품질과 무관할 수 있음 |
| Recall@K | 전체 관련 문서 중 검색된 비율 | Ground truth 필요, 현실적으로 힘듦 |
| MRR | 첫 관련 문서 순위 | 여러 문서 필요한 경우 무의미 |
여기부터는 유료 연재입니다
- ✓ 「고급 RAG」 연재 전체: 한국어 7편, 영어 7편
- ✓ Jupyter 노트북 7개
- ✓ 한 번 결제, 기한 없음. 결제한 이메일로 로그인하면 열립니다.
연재 단품은 로그인 없이 결제됩니다. 구독은 무료 계정이 필요합니다.