Mistral AI, LLM as a Judge 방식의 RAG 시스템 평가 해설

Mistral AI는 LLM as a Judge 방식으로 RAG 시스템을 평가하는 방법을 해설하고, 평가 프레임워크로 RAG Triad(Context Relevance, Groundedness, Answer Relevance)를 제시했다고 밝혔다. RAG Triad는 검색된 문서와 답변을 모두 평가할 수 있어, 검색과 생성을 종단간(end-to-end)으로 평가하는 데 도움이 된다고 설명된다. 같은 회사 API의 커스텀 structured outputs를 사용하면 평가 기준과 스키마를 정의해 기계가 읽을 수 있는 형식으로 점수를 출력할 수 있다.