Apple Machine Learning Research·· 24일 전AI 점수25
LLM 기반 기계번역 품질 평가, 사람과 모델의 일치도는 많은 설정에서 신뢰성이 낮아
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
AI 요약
기계번역(MT) 품질 평가에서 LLM과 인간 어노테이터의 일치도를 MQM과 ESA 두 가지 평가 방식으로 검증한 연구다. 70개 언어쌍의 장문 테스트 세트와 WMT23·WMT25 데이터를 활용한 결과, LLM의 일치도가 인간끼리의 일치도를 웃도는 경우도 있었으나 많은 설정에서는 양쪽 모두 신뢰성이 충분하지 않았다. 인간은 세분화된 MQM과 저자원 언어쌍에서, LLM은 경미한 오류와 오류 구간(error span) 어노테이션에서 과제를 안고 있는 것으로도 나타났다.
출처: Apple Machine Learning Research · machinelearning.apple.com