IBM Research, 에이전트 일관성 높이는 consistency guidelines를 ALTK-Evolve에 추가
IBM Research는 ALTK-Evolve에 일관성 가이드라인과 Consistency Analyzer를 추가해 AppWorld에서 Pass^5를 53.0%에서 69.0%로 개선했다고 밝혔다. GPT-4.1을 사용한 ReAct의 Mean@5는 77.4%였지만, 다섯 번 모두 성공한 과제는 53.0%에 그쳐 24.4%포인트의 일관성 격차가 있었다. 가이드라인을 적용하자 격차는 12.0%포인트로 절반으로 줄었고, Mean@5도 81.0%로 올랐다.