IBM Research, 에이전트 일관성 높이는 consistency guidelines를 ALTK-Evolve에 추가

여러 벤치마크는 여러 번 실행한 결과의 평균인 Mean@k를 보고하지만, 같은 요청을 다시 했을 때 성공할지는 알 수 없다. 이에 k번 모두 성공한 과제의 비율인 Pass^k를 사용하고, Mean@k와의 차이를 일관성 격차라고 부른다. AppWorld test_normal에서 ReAct（GPT-4.1）를 온도 0.0으로 실행하면, 난이도가 올라갈수록 차이가 벌어지며 어려운 과제에서는 약 30포인트에 이른다.

원인으로는 에이전트의 각 판단이 다음 토큰의 확률 분포에서 나오며, 분포가 평평하면 근소한 차이의 후보들이 작은 흔들림에 따라 뒤바뀐다는 점을 든다. GPU의 부동소수점 연산이나 요청의 배치 처리 같은 플랫폼 측 영향도 있으며, 탐욕 디코딩이나 고정 시드로도 막을 수 없다. 판단들이 연쇄적으로 이어지므로, 단계마다의 작은 반전 확률이 쌓여 실행 결과의 차이가 된다.

Consistency Analyzer는 기록된 궤적 한 개를 사용하여, 각 판단 단계마다 추가 모델 호출 한 번으로 k개（기본값 k=5）의 후보를 생성해 출력의 편차를 측정한다. 환경에 새로운 도구 호출을 하거나 과제를 다시 실행할 필요가 없으며, 정답 데이터나 로짓도 필요 없는 블랙박스 방식이다. 편차가 큰 단계마다 가이드라인 후보가 만들어져 ALTK-Evolve의 기존 형식으로 저장되고 검색된다. 예로, 노트의 체크박스 기호를 셀 때는 줄 머리에 고정한 정규표현식을 사용하라는 가이드라인이 제시되어 있다.

168개 과제 평가에서는 기준 궤적 한 개로 생성한 가이드라인을 5회의 새 실행으로 검증했다. Pass^5는 53.0%에서 69.0%로, Mean@5는 77.4%에서 81.0%로 올랐고, 격차는 24.4포인트에서 12.0포인트로 줄었다. Medium과 Hard에서 개선이 컸으며, Mean@5는 어느 난이도에서도 떨어지지 않았다. 같은 시나리오의 유사 과제에서도 Pass^5가 13.0포인트 올랐다. gpt-oss-120b에서는 동일 과제에서 10.1%에서 16.1%로 올랐고, 유사 과제의 개선 폭은 8.7포인트였다.

구현은 오픈소스 altk-evolve 저장소에 포함되어 있으며, 자세한 방법은 arXiv 기술 보고서로 공개되었다. 저자들은 Pass^k를 Mean@k와 함께 보고할 것과, 일관성은 능력과 다른 축이라는 점을 강조한다.