Hugging Face의 결정 모델(decision model)이란

결정 모델은 상태와 미리 정의된 선택지를 입력으로 받아, 텍스트를 생성하지 않고 선택지별 확률을 반환하는 모델로 소개되어 있다. LLM에 JSON을 출력하게 하는 방식에서는 스키마 위반과 제약 디코딩의 계산 부담이 생기며, 선택지 중에서 고르기만 하면 되는 작업에는 자기회귀 디코딩이 필요 없다고 지적하고 있다. 기사에서는 transformers의 pipeline("decision")으로 autotrust/GEV-26B-Decide를 호출해 billing, technical, sales의 확률을 얻는 예시를 보여준다.