Lexical reference frames、언어 모델의 잔차 스트림을 네이티브 의미 공간에서 해석

Lexical reference frames는 언어 모델의 은닉 상태를 모델 자신의 나머지 층을 통해 읽어내어 귀속, 스티어링, 조기 종료를 가능하게 하는 기법이다. 중간 층에서 고정 방향 lens는 일관성의 제곱근(SmolLM3-3B에서 0.30, OLMo3-7B에서 0.35)을 넘지 못하는 반면, LexFrame [1]은 두 모델 모두에서 0.97에 도달하며 모델 출력과의 차이는 0.16 nats 이내에 머문다. 조기 종료에서는 LexFrame이 층의 0.45와 0.42를 생략할 수 있는 반면, lens는 거의 생략하지 못한다.