Hugging Face Daily Papers·· 21일 전AI 점수31
Sparse Autoencoder에서 표현의 재분배를 식별하는 RSS 지표
Representation Redistribution in Sparse Autoencoders
AI 요약
논문은 Sparse Autoencoder(SAE)에서 프롬프트 바꿔쓰기로 생기는 재현 가능한 특징 변화를 식별하는 지표 「redistribution sensitivity score(RSS)」를 제안했다고 밝혔다. 사전 학습된 SAE 27개를 8개 언어 모델에 걸쳐 평가했으며, 선택에 사용하지 않은 변형에서도 재현 가능한 재분배 경향이 확인됐다고 밝혔다.
출처: Hugging Face Daily Papers · huggingface.co