Simon Willison, 노트북에서 Qwen 3.8 27B로도 모델 가중치 해석이 가능하다고 보고
Simon Willison은 노트북에서 구동한 Qwen 3.8 27B가 원시 가중치 수치만으로 강화학습 네트워크가 학습한 게임을 맞혔다고 보고했다. Pac-Man, Pong, Breakout은 식별했지만 한 문제당 46분에서 1시간 넘게 걸렸다.
#추론
#추론
오늘 0건Simon WillisonAI 점수5555
Latent SpaceAI 점수7272 AI는 왜 수학에 강해졌을까, 힌트 열과 분기 수로 풀어보다
Ankit Maloo씨는 OpenAI가 단위거리 추측의 반례를 찾아낸 사례 등을 단서로, LLM이 풀기 쉬운 수학 문제의 조건을 분석하고 있다. 사람은 너비 우선으로 일찍 가지를 쳐내는 반면, LLM은 깊이 우선으로 끝까지 진행한 뒤 검증기로 정답을 골라낸다는 차이를 중심축으로 삼고 있다.
MIT Technology Review AIAI 점수2020 오래 쓸 수 있는 AI 서빙 하네스 설계
기업 AI의 경쟁력은 모델 선정보다 아키텍처, 메모리 관리, 스케줄링, 최적화 등 모델 주변의 서빙 하네스 설계에서 결정된다고 주장한다. 추론 시에는 모델 가중치가 고정되어 있어도 KV 캐시가 활성 요청 수와 컨텍스트 길이에 따라 커지므로, 연산 자원에 여유가 있어도 GPU 메모리가 부족해질 수 있다. 이에 따라 먼저 측정해 병목을 찾고, 대응과 재측정을 반복하는 접근이 제안되고 있다.