NaiveAI, Naive-N0.5-Flash 공개

Naive-N0.5-Flash는 중국의 NaiveAI가 개발한 오픈 웨이트 모델로, AI 코딩을 위해 초당 생성 토큰 수를 최대화하도록 조정되었다. 기반은 Xiaomi의 MiMo-V2.5(310B 파라미터, 활성 15B의 희소 MoE)이며, DeepSeek Sparse Attention에 맞추기 위해 약 3.25T 토큰을 추가로 학습했다. 자체 추론 엔진 NaiveRT와 결합되어 있다. 검증은 MATH-500의 쉬운 문제, GPQA-Diamond의 중간 문제, HLE-Diamond의 어려운 문제를 각 10문제, 총 30문제로 비교했다. 응답 시간의 중앙값은 Naive-N0.5-Flash(사고 사용)가 3.1초, GLM 5.3 Flash(high)가 5.3초, DeepSeek V4.1 Flash 1017(high)가 10.1초였다. 평균은 각각 45.3초, 86.9초, 45.0초로 차이가 줄었으며, 어려운 문제에서는 Naive-N0.5-Flash가 89.8초로 DeepSeek의 79.7초보다 느렸다. HLE의 어려운 문제에서는 평균 약 108,500 토큰을 생성했고, 극단적으로 긴 추론이 평균을 끌어올렸다. 표본이 작고, 답변의 정확성은 채점하지 않았다. 앱 생성에서는 3D 지구와 태양계, 3D 나무, Ray Tracing in One Weekend의 브라우저 이식판을 각 모델에 만들게 했다. 태양계에서는 Naive-N0.5-Flash(사고 사용)가 가장 상세했고, 나무 모델링에서는 DeepSeek와 비슷했다. 사고를 끈 Naive-N0.5-Flash는 나무 앱을 제대로 작동하는 형태로 만들지 못했다. 레이트레이싱에서는 DeepSeek가 가장 효율적이었고, GLM 5.3 Flash는 전반적으로 가장 약했다. 가격은 입력 100만 토큰당 $0.10, 출력 $0.40, 캐시 읽기 $0.01을 목표로 하고 있다. 속도는 추측 디코딩의 드래프터와 NaiveRT에 의존하며, 8GPU Blackwell 노드에서 측정되었다. 수용률은 사고 끔에서 70.6%, 사고 켬에서 43.4%이며, 한 번의 추측 라운드는 NaiveRT에서 3.4ms, SGLang에서 12.3ms로 보고되었다. 최고치인 2,100 tokens/s는 상한값이며 전형적인 값이 아니라고 주석이 달려 있다.

Latent Space 발췌

추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.