NaiveAI의 Naive-N0.5-Flash를 DeepSeek V4.1 Flash 1017, GLM 5.3 Flash와 비교해 코딩 성능과 속도를 검증
NaiveAI Promises 2,100 Tokens per Second. How Well Does It Code?
Latent Space가 NaiveAI의 오픈 웨이트 모델 Naive-N0.5-Flash를 검증했다. 초고속 모드에서는 최대 약 2,100 tokens/s, 사고 중에는 약 984 tokens/s를 기록했으며, 응답 시간의 중앙값은 3.1초였다. 앱 생성에서는 DeepSeek V4.1 Flash 1017과 비슷한 수준이었지만, 어려운 문제에서는 사고 토큰이 크게 늘었다.
Naive-N0.5-Flash는 중국의 NaiveAI가 개발한 오픈 웨이트 모델로, AI 코딩을 위해 초당 생성 토큰 수를 최대화하도록 조정되었다. 기반은 Xiaomi의 MiMo-V2.5(310B 파라미터, 활성 15B의 희소 MoE)이며, DeepSeek Sparse Attention에 맞추기 위해 약 3.25T 토큰을 추가로 학습했다. 자체 추론 엔진 NaiveRT와 결합되어 있다.
검증은 MATH-500의 쉬운 문제, GPQA-Diamond의 중간 문제, HLE-Diamond의 어려운 문제를 각 10문제, 총 30문제로 비교했다. 응답 시간의 중앙값은 Naive-N0.5-Flash(사고 사용)가 3.1초, GLM 5.3 Flash(high)가 5.3초, DeepSeek V4.1 Flash 1017(high)가 10.1초였다. 평균은 각각 45.3초, 86.9초, 45.0초로 차이가 줄었으며, 어려운 문제에서는 Naive-N0.5-Flash가 89.8초로 DeepSeek의 79.7초보다 느렸다. HLE의 어려운 문제에서는 평균 약 108,500 토큰을 생성했고, 극단적으로 긴 추론이 평균을 끌어올렸다. 표본이 작고, 답변의 정확성은 채점하지 않았다.
앱 생성에서는 3D 지구와 태양계, 3D 나무, Ray Tracing in One Weekend의 브라우저 이식판을 각 모델에 만들게 했다. 태양계에서는 Naive-N0.5-Flash(사고 사용)가 가장 상세했고, 나무 모델링에서는 DeepSeek와 비슷했다. 사고를 끈 Naive-N0.5-Flash는 나무 앱을 제대로 작동하는 형태로 만들지 못했다. 레이트레이싱에서는 DeepSeek가 가장 효율적이었고, GLM 5.3 Flash는 전반적으로 가장 약했다.
가격은 입력 100만 토큰당 $0.10, 출력 $0.40, 캐시 읽기 $0.01을 목표로 하고 있다. 속도는 추측 디코딩의 드래프터와 NaiveRT에 의존하며, 8GPU Blackwell 노드에서 측정되었다. 수용률은 사고 끔에서 70.6%, 사고 켬에서 43.4%이며, 한 번의 추측 라운드는 NaiveRT에서 3.4ms, SGLang에서 12.3ms로 보고되었다. 최고치인 2,100 tokens/s는 상한값이며 전형적인 값이 아니라고 주석이 달려 있다.
출처: Latent Space · latent.space