Inception, 확산형 LLM 'Mercury 3' 발표… NVIDIA GPU에서 초당 1,068토큰
Inception Launches Mercury 3, a Diffusion AI Model Generating Over 1,000 Tokens per Second
Inception은 확산형 대규모 언어 모델(LLM) Mercury 3를 발표했다. 회사에 따르면 NVIDIA GPU에서 최대 초당 1,068토큰을 생성하며, 컨텍스트 윈도우는 1 million tokens이다. 표준 가격은 입력 $0.20, 출력 $0.70(모두 100만 토큰당)이며, 현재 출시 기념 50% 할인이 적용된다. OpenAI API와 호환되며, 회사는 여러 벤치마크에서 GPT-6 Luna와 Claude Haiku 5.5에 필적하거나 이를 능가한다고 주장하고 있다.
Mercury 3는 토큰을 하나씩 순서대로 예측하는 기존 자기회귀형과 달리, 텍스트를 반복적으로 생성하고 수정하는 확산형 LLM이다. 병렬화가 쉬운 구조가 고속화로 이어진다고 알려져 있다. 회사는 Mercury 1에 비해 총 파라미터 수를 40배 이상 늘리면서도 비슷한 수준의 고속성을 유지했다고 설명하며, 여러 표준 벤치마크로 측정한 성능은 Mercury 1 mini 대비 약 3배 향상되었다고 밝혔다. 컨텍스트 윈도우는 Mercury 2.5의 260,000토큰에서 1 million tokens으로 확장되었다.
회사는 GPT-6 Luna와 Claude Haiku 5.5를 일부 벤치마크에서 능가한다고 밝히고, 속도는 동급 고속 특화 모델의 약 4~8배라고 주장한다. 다만 기사에 따르면 비교 결과가 모두 독립적으로 검증된 것은 아니다. 웹 에이전트 평가에서는 Mind2Web의 실사용 내비게이션 과제 50건 중 50%를 완료했으며, 회사의 테스트 조건에서 GPT-6.1-Sol을 웃돌았다고 한다. 토큰 사용량과 에이전트 단계 수는 비슷했고, 토큰 단가는 낮았다고 전해진다.
초기 이용 파트너 사례도 소개되었다. RevisionDojo로 알려진 General Learning은 힌트, 채점, 정의 제공을 약 1초 만에 반환할 수 있었다고 보고했다. Octen AI는 스마트 글래스용 검색에서 생성 시간 중앙값 0.9초, 엔드투엔드 응답 시간 중앙값 2.2초를 기록했다. Lorikeet는 고객 지원 용도에서 응답 지연 개선과 품질 평가의 경쟁력 있는 결과를 보고했다. TinyFish AI도 웹 내비게이션 등에서의 장점을 언급했다.
가격은 출시 기념 할인가로 입력 $0.10, 출력 $0.35(100만 토큰당)이며, 캐시 입력은 입력 가격보다 90% 저렴하다. 개발자에게는 100 million tokens의 무료 사용 한도도 제공된다. Inception API Platform을 비롯해 OpenRouter, Baseten, Vercel을 통해 이용할 수 있다. 기업용으로는 전용 컴퓨팅, 자동 확장, 컴플라이언스 관리, 데이터 보존 설정 등이 제공된다.
Inception은 저지연 용도로 음성용 Mercury Voice와 대량의 분류·판단 과제용 Mercury Decide도 선보이고 있다. Mercury Voice는 첫 응답 토큰까지의 시간 단축을 목표로 하며, Audivi AI, Altur, OpenCall 등이 사용하고 있다. 회사는 Mercury Decide가 JevBench와 LegalBench에서 높은 성능을 보인다고 밝혔다.
출처: Search: AI launches · entarabi.com