Specter, 양자화 기반 추측 디코딩으로 MoE 추론 가속

Specter는 양자화된 추측 디코딩과 expert offloading을 결합해 단일 GPU에서 MoE 모델 추론을 가속하는 추론 시스템이다. 단일 요청 추론에서 최신 시스템과 비교해 TPOT가 평균 1.50배(최대 1.88배) 향상된 것으로 보고됐다. 메모리가 제한된 단일 GPU 환경에서 일반적인 하드웨어 기반 MoE 추론을 보다 실용적으로 만드는 것이 목표다.

StreamEval, 인터랙티브 스트리밍 동영상 생성 모델 평가 벤치마크 공개

StreamEval은 인터랙티브 스트리밍 동영상 생성 모델을 5개 과제로 평가하는 통합 벤치마크다. 300개의 대본 기반 테스트 케이스(15~300초)로 37개 모델을 평가한 결과, 시각적 품질이 높아도 요청을 확실하게 수행하는 것과 상태의 일관성을 유지하는 것은 여전히 과제인 것으로 나타났다. 요청 수행 최고 점수는 아바타 연기 모델 7종의 Following에서 36.90, 텍스트 조건부 월드 생성의 Following에서 25.93, 참조 편집 모델 3종의 Edit Success에서 15.00에 그쳤다.

Meta Expert: 스토리지와 검색 효율이 뛰어난 MoE를 위한 층간 전문가 공유

층을 가로질러 공유하는 Meta Expert를 사용한 MoE 모델은 층마다 Local Expert를 두는 기존 구조와 비교해 파라미터 중복이 적고, 크로스 엔트로피 손실이 낮으며, 다운스트림 태스크의 정확도가 높다고 보고되었다. 활성화하는 expert 수와 세분성을 고정한 조건에서는 Vanilla MoE의 70~80%에 해당하는 expert로 동등한 성능에 도달했다. 이론 분석에서는 Meta Expert가 은닉 상태에 더 유연한 잔차 경로를 제공해 정보 검색의 효율을 높인다는 점이 제시된 것으로 알려졌다.

RLSplat, 피드포워드 3D 가우시안 스플래팅의 자원 선형 예산 제어 제안

RLSplat는 가우시안 개수의 예산에 따라 표현 크기, 추론 지연, 최대 메모리가 선형으로 감소하는 피드포워드 3D 가우시안 스플래팅 프레임워크다. 밀집한 가우시안을 가지치기하지 않고, 국소 영역에 예산을 배분하는 정책을 학습해 필요한 개수를 직접 생성하며, 계층적 근방 탐색을 활용한 선형 비용의 디코딩으로 정밀도를 높인다. 제로샷 평가에서는 모든 예산에서 기존 예산 제어 기법을 웃돌았으며, 저예산 시 최대 4.1배 빠르고 최대 메모리는 9.6배 적은 것으로 보고됐다.

ReTrace, Computer-Use Agent의 복구 행동 분석

ReTrace는 computer-use agent의 복구 행동을 평가하기 위한 프레임워크다. 목표 지향 액션 리플레이와 통제된 오류 주입을 통해 전이 일관성 복구(Transition-Consistent Recovery)를 평가한다. 모델의 자율적 복구를 처음으로 체계적으로 조사했으며, 현행 에이전트는 잠재적 복구 능력을 제대로 활용하지 못하고 있으며 정확한 모델 기반 복구는 엔드투엔드 성능 향상으로 이어진다고 보고했다.

Looped Transformer 학습에서 절단 BPTT는 효과적인가, 스케일링 법칙으로 검증

완전한 BPTT로 학습한 Looped Transformer는 동일한 계산량 아래에서 절단 BPTT보다 낮은 손실을 보인다. 모델 크기도 가변으로 두면, 스케일링 법칙은 완전히 학습시키는 2루프를 최적 설정으로 특정한다. 이 설정은 계산량 최적의 비루프 모델보다 검증 손실이 낮으며, 비임베딩 파라미터는 약 27% 적고, 학습 계산량 증가는 8%에 그친다.

Code2Video-Compass：T2V·I2V·V2V를 지원하는 코드 기반 동영상 생성 벤치마크

Code2Video-Compass는 텍스트·이미지·동영상을 입력으로 하는 코드 기반 동영상 생성을 평가하는 범용 벤치마크로, T2V, I2V, V2V 세 가지 설정을 지원한다. 10개 카테고리, 24개 서브타입, 3가지 복잡성 차원으로 구성된 2,104개의 과제를 포함하며, 객관 지표 12종과 주관 지표 5종으로 평가한다. 9개 계열의 독점 및 오픈 웨이트 MLLM 15종을 평가한 결과, 최상위 모델도 고품질 동영상을 안정적으로 생성하기는 어려웠으며, 구성·동적 애니메이션·상태 의존적 복잡성이 높아질수록 성능이 떨어지는 경향이 나타났다.

AKV, 에이전트를 위한 캐시 엔지니어링 제안

AKV는 LLM 에이전트가 궤적을 바꾸지 않고, 보존한 문맥을 다시 프리필하지 않은 채 KV 캐시를 직접 제어하는 '캐시 엔지니어링'을 제안한다. 도구 응답을 롤링 방식으로 drop하는 캐시 정책은 임계값에 도달하면 요약하는 기존 방식과 비교해 평균 벤치마크 점수를 1.7포인트 높이고, 평균 비용을 27.7% 줄였다. AKV에서는 출력 처리량이 최대 1.2배, P95 요청 지연 시간이 1.5배 개선됐다. 캐시 정책의 재귀적 자기 개선은 전문가가 설계한 정책보다 비용을 7.1% 더 줄였다.

AI at Meta@AIatMetaAI 점수5252

AI at Meta가 소비자용 하드웨어에서의 에이전트형 작업을 위해 설계된 30B 오픈 웨이트 모델 Muse Glimmer의 기술 보고서를 공개했다. 단일 소비자용 GPU를 탑재한 Mac이나 PC에서 4비트 정밀도로 실용적인 속도로 동작한다. 비슷한 규모의 오픈 모델 가운데 도구 사용과 다단계 계획 부문에서 앞서 있다고 한다.

NVIDIA@nvidiaAI 점수3434

NVIDIA의 Jensen Huang과 독일의 Friedrich Merz 총리가 베를린에서 회담을 갖고, 독일의 제조업과 자동차 분야에서 독일의 공학 역량과 NVIDIA AI를 결합하는 방안을 논의했다. NVIDIA는 Agile Robots SE, Avelios Medical, Mirelo AI, Reflex Aerospace에 대한 신규 투자를 계획하고 있으며, 투자 대상은 로보틱스, 의료, 크리에이티브 툴, 우주 등 여러 분야에 걸쳐 있다.

TorchNeuron, AWS Trainium에서 HF 모델 실행이 그 어느 때보다 쉬워져

TorchNeuron은 AWS Trainium용 새로운 네이티브 백엔드를 제공하는 PyTorch 플러그인으로, Transformers, Diffusers, Kernels가 이를 네이티브로 지원한다. Transformers의 텍스트 생성에서는 사용 빈도가 높은 상위 100개 텍스트 생성 모델 아키텍처 중 89%가 별도 수정 없이 동작하며, 이는 Optimum Neuron v0.4.5의 46%에서 크게 확대된 수치다.

GitHub Copilot app에서 만든 세션을 VS Code에서 이어가는 방법

GitHub Copilot app에서 작성한 세션은 'Open in VS Code'를 통해 대화, 코드 변경, 작업 컨텍스트를 유지한 채 VS Code에서 계속할 수 있다. 에이전트의 변경 사항은 Source Control 뷰에서 줄 단위로 검토할 수 있으며, 수동 편집과 프로젝트의 로컬 실행·테스트도 같은 worktree에서 진행할 수 있다. 마지막으로 세션에 연결된 pull request에 변경 사항을 push할 수 있다.

독일, 산업 AI 분야 세계 선도 목표… NVIDIA가 지원

NVIDIA와 독일 연방정부는 산업용 AI 추진에 관한 공동 의향선언(Joint Declaration of Intent)에 서명했다. 피지컬 AI를 위한 선진 AI 모델을 공동으로 추진하여 산업 AI의 보급과 유럽 생태계 구축을 목표로 한다. 같은 날 Jensen Huang은 Agile Robots, Avelios Medical, Mirelo, Reflex Aerospace 등 4개 사에 대한 신규 투자를 발표했다. 이는 유럽 전역에 약 100억 달러 규모로 이루어지는 NVIDIA의 투자 약속의 일부다.

AI 에이전트에 맞춰 웹을 최적화하면 사람 이용자에게 불리해질 수 있다

AI 에이전트용으로 웹을 다시 설계하면 사람을 포함한 다른 이용자에게 쓰기 불편해질 수 있다고 지적한 기사다. Meta의 앱 「Muse」는 공개 첫 달에 500만 회 다운로드되었고, 에이전트 유래 웹 트래픽은 8월부터 9월 사이에 3배로 늘었다. 한편 Amazon은 Muse의 에이전트를 차단했고, Perplexity와의 소송에서 판결에 불복해 항소했다.

Tolan, 3,000만 달러 조달…생활 관리를 돕는 AI 컴패니언

AI 컴패니언 앱 Tolan이 3,000만 달러를 새로 조달했다. 이로써 누적 조달액은 두 배로 늘었다. PitchBook의 추정에 따르면 기업가치는 2억 6,800만 달러를 넘지만, 회사는 기업가치를 공개하지 않았다. 회사에 따르면 연간 경상수익은 "double-digit millions"에 이르렀으며, 25만 명이 넘는 활성 사용자가 지난 1년간 7,000만 건이 넘는 대화를 나눴다고 한다.

MiniMax M3.1 Flash, 중국 AI 가격 경쟁은 바닥이 보이지 않는다

MiniMax가 추론 모델 「MiniMax M3.1 Flash」를 공개했다. Artificial Analysis Intelligence Index에서 42점을 받아 이전 모델인 M3보다 13점 높으며, 작업당 비용은 절반 이하로 떨어졌다. API 가격은 입력 100만 토큰당 $0.15, 출력 100만 토큰당 $0.60이며, 컨텍스트는 최대 100만 토큰이고 텍스트와 이미지를 처리할 수 있다. 한편 Artificial Analysis에 따르면 환각률은 93%로 보고됐다.

AI at Meta@AIatMetaAI 점수4040

Meta는 오하이오주 New Albany의 기가와트급 슈퍼클러스터 「Prometheus」에서 Muse Wonder를 포함한 Muse 기반 모델을 학습했다고 밝혔다. Muse Wonder 학습에서 사전 학습의 goodput은 85% 이상, 강화 학습은 90% 이상이며, 평균 중단 간격은 약 47K GPU 시간이다. 수십만 개 규모의 GPU에서는 일부 호스트의 성능 저하가 전체 학습을 지연시키므로, 대규모에서의 내결함성을 중시하여 설계했다고 한다.

Tenstorrent, 기업가치 62억 달러 도달…오픈웨이트 AI 칩 확대 추진

Tenstorrent는 15억 달러를 조달했으며 기업가치는 62억 달러가 됐다. Trace Capital과 Innovation X가 주도했으며, 기업가치는 2024년 말의 26억 달러에서 두 배 이상 늘었다. 조달 자금은 오픈웨이트 AI 모델과 동영상 생성용 칩의 확대에 투입된다. CEO Jim Keller는 Galaxy 서버에서 DeepSeek 모델을 구동할 수 있었던 것을 계기로 독립성을 유지하면서 추가 조달을 결정했다고 Bloomberg에 밝혔다.

Replika 창업자 Kuyda, AI 어시스턴트 「Wabi」를 전체 사용자에게 공개

Replika 창업자 Eugenia Kuyda는 여러 에이전트형 스레드를 만들 수 있는 멀티플레이 지원 개인용 AI 어시스턴트 「Wabi」를 전체 사용자에게 정식 공개했다. 이메일을 연동하면 에이전트가 앱을 자동으로 만들며, 스레드는 그룹 채팅으로 공유할 수 있다. Wabi는 SOC 2를 준수하며, 사용자 데이터는 주로 미국에 저장된다. 현재는 무료이며, 비즈니스 모델은 아직 정해지지 않았다.

OpenAI Developers@OpenAIDevsAI 점수77

COOKED: 1화 🧑‍🍳 https://x.com/i/broadcasts/1RKZzBELBbXKB

OpenAI Developers@OpenAIDevsAI 점수1414

Codex로 개발 중인 것을 소개합니다: https://x.com/i/broadcasts/1RKZzBELBbXKB

Laplace Intelligence, 로봇·자율주행차를 실환경 투입 전 AI로 레드팀 검증

Laplace Intelligence는 로봇이나 자율주행차 같은 물리 AI를 실환경에 투입하기 전에, AI 에이전트로 약점과 고장 지점을 의도적으로 공략하는 자동 레드팀 검증을 다루는 스타트업이다. 기반은 Nvidia의 Cosmos를 post-training한 시뮬레이션 환경이며, 실제 세계의 지도 데이터 등으로 환경을 재현한다. 수익은 주로 자율주행 분야에서 얻고 있으며, 고객에는 Bot Auto와 일본의 대형 자동차 제조사가 포함된다.

Kling AI, 영상 생성 모델 Kling 4.0 공개… 스테레오 음성·다국어 립싱크 지원

Kling AI가 동영상 생성 모델 Kling 4.0을 공개했다. 한 번의 생성으로 최대 30초 길이의 동영상을 출력할 수 있으며, 최대 10장의 키프레임 이미지를 입력할 수 있다. 스테레오 음성과 10개 이상 언어의 립싱크를 지원하며, 저비용·고속의 경량 버전인 Kling 4.0 Flash도 함께 제공한다. API 요금은 아직 발표되지 않았다.

AI가 만든 게임 복제품, 인디 개발자들이 작품 공개를 망설이게 하다

AI가 생성한 게임 복제품이 확산하면서 인디 개발자들이 작품 공개를 망설이는 상황이 커지고 있다. McPixel 개발자 Sos Sosowski는 모방작으로 피해를 입은 개발자들의 목소리를 기록해 왔으며, "공유하지 않으면 팔리지 않고, 공유하면 도둑맞는다"는 딜레마를 지적했다. 회전 테트리스형 프로토타입을 복제당한 Holmér는 모방작이 줄어든 지금은 서두르지 않고 납득할 만한 작품을 만들 여유를 느낀다고 말했다.

Google, 엣지 모델 기술 레이어 LiteRT Tensor API 공개

Google은 LiteRT 스택에 C++로 모델을 연산 단위로 구성하는 경량 기술 레이어 'LiteRT Tensor API'를 공개했다. 같은 그래프를 CPU, GPU(ML Drift), NPU에서 실행할 수 있으며, XNNPACK을 거치면 모델 파일 없이도 CPU에서 동작한다. SAM 2의 브라우저 구현에서는 코딩 에이전트를 활용해 10fps 미만에서 30fps 이상으로 개선했다.

ADK와 Gemini 3.8 Live로 처리 중에도 무음이 되지 않는 음성 에이전트를 구축하는 방법

ADK의 스트리밍 도구를 사용하면 음성 에이전트는 시간이 오래 걸리는 도구를 실행하는 동안에도 응답을 이어갈 수 있다. 사내 매출 보고서 벤치마크에서 gemini-3.8-live는 블로킹 도구에서 스트리밍 도구로 전환한 결과, 에이전트가 첫 발화를 시작하기까지의 시간이 14.4초에서 1.2초로 단축되었다. 도구는 함수를 async generator로 정의하고 return을 yield로 바꾸기만 하면 NON_BLOCKING으로 처리된다.

Deepgram, AWS Trainium에서 음성 AI 추론을 대규모로 최적화한 방법

Deepgram은 음성 인식 모델 Nova-3를 AWS Trainium2로 옮겨, 오프라인 배치 처리에서 기존 컴퓨팅 기반보다 달러당 처리 음성량을 11~70% 늘렸다고 밝혔다. 최종 구성에서는 단일 Amazon EC2 trn2.3xlarge 인스턴스에서 8개의 모델 레플리카를 동작시킨다. 커널 튜닝에서는 FFN 레이어가 배치 크기 96에서 레퍼런스 커널 대비 지연 시간을 2.0배 줄였고, depthwise conv1d는 1.5배 빨라졌다.

TwelveLabs、Pegasus 1.5를 Amazon Bedrock에서 제공 시작

TwelveLabs의 동영상 언어 모델 Pegasus 1.5가 Amazon Bedrock에서 이용 가능해졌다. 긴 동영상을 분석해 지정한 조건에 맞는 구간을 타임스탬프가 포함된 구조화된 JSON으로 반환한다. Amazon S3의 URI 또는 base64 문자열로부터 사전 인덱스 작업 없이 동영상을 분석할 수 있으며, 동영상 처리 능력은 요청 1건당 최대 2시간까지 확대됐다(Pegasus 1.2는 1시간).

OpenAI Developers@OpenAIDevsAI 점수1313

Codex로 무엇을 만들어 왔나요?

Gemini로 코디를 짜는 4가지 요령

애슬리트 전문 스타일리스트 Sydney Bordonaro가 Gemini를 활용한 코디 방법을 4가지 요령으로 소개한다. 옷 사진과 본인 사진을 업로드하면 한 장의 이미지로 합쳐져, 주문 전에 전체 모습을 확인할 수 있다. 신발이나 아우터 등 개별 아이템은 대화를 통해 변경을 지시할 수 있다.

WhatsApp 도움말 페이지에서 Meta 챗봇용 숨김 지시문 노출

WhatsApp 도움말·FAQ 페이지 약 80건의 코드에 Meta의 대규모 언어 모델을 위한 지시문이 포함되어 있던 것으로 드러났다. 'WHAT NOT TO SAY'라는 제목의 섹션과 법률 조언을 제공하지 않도록 지시하는 내용이었다. WIRED의 문의 이후 해당 텍스트는 모든 페이지에서 삭제됐으며, WhatsApp 홍보팀은 이것이 표시 오류였고 이미 수정됐다고 설명했다.

Google Gemini@GeminiAppAI 점수3838

당사 팀은 Mac 버전 Gemini 앱의 Google Antigravity를 사용해 Gemini 4 Argon으로 3D 마법사 체스 게임을 처음부터 제작했다. 멀티 에이전트 Blender 워크플로를 연계해 모델링, 디자인, 매끄러운 실시간 애니메이션을 담당했으며, 아이디어에서 플레이 가능한 상태까지 한 번에 완성했다.

Hugging Face@huggingfaceAI 점수3333

Local AI 202: 투기적 디코딩으로 대폭적인 고속화 실현 https://x.com/i/broadcasts/1NGaroZveLVJj

AI로 스마트TV의 광고와 불필요한 앱을 제거하는 움직임 확대, Claude Code 등 활용

개발자와 바이브 코딩(vibe coding)을 하는 사람들이 Claude Code 같은 AI 에이전트로 스마트 TV의 광고와 불필요한 앱을 제거한 사례를 공유하고 있다. 「dumbtv」나 「cleanyourtv」 같은 GitHub 상의 해결책도 등장했으나, 모두 개발 중인 단계이며 실패 사례도 보고되고 있다.

NVIDIA, 유럽 공영방송용 주권형 에이전트 기반 확충

NVIDIA는 유럽방송연맹(EBU)과 협업해 유럽 공영방송국을 위한 주권형 프레임워크를 확충한다고 밝혔다. 주권형 클라우드 사업자와 오픈 모델 개발 기업 등을 새로 참여시키고, 방송국이 데이터와 모델을 직접 관리하면서 에이전트를 도입할 수 있도록 참조 아키텍처를 정했다. Adobe Frame.io는 NVIDIA GPU로 동영상 검색을 가속해 임베딩 생성 속도가 약 5배, 처리량은 최대 4배 향상됐다고 전했다.

Nvidia, 에이전트용 오픈 웨이트 모델 「Nemotron 3.5」 발표

Nvidia는 상시 가동 에이전트와 엣지 컴퓨팅을 위한 오픈 웨이트 모델을 발표했다. 기업용 「Nemotron 3.5 Super VL」은 120B 파라미터로, 지시 따르기와 도구 활용 작업에서 Nemotron 3 Ultra에 가까운 정확도를 보인다고 한다. PC용으로는 경량 모델 「Nemotron 3.5 Bolt 74B-A9B 24GB」와 「Bolt E4B」를 내놓았다. Super VL과 Bolt 74B-A9B는 이미 제공을 시작했으며, Bolt E4B는 이번 달 후반에 제공될 예정이다.

Jack Clark, IMF 회의 강연서 “특이점은 이미 시작됐다” 주장…AI 시대 대비와 자제 촉구

Anthropic 공동창업자 Jack Clark는 방콕에서 열린 IMF 회의의 Per Jacobsson 강연에서 AI가 과학의 최전선에서 작동하기 시작했으며 특이점은 이미 시작됐다고 말했다. Humanity's Last Exam에서는 Claude Opus 5.5가 67.7%, FrontierMath에서는 94%에 도달했다고 소개했다. 아울러 과학·로봇공학 분야 인프라에 대한 투자와 AI 연구의 감독 및 이해 범위에 관한 선택을 정책 담당자들에게 요구했다.

디즈니, Character.AI 소송 승계 없이 인수할 길 확보

디즈니는 Character.AI의 파산 절차를 통해 이 회사의 직원과 기술 기반 대부분을 인수하면서, 진행 중인 소송과 주 당국의 조사는 떠안지 않는 방식을 추진하고 있다. 거래가 완료되고 법원의 승인을 받으면 이런 형태가 되지만, 조사를 진행 중인 각 주는 파산 계획에 이의를 제기할 권리를 보유하고 있다.

AI 에이전트 무리로 100곳 넘는 웹사이트 침입…John Deere, SharkNinja 피해

AI 보안 기업 Norforge에 따르면, 해커가 거의 자율적으로 움직이는 AI 에이전트 무리를 이용해 100곳이 넘는 웹사이트에 침입했다. Reuters는 피해 기업에 John Deere, SharkNinja, Cummins가 포함된다고 보도했다. 공격에는 오픈소스 AI 플랫폼 Cairn이 사용됐으며, 미국, 캐나다, 호주, 일본의 기업이 표적이 됐다.

JB 프리츠커 일리노이주 주지사, AI는 장수에 도움이 되지만 핵무기와 같은 위협이 될 수도 있다고 말해

일리노이주 JB 프리츠커 주지사는 Decoder와의 인터뷰에서 AI, 기술, 프라이버시 관련 정책과 중간선거를 앞둔 정치 지형 변화에 대해 이야기했다. 주지사는 데이터센터와 프라이버시가 여야를 가리지 않고 반발을 부르고 있는 분야라고 짚으며, 정부는 기업과 협력할 뿐 아니라 주민을 지키는 투사로서 적극 나서야 한다고 주장했다. 베어스(Bears)의 이전 문제에 대해서는 NFL과 협의 중이며, 시카고 또는 Arlington Heights 등 일리노이주 내에 구단을 남기도록 협상하고 있다고 말했다.