OpenAI、Images 2.6 발표

OpenAI는 이미지 생성 기능 「Images 2.6」을 ChatGPT, Codex, API에서 제공하기 시작했다. 기존보다 50% 빠르게 이미지를 생성하며, API에서는 GPT‑Image‑2.6의 Flare와 Sunburst를 선택할 수 있다. GIF를 이용한 애니메이션 제작도 지원하며, 이미지 마크업 기능이 API에 추가되었다.

합성 이미지 검색을 위한 Factorized MLLM Embeddings「FactEmbed」

FactEmbed는 합성 이미지 검색(CIR)에서 질의 이해와 임베딩 구축을 분리하고, 검색 전에 목표 이미지의 시각적 변경을 시뮬레이션하는 factorized latents를 활용하는 기법이다. CIR 벤치마크 전반에서 기존 기법을 앞섰다고 평가되었다. 학습에서는 요인 단위의 contrastive loss를 최적화하는 한편, 분해된 표현을 MLLM의 더 깊은 attention 층으로 distill한다. 추론에서는 [EOS] 토큰에 의한 글로벌 임베딩과, 평균 풀링한 요인 표현에 의한 후보 리스트 재랭킹을 같은 forward pass에서 수행한다.

VidUEU-Agent, 동영상에서 지시 데이터를 구축하는 멀티모달용 데이터 큐레이션 에이전트

VidUEU-Agent는 원본 동영상으로부터 멀티모달 이해, 이미지 편집, 통합 과제를 위한 지시 데이터를 자동으로 구축하는 에이전트형 데이터 큐레이션 프레임워크다. 동일한 초기 체크포인트에서 BAGEL을 30K 샘플씩 미세 조정하는 4회의 반복을 수행하면, 3개의 피드백용 벤치마크 전반에서 성능이 향상된다. 또한 8,268개의 동영상에서 10만 건의 지시 샘플을 담은 VidUEU-100K 데이터셋도 구축되었다.

DreamX: 비디오 확산 모델, 범용 잠재 행동 학습기로 활용 가능

DreamX는 사전 학습된 비디오 확산 모델을 범용 잠재 액션 학습기로 전용해, 외형에 의존하지 않는 컴팩트한 잠재 액션을 추출하는 기법이다. 각 잠재 비디오 프레임을 1,200개에서 4개 토큰으로 300배 압축했으며, LARY-Bench에서 잠재 액션 모델 가운데 최고 수준의 성능을 달성했다. 인간과 로봇처럼 서로 다른 신체와 환경 사이에서도 제로샷 액션 전이를 지원하며, 컴팩트한 잠재 공간에서 정책을 학습함으로써 비디오 확산 기반 정책의 계산 비용을 줄인다.

Route Anything, 범용 AI 시스템의 모델·정책 라우팅 연구

Route Anything은 범용 AI 시스템에서 전문 모델과 정책을 동적으로 선택·연계하는 라우팅을 검증하고, 입력별 오라클 라우팅이 최적의 고정 후보를 5.4포인트 웃돈다는 것을 보였다. 학습형 라우터는 16개 벤치마크에서 최적의 고정 후보를 0.3포인트 웃돌았으며, 참조 모델 대비 평균 8.82배의 효율 향상을 나타냈다.

YANAMI, 다턴 상태 유지형 대화를 위한 대규모 멀티모달 데이터셋과 벤치마크 제안

YANAMI는 다턴에 걸친 대화 상태 추적을 평가하기 위한 대규모 멀티모달 대화 데이터셋 'YANAMI-400K'(대화 40만 건, 이미지 200만 장 이상, 발화 260만 턴)와 벤치마크 'YANAMI-Bench'다.

Kling 사례로 보는 동영상 생성과 멀티모달 이해의 노하우

Kling 개발에서 얻은 멀티모달 이해의 노하우를 정리한 보고서로, 동영상 생성 품질은 데이터부터 평가에 이르는 연쇄 과정에 멀티모달 이해가 반영된 결과라고 주장한다. 이미지, 동영상, 음성, 음성이 포함된 동영상, 인터리브 입력을 통합적으로 다루는 Kling-MLLM을 기반으로 하여 각 공정을 전문화했다. 캡션의 설명 밀도, 보상 모델 설계, 자동 평가 방법도 검토하고 있다.

PhotoGuider, 구도를 고려한 360° 파노라마의 시점 선택과 프레이밍 제안

PhotoGuider는 360° 파노라마에서 구도를 고려해 시점 방향을 고르고, 카메라 파라미터를 출력해 프레이밍하는 기법이다. 120명을 대상으로 한 블라인드 랭킹 조사에서 100개의 파노라마 장면 중 이 기법의 프레이밍이 53.2%로 1위를 차지해, 비교 대상의 27.3%와 19.5%를 웃돌았다. 표준적인 2D 크롭 벤치마크 2종에서는 정답 크롭에 대한 평균 mIoU가 가장 높았다.

Google, 10월 AI 발표 정리 공개… Gemini 4 Argon·Carbon, Genie 4 중심

구글이 10월 AI 관련 발표를 정리한 기사를 공개했다. 중심은 Gemini 4 Argon과 Gemini 4 Carbon, 그리고 월드 모델 Genie 4다. Argon은 Google AI Studio, Gemini API, Gemini 앱 등을 통해 제공되며, Carbon은 미국 정부와 일부 사이버 방어 기관이 참여하는 사전 테스트 단계에 있다.

Amazon Nova Multimodal Embeddings와 Amazon Bedrock AgentCore를 활용한 에이전트형 엔지니어링 지원

AWS는 Amazon Bedrock AgentCore와 Amazon Nova Multimodal Embeddings를 사용해 항공우주 부품의 대체 평가를 지원하는 멀티 에이전트형 어시스턴트를 구축하는 방법을 소개했다. 계획 담당이 세 개의 전문 에이전트에 작업을 분배하고, 결정론적 허용오차 규칙으로 후보 부품을 채점한다. 대체 승인은 하지 않으며, 최종 판단은 엔지니어가 맡는다.

Minecraft에서 GPT-6.1 Sol 에이전트 50개체가 사회를 형성, 닭 주고받기 규칙과 비료 담당관을 스스로 만들어 내다

GPT-6.1 Sol 에이전트 50개체를 Minecraft에서 3시간 동안 가동한 실험에서, 에이전트들은 투표 없이 'Ada'를 리더로 선출하고 식량 관리와 어업 교대를 포함한 체계를 만들어 냈다. 첫날 밤에는 22개체가 사망했고, 이후 Ada가 대규모 건설과 채굴, 원정 중단을 지시했다. 대전 형식의 Bed Wars에서는 GPT 에이전트 10개체가 Claude Opus 5.5의 10개체를 상대로 6승 3패로 승위를 기록했다.

Intel과 ZKH, 납품 확인 전에 부품 불일치를 검출하는 산업용 AI 발표

ZKH Group의 자회사 LingLong Intelligence와 Intel은 Intel Connection 2026(쑤저우)에서 산업용 멀티모달 AI 모델 "LingLong Insight 1.0"을 발표했다. 이미지와 텍스트를 통합적으로 이해하는 모델로, 납품서, 포장, 라벨 이미지에서 사양을 대조하고 차이가 있으면 작업자에게 알린다.

Adobe, Photoshop 숙련자처럼 편집 도구를 쓰는 AI 에이전트 'EditAgent' 연구

Adobe Research와 캘리포니아대학교 샌디에이고 캠퍼스(UCSD) 연구진은 이미지 편집용 AI 에이전트 'EditAgent'를 개발했다. 범용 편집기와 전용 도구를 작업 단계별로 나눠 쓰며, 표준 언어 모델이 확대 이미지, 변화 영역 맵, 밝기와 색상 통계값 등 검증 데이터를 바탕으로 후보를 비교하는 구조다. 600건의 편집 테스트에서 범용 편집기 Flux-2-Klein-9B는 42.7%만 실제로 쓸 만한 결과를 냈다. 반면 검증 데이터를 제공했을 때는 Qwen3.8-27B가 81.3%의 비율로 유용한 후보를 골라, 미세 조정된 EditScore-72B(74.8%)를 앞질렀다.

Google, 작업 중인 사용자의 요구를 이해하는 동영상 AI 'StreamVibe' 연구

Google을 중심으로 한 연구팀이 작업 모습을 보면서 언제 말을 꺼낼지 스스로 판단하는 동영상 에이전트 'StreamVibe'를 소개했다. 기반 모델은 Qwen3.5-9B로 보이는 'StreamVibe-VL'은 응답 타이밍과 품질에서 다른 모델을 10.7% 앞섰다고 연구팀은 밝혔다. 한편 5분을 넘는 동영상에서는 테스트 대상인 모든 모델에서 적절한 타이밍을 고르는 정확도가 떨어졌으며, 대화 기록을 바탕으로 한 내용 지표는 최대 61.5% 하락했다.

Apple, iPhone 18 Pro·iPhone 18 Pro Max 발표…가변 조리개 카메라 탑재

Apple이 「Surprise and Shine」 행사에서 iPhone 18 Pro와 iPhone 18 Pro Max를 발표했다. 가격은 $1,199와 $1,299부터이며, 사전 예약은 9월 12일, 출시는 9월 18일이다. AI 처리를 위해 설계된 A20 Pro 칩을 탑재했고, 48MP 메인 카메라에는 물리적 가변 조리개를 적용했다.

Youtu-Parsing-Omni, 단일 인코더와 스키마로 모든 모달리티를 구조화하는 5B 파서

Youtu-Parsing-Omni는 문서, 이미지, 음성, 동영상을 시공간 기반의 구조화된 레코드로 변환하는 5B 규모의 옴니모달 파서다. OmniDocBench v1.6에서 Overall 96.96점을 기록했으며, 오픈 웨이트 모델 가운데 OmniParsingBench에서 Avg. 75.08점으로 1위에 올랐다. 코드와 모델 가중치는 공개되어 있다.

L3G-World, 잠재 3D 가우시안 메모리로 실시간 무한 세계 생성 구현

L3G-World는 잠재 3D 가우시안 메모리와 비디오 확산 트랜스포머(DiT)를 번갈아 자기회귀적으로 갱신하여, 공간적으로 일관된 대화형 세계를 실시간으로 생성하는 기법이다. 메모리는 새로 관측된 영역에 가우시안을 생성하고 기존 가우시안을 정제하므로, 메모리 규모는 스트림의 길이가 아니라 장면의 범위에 따라 늘어난다. 각 지표에서 가장 효율적인 기존 3D 메모리 기법과 비교하면, 3D 프리미티브는 최대 38.6분의 1로 줄고, 메모리 갱신은 3.2배, 메모리 렌더링은 359배 빨라져 9 FPS의 실시간 생성이 가능해진다.

Meta, AI 패션 앱 「Style Sketch」 조용히 공개

Meta는 보유한 옷으로 코디를 제안하는 AI 패션 앱 「Style Sketch」를 인도네시아, 싱가포르, 태국에서 iOS와 Android용으로 공개했다. Instagram에서 AI로 옷장을 만들 수 있고, 체형과 피부색에 맞춘 모델로 가상 피팅을 할 수 있다. Meta는 공식 입장을 내놓지 않았으며, 다른 지역으로의 확대 여부는 불분명하다.

통합형 멀티모달 모델을 위한 연속 공간 잠재 추론(LARC)

LARC는 통합형 멀티모달 모델(UMM)의 이미지 생성에서 이산 토큰이 아니라 연속적인 은닉 상태 위에서 추론을 수행하는 잠재 추론 프레임워크이다. GenEval에서는 BAGEN을 7%p 웃도는 state-of-the-art를 달성했으며, 병렬과 순차 모두의 테스트 시점 스케일링에서도 토큰 기반 생성을 능가한다고 보고되었다. 학습은 커리큘럼 지도 파인튜닝(SFT)과 정답 데이터를 사용하지 않는 정보 이득 강화학습(RL)의 2단계로 구성된다.

Google Gemini@GeminiAppAI 점수5555

Gemini 앱에서 나만의 아바타를 만들어 공유하고, 친구와 함께 이미지나 동영상에 등장시킬 수 있게 되었다. 아바타 공유, 프롬프트 내 상호 태그 지정, 캐릭터와 목소리의 일관성 유지를 지원하며, 접근 권한은 언제든지 추가하거나 삭제할 수 있다.

Gemini 앱, 채팅 안에서 문서·PDF·슬라이드·스프레드시트 생성, 미리보기 및 편집 가능

Google는 Gemini 앱에 문서, PDF, 슬라이드, 스프레드시트, 코드 등을 채팅 안에서 생성, 미리보기, 편집할 수 있는 기능을 도입했다. PDF는 웹과 모바일에서, 그 밖의 형식은 웹에서만 지원된다. Gemini 앱을 사용할 수 있는 모든 언어의 모든 사용자가 이용할 수 있다.

NVIDIA Nemotron 모델을 Amazon EKS 및 SageMaker HyperPod EKS에서 구동해 에이전트형 AI를 가속

NVIDIA Nemotron 3.5 Super VL을 Amazon EKS, EKS Auto Mode, SageMaker HyperPod EKS에 배포하는 방법을 설명한다. 총 파라미터 120B, 토큰당 12B가 활성화되는 MoE 모델로, 최대 1M 토큰의 컨텍스트를 지원하며 텍스트, 이미지, 문서, 동영상을 입력할 수 있다.

Hugging Face, Mistral Large 4(Le Chonk) 소개… 약 1T 규모의 MoE 멀티모달 모델

Mistral Large 4(애칭 Le Chonk)가 Hugging Face에서 공개됐다. 텍스트와 이미지를 입력할 수 있는 다국어 MoE 모델로, 총 파라미터는 약 1T, 활성 파라미터는 49B, 컨텍스트 윈도우는 1M 토큰이다. Mistral Ecosystem Open-Weight License로 배포되며, transformers, vLLM, llama.cpp가 day-0부터 지원한다.

동영상 생성과 에이전트 하네스의 융합: 에이전트형 생성, 월드 모델링, 재귀적 자기 개선

동영상 생성과 월드 모델을 계획, 도구 활용, 상태 관리를 담당하는 실행 기반인 '에이전트 하네스'로 통합하는 방향성을 정리한 보고서다. 에이전트형 동영상 생성, 에이전트형 월드 모델링, 동영상 모델 개발에서의 재귀적 자기 개선이라는 세 가지를 검토한다. 음성과 영상의 인지, 장기 계획, 메모리, 스킬 재사용, 다중 에이전트 협업을 필요한 능력으로 제시하고, 자율적 영상 제작, 출처 추적(provenance), 비용 계산, 평가 등의 과제도 짚는다.

Elorian、시각 추론 벤치마크 「DecoyCount」에서 Glimpse 검증

Elorian의 시각 추론 모델 「Glimpse」가 공동 공개된 벤치마크 「DecoyCount」에서 50.48%를 기록했다. 논문에서 최고 성적을 낸 GPT-6 Astra의 43.17%를 웃돌았지만, 이는 사내 테스트의 단일 실행 결과이며 논문의 모델은 3회 평균값이라고 밝혔다. DecoyCount는 1,660문항으로 구성되며, 시각과 추론을 동시에 검증한다는 점이 특징으로 꼽힌다.

Google, 실시간 대화형 세계를 생성하는 Genie 4 발표

Google은 현실적인 인터랙티브 시뮬레이션을 생성하고 사용자의 지시에 즉각 반응하는 멀티모달 모델 "Genie 4"를 발표했다. 영상뿐 아니라 물체의 물리적 움직임과 공간 음향도 생성할 수 있다. 현재는 신뢰할 수 있는 파트너를 대상으로 한 비공개 리서치 프리뷰이며, 향후 Google AI Ultra 구독자, Gemini API, Google AI Studio에서도 제공될 예정이다.

Wizard, 에이전트형 제어로 임의의 게임 세계를 실시간 조작

Wizard는 캐릭터 애니메이션, 장면 조작, 게임 로직을 영상 생성과 분리하고, 에이전트형 제어를 통해 게임 세계를 실시간으로 조작하는 기법이다. 750개 장면과 178개 캐릭터에 걸친 50.3시간 분량의 대응되는 프록시-영상 쌍을 구축했으며, 인과적 적응과 소수 단계 증류를 통해 24 FPS에서의 조작을 구현했다. 또한 본 적 없는 장면, 캐릭터, 동작에 대한 제로샷 일반화 성능도 보여준다.

Gemini 앱, 인터랙티브 '몰입형 탐색' 라이브러리 공개

Gemini 앱에 미시 세계에서 우주까지 계층별로 주제를 깊이 파고들 수 있는 'immersive explorations' 라이브러리가 추가되었다. Gemini student hub의 'Try immersive explorations'에서 이용할 수 있으며, 앞으로는 채팅 안에서 바로 열 수 있도록 할 예정이다. 지원 언어는 영어, 인도네시아어, 힌디어, 브라질 포르투갈어, 프랑스어, 중국어 간체이며, 그 밖의 언어는 현재 영어로만 제공된다.

XREAL AURA, 시청·작업·게임을 지원하는 유선 XR 글래스

XREAL과 Google은 Android XR을 탑재한 최초의 유선 연결 XR 글래스 「XREAL AURA」를 발표했다. 주문은 미국, 캐나다, 한국에서 오늘부터 시작되며, 일본에서는 11월 2일부터 접수한다. 글래스 본체는 95그램 미만이며, 무거운 처리는 유선으로 연결되는 휴대형 컴퓨트 팩이 맡고 Snapdragon Reality Elite를 탑재한다. 연말까지의 도입 가격은 1,099달러부터이며, 대상은 만 18세 이상이다.

Zooming without Zooming v2(ZwZ2), 시각적 증거의 연결을 통한 일반화 가능한 멀티모달 지각 강화

EvidenceConnect는 단일 이미지 안의 관련 영역을 확대해 보여주는 방식으로, 비교·집계·연쇄 추론이 필요한 질문을 합성하는 데이터 합성 프레임워크다. 이를 이용해 RLVR로 학습한 ZwZ2는 벤치마크에 맞춰 조정하지 않은 합성 데이터로도 세밀한 지각과 공간 지각이 향상되었으며, 엠바디드 AI의 공간 추론, 멀티모달 장문맥 이해, 멀티모달 에이전트 작업, 일반 시각 추론에서도 개선이 나타난 것으로 알려졌다. Hugging Face에는 inclusionAI/ZwZ2-27B, ZwZ2-9B, ZwZ2-4B의 모델 페이지가 올라와 있다.

VibeVideoBench, 코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크

코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크 VibeVideoBench가 발표되었으며, 상위 시스템은 다수의 과제에서 핵심 요건을 충족하는 한편 시간 관리 실패로 자주 걸려 넘어지는 것으로 나타났다. 영어와 중국어의 239개 과제(12개 카테고리)로 최신 에이전트 9종을 평가한 결과, GPT-6 Astra와 Claude Opus 5.5가 각각 1위와 2위를 차지했으며, 최상위 시스템은 76.3%의 과제에서 핵심 요건을 모두 충족했다. 실패한 동영상의 약 4분의 3은 최종 렌더링의 시작이 늦어지거나, 처리가 지나치게 느리거나, 아예 시작되지 않은 데서 비롯된 것이었다.

이산 시각 토큰은 의미적 손실 없이 시각 신호를 표현할 수 있는가

Factorized Vector Quantization은 상호 보완적인 특징 뷰를 병렬 코드북으로 양자화하여, 이산 시각 토큰을 멀티모달 이해에서 연속 표현에 근접한 성능으로 끌어올리는 기법이다. 양자화 오차가 커도 이해 성능이 높은 경우가 있으며, 성능을 좌우하는 것은 이산 인덱스의 실효 비트 예산이라고 제시하고 있다. 산업 규모의 데이터로 학습한 모델은 9개 지표 평균에서 UniAR를 22.8%, Emu3-Chat을 59.2% 앞섰으며, 저자들이 아는 한 Qwen3-VL 등과 경쟁하는 이산 표현 모델로는 처음이라고 밝히고 있다.

PDRVLA, 물리 동역학 표현을 갖춘 Vision-Language-Action 모델

PDRVLA는 미래의 시각 특징을 예측하는 경량 Physical Dynamics Module을 탑재한 Vision-Language-Action 모델이다. 온라인 동영상 생성을 하지 않아 지연을 피하면서, 4개의 시뮬레이션 벤치마크에서 LIBERO 99.3%, LIBERO-Plus 89.9%, RoboTwin 2.0 93.6%, SimplerEnv 81.5%의 성공률을 달성했다.

CodeCap-Bench, 동영상 캡션으로서 코드의 유효성 평가

실행 가능한 코드를 동영상 캡션으로 활용하면 자연어보다 질의응답의 추론 정확도와 영상 재구성의 충실도가 높아지는 것으로 나타났다. 이를 검증하기 위해 구조화된 2D 콘텐츠 동영상 323편을 5개 카테고리로 나누고, 상세한 주석과 다단계 평가 프레임워크를 갖춘 CodeCap-Bench를 제안했다. 주요 상용 MLLM은 유망한 코드 캡션 능력을 보였으나, 복잡한 시간적 변화를 포착하는 데에는 여전히 과제가 남아 있으며 오픈소스 모델은 크게 뒤처지는 것으로 나타났다.

자유 서술 대화형 월드 생성을 지향하는 Hy-Nomas

Hy-Nomas는 8B 확산 백본을 갖춘 영상 월드 모델로, 여러 턴에 걸친 자유 서술 텍스트 지시와 연속 카메라 제어를 지원한다. 인과적 어텐션과 구조화된 캡션으로 대화 이력을 유지하며, 행동 지시는 의도한 시간 구간으로 한정한다. 인간 평가에서 기존 월드 모델을 앞섰으며, 모델 가중치, 코드, 벤치마크를 공개했다.

Google DeepMind, 실시간 월드 모델 Genie 4 발표…음성 및 대화 지원

Google DeepMind는 Genie 3의 후속인 월드 모델 Genie 4를 발표했다. 장면을 프레임 단위로 계산하며, 키보드 조작과 텍스트 프롬프트에 반응한다. 음성과 등장인물의 대화도 생성하며, 현재는 일부 테스터만 리서치 프리뷰로 이용할 수 있다.

LFM3로 전문 특화형 멀티모달 모델 구축하기

LFM3는 텍스트, 비전, 음성, 옴니, 의사결정의 6개 모델을 2B급 파라미터의 공통 백본으로 통일한 차세대 Liquid Foundation Models이다. LFM3-1.7B는 파라미터 수가 35% 적음에도 불구하고 이전 세대인 LFM2.5-2.6B를 능가한다. 텍스트 모델은 4비트 정밀도에서 약 1GB이며 256K 컨텍스트 윈도우를 갖추고 있고, 각 모델은 단일 GPU에서 파인튜닝할 수 있다.

Google DeepMind, 월드 모델 Genie 4를 리서치 프리뷰로 공개… 음성 생성과 실시간 조작 지원

Google DeepMind는 월드 모델 Genie 4를 리서치 프리뷰로 공개했다. 시뮬레이션 도중 프롬프트를 입력해 장면을 바꿀 수 있으며, 음악과 환경음, 대화 음성도 실시간으로 생성한다. 신뢰할 수 있는 테스터가 이용할 수 있으며, 몇 주 안에 Google AI Ultra의 Project Genie 등으로 확대될 예정이다.

Google DeepMind, 월드 모델 'Genie 4' 발표… 음성 네이티브 생성 및 실시간 조작 지원

Google DeepMind가 월드 모델 Genie 4를 발표했다. 실시간 대화형 시뮬레이션에서 사실감이 향상됐으며, 음악, 환경음, 대화 음성을 월드와 동시에 생성할 수 있는 네이티브 멀티모달 모델이다. 현재는 신뢰할 수 있는 테스터를 대상으로 한 리서치 프리뷰로 제공되며, Google AI Ultra의 Project Genie 등에 순차적으로 확대될 예정이다.

Google DeepMind, 월드 모델 Genie 4 발표

Google DeepMind가 월드 모델 Genie 4를 발표했다. Genie 3에서 여러 면으로 개선되었으며, 더 사실적인 물리 표현과 인물 묘사를 내세운다. 업데이트된 Gemini 모델의 활용이 개선의 한 요인으로 꼽히며, 이용에는 높은 요금이 필요할 수 있다.