본문 바로가기

#멀티모달

오늘 0건
11월 3일화
  1. Google AI Blog78

    Google, 10월 AI 발표 정리 공개… Gemini 4 Argon·Carbon, Genie 4 중심

    구글이 10월 AI 관련 발표를 정리한 기사를 공개했다. 중심은 Gemini 4 Argon과 Gemini 4 Carbon, 그리고 월드 모델 Genie 4다. Argon은 Google AI Studio, Gemini API, Gemini 앱 등을 통해 제공되며, Carbon은 미국 정부와 일부 사이버 방어 기관이 참여하는 사전 테스트 단계에 있다.

    선정 이유: Gemini 4 Argon·Carbon과 Genie 4를 중심으로, 10월 Google의 AI 관련 발표를 분야별로 정리해 전체 흐름을 파악하기 좋다.

10월 29일목
  1. Hugging Face Blog81

    Hugging Face, Mistral Large 4(Le Chonk) 소개… 약 1T 규모의 MoE 멀티모달 모델

    Mistral Large 4(애칭 Le Chonk)가 Hugging Face에서 공개됐다. 텍스트와 이미지를 입력할 수 있는 다국어 MoE 모델로, 총 파라미터는 약 1T, 활성 파라미터는 49B, 컨텍스트 윈도우는 1M 토큰이다. Mistral Ecosystem Open-Weight License로 배포되며, transformers, vLLM, llama.cpp가 day-0부터 지원한다.

    선정 이유: 아키텍처, 벤치마크, 각 추론 환경에서의 실행 절차와 실측값이 한 편의 기사에 정리되어 있어 도입 시 비교 자료로 활용하기 좋다.

  2. Latent Space29

    Elorian、시각 추론 벤치마크 「DecoyCount」에서 Glimpse 검증

    Elorian의 시각 추론 모델 「Glimpse」가 공동 공개된 벤치마크 「DecoyCount」에서 50.48%를 기록했다. 논문에서 최고 성적을 낸 GPT-6 Astra의 43.17%를 웃돌았지만, 이는 사내 테스트의 단일 실행 결과이며 논문의 모델은 3회 평균값이라고 밝혔다. DecoyCount는 1,660문항으로 구성되며, 시각과 추론을 동시에 검증한다는 점이 특징으로 꼽힌다.

  3. Search: AI launches62

    Google, 실시간 대화형 세계를 생성하는 Genie 4 발표

    Google은 현실적인 인터랙티브 시뮬레이션을 생성하고 사용자의 지시에 즉각 반응하는 멀티모달 모델 "Genie 4"를 발표했다. 영상뿐 아니라 물체의 물리적 움직임과 공간 음향도 생성할 수 있다. 현재는 신뢰할 수 있는 파트너를 대상으로 한 비공개 리서치 프리뷰이며, 향후 Google AI Ultra 구독자, Gemini API, Google AI Studio에서도 제공될 예정이다.

10월 28일수
  1. Hugging Face Blog47

    LFM3로 전문 특화형 멀티모달 모델 구축하기

    LFM3는 텍스트, 비전, 음성, 옴니, 의사결정의 6개 모델을 2B급 파라미터의 공통 백본으로 통일한 차세대 Liquid Foundation Models이다. LFM3-1.7B는 파라미터 수가 35% 적음에도 불구하고 이전 세대인 LFM2.5-2.6B를 능가한다. 텍스트 모델은 4비트 정밀도에서 약 1GB이며 256K 컨텍스트 윈도우를 갖추고 있고, 각 모델은 단일 GPU에서 파인튜닝할 수 있다.

  2. TechCrunch AI57

    Google DeepMind, 월드 모델 Genie 4를 리서치 프리뷰로 공개… 음성 생성과 실시간 조작 지원

    Google DeepMind는 월드 모델 Genie 4를 리서치 프리뷰로 공개했다. 시뮬레이션 도중 프롬프트를 입력해 장면을 바꿀 수 있으며, 음악과 환경음, 대화 음성도 실시간으로 생성한다. 신뢰할 수 있는 테스터가 이용할 수 있으며, 몇 주 안에 Google AI Ultra의 Project Genie 등으로 확대될 예정이다.

  3. Google DeepMind Blog56

    Google DeepMind, 월드 모델 'Genie 4' 발표… 음성 네이티브 생성 및 실시간 조작 지원

    Google DeepMind가 월드 모델 Genie 4를 발표했다. 실시간 대화형 시뮬레이션에서 사실감이 향상됐으며, 음악, 환경음, 대화 음성을 월드와 동시에 생성할 수 있는 네이티브 멀티모달 모델이다. 현재는 신뢰할 수 있는 테스터를 대상으로 한 리서치 프리뷰로 제공되며, Google AI Ultra의 Project Genie 등에 순차적으로 확대될 예정이다.

  4. The Verge AI52

    Google, 월드 모델 Genie 4 발표… 더 사실적인 세계와 실시간 업데이트 지원

    Google이 인터랙티브 체험을 생성하는 월드 모델 Genie 4를 발표했다. 더 사실적인 세계 생성, 자연어 프롬프트를 통한 실시간 업데이트, 음성 생성을 지원하며 시뮬레이션에는 Gemini 3.8 Flash를 사용한다. 생성할 수 있는 체험은 약 2분으로, 이전 모델 Genie 3의 1분에서 늘어났다. 우선 'trusted testers'를 대상으로 한 research preview로 제공된다.

  5. Microsoft AI (MAI) News58

    Microsoft AI, 이미지 편집 모델 MAI-Image-2.7 프리뷰 공개… Arena Edit 3위

    Microsoft AI는 최신 이미지 편집 모델 MAI-Image-2.7을 프리뷰로 공개했다. Arena Edit에서 3위, Artificial Analysis의 이미지 편집 리더보드에서 2위를 기록했으며, Microsoft AI는 Arena Edit 기준 2위 연구소가 됐다. Artificial Analysis가 평가한 10개 활용 사례와 7개 편집 액션 전부에서 2.6을 넘어섰다.

10월 27일화
  1. Simon Willison48

    OpenAI, 시각 추론과 컴퓨터 조작을 강조한 GPT-6.1 Terra 발표

    OpenAI가 GPT-6.1 Terra를 발표했다. 빠르고 효율적인 모델로, 세밀한 시각 추론과 정확한 컴퓨터 조작, 더 자연스러운 글쓰기를 특징으로 하며, GPT-5.6 Terra에 비해 크게 발전했다고 설명했다. 가격은 입력 100만 토큰당 $1, 출력 100만 토큰당 $5로, GPT-5.6 Terra 및 GPT-6.1 Sol의 거의 절반이며, GPT-6 Luna의 약 10배에 해당한다.

10월 23일금
  1. Hugging Face Blog52

    Allen AI, 위성 임베딩 모델 OlmoEarth v1.3과 전 지구 임베딩 공개

    Allen AI가 위성 임베딩 모델 OlmoEarth v1.3을 공개했다. 10m 해상도의 전 지구 연간 임베딩(64차원·128차원)도 함께 공유하며, 브라우저에서 지도를 탐색하고 맞춤 설정할 수 있는 OlmoEarth Embeddings Explorer도 제공한다. 27건의 평가 가운데 128차원 버전은 20건에서 최고 점수를 기록했다고 한다.

10월 21일수
  1. 카카오 보도자료42

    카카오, 비전 인코더 ‘Kanana-2-vision-encoder’ 오픈소스 공개

    카카오가 자체 개발한 비전 인코더 ‘Kanana-2-vision-encoder’ 2종을 허깅페이스에 오픈소스로 공개했다. 4억 2,600만 파라미터의 ‘medium’과 9,800만 파라미터의 ‘tiny’로, 9개 평가 영역 총 42개 벤치마크에서 SigLIP 2, Perception Encoder, AIMv2, Qwen3.5-ViT 등 글로벌 비전 인코더를 상회하는 성능을 기록했다고 밝혔다. 두 모델은 상업적 활용이 가능한 ‘카나나 오픈 라이선스’로 제공된다.

10월 19일월
  1. xAI News35

    xAI, 이미지로 동영상을 생성하는 grok-imagine-video-1.5-preview를 API로 프리뷰 공개

    xAI는 정지 이미지로부터 동영상을 생성하는 이미지-투-비디오 모델 「grok-imagine-video-1.5-preview」를 xAI API를 통해 프리뷰로 제공하기 시작했다고 밝혔다. 시작 프레임과 움직임을 설명하는 프롬프트를 입력하면 카메라 움직임, 분위기, 물리적 표현을 포함해 장면을 애니메이션으로 만들며, 입력 이미지에 충실한 영상을 생성한다. 최대 720p 클립을 만들 수 있으며, 여러 장면을 이어 붙여 프로젝트 전체에서 일관된 모습을 유지하는 긴 영상을 만드는 것도 가능하다.

10월 17일토
  1. TechCrunch AI50

    Elorian, 이미지로 추론하는 최초의 AI 모델 'Glimpse' 공개

    Elorian이 첫 모델 'Glimpse'를 연구 프리뷰로 공개했다. API와 채팅 화면으로 제공되며, 추론 과정에서 이미지의 일부를 잘라내고, 동영상의 프레임을 추출하고, 코드로 측정할 수 있다. 가격은 100만 토큰당 입력 $0.60, 출력 $3이며, 회사의 평가에서는 과학 차트 추론과 짧은 동영상 캡션 생성에서 GPT-6 Astra를 앞섰다.

10월 16일금
  1. TechCrunch AI69

    Meta, Mac에서 구동되는 오픈 웨이트 모델 'Muse Spark Open' 공개

    Meta는 미국에서 '가장 높은 성능'을 갖췄다고 밝힌 오픈 웨이트 모델 'Muse Spark Open'을 공개했다. 816B 파라미터와 100만 토큰 컨텍스트 윈도우를 갖췄으며, Meta가 공개한 평가 결과에서는 다른 주요 오픈 웨이트 모델보다 우수한 성능을 보였다고 한다. Apple 컴퓨터에서의 로컬 실행을 전제로 설계되었으며, 여러 API 플랫폼에서 이용할 수 있다.

  2. NVIDIA62

    NVIDIA는 오픈 모델 Nemotron 패밀리에 Nemotron 3.5 Super VL을 추가했다. 시각 이해, 추론, 도구 사용을 결합해 AI 에이전트가 더 짧은 시간에 더 많은 작업을 완료할 수 있도록 한다고 밝혔다. 총 파라미터 120B, 활성 파라미터 12B이며, 텍스트, 이미지, 문서, 동영상 이해를 지원한다.

    인용NVIDIA AI@NVIDIAAI

    Meet NVIDIA Nemotron 3.5 Super VL Our new open model combines reasoning and tool use with text, image, document, and video understanding for long-running AI agents. 120B total parameters with 12B active 🧵

  3. NVIDIA Blog60

    NVIDIA, 오픈 모델 Nemotron 3.5 Super VL과 Bolt 2종 발표

    NVIDIA는 120B 파라미터의 오픈 모델 Nemotron 3.5 Super VL과 엣지용 Nemotron 3.5 Bolt 74B-A9B 24GB, Bolt E4B 4GB를 발표했다. Super VL과 Bolt 74B-A9B는 현재 제공 중이며, Bolt E4B는 Oct. 23에 제공될 예정이다. NVIDIA는 Super VL이 같은 급의 차점 모델보다 최대 5배의 처리량을 보였다고 밝혔으며, 가중치와 데이터셋도 공개했다.

    선정 이유: 서버용과 엣지용 3개 모델을 메모리 용량 및 배포 대상과 함께 정리하고 있어, 자사 환경에 맞는 규모를 비교해 고르기 쉽다.

10월 15일목
  1. Hugging Face Blog41

    Apertus 1.5, 이미지·음성 이해와 사고 모드 추가

    Apertus 1.5는 Apertus 1.0의 8B 및 70B 모델을 확장한 최신 버전으로, 이미지와 음성 이해, 선택적으로 사용할 수 있는 사고 모드, 4배인 262,144토큰의 컨텍스트 윈도우를 갖췄다. 8B와 70B의 가중치는 2026년 7월 24일 Hugging Face에서 Apache 2.0 라이선스로 공개되었다. 학습 데이터는 8B 모델에 4조 토큰, 70B 모델에 2조 토큰의 지속 사전학습을 추가했으며, 합계는 각각 19T와 17T이다.

  2. Hugging Face Blog69

    Meta, 오픈 웨이트 멀티모달 MoE 모델 「Muse Spark Open」 공개

    Meta가 오픈 웨이트 모델 「Muse Spark Open」을 공개했다. 총 파라미터는 약 816B이며, 토큰당 활성 파라미터는 약 42B인 MoE 구조다. 텍스트, 이미지, 음성, 동영상을 입력으로 받을 수 있고, 컨텍스트 윈도우는 최대 1M 토큰이다. Hugging Face 블로그에서는 transformers, llama.cpp, SGLang, vLLM, MLX에서의 실행 방법과 TRL을 활용한 파인튜닝, 데모를 소개하고 있다.

    선정 이유: 총 파라미터 약 816B, 활성 파라미터 약 42B라는 구성과 각 추론 환경에서의 실행 방법 및 필요한 메모리 용량이 정리되어 있어, 도입 규모를 가늠하는 데 참고가 된다.

  3. Hugging Face Blog60

    Black Forest Labs, FLUX.3 Image Klein 공개… Diffusers에서 출시 첫날부터 사용 가능

    Black Forest Labs의 FLUX.3 Image Klein이 공개되었으며, Diffusers에서 출시 첫날부터 작동한다. 하나의 모델로 text-to-image, 여러 참조 이미지를 이용한 image-to-image, 바운딩 박스를 통한 레이아웃 제어를 지원한다. 증류 버전은 16스텝, CFG 없이 H100에서 1024 × 1024 이미지를 약 2초 만에 생성한다. NVFP4와 FP8 가중치, LoRA 학습 스크립트, Modular Diffusers 파이프라인도 함께 제공된다.

    선정 이유: 프롬프트에 bbox를 적어 배치와 이동을 지정하는 방법과 H100에서의 속도 및 메모리 실측치가 함께 제시되어 있어, 도입 부담을 가늠하기 쉽다.

10월 14일수
  1. Latent Space42

    Dyna Robotics·Jason Ma 인터뷰, Dyna-2와 1시간 이상 자율 동작을 목표로 하는 범용 피지컬 에이전트

    Dyna Robotics의 Jason Ma(공동창업자 겸 수석 과학자)가 100만 시간 이상의 인간 영상으로 사전 학습한 월드 액션 모델 'Dyna-2'와 그 피지컬 로봇 에이전트 'Dyna-2.1'에 대해 이야기한다. 강연에서는 냅킨 접기 작업을 24시간 연속으로 수행해 성공률 99.4%를 달성했다는 점이 소개되었다. 또한 로봇은 최소 45분의 시연만으로 새로운 작업을 학습할 수 있으며, Din Tai Fung에서는 매일 수천 장의 냅킨을 접는 방식으로 운용되고 있다고 설명했다.

  2. Google DeepMind Blog62

    Google DeepMind, 로보틱스용 Gemini 4 Argon 공개…ERQA 87% 기록

    Google DeepMind가 Gemini 4 Argon을 공개했다. 물리 이해, 코드 생성, 시각·의미 추론이 크게 발전했다고 밝혔으며, Embodied Reasoning(ERQA) 벤치마크에서 순수 추론만으로 87%를 기록해 다른 프런티어 모델을 앞선다고 설명했다. gemini-4-argon이라는 이름으로 Google AI Studio, Gemini API, Google Antigravity에서 사용할 수 있다.

    선정 이유: 로봇 제어와 Real2Sim 등 네 개 영역의 구체적인 프롬프트 예시가 실려 있어, 물리 추론 모델의 활용법을 자신의 작업에 옮겨 검토하기 쉽다.

10월 13일화
10월 7일수
  1. Google DeepMind Blog55

    Google DeepMind, 온디바이스용 멀티모달 임베딩 모델 EmbeddingGemma 2 공개

    Google DeepMind가 텍스트, 이미지, 오디오, 비디오, 코드를 공통 임베딩 공간에 매핑하는 오픈 임베딩 모델 EmbeddingGemma 2를 공개했다. Gemma 4 아키텍처를 기반으로 한 740M 파라미터 모델이며 Apache 2.0 라이선스로 제공된다. MTEB Code 점수는 68.76에서 78.68로 올랐고, 컨텍스트 윈도우는 8K 토큰으로 확대됐다.

10월 6일화
  1. Mistral AI News62

    Mistral, Mistral Large 4 공개 프리뷰 시작… 가중치는 월말 공개 예정

    Mistral은 총 파라미터 1조, 활성 파라미터 520억의 네이티브 멀티모달 모델 Mistral Large 4(ML4)의 공개 프리뷰를 시작했다. 프리뷰 API는 Mistral Studio에서 체험할 수 있으며, 가중치는 이번 달 말 공개될 예정이다. 코딩, 에이전트형 워크플로, 멀티모달 이해에서 높은 성능을 보인다고 밝혔으며, Artificial Analysis Cyber Index에서는 세계 상위 5개 모델에 든다고 밝혔다.

    선정 이유: 사이버보안, 금융, 법무 분야의 평가 결과와 함께 학습 인프라 및 RL 운영 규모까지 공개되어, 오픈 웨이트 대형 모델의 위치를 비교하기 쉽다.

9월 29일화
  1. Google Blog: Gemini44

    Gemini 3.8 Flash로 개발자 4명이 만든 결과물

    Google은 Gemini 3.8 Flash를 활용한 개발자 4명의 작품 사례를 소개했다. 해당 모델은 3.7 Flash에 비해 소프트웨어 개발, 에이전트형 작업, 다단계 추론 능력이 크게 향상되었으며, 경우에 따라 더 비싼 프런티어 모델에 근접하는 성능을 보인다. 로켓 궤도 시뮬레이션과 자동 변속기용 대화형 모델 등이 만들어졌으며, Google Antigravity와 Google AI Studio에서 이용할 수 있다.

9월 10일목
9월 5일토
  1. Microsoft AI (MAI) News50

    Microsoft, Foundry에서 MAI-Image-2.6 제공 시작… 고속 버전 MAI-Image-2.6-Flash도 추가

    Microsoft가 이미지 모델 MAI-Image-2.6을 Microsoft Foundry 개발자용으로 제공하고, 저지연용 MAI-Image-2.6-Flash를 추가했다. MAI-Image-2.6은 Arena에서 text to image와 이미지 편집 모두 No. 2, Artificial Analysis에서는 text-to-image가 No. 2, 이미지 편집이 No. 1이다. Flash는 GPT-Image-2-Medium보다 2.8배 빠르고 효율은 72% 높다고 밝혔다.

9월 4일금
  1. Google DeepMind Blog62

    Google DeepMind, 기상 AI 모델 WeatherNext 3 발표… 위성 데이터 반영해 시간별 예보 생성

    Google DeepMind와 Google Research는 글로벌 기상 AI 모델 WeatherNext 3를 발표했다. 실시간 위성 데이터를 학습에 활용하며, 최대 5km 해상도로 매시간 예보를 생성한다. Search, Gemini, Maps, Google Maps Platform, Cloud 등에 오늘부터 순차적으로 탑재되며, 강수 예보는 하루 이상 앞선 시점에서 최대 50% 정확도가 향상된다고 밝혔다.

    선정 이유: 위성 데이터를 직접 학습하는 방식과 5km 해상도 등, 이전 세대인 WeatherNext 2와의 차이가 수치로 정리되어 있어 개선점을 파악하기 쉽다.

9월 3일목
8월 21일금
  1. DeepSeek62

    DeepSeek는 실험적 멀티모달 모델 DeepSeek-V4-Flash-Vision-Exp를 DeepSeek API Platform에서 공개했다. 텍스트 능력은 DeepSeek-V4-Flash와 동등하며, 멀티모달 에이전트 계열 벤치마크에서는 V4-Flash보다 크게 향상되어 Opus-4.8에 근접한 수준에 이르렀다고 밝혔다. 이용은 model='deepseek-v4-flash-vision-exp'로 지정하며, DeepSeek Harness 0.1.1도 같은 날 공개되었다.

8월 12일수
  1. Google Research Blog53

    Google Research, 실시간 영상 진료를 지원하는 AMIE (Video) 발표

    Google Research는 Gemini와 Project Astra를 기반으로 실시간 영상 진찰을 수행하는 연구용 AI 시스템 AMIE (Video)를 공개했다. 100개 시나리오, 300건의 모의 진료를 대상으로 한 무작위 배정 연구에서 핵심 임상 역량이 일차 진료의(PCP)와 동등하다고 평가됐다. 다만 평가는 모의 환자를 활용한 환경으로 제한되어 있어, 실제 환자를 대상으로 한 검증이 다음 과제로 꼽힌다.