본문 바로가기

#멀티모달

오늘 1건
10월 14일수
  1. Google DeepMind Blog62

    Google DeepMind, 로보틱스용 Gemini 4 Argon 공개…ERQA 87% 기록

    Google DeepMind가 Gemini 4 Argon을 공개했다. 물리 이해, 코드 생성, 시각·의미 추론이 크게 발전했다고 밝혔으며, Embodied Reasoning(ERQA) 벤치마크에서 순수 추론만으로 87%를 기록해 다른 프런티어 모델을 앞선다고 설명했다. gemini-4-argon이라는 이름으로 Google AI Studio, Gemini API, Google Antigravity에서 사용할 수 있다.

    선정 이유: 로봇 제어와 Real2Sim 등 네 개 영역의 구체적인 프롬프트 예시가 실려 있어, 물리 추론 모델의 활용법을 자신의 작업에 옮겨 검토하기 쉽다.

10월 13일화
  1. NVIDIA Blog43

    NVIDIA RTX Spark, 글로벌 PC 앱 생태계 지원 완료

    NVIDIA는 Microsoft와 함께 10월 16일 출시되는 RTX Spark 노트북을 위해 GitHub Copilot, Perplexity 등 에이전트 앱과 Adobe, 개발 도구의 지원을 발표했다. RTX Spark는 최대 128GB의 통합 메모리와 1 petaflop의 AI 연산 성능을 갖췄다. 에이전트용 74B(활성 9B) MoE 모델 Nemotron 3.5 Bolt 74B는 10월 15일 공개된다.

10월 9일금
10월 8일목
  1. OpenAI67

    OpenAI가 GPT-6와 Intelligent UI를 ChatGPT의 전체 사용자에게 순차적으로 제공하기 시작했다. Intelligent UI는 빠르고 대화형인 답변으로 일상적인 질문을 더 시각적으로 보여 주고, 복잡한 주제도 이해하기 쉽게 만든다고 한다.

    선정 이유: GPT-6와 새로운 답변 표시 방식이 전체 사용자에게 확대된다고 발표되었으며, 일상적인 질문과 복잡한 주제에서 답변이 어떻게 보이는지 달라지는 점을 파악하는 실마리가 된다.

10월 7일수
  1. Google DeepMind Blog55

    Google DeepMind, 온디바이스용 멀티모달 임베딩 모델 EmbeddingGemma 2 공개

    Google DeepMind가 텍스트, 이미지, 오디오, 비디오, 코드를 공통 임베딩 공간에 매핑하는 오픈 임베딩 모델 EmbeddingGemma 2를 공개했다. Gemma 4 아키텍처를 기반으로 한 740M 파라미터 모델이며 Apache 2.0 라이선스로 제공된다. MTEB Code 점수는 68.76에서 78.68로 올랐고, 컨텍스트 윈도우는 8K 토큰으로 확대됐다.

10월 6일화
  1. Mistral AI News62

    Mistral, Mistral Large 4 공개 프리뷰 시작… 가중치는 월말 공개 예정

    Mistral은 총 파라미터 1조, 활성 파라미터 520억의 네이티브 멀티모달 모델 Mistral Large 4(ML4)의 공개 프리뷰를 시작했다. 프리뷰 API는 Mistral Studio에서 체험할 수 있으며, 가중치는 이번 달 말 공개될 예정이다. 코딩, 에이전트형 워크플로, 멀티모달 이해에서 높은 성능을 보인다고 밝혔으며, Artificial Analysis Cyber Index에서는 세계 상위 5개 모델에 든다고 밝혔다.

    선정 이유: 사이버보안, 금융, 법무 분야의 평가 결과와 함께 학습 인프라 및 RL 운영 규모까지 공개되어, 오픈 웨이트 대형 모델의 위치를 비교하기 쉽다.

10월 3일토
  1. Google AI Blog60

    Google, 9월 AI 발표 총정리 공개… Gemini 4 Argon, Connected Apps, WeatherNext 3 등

    Google은 9월 AI 관련 발표를 정리하며 최신 프런티어 모델 Gemini 4 Argon을 가장 앞에 꼽았다. 출력 상한은 100만 토큰이며, 현재는 Fairwind Program을 통해 신뢰할 수 있는 사이버 방어 담당자에게 제공하고 있다. 이 밖에도 Gemini 3.8 Flash, Gemini 앱의 Connected Apps, WeatherNext 3, Googlebook 사전 예약 접수 등을 소개했다.

    선정 이유: Gemini 4 Argon을 중심으로 음성, 연동 앱, 날씨 예보, 게놈 연구까지 9월 발표가 한눈에 정리되어 있어 전체 흐름을 파악하기 좋다.

10월 2일금
  1. Google Blog: Gemini61

    Google, Android용 'Guided Vision'을 Gemini Live에 추가

    Google이 지원 Android 기기의 Gemini Live에서 카메라 영상을 음성으로 실시간 설명하는 'Guided Vision'의 제공을 시작했다. 시각장애인과 저시력자를 주요 대상으로 하며, 주변 설명, 추가 질문에 대한 답변, 카메라 방향을 바로잡는 음성 안내를 지원한다. Android 9 이상에서 Gemini Live를 사용할 수 있는 지역과 언어에서 이용할 수 있다.

    선정 이유: 시각장애인을 위해 카메라 공유 기반 음성 안내를 제공하며, 실행 방법과 이용 조건, 길 안내 용도로는 쓸 수 없다는 제한까지 구체적으로 보여준다는 점에서 추천한다.

9월 29일화
  1. Google Blog: Gemini44

    Gemini 3.8 Flash로 개발자 4명이 만든 결과물

    Google은 Gemini 3.8 Flash를 활용한 개발자 4명의 작품 사례를 소개했다. 해당 모델은 3.7 Flash에 비해 소프트웨어 개발, 에이전트형 작업, 다단계 추론 능력이 크게 향상되었으며, 경우에 따라 더 비싼 프런티어 모델에 근접하는 성능을 보인다. 로켓 궤도 시뮬레이션과 자동 변속기용 대화형 모델 등이 만들어졌으며, Google Antigravity와 Google AI Studio에서 이용할 수 있다.

9월 25일금
  1. Google Research Blog41

    Google Research, Gemini·Veo 기반으로 장편 영상의 일관성을 자동 제어하는 AI 비디오 공동 감독 프레임워크 발표

    Google Research는 Gemini와 Veo 위에 구축한 멀티 에이전트형 AI 비디오 공동 감독 프레임워크를 발표했다. 여러 컷에 걸친 시각적 일관성을 계획하고, 캐릭터와 환경의 어긋남을 억제하면서 수 분 규모의 영상 생성을 목표로 한다. 창작 방향을 선택하는 데는 멀티 암드 밴딧을 사용하며, Pre-Production, Production, MLLM Judge의 각 에이전트가 제작을 진행한다. SynthID 워터마크 등 안전 장치도 그대로 이어받는다고 밝혔다.

  2. Google DeepMind Blog50

    Google, Gemini 3.8 Live with Live Avatar 발표

    Google은 거의 실시간으로 구동되는 영상 아바타를 갖춘 Gemini 3.8 Live with Live Avatar를 발표하고 Gemini Enterprise에서 제공을 시작했다. 립싱크와 표정을 동반한 음성 대화가 가능하며, 97개 언어 사이를 오가며 전환할 수 있다. 대화를 멈추지 않고 백그라운드에서 도구 호출을 수행할 수 있으며, 참조 이미지로 맞춤형 아바타를 만드는 기능은 현재 엔터프라이즈 허용 목록에 등록된 고객에게만 제공된다.

  3. Google Blog: Gemini48

    Gemini 3.8 Live, 실시간 영상 아바타 「Live Avatar」 발표

    Google은 Gemini 3.8 Live에 실시간 영상 아바타 기능 「Live Avatar」를 추가했다고 밝혔다. 음성 대화와 저지연 영상 생성을 결합해 입 모양과 표정을 수반하는 대화형 가상 담당자를 구현한다. Live Avatar는 현재 Gemini Enterprise에서 이용할 수 있으며, 97개 언어 지원과 도구 호출의 비동기 실행을 지원한다. 커스텀 아바타 제작은 엔터프라이즈용 허용 목록 방식으로, 현재는 일부 기업만 대상이다.

9월 23일수
9월 10일목
  1. Hugging Face Blog40

    Gradio 워크플로로 재구성한 AUTOMATIC1111

    Hugging Face가 AUTOMATIC1111의 stable-diffusion-webui 기능 대부분을 단일 워크플로 캔버스에서 재현한 'Workflow1111'을 소개했다. 11개의 파이프라인과 73개의 노드로 구성되며, text-to-image, FLUX.1-Kontext를 활용한 hi-resolution fix, prompt matrix, PNG Info 등을 포함한다. 이용하려면 Hugging Face 계정으로 로그인하거나 액세스 토큰이 필요하며, 모델 호출은 이용자 본인의 할당량을 소비한다.

  2. Google AI Blog37

    AI로 70년을 함께한 부부의 기억을 재현 Google DeepMind, 단편 영화 『Love, Rendered』에 협력

    Google DeepMind는 영화 제작자들과 함께 단편 다큐멘터리 『Love, Rendered』를 제작하고, 결혼 70년이 넘은 Burt and Ethelle Shatz 부부의 기록되지 않은 만남의 날을 AI로 재현했다. 흑백 사진의 이미지 복원 기술과 퍼포먼스 캡처 모델을 결합해 현재 부부의 몸짓을 젊은 시절의 모습에 입혔다. 사진 복원은 Gemini 앱에서도 가능하다.

9월 5일토
  1. Microsoft AI (MAI) News50

    Microsoft, Foundry에서 MAI-Image-2.6 제공 시작… 고속 버전 MAI-Image-2.6-Flash도 추가

    Microsoft가 이미지 모델 MAI-Image-2.6을 Microsoft Foundry 개발자용으로 제공하고, 저지연용 MAI-Image-2.6-Flash를 추가했다. MAI-Image-2.6은 Arena에서 text to image와 이미지 편집 모두 No. 2, Artificial Analysis에서는 text-to-image가 No. 2, 이미지 편집이 No. 1이다. Flash는 GPT-Image-2-Medium보다 2.8배 빠르고 효율은 72% 높다고 밝혔다.

9월 4일금
  1. Google DeepMind Blog62

    Google DeepMind, 기상 AI 모델 WeatherNext 3 발표… 위성 데이터 반영해 시간별 예보 생성

    Google DeepMind와 Google Research는 글로벌 기상 AI 모델 WeatherNext 3를 발표했다. 실시간 위성 데이터를 학습에 활용하며, 최대 5km 해상도로 매시간 예보를 생성한다. Search, Gemini, Maps, Google Maps Platform, Cloud 등에 오늘부터 순차적으로 탑재되며, 강수 예보는 하루 이상 앞선 시점에서 최대 50% 정확도가 향상된다고 밝혔다.

    선정 이유: 위성 데이터를 직접 학습하는 방식과 5km 해상도 등, 이전 세대인 WeatherNext 2와의 차이가 수치로 정리되어 있어 개선점을 파악하기 쉽다.

9월 3일목
  1. Microsoft Source: AI22

    Kier Group의 Louisa Finlay, Copilot으로 건설업의 안전성과 생산성 높이다

    영국 건설·인프라 기업 Kier Group은 직원 약 11,000명 가운데 약 40%가 Microsoft 365 Copilot을 이용한다고 밝혔다. 나머지 직원은 Teams Premium을 사용한다. 소규모 피어 그룹이 참여하는 'prompt-a-thon'으로 도입을 촉진하면서 이용이 확산됐다. 현재는 안전 데이터의 수집과 정리 등을 맡는 AI 에이전트를 개발하는 초기 단계에 있으며, 운용 방침은 'Human at the Helm'이다.

9월 2일수
  1. Google AI Developers33

    Gemini는 박수 횟수를 셀 수 있을까? 👏 빠른 동작을 정확하게 세는 일은 AI에게 어려운 과제로 알려져 있다. 정적 처리에서는 기본적으로 동영상이 고정 1 FPS로 입력되기 때문에, 박수처럼 순간적인 동작은 완전히 놓치거나 손가락 튕기는 소리나 클릭 소리와 혼동되기 쉽다. Gemini 3.7 Flash는 새로운 에이전트형 동영상 이해 기능을 사용해 필요에 따라 처리 속도를 자동으로 조정함으로써, 박수 한 번 한 번을 정확하게 식별하고 세는 모습을 확인해 보세요:

  2. Google DeepMind Blog60

    Google DeepMind, Gemini에 에이전트형 동영상 이해 도입… 토큰 소비 최대 88% 절감

    Google DeepMind는 Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite용 에이전트형 동영상 이해 기능의 제공을 시작했다. 표준 동영상 분석 벤치마크에서 비용은 최대 66%, 토큰 소비는 최대 88% 줄었고 정확도는 최대 7% 향상됐다고 한다. Gemini API(Google AI Studio)와 Gemini Enterprise Agent Platform에서 동영상 업로드와 YouTube 동영상을 지원하며, 추가 요금은 없다.

    선정 이유: 고정 FPS로 동영상을 읽어 들이는 기존 방식과의 차이, 토큰 88% 감소 등의 수치, 활성화 설정 방법이 함께 제시되어 있어 도입 판단에 참고할 만하다.

8월 28일금
8월 26일수
  1. Google Research Blog32

    AgentHands, XR 공간에 맞춘 에이전트 대화용 손 제스처 생성

    Google은 XR에서 AI 에이전트의 음성에 맞춰 손 제스처를 생성하는 연구 프로토타입 「AgentHands」를 발표했다. CHI 2026에서 발표된 연구로, LLM 응답에 삽입된 제스처 이벤트를 단어 단위 타임스탬프를 이용해 음성과 동기화한다. 12명을 대상으로 한 피험자 내 실험에서는 음성만 사용하는 기준선과 비교해 공간적 그라운딩이 유의미하게 향상된 것으로 보고됐다.

8월 21일금
  1. DeepSeek62

    DeepSeek는 실험적 멀티모달 모델 DeepSeek-V4-Flash-Vision-Exp를 DeepSeek API Platform에서 공개했다. 텍스트 능력은 DeepSeek-V4-Flash와 동등하며, 멀티모달 에이전트 계열 벤치마크에서는 V4-Flash보다 크게 향상되어 Opus-4.8에 근접한 수준에 이르렀다고 밝혔다. 이용은 model='deepseek-v4-flash-vision-exp'로 지정하며, DeepSeek Harness 0.1.1도 같은 날 공개되었다.

8월 12일수
  1. Google DeepMind Blog61

    Google DeepMind, 수어에서 텍스트로 번역하는 모델 SL2T 발표… Pixel 11의 Gboard 등에 탑재

    Google DeepMind는 50개 이상의 수어를 학습한 수어-텍스트 번역 모델 SL2T를 발표했다. Pixel 11의 Gboard와 Live Transcribe에서 ASL에서 영어로의 수어-텍스트 입력을 지원한다. FLEURS-ASL(sd-test)에서 제로샷 70 BLEURT를 기록했으며, 기존 보고치를 크게 웃돈다고 설명하고 있다.

    선정 이유: 수어를 포즈 좌표만으로 번역하는 설계와 10만 시간이 넘는 학습 데이터, 알려진 오류 사례까지 구체적으로 제시되어 있어 수어 AI의 현황을 파악하기 좋다.

  2. Google Research Blog53

    Google Research, 실시간 영상 진료를 지원하는 AMIE (Video) 발표

    Google Research는 Gemini와 Project Astra를 기반으로 실시간 영상 진찰을 수행하는 연구용 AI 시스템 AMIE (Video)를 공개했다. 100개 시나리오, 300건의 모의 진료를 대상으로 한 무작위 배정 연구에서 핵심 임상 역량이 일차 진료의(PCP)와 동등하다고 평가됐다. 다만 평가는 모의 환자를 활용한 환경으로 제한되어 있어, 실제 환자를 대상으로 한 검증이 다음 과제로 꼽힌다.

8월 10일월
  1. Hugging Face Blog72

    Meta, 로컬 에이전트 지원 멀티모달 모델 Muse Glimmer 공개… Apache 2.0으로 제공

    Meta가 Muse에서 30B 파라미터로 증류한 멀티모달 모델 Muse Glimmer를 Apache 2.0 라이선스로 공개했다. 로컬 환경의 에이전트 용도를 염두에 둔 모델이며, transformers, llama.cpp, vLLM, Inference Endpoints가 day-0부터 지원한다. Hugging Face Hub에서 내려받을 수 있다.

    선정 이유: 30B 로컬 모델에 대해 아키텍처, 각 추론 기반에서의 사용법, 파인튜닝 요건이 한꺼번에 정리되어 있다.

8월 4일화
  1. Microsoft Source: AI53

    Microsoft Research와 Paige, 병리 기반 모델 PRISM2 개발해 Nature Medicine에 발표

    Microsoft Research와 Paige(현 Tempus 산하)는 조직 이미지와 병리 보고서에서 얻은 언어로 학습한 병리 기반 모델 PRISM2를 개발해 Nature Medicine에 발표했다. 전립선암, 유방암, 유방 림프절 전이 검출 등 여러 벤치마크에서 전용 암 검출 시스템과 대등하거나 이를 웃도는 성능을 보였다. 모델 가중치는 연구 목적으로 Hugging Face에 공개됐다.

  2. Mistral AI News46

    Mistral AI, 오픈 웨이트 안전성 분류 모델 「Shieldstral」 발표

    Mistral AI는 텍스트와 이미지의 안전성을 평가하는 3B 규모의 오픈 웨이트 멀티모달 안전성 분류 모델 「Shieldstral」을 Apache 2.0 라이선스로 공개했다. 정책은 추론 시 평이한 언어로 지정할 수 있어, 재학습 없이 용도에 맞춰 조정할 수 있다. 텍스트 안전성 평가에서는 크기가 최대 7배 큰 오픈 가드 모델에 필적하며, 단일 16GB NVIDIA GPU에서 동작한다.

7월 31일금
  1. Google DeepMind Blog54

    Google DeepMind, 로봇용 추론 모델 Gemini Robotics ER 2 공개

    Google DeepMind가 로봇을 위한 '신체성 추론' 모델 Gemini Robotics ER 2를 공개했다. 영상 이해, 작업 오케스트레이션, 다중 로봇 협업을 지원하며 ER 1.6에서 성능이 강화됐다. Gemini API와 Google AI Studio를 통해 개발자에게 제공되며, Gemini Enterprise Agent Platform에서는 비공개 프리뷰로 제공된다.

7월 30일목
  1. Google DeepMind Blog42

    Google, Google Flow Music에서 Lyria 3.5 제공 시작

    Google DeepMind의 새로운 음악 생성 모델 'Lyria 3.5'가 Google Flow Music에서 제공을 시작했다. 회사는 멜로디의 복잡성과 자연스러움, 가사의 품질과 지시 이행 능력, 보컬의 표현력과 발음이 개선되었다고 밝혔다. 템포와 길이를 더 쉽게 조절할 수 있는 기능도 추가되었다.

7월 28일화
  1. Google DeepMind Blog60

    Google DeepMind, Gemini Robotics 2 발표… 휴머노이드 전신 제어 지원

    Google DeepMind가 로봇용 Gemini Robotics 2를 발표했다. VLA인 Gemini Robotics 2, 추론 모델인 Gemini Robotics ER 2, 온디바이스용 Gemini Robotics On-Device 2 등 3개 모델로 구성되며, 휴머노이드의 전신 제어와 여러 로봇의 협업을 가능하게 한다. ER 2는 Google AI Studio에서 이용할 수 있고, VLA와 On-Device 모델은 조기 액세스 파트너를 대상으로 제공된다.

    선정 이유: 전신 제어, 섬세한 손 조작, 여러 로봇의 협업을 3개 모델의 역할 분담으로 정리해 제공 범위와 적응에 필요한 데이터 양을 확인하기 쉽다.

7월 23일목
  1. Microsoft Source: AI28

    Microsoft, 커뮤니티 주도의 AI 데이터 제작 기반 「Community Library Creator」 공개

    Microsoft 연구팀은 장애나 정체성 등 공통된 경험을 가진 커뮤니티가 AI가 생성한 이미지에서 자신들이 어떻게 묘사되는지를 스스로 정의할 수 있는 기반 「Community Library Creator」를 개발했다고 밝혔다. 각 라이브러리는 약 400장의 실제 이미지와 설명문으로 구성되며, 생성된 이미지에 대한 커뮤니티의 평가가 피드백으로 활용된다. 데이터는 옹호 단체가 소유하며, Hugging Face 등에서의 공유 여부와 이용 제한도 단체가 정한다.

7월 15일수
  1. Hugging Face Blog72

    Thinking Machines Lab, 이미지·음성·텍스트 지원 오픈 모델 Inkling과 Inkling-Small 공개

    Thinking Machines Lab이 이미지, 텍스트, 음성을 입력할 수 있는 약 1T 파라미터 오픈 모델 Inkling을 Hugging Face에 공개했다. 총 파라미터 975B, 활성 파라미터 41B의 MoE 구조이며 1M 컨텍스트를 지원한다. 총 276B, 활성 12B인 Inkling-Small도 추가되었으며, Inference Endpoints에서 원클릭으로 배포할 수 있다.

    선정 이유: 아키텍처 세부 사항, 필요 VRAM, 각 추론 엔진별 실행 절차, 벤치마크 표가 한데 정리되어 있어 도입 여부를 판단하는 자료로 활용할 수 있다.

7월 1일수
  1. Google DeepMind Blog65

    Google DeepMind, Nano Banana 2 Lite와 Gemini Omni Flash 개발자 대상 제공 시작

    Google DeepMind는 가장 빠르고 저렴한 이미지 모델 Nano Banana 2 Lite와 동영상 생성·대화형 편집 모델 Gemini Omni Flash를 개발자용으로 제공하기 시작했다. Nano Banana 2 Lite는 1K 이미지당 $0.034이며, text-to-image 출력은 4초가 걸린다. Omni Flash는 동영상 출력 1초당 $0.10이다. 두 모델 모두 Google AI Studio와 gemini API에서 이용할 수 있다.

    선정 이유: 이미지 생성과 동영상 생성 두 모델을 연결해 쓰는 방식과 가격 및 제한 사항이 구체적으로 제시되어 있어, 개발 도입 여부를 판단하는 자료가 된다.

6월 23일화
  1. Mistral AI News62

    Mistral, OCR 모델 'Mistral OCR 4' 발표… 바운딩 박스와 신뢰도 점수 지원

    Mistral AI가 OCR 모델 Mistral OCR 4를 공개했다. 텍스트와 함께 바운딩 박스, 블록 유형 분류, 인라인 신뢰도 점수를 반환하며, 10개 언어 그룹에 걸친 170개 언어를 지원한다. API 요금은 1,000페이지당 $4이며, Batch API에서는 50% 할인된 $2, Document AI는 $5다. 단일 컨테이너로 자체 호스팅도 가능하며, 기업용으로 제공된다.

    선정 이유: 바운딩 박스와 신뢰도 점수를 반환하는 구조화된 출력과 벤치마크 자체의 채점상 한계가 함께 적혀 있어, 자사 문서로 검증하는 방식을 파악하기 쉽다.