본문 바로가기

#멀티모달

오늘 1건
오늘11월 5일목
  1. OpenAI News41

    OpenAI、Images 2.6 발표

    OpenAI는 이미지 생성 기능 「Images 2.6」을 ChatGPT, Codex, API에서 제공하기 시작했다. 기존보다 50% 빠르게 이미지를 생성하며, API에서는 GPT‑Image‑2.6의 Flare와 Sunburst를 선택할 수 있다. GIF를 이용한 애니메이션 제작도 지원하며, 이미지 마크업 기능이 API에 추가되었다.

11월 3일화
  1. Google AI Blog78

    Google, 10월 AI 발표 정리 공개… Gemini 4 Argon·Carbon, Genie 4 중심

    구글이 10월 AI 관련 발표를 정리한 기사를 공개했다. 중심은 Gemini 4 Argon과 Gemini 4 Carbon, 그리고 월드 모델 Genie 4다. Argon은 Google AI Studio, Gemini API, Gemini 앱 등을 통해 제공되며, Carbon은 미국 정부와 일부 사이버 방어 기관이 참여하는 사전 테스트 단계에 있다.

    선정 이유: Gemini 4 Argon·Carbon과 Genie 4를 중심으로, 10월 Google의 AI 관련 발표를 분야별로 정리해 전체 흐름을 파악하기 좋다.

  2. AWS Machine Learning Blog42

    Amazon Nova Multimodal Embeddings와 Amazon Bedrock AgentCore를 활용한 에이전트형 엔지니어링 지원

    AWS는 Amazon Bedrock AgentCore와 Amazon Nova Multimodal Embeddings를 사용해 항공우주 부품의 대체 평가를 지원하는 멀티 에이전트형 어시스턴트를 구축하는 방법을 소개했다. 계획 담당이 세 개의 전문 에이전트에 작업을 분배하고, 결정론적 허용오차 규칙으로 후보 부품을 채점한다. 대체 승인은 하지 않으며, 최종 판단은 엔지니어가 맡는다.

10월 30일금
  1. Google Blog: Gemini64

    Gemini 앱, 채팅 안에서 문서·PDF·슬라이드·스프레드시트 생성, 미리보기 및 편집 가능

    Google는 Gemini 앱에 문서, PDF, 슬라이드, 스프레드시트, 코드 등을 채팅 안에서 생성, 미리보기, 편집할 수 있는 기능을 도입했다. PDF는 웹과 모바일에서, 그 밖의 형식은 웹에서만 지원된다. Gemini 앱을 사용할 수 있는 모든 언어의 모든 사용자가 이용할 수 있다.

    선정 이유: 채팅 안에서 생성, 미리보기, 편집이 이어지는 흐름과 PDF만 모바일을 지원하는 등 형식별 제공 범위가 정리되어 있어 활용 장면을 판단하기 쉽다.

  2. AWS Machine Learning Blog41

    NVIDIA Nemotron 모델을 Amazon EKS 및 SageMaker HyperPod EKS에서 구동해 에이전트형 AI를 가속

    NVIDIA Nemotron 3.5 Super VL을 Amazon EKS, EKS Auto Mode, SageMaker HyperPod EKS에 배포하는 방법을 설명한다. 총 파라미터 120B, 토큰당 12B가 활성화되는 MoE 모델로, 최대 1M 토큰의 컨텍스트를 지원하며 텍스트, 이미지, 문서, 동영상을 입력할 수 있다.

10월 29일목
  1. Hugging Face Blog81

    Hugging Face, Mistral Large 4(Le Chonk) 소개… 약 1T 규모의 MoE 멀티모달 모델

    Mistral Large 4(애칭 Le Chonk)가 Hugging Face에서 공개됐다. 텍스트와 이미지를 입력할 수 있는 다국어 MoE 모델로, 총 파라미터는 약 1T, 활성 파라미터는 49B, 컨텍스트 윈도우는 1M 토큰이다. Mistral Ecosystem Open-Weight License로 배포되며, transformers, vLLM, llama.cpp가 day-0부터 지원한다.

    선정 이유: 아키텍처, 벤치마크, 각 추론 환경에서의 실행 절차와 실측값이 한 편의 기사에 정리되어 있어 도입 시 비교 자료로 활용하기 좋다.

  2. Google Blog: Gemini40

    Gemini 앱, 인터랙티브 '몰입형 탐색' 라이브러리 공개

    Gemini 앱에 미시 세계에서 우주까지 계층별로 주제를 깊이 파고들 수 있는 'immersive explorations' 라이브러리가 추가되었다. Gemini student hub의 'Try immersive explorations'에서 이용할 수 있으며, 앞으로는 채팅 안에서 바로 열 수 있도록 할 예정이다. 지원 언어는 영어, 인도네시아어, 힌디어, 브라질 포르투갈어, 프랑스어, 중국어 간체이며, 그 밖의 언어는 현재 영어로만 제공된다.

  3. Google Blog: Gemini47

    XREAL AURA, 시청·작업·게임을 지원하는 유선 XR 글래스

    XREAL과 Google은 Android XR을 탑재한 최초의 유선 연결 XR 글래스 「XREAL AURA」를 발표했다. 주문은 미국, 캐나다, 한국에서 오늘부터 시작되며, 일본에서는 11월 2일부터 접수한다. 글래스 본체는 95그램 미만이며, 무거운 처리는 유선으로 연결되는 휴대형 컴퓨트 팩이 맡고 Snapdragon Reality Elite를 탑재한다. 연말까지의 도입 가격은 1,099달러부터이며, 대상은 만 18세 이상이다.

10월 28일수
  1. Hugging Face Blog47

    LFM3로 전문 특화형 멀티모달 모델 구축하기

    LFM3는 텍스트, 비전, 음성, 옴니, 의사결정의 6개 모델을 2B급 파라미터의 공통 백본으로 통일한 차세대 Liquid Foundation Models이다. LFM3-1.7B는 파라미터 수가 35% 적음에도 불구하고 이전 세대인 LFM2.5-2.6B를 능가한다. 텍스트 모델은 4비트 정밀도에서 약 1GB이며 256K 컨텍스트 윈도우를 갖추고 있고, 각 모델은 단일 GPU에서 파인튜닝할 수 있다.

  2. Google DeepMind Blog56

    Google DeepMind, 월드 모델 'Genie 4' 발표… 음성 네이티브 생성 및 실시간 조작 지원

    Google DeepMind가 월드 모델 Genie 4를 발표했다. 실시간 대화형 시뮬레이션에서 사실감이 향상됐으며, 음악, 환경음, 대화 음성을 월드와 동시에 생성할 수 있는 네이티브 멀티모달 모델이다. 현재는 신뢰할 수 있는 테스터를 대상으로 한 리서치 프리뷰로 제공되며, Google AI Ultra의 Project Genie 등에 순차적으로 확대될 예정이다.

  3. Microsoft AI (MAI) News58

    Microsoft AI, 이미지 편집 모델 MAI-Image-2.7 프리뷰 공개… Arena Edit 3위

    Microsoft AI는 최신 이미지 편집 모델 MAI-Image-2.7을 프리뷰로 공개했다. Arena Edit에서 3위, Artificial Analysis의 이미지 편집 리더보드에서 2위를 기록했으며, Microsoft AI는 Arena Edit 기준 2위 연구소가 됐다. Artificial Analysis가 평가한 10개 활용 사례와 7개 편집 액션 전부에서 2.6을 넘어섰다.

10월 24일토
  1. Google Research Blog52

    Google Research, IDWeek 2026에 맞춰 결핵 스크리닝에 기반 모델을 활용해 온 경과 공개

    Google Research는 흉부 X선 AI 연구에서 인증 취득, 6개국 도입, 오픈 모델 MedGemma까지 이어진 결핵 스크리닝 활동을 IDWeek 2026에 맞춰 공개했다. 협력사 Nexus AI의 도구는 약 40개 의료시설에서 가동 중이며, 25,000장이 넘는 흉부 X선을 평가했다. 인도네시아 보건부는 MedGemma와 MedSigLIP의 파인튜닝을 진행하고 있다.

10월 23일금
  1. Hugging Face Blog52

    Allen AI, 위성 임베딩 모델 OlmoEarth v1.3과 전 지구 임베딩 공개

    Allen AI가 위성 임베딩 모델 OlmoEarth v1.3을 공개했다. 10m 해상도의 전 지구 연간 임베딩(64차원·128차원)도 함께 공유하며, 브라우저에서 지도를 탐색하고 맞춤 설정할 수 있는 OlmoEarth Embeddings Explorer도 제공한다. 27건의 평가 가운데 128차원 버전은 20건에서 최고 점수를 기록했다고 한다.

10월 22일목
  1. NVIDIA Blog33

    NVIDIA, Cosmos 플랫폼 확장… 학습·평가·배포용 신규 도구 발표

    NVIDIA는 Cosmos 플랫폼에 새로운 학습 도구, 시뮬레이션용 체크포인트, Cosmos Data Factory 블루프린트를 추가했다. Data Factory는 자율주행 데이터셋 생성과 비디오 데이터 증강 등 5종의 클라우드 네이티브 블루프린트를 제공하며, GitHub, Microsoft Azure, Nebius, CoreWeave에서 이용할 수 있다. Cosmos 3 NIM 마이크로서비스는 검증된 구성에서 추론을 최대 2배 빠르게 한다고 한다.

10월 21일수
  1. 카카오 보도자료42

    카카오, 비전 인코더 ‘Kanana-2-vision-encoder’ 오픈소스 공개

    카카오가 자체 개발한 비전 인코더 ‘Kanana-2-vision-encoder’ 2종을 허깅페이스에 오픈소스로 공개했다. 4억 2,600만 파라미터의 ‘medium’과 9,800만 파라미터의 ‘tiny’로, 9개 평가 영역 총 42개 벤치마크에서 SigLIP 2, Perception Encoder, AIMv2, Qwen3.5-ViT 등 글로벌 비전 인코더를 상회하는 성능을 기록했다고 밝혔다. 두 모델은 상업적 활용이 가능한 ‘카나나 오픈 라이선스’로 제공된다.

10월 20일화
  1. AWS Machine Learning Blog38

    TwelveLabs、Pegasus 1.5를 Amazon Bedrock에서 제공 시작

    TwelveLabs의 동영상 언어 모델 Pegasus 1.5가 Amazon Bedrock에서 이용 가능해졌다. 긴 동영상을 분석해 지정한 조건에 맞는 구간을 타임스탬프가 포함된 구조화된 JSON으로 반환한다. Amazon S3의 URI 또는 base64 문자열로부터 사전 인덱스 작업 없이 동영상을 분석할 수 있으며, 동영상 처리 능력은 요청 1건당 최대 2시간까지 확대됐다(Pegasus 1.2는 1시간).

10월 19일월
  1. xAI News35

    xAI, 이미지로 동영상을 생성하는 grok-imagine-video-1.5-preview를 API로 프리뷰 공개

    xAI는 정지 이미지로부터 동영상을 생성하는 이미지-투-비디오 모델 「grok-imagine-video-1.5-preview」를 xAI API를 통해 프리뷰로 제공하기 시작했다고 밝혔다. 시작 프레임과 움직임을 설명하는 프롬프트를 입력하면 카메라 움직임, 분위기, 물리적 표현을 포함해 장면을 애니메이션으로 만들며, 입력 이미지에 충실한 영상을 생성한다. 최대 720p 클립을 만들 수 있으며, 여러 장면을 이어 붙여 프로젝트 전체에서 일관된 모습을 유지하는 긴 영상을 만드는 것도 가능하다.

  2. xAI News58

    xAI, 이미지에서 동영상을 생성하는 Grok Imagine Video 1.5를 Imagine API로 정식 출시

    xAI는 Grok Imagine Video 1.5를 Imagine API로 정식 출시하고, 고속 버전인 Video 1.5 Fast를 grok.com/imagine과 iOS·Android 앱에 공개했다고 밝혔다. Video 1.5 Fast는 6초 길이, 720p 동영상을 약 25초 만에 생성하며, 기존 모델의 40초 이상에서 단축됐다. Projects, 여러 에이전트의 병렬 실행, 라이브러리 검색 등 새 기능도 며칠에 걸쳐 순차적으로 제공될 예정이다.

  3. xAI News60

    xAI, Imagine Video 1.5에 이미지·오디오 레퍼런스와 1080p 생성 추가

    xAI는 동영상 생성 모델 Imagine Video 1.5에 이미지 및 오디오 레퍼런스, 프롬프트만으로 동영상을 만드는 text-to-video, 네이티브 1080p 생성 기능을 추가했다고 밝혔다. 레퍼런스는 한 번의 생성에 최대 7개까지 사용할 수 있으며, 얼굴, 제품, 장소 등을 고정할 수 있다. 이미지·오디오 레퍼런스는 미국의 SuperGrok Heavy 및 SuperGrok Plus 구독자에게 먼저 제공되며, 며칠 안에 모든 요금제로 확대된다.

    선정 이유: 레퍼런스 이미지와 오디오 레퍼런스로 인물과 장면을 고정할 수 있고, 제공 범위와 API 지원 여부도 구체적으로 제시되어 있어 동영상 제작에서의 활용을 떠올리기 쉽다.

  4. xAI News58

    xAI, Imagine Image 2.0 일반 제공 시작… 정밀한 이미지 생성·편집 지원

    xAI는 이미지 생성 모델 Imagine Image 2.0을 grok.com/imagine과 iOS·Android 앱의 Quality Mode로 일반 제공한다고 밝혔다. 지시에 대한 충실도, 타이포그래피와 레이아웃 설계, 생성과 편집을 거듭해도 이어지는 내용 유지를 특징으로 한다. API에서는 grok-imagine-image-2.0으로 이용할 수 있으며, Arena의 text-to-image와 이미지 편집 양쪽에서 종합 Elo 세계 2위를 기록했다고 밝혔다.

  5. Google Developers Blog33

    TPU에서 비디오 확산 모델의 Spatio-Temporal Attention을 고속화

    Sparse VideoGen(SVG)의 공간·시간 마스크로 얻는 이론상의 스파스성을 TPU에서 실제 엔드투엔드 고속화로 연결하는 기법을 해설한다. 81프레임 720p 동영상의 시퀀스 길이는 인기 오픈소스 동영상 생성 모델에서 50K에서 400K에 이르며, 720p에서 1440p로 해상도를 높이면 단일 레이어 Attention의 지연 시간이 차지하는 비중은 55.5%에서 88.2%로 증가한다. 스파스 버전은 단일 TPU v6e에서 커널을 측정한 결과 쿼리·키 쌍의 약 38.87%만 보존하여 계산한다.

  6. Google Developers Blog62

    Google, Gemma 4 기반 임베딩 모델 EmbeddingGemma 2 공개… 5종 데이터를 통합 공간에

    Google은 Gemma 4를 기반으로 한 Apache 2.0 라이선스 오픈 모델 EmbeddingGemma 2를 공개했다. 텍스트, 코드, 이미지, 동영상, 오디오를 768차원 공통 벡터 공간으로 변환하며, 270M부터 740M 파라미터까지 필요한 인코더만 불러올 수 있다. MTEB (Code)에서는 EmbeddingGemma 1보다 14% 높은 점수를 기록했다.

    선정 이유: 모듈식 인코더와 차원 축소 선택 방법이 수치와 함께 정리되어 있어, 자체 검색 기반의 구성을 검토할 때 비교 자료로 활용할 수 있다.

  7. Google Developers Blog59

    Google, 로보틱스용 Gemini 4 Argon 공개… ERQA에서 87%

    Google은 Gemini 4 Argon을 공개했다고 밝혔다. 물리적 이해, 코드 생성, 시각·의미 추론이 향상되었으며, ERQA 벤치마크에서 추론만으로 87%를 기록해 다른 프런티어 모델을 앞질렀다고 한다. 로봇 제어, Real2Sim, 물리 이해, 연구·자기 개선 등 4개 분야의 대표적인 프롬프트도 소개했다. Google AI Studio와 Gemini API 등에서 이용할 수 있다.

10월 16일금
  1. NVIDIA62

    NVIDIA는 오픈 모델 Nemotron 패밀리에 Nemotron 3.5 Super VL을 추가했다. 시각 이해, 추론, 도구 사용을 결합해 AI 에이전트가 더 짧은 시간에 더 많은 작업을 완료할 수 있도록 한다고 밝혔다. 총 파라미터 120B, 활성 파라미터 12B이며, 텍스트, 이미지, 문서, 동영상 이해를 지원한다.

    인용NVIDIA AI@NVIDIAAI

    Meet NVIDIA Nemotron 3.5 Super VL Our new open model combines reasoning and tool use with text, image, document, and video understanding for long-running AI agents. 120B total parameters with 12B active 🧵

  2. NVIDIA Blog60

    NVIDIA, 오픈 모델 Nemotron 3.5 Super VL과 Bolt 2종 발표

    NVIDIA는 120B 파라미터의 오픈 모델 Nemotron 3.5 Super VL과 엣지용 Nemotron 3.5 Bolt 74B-A9B 24GB, Bolt E4B 4GB를 발표했다. Super VL과 Bolt 74B-A9B는 현재 제공 중이며, Bolt E4B는 Oct. 23에 제공될 예정이다. NVIDIA는 Super VL이 같은 급의 차점 모델보다 최대 5배의 처리량을 보였다고 밝혔으며, 가중치와 데이터셋도 공개했다.

    선정 이유: 서버용과 엣지용 3개 모델을 메모리 용량 및 배포 대상과 함께 정리하고 있어, 자사 환경에 맞는 규모를 비교해 고르기 쉽다.

10월 15일목
  1. Hugging Face Blog41

    Apertus 1.5, 이미지·음성 이해와 사고 모드 추가

    Apertus 1.5는 Apertus 1.0의 8B 및 70B 모델을 확장한 최신 버전으로, 이미지와 음성 이해, 선택적으로 사용할 수 있는 사고 모드, 4배인 262,144토큰의 컨텍스트 윈도우를 갖췄다. 8B와 70B의 가중치는 2026년 7월 24일 Hugging Face에서 Apache 2.0 라이선스로 공개되었다. 학습 데이터는 8B 모델에 4조 토큰, 70B 모델에 2조 토큰의 지속 사전학습을 추가했으며, 합계는 각각 19T와 17T이다.

  2. Apple Machine Learning Research38

    Selection-based Structured Reasoning(SSR), 효율적인 멀티모달 검색 에이전트를 향하여

    SSR은 멀티모달 검색 에이전트의 추론을 사전에 정의된 재사용 가능한 후보 중에서 선택하는 방식으로 바꿔, 턴당 추론 지연 시간을 90% 이상 줄인다고 밝혔다. 질문별 전체 추론 지연 시간은 28~54% 감소했으며, 2B와 4B 모델로 진행한 7개 멀티모달 검색 벤치마크에서 같은 규모의 주요 검색 에이전트에 필적하는 평균 성공률을 보였다. 강화학습과 지도 파인튜닝 모두에서 과제 성능을 떨어뜨리지 않으면서 효율을 높였다.

  3. Hugging Face Blog69

    Meta, 오픈 웨이트 멀티모달 MoE 모델 「Muse Spark Open」 공개

    Meta가 오픈 웨이트 모델 「Muse Spark Open」을 공개했다. 총 파라미터는 약 816B이며, 토큰당 활성 파라미터는 약 42B인 MoE 구조다. 텍스트, 이미지, 음성, 동영상을 입력으로 받을 수 있고, 컨텍스트 윈도우는 최대 1M 토큰이다. Hugging Face 블로그에서는 transformers, llama.cpp, SGLang, vLLM, MLX에서의 실행 방법과 TRL을 활용한 파인튜닝, 데모를 소개하고 있다.

    선정 이유: 총 파라미터 약 816B, 활성 파라미터 약 42B라는 구성과 각 추론 환경에서의 실행 방법 및 필요한 메모리 용량이 정리되어 있어, 도입 규모를 가늠하는 데 참고가 된다.

  4. Hugging Face Blog60

    Black Forest Labs, FLUX.3 Image Klein 공개… Diffusers에서 출시 첫날부터 사용 가능

    Black Forest Labs의 FLUX.3 Image Klein이 공개되었으며, Diffusers에서 출시 첫날부터 작동한다. 하나의 모델로 text-to-image, 여러 참조 이미지를 이용한 image-to-image, 바운딩 박스를 통한 레이아웃 제어를 지원한다. 증류 버전은 16스텝, CFG 없이 H100에서 1024 × 1024 이미지를 약 2초 만에 생성한다. NVFP4와 FP8 가중치, LoRA 학습 스크립트, Modular Diffusers 파이프라인도 함께 제공된다.

    선정 이유: 프롬프트에 bbox를 적어 배치와 이동을 지정하는 방법과 H100에서의 속도 및 메모리 실측치가 함께 제시되어 있어, 도입 부담을 가늠하기 쉽다.

  5. 네이버 보도자료22

    팀네이버, EMNLP 2026서 논문 24편 채택…글로벌 AI 연구 경쟁력 재확인

    팀네이버의 연구 논문 24편이 자연어처리 분야 최정상 학회 EMNLP 2026에 채택됐다. 학회는 10월 24일부터 29일까지 헝가리 부다페스트에서 열리며, 팀네이버는 이 자리에서 주요 논문을 발표할 예정이다. 채택 논문에는 한국어 추론 데이터 합성, 장시간 영상 구간 탐색 벤치마크, LLM 추론 과정 해석 연구 등이 포함됐다.

10월 14일수
  1. Apple Machine Learning Research40

    Apple, 세 가지 모달리티 Masked Diffusion Models의 설계 공간을 대규모로 분석

    Apple 연구진이 텍스트, 이미지-텍스트 쌍, 음성-텍스트 쌍으로 사전 학습한 최초의 세 모달리티 Masked Diffusion Models(MDM)를 발표하고 그 설계 공간을 체계적으로 분석했다고 밝혔다. 예비 모델은 3B 규모에 6.4T 토큰으로 학습했으며, 텍스트 생성, T2I, T2S 각 과제에서 강력한 결과를 얻었다고 한다. 또한 물리적 배치 크기와 논리적 배치 크기를 분리하는 SDE 기반 재매개변수화를 적용해 최적 배치 크기를 조정할 필요를 없앴다고 보고했다.