본문 바로가기

멀티모달

텍스트 너머로. 이미지와 글을 함께 다루고 음성과 동영상을 입출력하는 모델과 제품.

주요 뉴스 30건관련 토픽이미지 생성AI 동영상음성·오디오

최신 주요 뉴스

30건 중 21~30번째
7월 1일수
  1. Google DeepMind Blog65

    Google DeepMind, Nano Banana 2 Lite와 Gemini Omni Flash 개발자 대상 제공 시작

    Google DeepMind는 가장 빠르고 저렴한 이미지 모델 Nano Banana 2 Lite와 동영상 생성·대화형 편집 모델 Gemini Omni Flash를 개발자용으로 제공하기 시작했다. Nano Banana 2 Lite는 1K 이미지당 $0.034이며, text-to-image 출력은 4초가 걸린다. Omni Flash는 동영상 출력 1초당 $0.10이다. 두 모델 모두 Google AI Studio와 gemini API에서 이용할 수 있다.

    선정 이유: 이미지 생성과 동영상 생성 두 모델을 연결해 쓰는 방식과 가격 및 제한 사항이 구체적으로 제시되어 있어, 개발 도입 여부를 판단하는 자료가 된다.

6월 23일화
  1. Mistral AI News62

    Mistral, OCR 모델 'Mistral OCR 4' 발표… 바운딩 박스와 신뢰도 점수 지원

    Mistral AI가 OCR 모델 Mistral OCR 4를 공개했다. 텍스트와 함께 바운딩 박스, 블록 유형 분류, 인라인 신뢰도 점수를 반환하며, 10개 언어 그룹에 걸친 170개 언어를 지원한다. API 요금은 1,000페이지당 $4이며, Batch API에서는 50% 할인된 $2, Document AI는 $5다. 단일 컨테이너로 자체 호스팅도 가능하며, 기업용으로 제공된다.

    선정 이유: 바운딩 박스와 신뢰도 점수를 반환하는 구조화된 출력과 벤치마크 자체의 채점상 한계가 함께 적혀 있어, 자사 문서로 검증하는 방식을 파악하기 쉽다.

6월 9일화
  1. Google DeepMind Blog60

    Google DeepMind, 인코더 없는 멀티모달 모델 Gemma 4 12B 발표

    Google DeepMind가 노트북용 멀티모달 모델 Gemma 4 12B를 발표했다. 이미지와 음성 입력을 인코더 없이 LLM 본체에 직접 전달하는 구조이며, 16GB VRAM 또는 통합 메모리에서 동작한다. Apache 2.0 라이선스로 공개되었으며, Hugging Face와 Kaggle에서 가중치를 내려받을 수 있다.

    선정 이유: 이미지와 음성을 인코더 없이 LLM 본체에 직접 입력하는 구조와 16GB에서 동작하는 메모리 요건이 제시되어 있어, 로컬 운용을 판단하는 데 참고가 된다.

6월 5일금
  1. Google Research Blog63

    Google Research, 스마트폰 카메라로 심박을 수동적으로 측정하는 PHRM을 Nature에 발표

    Google Research는 얼굴 인증으로 잠금을 해제한 직후 전면 카메라로 촬영한 얼굴 영상에서 일상적인 스마트폰 사용 중의 심박수(HR)와 안정시 심박수(RHR)를 추정하는 연구 시스템 PHRM을 발표했다. 논문은 Nature에 게재됐다. HR의 오차는 MAPE 기준 10% 미만이며, 일일 RHR은 웨어러블 기기와 비교해 MAE 5 bpm 미만이다. 대규모 데이터셋과 학습된 모델 「PHRM-mini」도 자격을 갖춘 연구자를 대상으로 공개된다.

    선정 이유: 얼굴 인증 시의 짧은 영상으로 심박을 추정하는 방법을, 피부색의 다양성을 고려한 검증 설계 및 실제 환경에서의 결과와 함께 확인할 수 있다.

6월 2일화
  1. Microsoft AI (MAI) News60

    Microsoft AI, 헬스 분야에서 가치관의 실천 설명… Mayo Clinic과의 협업 및 Copilot Health 언급

    Microsoft AI는 헬스 분야에서 자사의 가치관을 제품 설계와 제휴에 반영하고 있다고 설명했다. Mayo Clinic과 함께 의료 특화 프런티어 AI 모델을 공동 개발하고 있으며, 미국에서는 Copilot Health의 프리뷰를 시작했다.

    선정 이유: 헬스 분야에서 Microsoft AI가 가치관을 설계와 제휴에 어떻게 반영하는지를 이용 규모와 Mayo Clinic과의 협업을 중심으로 정리하고 있다.

5월 29일금
  1. Google Research Blog67

    구글 리서치, I/O 2026에서 과학·의료·기상·양자 등 연구 성과 총정리

    구글 리서치는 I/O 2026에서 선보인 연구 성과를 공식 블로그에서 총정리했다고 밝혔다. 'Gemini for Science'를 발표했으며, ERA와 Co-Scientist는 Nature에 게재됐다고 설명했다. 의료 분야에서는 Symptom AI, AMIE, MedGemma를 소개했고, 기상 분야에서는 WeatherNext와 Groundsource를 활용한 홍수 예측도 소개했다.

    선정 이유: 분야별(과학, 의료, 기상, 양자 등)로 구글 리서치의 성과와 제공 현황이 정리되어 있어 I/O 2026의 연구 분야 전체 모습을 파악하기 좋다.

5월 18일월
  1. Google DeepMind Blog74

    Google DeepMind, 모든 입력으로 동영상을 생성하는 Gemini Omni Flash 발표

    Google DeepMind는 이미지·음성·동영상·텍스트를 입력해 동영상을 생성하고 대화로 편집할 수 있는 새 모델 Gemini Omni Flash를 발표했다. Gemini 앱, Google Flow, YouTube Shorts에서 제공을 시작했으며 Google AI Plus, Pro, Ultra 구독자가 이용할 수 있다. 향후 몇 주 안에 개발자와 기업을 대상으로 API를 통해서도 제공할 예정이다.

    선정 이유: 동영상의 대화 편집과 참조 입력, SynthID를 통한 투명성 대응까지 제공 범위와 함께 정리되어 있어, 이용 가능 여부를 판단하기 쉽다.

4월 23일목
  1. Google Research Blog60

    Google Photos, Auto frame에 촬영 후 시점을 보정하는 3D 대응 사진 재구도 기능 추가

    Google은 촬영 후 사진의 카메라 시점을 조정하는 새로운 기법을 Google Photos의 Auto frame 기능으로 제공하기 시작했다고 밝혔다. 사진을 3D 장면으로 해석하고, 보이지 않았던 부분은 생성 AI로 채운다. 인물이 포함된 대상 사진에서는 재구도된 이미지가 Auto frame의 두 번째 후보로 선택할 수 있다.

    선정 이유: 3D 추정과 생성적 보완을 분리한 2단계 구성과 Google Photos에서 사용할 수 있는 범위가 구체적으로 설명되어 있어, 사진 편집의 작동 방식을 이해하기 쉽다.

3월 17일화
  1. Mistral AI News60

    Mistral AI, 통합형 오픈 모델 「Mistral Small 4」 발표

    Mistral AI가 Mistral Small 4를 발표했다. Magistral의 추론, Pixtral의 멀티모달, Devstral의 에이전트형 코딩을 하나의 모델로 통합했으며, Apache 2.0 라이선스로 공개했다. 총 파라미터 119B의 MoE 구조로 256k 컨텍스트 윈도우를 지원하고, Mistral Small 3와 비교해 지연 시간 중시 설정에서 엔드 투 엔드 완료 시간을 40% 줄였으며, 처리량 중시 설정에서는 초당 요청 수를 3배로 늘렸다.

    선정 이유: 추론, 멀티모달, 에이전트형 코딩을 하나의 모델로 통합한 구성과 출력 길이를 줄인 비교 결과가 제시되어 있어, 모델 선택 기준을 정리하기 좋다.

12월 3일수
  1. Mistral AI News71

    Mistral AI, Mistral 3 발표… Mistral Large 3·Ministral 3를 Apache 2.0으로 공개

    Mistral AI가 차세대 모델 Mistral 3를 발표했다. 14B·8B·3B의 소형 dense 모델과, 활성 파라미터 41B·총 675B 규모의 MoE인 Mistral Large 3로 구성되며, 전 모델을 Apache 2.0 라이선스로 공개한다. Mistral Large 3는 LMArena에서 OSS 비추론 모델 부문 2위를 기록했고, Ministral 3 14B의 추론 버전은 AIME '25에서 85%를 달성했다.

    선정 이유: 3B·8B·14B 소형 모델과 675B 규모 MoE를 동일한 Apache 2.0으로 공개해, 용도별 선택지와 배포처를 비교하기 쉽다.