본문 바로가기

#멀티모달

오늘 1건
7월 15일수
  1. Hugging Face Blog72

    Thinking Machines Lab, 이미지·음성·텍스트 지원 오픈 모델 Inkling과 Inkling-Small 공개

    Thinking Machines Lab이 이미지, 텍스트, 음성을 입력할 수 있는 약 1T 파라미터 오픈 모델 Inkling을 Hugging Face에 공개했다. 총 파라미터 975B, 활성 파라미터 41B의 MoE 구조이며 1M 컨텍스트를 지원한다. 총 276B, 활성 12B인 Inkling-Small도 추가되었으며, Inference Endpoints에서 원클릭으로 배포할 수 있다.

    선정 이유: 아키텍처 세부 사항, 필요 VRAM, 각 추론 엔진별 실행 절차, 벤치마크 표가 한데 정리되어 있어 도입 여부를 판단하는 자료로 활용할 수 있다.

7월 1일수
  1. Google DeepMind Blog65

    Google DeepMind, Nano Banana 2 Lite와 Gemini Omni Flash 개발자 대상 제공 시작

    Google DeepMind는 가장 빠르고 저렴한 이미지 모델 Nano Banana 2 Lite와 동영상 생성·대화형 편집 모델 Gemini Omni Flash를 개발자용으로 제공하기 시작했다. Nano Banana 2 Lite는 1K 이미지당 $0.034이며, text-to-image 출력은 4초가 걸린다. Omni Flash는 동영상 출력 1초당 $0.10이다. 두 모델 모두 Google AI Studio와 gemini API에서 이용할 수 있다.

    선정 이유: 이미지 생성과 동영상 생성 두 모델을 연결해 쓰는 방식과 가격 및 제한 사항이 구체적으로 제시되어 있어, 개발 도입 여부를 판단하는 자료가 된다.

6월 23일화
  1. Mistral AI News62

    Mistral, OCR 모델 'Mistral OCR 4' 발표… 바운딩 박스와 신뢰도 점수 지원

    Mistral AI가 OCR 모델 Mistral OCR 4를 공개했다. 텍스트와 함께 바운딩 박스, 블록 유형 분류, 인라인 신뢰도 점수를 반환하며, 10개 언어 그룹에 걸친 170개 언어를 지원한다. API 요금은 1,000페이지당 $4이며, Batch API에서는 50% 할인된 $2, Document AI는 $5다. 단일 컨테이너로 자체 호스팅도 가능하며, 기업용으로 제공된다.

    선정 이유: 바운딩 박스와 신뢰도 점수를 반환하는 구조화된 출력과 벤치마크 자체의 채점상 한계가 함께 적혀 있어, 자사 문서로 검증하는 방식을 파악하기 쉽다.

6월 9일화
  1. Google DeepMind Blog60

    Google DeepMind, 인코더 없는 멀티모달 모델 Gemma 4 12B 발표

    Google DeepMind가 노트북용 멀티모달 모델 Gemma 4 12B를 발표했다. 이미지와 음성 입력을 인코더 없이 LLM 본체에 직접 전달하는 구조이며, 16GB VRAM 또는 통합 메모리에서 동작한다. Apache 2.0 라이선스로 공개되었으며, Hugging Face와 Kaggle에서 가중치를 내려받을 수 있다.

    선정 이유: 이미지와 음성을 인코더 없이 LLM 본체에 직접 입력하는 구조와 16GB에서 동작하는 메모리 요건이 제시되어 있어, 로컬 운용을 판단하는 데 참고가 된다.

6월 5일금
  1. Google Research Blog63

    Google Research, 스마트폰 카메라로 심박을 수동적으로 측정하는 PHRM을 Nature에 발표

    Google Research는 얼굴 인증으로 잠금을 해제한 직후 전면 카메라로 촬영한 얼굴 영상에서 일상적인 스마트폰 사용 중의 심박수(HR)와 안정시 심박수(RHR)를 추정하는 연구 시스템 PHRM을 발표했다. 논문은 Nature에 게재됐다. HR의 오차는 MAPE 기준 10% 미만이며, 일일 RHR은 웨어러블 기기와 비교해 MAE 5 bpm 미만이다. 대규모 데이터셋과 학습된 모델 「PHRM-mini」도 자격을 갖춘 연구자를 대상으로 공개된다.

    선정 이유: 얼굴 인증 시의 짧은 영상으로 심박을 추정하는 방법을, 피부색의 다양성을 고려한 검증 설계 및 실제 환경에서의 결과와 함께 확인할 수 있다.

6월 2일화
  1. Microsoft AI (MAI) News60

    Microsoft AI, 헬스 분야에서 가치관의 실천 설명… Mayo Clinic과의 협업 및 Copilot Health 언급

    Microsoft AI는 헬스 분야에서 자사의 가치관을 제품 설계와 제휴에 반영하고 있다고 설명했다. Mayo Clinic과 함께 의료 특화 프런티어 AI 모델을 공동 개발하고 있으며, 미국에서는 Copilot Health의 프리뷰를 시작했다.

    선정 이유: 헬스 분야에서 Microsoft AI가 가치관을 설계와 제휴에 어떻게 반영하는지를 이용 규모와 Mayo Clinic과의 협업을 중심으로 정리하고 있다.

5월 29일금
  1. Google Research Blog67

    구글 리서치, I/O 2026에서 과학·의료·기상·양자 등 연구 성과 총정리

    구글 리서치는 I/O 2026에서 선보인 연구 성과를 공식 블로그에서 총정리했다고 밝혔다. 'Gemini for Science'를 발표했으며, ERA와 Co-Scientist는 Nature에 게재됐다고 설명했다. 의료 분야에서는 Symptom AI, AMIE, MedGemma를 소개했고, 기상 분야에서는 WeatherNext와 Groundsource를 활용한 홍수 예측도 소개했다.

    선정 이유: 분야별(과학, 의료, 기상, 양자 등)로 구글 리서치의 성과와 제공 현황이 정리되어 있어 I/O 2026의 연구 분야 전체 모습을 파악하기 좋다.

5월 18일월
  1. Google DeepMind Blog55

    Google DeepMind, Project Genie에 Street View 연동 추가... Google AI Ultra 가입자 대상 전 세계 확대

    Google DeepMind는 실험적 프로토타입 Project Genie에 Street View의 Imagery Grounding 기능을 추가했다. Maps에서 선택한 미국 내 장소를 출발점으로 삼아, 스타일과 캐릭터를 지정해 세계를 생성할 수 있다. 대상인 만 18세 이상 Google AI Ultra($200) 구독자를 대상으로 전 세계에서 순차적으로 제공을 시작했다.

  2. Google DeepMind Blog74

    Google DeepMind, 모든 입력으로 동영상을 생성하는 Gemini Omni Flash 발표

    Google DeepMind는 이미지·음성·동영상·텍스트를 입력해 동영상을 생성하고 대화로 편집할 수 있는 새 모델 Gemini Omni Flash를 발표했다. Gemini 앱, Google Flow, YouTube Shorts에서 제공을 시작했으며 Google AI Plus, Pro, Ultra 구독자가 이용할 수 있다. 향후 몇 주 안에 개발자와 기업을 대상으로 API를 통해서도 제공할 예정이다.

    선정 이유: 동영상의 대화 편집과 참조 입력, SynthID를 통한 투명성 대응까지 제공 범위와 함께 정리되어 있어, 이용 가능 여부를 판단하기 쉽다.

5월 17일일
  1. Google DeepMind Blog52

    Google, SynthID·C2PA 기반 콘텐츠 검증을 Search·Gemini·Chrome 등으로 확대

    Google은 AI 생성 콘텐츠의 출처와 편집 여부를 확인할 수 있는 투명성·검증 도구를 Search, Gemini, Chrome, Pixel, Cloud로 확대한다고 발표했다. SynthID 검증은 Gemini 앱에 이어 Search에서 제공을 시작하며, Chrome에도 수 주 안에 대응한다. Google Cloud에서는 새롭게 AI Content Detection API도 선보인다.

4월 23일목
  1. Google Research Blog60

    Google Photos, Auto frame에 촬영 후 시점을 보정하는 3D 대응 사진 재구도 기능 추가

    Google은 촬영 후 사진의 카메라 시점을 조정하는 새로운 기법을 Google Photos의 Auto frame 기능으로 제공하기 시작했다고 밝혔다. 사진을 3D 장면으로 해석하고, 보이지 않았던 부분은 생성 AI로 채운다. 인물이 포함된 대상 사진에서는 재구도된 이미지가 Auto frame의 두 번째 후보로 선택할 수 있다.

    선정 이유: 3D 추정과 생성적 보완을 분리한 2단계 구성과 Google Photos에서 사용할 수 있는 범위가 구체적으로 설명되어 있어, 사진 편집의 작동 방식을 이해하기 쉽다.

4월 2일목
  1. Microsoft AI (MAI) News52

    Microsoft AI, MAI-Transcribe-1 등 MAI 모델 3종 Foundry에서 제공 시작

    Microsoft AI가 MAI-Transcribe-1, MAI-Voice-1, MAI-Image-2 등 3개 모델을 Microsoft Foundry와 MAI Playground에서 제공하기 시작했다. 요금은 MAI-Transcribe-1이 1시간당 $0.36부터, MAI-Voice-1이 100만 자당 $22부터, MAI-Image-2가 텍스트 입력 100만 토큰당 $5, 이미지 출력 100만 토큰당 $33부터이다.

3월 17일화
  1. Mistral AI News60

    Mistral AI, 통합형 오픈 모델 「Mistral Small 4」 발표

    Mistral AI가 Mistral Small 4를 발표했다. Magistral의 추론, Pixtral의 멀티모달, Devstral의 에이전트형 코딩을 하나의 모델로 통합했으며, Apache 2.0 라이선스로 공개했다. 총 파라미터 119B의 MoE 구조로 256k 컨텍스트 윈도우를 지원하고, Mistral Small 3와 비교해 지연 시간 중시 설정에서 엔드 투 엔드 완료 시간을 40% 줄였으며, 처리량 중시 설정에서는 초당 요청 수를 3배로 늘렸다.

    선정 이유: 추론, 멀티모달, 에이전트형 코딩을 하나의 모델로 통합한 구성과 출력 길이를 줄인 비교 결과가 제시되어 있어, 모델 선택 기준을 정리하기 좋다.

12월 21일일
  1. One Useful Thing (Ethan Mollick)56

    Ethan Mollick, AI의 Jagged Frontier와 병목 현상을 논하다

    Ethan Mollick은 AI의 능력이 고르지 않게 성장하는 한 인간의 업무를 완전히 대체하기는 어렵다고 주장한다. 병목 하나가 해소되면 전체가 한꺼번에 진전되는 사례로 Google의 Nano Banana Pro와 NotebookLM의 슬라이드 생성을 들며, 벤치마크가 아니라 병목을 보라고 권한다.

12월 3일수
  1. Mistral AI News71

    Mistral AI, Mistral 3 발표… Mistral Large 3·Ministral 3를 Apache 2.0으로 공개

    Mistral AI가 차세대 모델 Mistral 3를 발표했다. 14B·8B·3B의 소형 dense 모델과, 활성 파라미터 41B·총 675B 규모의 MoE인 Mistral Large 3로 구성되며, 전 모델을 Apache 2.0 라이선스로 공개한다. Mistral Large 3는 LMArena에서 OSS 비추론 모델 부문 2위를 기록했고, Ministral 3 14B의 추론 버전은 AIME '25에서 85%를 달성했다.

    선정 이유: 3B·8B·14B 소형 모델과 675B 규모 MoE를 동일한 Apache 2.0으로 공개해, 용도별 선택지와 배포처를 비교하기 쉽다.

8월 1일금
  1. Mistral AI News27

    Pixtral-12B 파인튜닝으로 위성 이미지 분류 성능을 높이는 방법

    Mistral은 Pixtral-12B를 위성 이미지로 파인튜닝하면 기본 모델보다 큰 폭의 성능 향상을 얻을 수 있다고 밝혔다. 평가에는 Aerial Image Dataset(AID)을 사용했으며, 이를 학습 데이터 8,000건과 테스트 데이터 2,000건으로 나누었다. 프롬프트만으로는 모호한 클래스를 구분하기 어렵고, 존재하지 않는 클래스 이름을 출력하는 문제가 있었다.

5월 7일수
3월 17일월
  1. Mistral AI News57

    Mistral, Mistral Small 3.1 발표… Apache 2.0으로 공개, 컨텍스트는 최대 128k

    Mistral AI가 텍스트 성능과 멀티모달 이해력을 개선하고 컨텍스트 윈도우를 최대 128k 토큰으로 확장한 Mistral Small 3.1을 발표했다. Apache 2.0 라이선스로 공개되었으며, Gemma 3과 GPT-4o Mini를 능가하고 추론 속도는 150 토큰/초라고 밝혔다. Hugging Face에서 베이스 모델과 인스트럭트 모델을 내려받을 수 있다.