본문 바로가기

#온디바이스

오늘 1건
10월 14일수
  1. Google DeepMind27

    싱가포르에서 신고되는 범죄의 절반 이상이 정교한 소셜 엔지니어링 수법을 사용하고 있습니다. GovTechSG와 공동으로, 오픈 모델 Gemma를 활용한 온디바이스 사기 탐지 시스템을 구축하고 있습니다. 현지의 사기 수법으로 파인튜닝함으로써, 개인의 프라이버시를 침해하지 않고 위협을 실시간으로 식별합니다 → https://goo.gle/4ygVkJa

  2. Google DeepMind Blog43

    Google DeepMind, 싱가포르 정부와 협력해 사기 탐지용 AI 모델 개발

    Google DeepMind와 GovTech Singapore는 경량 모델 Gemma를 싱가포르 현지의 사기 대화로 미세 조정해, 기기에서 동작하는 사기 탐지 모델을 개발했다고 밝혔다. 대화 데이터는 기기 안에서 처리되며, 앱 측에서 사용자의 동의가 있는 경우에만 접근된다. Google과 싱가포르 정부 모두 이용자의 대화에는 접근할 수 없다고 한다. 탐지는 경량 분류기에 의한 1차 선별과 Gemma에 의한 문맥 분석의 2단계 구성으로 이루어진다.

  3. Hugging Face Daily Papers55

    MAI-Gym, 모바일과 PC의 GUI 에이전트 평가와 강화학습을 통합한 오픈 플랫폼

    MAI-Gym는 모바일, 컴퓨터, 웹 환경에 걸친 GUI 에이전트의 평가, 데이터 수집, 온라인 강화학습(RL)을 하나로 묶은 오픈 플랫폼이다. 이를 활용해 훈련한 9B 모델 MAI-Gym-9B는 10B 미만의 오픈 GUI 에이전트 중 최고 수준으로 평가되며, MobileWorld에서 78.4%, OSWorld-Verified에서 76.2%를 기록했다. 프레임워크, 스킬, 모의 앱, 검증된 과제 2,000건, 모델 체크포인트도 함께 공개됐다.

  4. Hugging Face Blog39

    LiquidAI, 온디바이스용 에이전트 모델 「LFM2.5-24B-A2B」 공개

    LiquidAI는 총 파라미터 24B, 활성 파라미터 2B 규모의 추론 모델 「LFM2.5-24B-A2B」를 공개했다. 도구 호출과 다단계 작업을 지원하며, 로컬 하드웨어에서 에이전트를 지속적으로 실행할 수 있다고 한다. 에이전트 벤치마크 LiveClaw에서는 48.09점을 기록해 Qwen3.6-35B-A3B의 38.19점을 웃돌았다. 추론 속도는 Apple M5 Max에서 184 tok/s, 단일 NVIDIA B300 GPU에서 최대 21K output tok/s를 나타냈다.

10월 13일화
  1. NVIDIA Blog43

    NVIDIA RTX Spark, 글로벌 PC 앱 생태계 지원 완료

    NVIDIA는 Microsoft와 함께 10월 16일 출시되는 RTX Spark 노트북을 위해 GitHub Copilot, Perplexity 등 에이전트 앱과 Adobe, 개발 도구의 지원을 발표했다. RTX Spark는 최대 128GB의 통합 메모리와 1 petaflop의 AI 연산 성능을 갖췄다. 에이전트용 74B(활성 9B) MoE 모델 Nemotron 3.5 Bolt 74B는 10월 15일 공개된다.

10월 8일목
  1. NVIDIA Blog51

    NVIDIA·Microsoft, Windows에서 AI 에이전트를 구동하는 RTX Spark 등 발표

    NVIDIA와 Microsoft는 샌프란시스코에서 열린 행사에서 Windows에서 AI 에이전트를 구동하기 위한 하드웨어와 소프트웨어를 공동 개발했다고 발표했다. RTX Spark를 탑재한 노트북 PC는 사전 주문 접수를 시작했으며 10월 16일(금)에 출시된다. 소형 데스크톱은 11월 출시 예정이다.

  2. Microsoft AI (MAI) News54

    Microsoft AI, MAI-Code-1.1-Flash 발표… 이전 모델의 4분의 1 비용으로 성능 향상

    Microsoft AI가 코딩 모델 MAI-Code-1.1-Flash를 발표했다. 6월 Microsoft Build에서 공개한 모델과 비교해 코드 품질이 향상되었고, 토큰 효율은 25% 높아졌으며, 비용은 4분의 1이다. GitHub Copilot에서 실제 운영 중이며, 로컬 실행을 위한 다운로드도 가능하다. GitHub Copilot에서의 실험적 제공은 월말까지 시작된다.

10월 7일수
  1. Google DeepMind Blog55

    Google DeepMind, 온디바이스용 멀티모달 임베딩 모델 EmbeddingGemma 2 공개

    Google DeepMind가 텍스트, 이미지, 오디오, 비디오, 코드를 공통 임베딩 공간에 매핑하는 오픈 임베딩 모델 EmbeddingGemma 2를 공개했다. Gemma 4 아키텍처를 기반으로 한 740M 파라미터 모델이며 Apache 2.0 라이선스로 제공된다. MTEB Code 점수는 68.76에서 78.68로 올랐고, 컨텍스트 윈도우는 8K 토큰으로 확대됐다.

10월 2일금
  1. Google Research Blog39

    Google, TEE 활용한 검증 가능한 프라이빗 연합학습 시스템 발표

    Google은 Trusted Execution Environments(TEE)를 활용한 차세대 연합학습(FL) 시스템을 발표했다. 데이터 익명화의 보장을 제3자가 검증·감사할 수 있는 형태로 제공한다. Gboard는 이미 새 시스템을 채택했으며, 기존 FL 시스템에 비해 계산 시간이 크게 단축되었다고 한다. 각 기기가 사전에 승인하는 접근 정책은 Rekor라는 공개 투명성 로그에 게재되어 외부 감사자가 추적할 수 있다.

9월 22일화
  1. Hugging Face Blog63

    Hugging Face, transformers에서 GGUF(llama.cpp 양자화) 모델 실행 지원

    Hugging Face는 transformers에 GGUF 모델을 `from_pretrained`로 불러와 실행하는 기능을 추가했다. ggml 커널을 kernels 라이브러리를 통해 재사용하며, 우선 Apple Silicon의 Qwen3.5 아키텍처를 대상으로 한다. 현재는 main 브랜치에서 이용할 수 있으며, 패킹된 추론 경로는 MPS만 지원한다.

    선정 이유: GGUF를 transformers API로 불러오는 절차와 llama.cpp와의 역할 분담, Apple Silicon에서의 현재 지원 범위가 구체적으로 정리되어 있다.

8월 21일금
  1. Hugging Face Blog52

    Liquid AI, LFM2.5용 DSpark 드래프트 모델 공개… 추론 최대 3.2배 빨라져

    Liquid AI가 LFM2.5-1.2B-Instruct, LFM2.5-2.6B, LFM2.5-8B-A1B 3개 모델용 DSpark 드래프트 모델을 공개했다. 투기적 디코딩을 통해 출력 품질을 바꾸지 않고 GPU에서 최대 3.18배, 온디바이스에서 최대 2.87배의 처리량 향상을 보였다. llama.cpp와 SGLang에서 출시 첫날부터 사용할 수 있으며, LFM2.5-2.6B의 함수 호출 지연 시간은 평균 57% 줄었다.

8월 12일수
  1. Google DeepMind Blog61

    Google DeepMind, 수어에서 텍스트로 번역하는 모델 SL2T 발표… Pixel 11의 Gboard 등에 탑재

    Google DeepMind는 50개 이상의 수어를 학습한 수어-텍스트 번역 모델 SL2T를 발표했다. Pixel 11의 Gboard와 Live Transcribe에서 ASL에서 영어로의 수어-텍스트 입력을 지원한다. FLEURS-ASL(sd-test)에서 제로샷 70 BLEURT를 기록했으며, 기존 보고치를 크게 웃돈다고 설명하고 있다.

    선정 이유: 수어를 포즈 좌표만으로 번역하는 설계와 10만 시간이 넘는 학습 데이터, 알려진 오류 사례까지 구체적으로 제시되어 있어 수어 AI의 현황을 파악하기 좋다.

8월 10일월
  1. Hugging Face Blog72

    Meta, 로컬 에이전트 지원 멀티모달 모델 Muse Glimmer 공개… Apache 2.0으로 제공

    Meta가 Muse에서 30B 파라미터로 증류한 멀티모달 모델 Muse Glimmer를 Apache 2.0 라이선스로 공개했다. 로컬 환경의 에이전트 용도를 염두에 둔 모델이며, transformers, llama.cpp, vLLM, Inference Endpoints가 day-0부터 지원한다. Hugging Face Hub에서 내려받을 수 있다.

    선정 이유: 30B 로컬 모델에 대해 아키텍처, 각 추론 기반에서의 사용법, 파인튜닝 요건이 한꺼번에 정리되어 있다.

7월 28일화
  1. Google DeepMind Blog60

    Google DeepMind, Gemini Robotics 2 발표… 휴머노이드 전신 제어 지원

    Google DeepMind가 로봇용 Gemini Robotics 2를 발표했다. VLA인 Gemini Robotics 2, 추론 모델인 Gemini Robotics ER 2, 온디바이스용 Gemini Robotics On-Device 2 등 3개 모델로 구성되며, 휴머노이드의 전신 제어와 여러 로봇의 협업을 가능하게 한다. ER 2는 Google AI Studio에서 이용할 수 있고, VLA와 On-Device 모델은 조기 액세스 파트너를 대상으로 제공된다.

    선정 이유: 전신 제어, 섬세한 손 조작, 여러 로봇의 협업을 3개 모델의 역할 분담으로 정리해 제공 범위와 적응에 필요한 데이터 양을 확인하기 쉽다.

7월 16일목
  1. Hugging Face Blog38

    에이전트용 모델 라우팅은 단순하지 않다

    에이전트를 위한 모델 라우팅은 모델 선택을 분류하는 문제가 아니라, 비용·품질·지연 시간을 동시에 최적화하는 시스템 최적화 문제로 다뤄야 한다고 주장한다. AppWorld Test Challenge의 417개 태스크에서 동일한 CodeAct 에이전트의 총비용은 Sonnet이 79달러(태스크당 0.19달러)였던 반면, GPT-4.1은 155달러(태스크당 0.37달러)로 약 2배에 달했다. 캐시가 작동하는 방식의 차이가 단가 차이를 뒤집은 것이다. 제안하는 라우터 구성 1은 Opus 단독 사용과 비교해 비용을 21%, 지연 시간을 9% 줄였으며, 정확도 하락은 4%에 그쳐 84%를 달성했다.

6월 27일토
  1. Google Research Blog37

    Pixel의 Gemini Nano를 고정 MTP로 가속화, Pixel 9·10 시리즈에 적용

    Google은 동결한 Gemini Nano v3 모델에 Multi-Token Prediction(MTP) 헤드를 사후에 붙이는 새로운 아키텍처를 발표하고, Pixel 9·10 시리즈에 적용을 시작했다고 밝혔다. MTP 헤드는 메인 모델의 KV 캐시를 직접 참조하므로 드래프트용 KV 캐시를 따로 둘 필요가 없으며, 표준 드래프트 모델과 비교해 Pixel 9에서 50% 이상의 속도 향상을 얻었다고 설명했다. 백엔드를 동결하기 때문에 기반 모델의 성능과 안전성은 떨어지지 않으며, 출력은 메인 모델과 비트 단위로 일치한다.

6월 9일화
  1. Google DeepMind Blog60

    Google DeepMind, 인코더 없는 멀티모달 모델 Gemma 4 12B 발표

    Google DeepMind가 노트북용 멀티모달 모델 Gemma 4 12B를 발표했다. 이미지와 음성 입력을 인코더 없이 LLM 본체에 직접 전달하는 구조이며, 16GB VRAM 또는 통합 메모리에서 동작한다. Apache 2.0 라이선스로 공개되었으며, Hugging Face와 Kaggle에서 가중치를 내려받을 수 있다.

    선정 이유: 이미지와 음성을 인코더 없이 LLM 본체에 직접 입력하는 구조와 16GB에서 동작하는 메모리 요건이 제시되어 있어, 로컬 운용을 판단하는 데 참고가 된다.

4월 6일월
  1. LG AI연구원 뉴스22

    LG Aimers 8기, EXAONE 4.0 1.2B 경량화 해커톤 개최

    LG AI연구원이 개최한 LG Aimers 8기 해커톤에서 27개 팀 94명의 청년 인재가 EXAONE 4.0 1.2B 모델 경량화에 도전했다. 대상을 받은 '핸드크림 바른 쥐' 팀은 W8A8 양자화 기법으로 원본 모델 대비 성능 손실을 최소화하며 메모리 효율을 극대화했고, 2위 '미쿠짱' 팀은 DPO를 도입해 다양한 방법론을 실험했다.

3월 17일월
  1. Mistral AI News57

    Mistral, Mistral Small 3.1 발표… Apache 2.0으로 공개, 컨텍스트는 최대 128k

    Mistral AI가 텍스트 성능과 멀티모달 이해력을 개선하고 컨텍스트 윈도우를 최대 128k 토큰으로 확장한 Mistral Small 3.1을 발표했다. Apache 2.0 라이선스로 공개되었으며, Gemma 3과 GPT-4o Mini를 능가하고 추론 속도는 150 토큰/초라고 밝혔다. Hugging Face에서 베이스 모델과 인스트럭트 모델을 내려받을 수 있다.