본문 바로가기

#추론

오늘 0건
11월 4일수
  1. AWS Machine Learning Blog34

    AWS에서 초저지연 음성 AI 애플리케이션 구축, Cartesia 사례

    Cartesia는 State Space Models(SSM)을 기반으로 한 음성 합성 모델 Sonic과 음성 인식 모델 Ink로 100ms 미만의 지연 시간에 음성을 처리하는 방법을 소개하고, AWS에서의 배포 방식을 설명했다. Sonic은 첫 음성 바이트까지 약 90ms가 걸리며, 44개 이상의 언어를 지원하고 10초 분량의 음성 샘플로 보이스 클론을 만들 수 있다. Ink는 네이티브 턴 감지 기능을 갖추고 있어 별도의 VAD 모델 없이 발화의 종료를 판단한다.

  2. Google Developers Blog45

    저렴한 분류기로 Gemini 모델과 사고 수준을 배분해 작업 단위 비용을 낮춘다

    저렴한 분류기로 작업마다 가장 적합한 Gemini 모델과 사고 수준을 배분해 작업 단위 비용을 낮추는 방법을 검증했다. 50문제 테스트에서 TypeSafe의 Jev 분류기는 48문제(96.0%)를 올바르게 배분했다. maxOutputTokens를 300으로 제한해도 간단한 작업의 사고 토큰은 줄지 않았고, 어려운 작업 25문제 중 7문제에서는 정답을 내지 못했다.

10월 29일목
  1. Hugging Face Blog48

    Hugging Face, Apple 플랫폼용 음성 인식 패키지 AnySpeechRecognizer와 판단 패키지 AnyDecisionModel 발표

    AnySpeechRecognizer와 AnyDecisionModel은 Apple 플랫폼에서 오픈 모델을 사용해 음성 인식과 판단을 수행하는 Swift 패키지다. AnySpeechRecognizer는 SpeechAnalyzer와 동일한 API를 그대로 유지하면서, NVIDIA의 Parakeet이나 Alibaba의 Qwen3-ASR 등 여러 인식 엔진 중에서 선택할 수 있게 하며 화자 분리 기능도 추가한다. AnyDecisionModel은 예/아니오, 다지선다, 평가 척도 질문에 대해 텍스트를 생성하는 방식이 아니라 모델의 확률로부터 답을 도출하며, 타입이 지정된 결과와 확률을 반환한다.

10월 27일화
  1. OpenAI News88

    OpenAI, 수학·컴퓨터 과학·물리학 분야의 AI 발견 3건 발표… 학계와 공동으로 이해 넓혀간다

    OpenAI는 조화해석, 계산 복잡도, 양자장론 분야에서 새로운 발견 3건을 발표했다. 모델은 국소 평활화 추측(local smoothing conjecture)을 모든 차원에서 증명했고, 지수 시간 가설(ETH)이 틀렸음을 보였으며, QCD 등에 대한 존재 증명도 생성했다. OpenAI는 이번 성과를 원자료(raw research data)로 규정하고, 외부 전문가가 주도하는 공동 연구 그룹을 통해 이해를 넓혀 갈 계획이라고 밝혔다.

    선정 이유: AI가 내놓은 수학·컴퓨터 과학·물리학 성과를 외부 전문가의 협력으로 검증하고 이해로 이어가는 공개 방식이 세 가지 형태로 구체적으로 제시되어 있다.

10월 22일목
  1. NVIDIA Blog25

    NVIDIA 오픈 모델, 유럽 공공 부문 프로젝트 확산을 뒷받침

    유럽 각국의 정부와 공공기관이 NVIDIA의 오픈 모델을 활용해 데이터와 인프라를 자국의 통제 아래 둔 채 행정 업무용 AI를 구축하고 있다. 폴란드에서는 가족·노동·사회정책부가 400곳 이상의 노동사무소를 위해 PLLuM, GPT OSS, Inkling을 사용한 에이전트형 시스템을 개발 중이다. 프랑스에서는 CANUT이 선정한 LINAGORA와 Docaposte가 2,500곳 이상의 대상 기관에 Twake.ai를 기반으로 한 주권형 협업 워크스페이스를 제공한다.

  2. Hugging Face Blog35

    어휘를 특화한 SLM은 실제 앱의 추론 비용을 77% 줄일 수 있을까

    VocabX로 어휘를 특화한 Qwen3-4B 기반 포르투갈어 에세이 채점 모델은 베이스 모델을 바꾸지 않고 측정상 추론 비용을 77% 줄였다고 한다. 어휘는 용도에 맞게 재구성됐으며, 출력층은 약 152,000행에서 약 65,000행으로 축소됐다. 수치는 심사 중인 논문 버전을 기준으로 하므로 공개 시점에는 달라질 수 있다.

  3. Hugging Face Blog38

    AWS Trainium에서 TorchNeuron 프로파일링 (1회): 시스템 수준 분석

    AWS Trainium의 PyTorch 백엔드 TorchNeuron에서 torch.profiler와 NeuronConfig를 활용한 시스템 수준 프로파일링 기법을 설명한다. RMSNorm을 예제로 순수 PyTorch 연산, torch.rms_norm(), torch.compile의 세 가지 구현을 동일한 조건에서 측정하고, key_averages() 표와 Neuron Explorer에서 디바이스 시간을 비교한다.

  4. OpenAI News43

    수천 개의 AI 에이전트로 생물학 데이터에서 새로운 연구 단서 발견

    OpenAI, PerturbAI, Scripps Research는 GPT-Rosalind를 기반으로 한 수천 개의 AI 에이전트를 활용해 마우스 뇌세포 수백만 개분의 기존 실험 데이터를 단 32분 만에 분석했다고 밝혔다. 에이전트는 인간이 수행한 분석 결과를 재현한 뒤 추가 단서를 찾아냈으며, Tsc1과 Tsc2의 작용 차이와 콜레스테롤 조절과 신경퇴행 사이의 연관 가능성을 제시했다. 연구팀은 같은 작업을 사람이 하나씩 수행할 경우 수개월에서 1년이 걸릴 것으로 추산했으며, 추론 아틀라스는 현재 공개된 상태다.

10월 21일수
  1. AWS Machine Learning Blog38

    Amazon SageMaker HyperPod에서 GPT-OSS-20B를 다국어 추론용으로 파인튜닝

    AWS는 Amazon SageMaker HyperPod에서 SFT와 GRPO를 활용해 GPT-OSS-20B를 다국어 추론용으로 파인튜닝하는 절차를 공개했다. 베이스 모델은 50개 테스트에서 지정 언어로 추론한 비율이 22%에 그쳤으며, 영어는 100%였던 반면 프랑스어·스페인어·이탈리아어는 0%였다. AWS는 개선의 대부분은 SFT가 담당했고, GRPO는 개선 여지가 있는 경우에 추가 효과를 보였다고 밝혔다.

  2. Anthropic News62

    Anthropic, Claude 대상 증류 공격에 대한 방어 강화 기법과 성과 공개

    Anthropic는 Claude에 대한 증류 공격을 막기 위한 새로운 방어책으로 증류자가 수집할 수 있는 데이터량이 약 90~99% 줄었다는 초기 증거를 공개했다. 대책에는 추론 요약, 2단계 분류기, 계정 차단 등이 포함되며, 일부 개발자는 연동 부분을 업데이트해야 하고 오탐률은 0.1% 미만이라는 트레이드오프도 있다.

    선정 이유: 추론 트랜스크립트 요약과 분류기 등 증류(distillation) 대응의 구체적 기법과, 정상 사용자에게 미치는 영향이라는 대가가 함께 제시되어 있다.

10월 20일화
  1. AWS Machine Learning Blog24

    Deepgram, AWS Trainium에서 음성 AI 추론을 대규모로 최적화한 방법

    Deepgram은 음성 인식 모델 Nova-3를 AWS Trainium2로 옮겨, 오프라인 배치 처리에서 기존 컴퓨팅 기반보다 달러당 처리 음성량을 11~70% 늘렸다고 밝혔다. 최종 구성에서는 단일 Amazon EC2 trn2.3xlarge 인스턴스에서 8개의 모델 레플리카를 동작시킨다. 커널 튜닝에서는 FFN 레이어가 배치 크기 96에서 레퍼런스 커널 대비 지연 시간을 2.0배 줄였고, depthwise conv1d는 1.5배 빨라졌다.

10월 19일월
  1. xAI News58

    xAI, 장시간 에이전트용 Grok 4.6 공개… Cursor와 Grok Build에서 이용 가능

    xAI는 Grok 4.5를 기반으로, 장시간 동작하는 에이전트와 대화형·시각적 작업에 중점을 둔 Grok 4.6을 공개했다. Artificial Analysis Intelligence Index에서는 GPT-5.6 Sol과 같은 61점이다. Cursor와 Grok Build에서 이용할 수 있으며, API 요금은 입력 100만 토큰당 $2, 출력 100만 토큰당 $6부터다.

  2. Google Developers Blog33

    TPU에서 비디오 확산 모델의 Spatio-Temporal Attention을 고속화

    Sparse VideoGen(SVG)의 공간·시간 마스크로 얻는 이론상의 스파스성을 TPU에서 실제 엔드투엔드 고속화로 연결하는 기법을 해설한다. 81프레임 720p 동영상의 시퀀스 길이는 인기 오픈소스 동영상 생성 모델에서 50K에서 400K에 이르며, 720p에서 1440p로 해상도를 높이면 단일 레이어 Attention의 지연 시간이 차지하는 비중은 55.5%에서 88.2%로 증가한다. 스파스 버전은 단일 TPU v6e에서 커널을 측정한 결과 쿼리·키 쌍의 약 38.87%만 보존하여 계산한다.

10월 16일금
  1. Hugging Face Blog42

    Granite Switch 4.1, 채팅·판정·음성 인식을 하나의 엔드포인트로 제공

    Granite Switch 4.1의 8B와 30B 모델은 범용 Decision aLoRA, 안전성 판정용 Guardian aLoRA, OpenASR Leaderboard에서 가장 빠른 것으로 알려진 ASR 모델 Granite-Speech-5.0-Turbo-CTC를 하나의 모델로 통합하여, 하나의 엔드포인트에서 채팅, 판정, 문자 변환을 처리한다. 필요한 VRAM은 베이스 모델 단독과 거의 같으며 KV 캐시도 재사용할 수 있다. vLLM에서는 플러그인으로 동작하고, llama.cpp도 네이티브로 지원한다.

  2. NVIDIA62

    NVIDIA는 오픈 모델 Nemotron 패밀리에 Nemotron 3.5 Super VL을 추가했다. 시각 이해, 추론, 도구 사용을 결합해 AI 에이전트가 더 짧은 시간에 더 많은 작업을 완료할 수 있도록 한다고 밝혔다. 총 파라미터 120B, 활성 파라미터 12B이며, 텍스트, 이미지, 문서, 동영상 이해를 지원한다.

    인용NVIDIA AI@NVIDIAAI

    Meet NVIDIA Nemotron 3.5 Super VL Our new open model combines reasoning and tool use with text, image, document, and video understanding for long-running AI agents. 120B total parameters with 12B active 🧵

10월 15일목
  1. Apple Machine Learning Research38

    Selection-based Structured Reasoning(SSR), 효율적인 멀티모달 검색 에이전트를 향하여

    SSR은 멀티모달 검색 에이전트의 추론을 사전에 정의된 재사용 가능한 후보 중에서 선택하는 방식으로 바꿔, 턴당 추론 지연 시간을 90% 이상 줄인다고 밝혔다. 질문별 전체 추론 지연 시간은 28~54% 감소했으며, 2B와 4B 모델로 진행한 7개 멀티모달 검색 벤치마크에서 같은 규모의 주요 검색 에이전트에 필적하는 평균 성공률을 보였다. 강화학습과 지도 파인튜닝 모두에서 과제 성능을 떨어뜨리지 않으면서 효율을 높였다.

  2. 네이버 보도자료22

    팀네이버, EMNLP 2026서 논문 24편 채택…글로벌 AI 연구 경쟁력 재확인

    팀네이버의 연구 논문 24편이 자연어처리 분야 최정상 학회 EMNLP 2026에 채택됐다. 학회는 10월 24일부터 29일까지 헝가리 부다페스트에서 열리며, 팀네이버는 이 자리에서 주요 논문을 발표할 예정이다. 채택 논문에는 한국어 추론 데이터 합성, 장시간 영상 구간 탐색 벤치마크, LLM 추론 과정 해석 연구 등이 포함됐다.

10월 14일수
  1. Qwen38

    @lightseekorg의 TokenSpeed가 거둔 뛰어난 성과를 축하합니다! 🚀 Qwen3.8-Flash-Next가 Nvidia GPU에서 사용자당 685 output tokens/s에 도달해 기쁩니다. 커뮤니티가 Qwen의 추론 성능을 더욱 끌어내 주시길 기대합니다!

    인용LightSeek Foundation@lightseekorg

    685 output tokens/s per user on @Alibaba_Qwen Qwen3.8-Flash-Next. Running TokenSpeed on 4× NVIDIA GB300 with NVFP4. A look at the kernel and serving optimizations behind the results: 👉 https://lightseek.org/blog/tokenspeed-qwen3-8-flash-next.html ⭐ https://github.com/lightseekorg/tokenspeed

  2. Google Blog: Gemini63

    Google, Gemini 4 Argon을 Gemini 앱에 제공 시작

    Google이 Gemini 4 Argon을 Gemini 앱에서 제공하기 시작했다. 추론 성능과 복잡한 작업에서의 성능이 향상됐고 코딩도 크게 개선됐다고 한다. Google AI Pro와 Ultra 구독자는 오늘부터 이용할 수 있으며, 40개 이상의 앱과 연동되는 작업 기능도 사용할 수 있다.

    선정 이유: 회답의 직접성과 진행 상황 공유가 개선된 점, 그리고 macOS 앱에 코딩 기능이 통합되고 채팅에서 작업으로 쉽게 전환할 수 있게 된 점이 한꺼번에 소개되어 있다.

  3. AWS Machine Learning Blog38

    Amazon Bedrock에서 Grok 4.7로 장기 작업형 에이전트 구축

    AWS는 Amazon Bedrock의 Grok 4.7로 도구 호출 에이전트를 구축하고, 추론 노력 수준별로 검색형 작업에서 평가했다고 밝혔다. 세 가지 작업, 총 72회 실행에서 67회 정답을 맞혔으며, xhigh는 18회 모두 정답, low는 18회 중 15회 정답이었고 출력 토큰은 약 8분의 1이었다. Grok 4.7은 크로스 리전 추론 프로파일을 통해 이용할 수 있으며, SpaceXAI가 공개한 컨텍스트 윈도우는 500K 토큰이다.

10월 12일월
  1. Apple Machine Learning Research25

    LLM 기반 기계번역 품질 평가, 사람과 모델의 일치도는 많은 설정에서 신뢰성이 낮아

    기계번역(MT) 품질 평가에서 LLM과 인간 어노테이터의 일치도를 MQM과 ESA 두 가지 평가 방식으로 검증한 연구다. 70개 언어쌍의 장문 테스트 세트와 WMT23·WMT25 데이터를 활용한 결과, LLM의 일치도가 인간끼리의 일치도를 웃도는 경우도 있었으나 많은 설정에서는 양쪽 모두 신뢰성이 충분하지 않았다. 인간은 세분화된 MQM과 저자원 언어쌍에서, LLM은 경미한 오류와 오류 구간(error span) 어노테이션에서 과제를 안고 있는 것으로도 나타났다.

10월 6일화
10월 5일월
  1. NVIDIA Blog27

    NVIDIA Inception 기업, AI로 유방암 진료의 검사부터 치료 계획까지 공백 메운다

    NVIDIA Inception의 신생 기업들이 유방암 진료의 검사에서 치료 예측에 이르는 각 단계를 AI로 지원하고 있다. iSono Health의 웨어러블형 3D 초음파 시스템 ATUSA는 한쪽 유방을 약 2분 만에 촬영할 수 있으며, 회사에 따르면 손으로 잡는 2D 초음파보다 감도가 28% 높다고 한다. 미국의 제휴 클리닉에서 상용 제공되고 있다. Ataraxis AI는 일반 병리 슬라이드 등 디지털 데이터로부터 치료 반응과 재발 위험을 예측하는 AI를 개발하고 있다.

9월 30일수
  1. Qwen38

    Qwen3.8-27B가 @nebiustf를 통해 이용 가능해졌다. 에이전트 구축이든 딥 리서치든, 이 27B dense 모델은 다단계 워크플로에 대응할 수 있다. 🥳

    인용Nebius Token Factory@nebiustf

    Qwen3.8-27B is now live on Nebius Token Factory. A compact 27B dense model for coding, research, and agent workflows, with a focus on planning and completing tasks across multiple steps. Start building: https://tokenfactory.nebius.com/endpoints?modals=endpoint-details&model-id=Qwen/Qwen3.8-27B

9월 29일화
  1. Google Blog: Gemini44

    Gemini 3.8 Flash로 개발자 4명이 만든 결과물

    Google은 Gemini 3.8 Flash를 활용한 개발자 4명의 작품 사례를 소개했다. 해당 모델은 3.7 Flash에 비해 소프트웨어 개발, 에이전트형 작업, 다단계 추론 능력이 크게 향상되었으며, 경우에 따라 더 비싼 프런티어 모델에 근접하는 성능을 보인다. 로켓 궤도 시뮬레이션과 자동 변속기용 대화형 모델 등이 만들어졌으며, Google Antigravity와 Google AI Studio에서 이용할 수 있다.

9월 16일수
  1. Google Research Blog33

    Google Research, Retrieve-for-Train로 추론 병목 회피하고 복잡한 AI 검색 가속화

    Google Research는 오프라인 강화학습으로 검색 쿼리 팬아웃(분해)을 학습하고 이를 경량 확산 리트리버로 증류하는 「Retrieve-for-Train」을 발표했다. 추론 시에는 사고 토큰을 사용하지 않고 한 번의 패스로 관련 쿼리 집합을 생성할 수 있다. 확산 리트리버는 53.9M 파라미터이며, Gemma3-4B와 Qwen3-4B를 집합 단위 보상으로 학습했다.

9월 3일목
  1. Google DeepMind Blog75

    Google DeepMind、Gemini 3.8 Flash와 Gemini 3.8 Flash Cyber 발표

    Google DeepMind는 추론과 코딩 성능을 높인 Gemini 3.8 Flash와 사이버보안 특화 모델 Gemini 3.8 Flash Cyber를 발표했다. 3.8 Flash는 100만 토큰당 입력 $0.75, 출력 $3.75의 도입 가격으로 제공되며, HLE-Verified에서 54.9%를 기록했다. Cyber 버전은 새로 마련된 Fairwind Program을 통해 신뢰할 수 있는 방어자에게만 제공된다.

    선정 이유: 범용 Flash와 방어자용 Cyber를 동시에 출시하고 가격, 벤치마크, 제공 조건까지 정리되어 있어 용도에 따라 어떤 모델을 쓸지 판단하기 쉽다.

  2. Google AI Developers38

    Gemini 3.8 Flash는 복잡한 추론에 특화되어 설계되었다. ⚙️ 이 능력을 시험하기 위해 @GoogleAIStudio에서 3.8 Flash와 @ThreeJS를 사용해 인터랙티브 3D 비주얼라이저를 만들었다. 모델이 하드웨어 기기의 현실적이고 물리적인 비율을 유지한 분해도를 생성하는 과정을 확인해 보길 바란다. 기기는 자동으로 레이어로 나뉘며, 사용자는 분해 슬라이더로 펼쳐서 내부를 살펴볼 수 있다.

8월 26일수
  1. Hugging Face Blog50

    IBM, Granite 4.2 LLM 구축 방법 해설

    IBM의 Granite 4.2는 3B, 8B, 30B 세 가지 크기로 제공되는 추론 특화형 디코더 전용 dense형 LLM 패밀리다. Granite-4.1 베이스 모델을 사후 학습하여 만들었으며, 모두 Apache 2.0 라이선스로 공개된다. 8B와 30B는 샌드박스 환경에서 도구를 조작하는 에이전트 RL을 거쳤으며, 전 모델이 사고/비사고 모드 전환과 네이티브 도구 호출을 지원한다.

8월 25일화
  1. Hugging Face Blog55

    Multiverse Computing, 4비트 압축 모델 회복 기법 QAH 제안… bfloat16 버전을 9개 중 7개 벤치마크에서 상회

    Multiverse Computing은 압축과 양자화를 거친 모델을 회복하는 Quantization-Aware Healing(QAH)을 제안했다. GPT-OSS 120B를 60B로 압축해 MXFP4로 만든 모델이 자체 bfloat16 버전을 9개 벤치마크 중 7개에서 상회했다. 압축 전 원본 모델을 교사로 삼아 KL 발산으로 증류한다는 점이 특징이다.

8월 13일목
  1. Microsoft AI (MAI) News52

    Microsoft AI, 추론 모델 MAI-Thinking-1 발표

    Microsoft AI는 추론 모델 MAI-Thinking-1을 발표했다. 35B-active, 약 1T-total 파라미터의 스파스 MoE 구조이며, AIME 2025에서 97.0%, AIME 2026에서 94.5%를 기록했다. 다른 회사 모델로부터의 증류는 하지 않았고, 추적 가능한 데이터로 학습했다고 설명했다.

8월 12일수
  1. Google Research Blog56

    Google Research, LLM 사실성의 병목은 부호화가 아니라 회상이라고 지적

    LLM의 사실 오류 대부분은 지식이 아직 없는 "빈 선반"이 아니라 꺼내지 못하는 "잃어버린 열쇠", 즉 회상의 실패라고 Google Research가 밝혔다. Gemini-3-Pro와 GPT-5에서는 사실의 95–98%가 부호화되어 있지만, 직접 회상하지 못하는 사실이 26–34%였고, 사고를 활용해도 11–12%는 실패한다.

7월 27일월
  1. Hugging Face Blog46

    NVIDIA, 수술 로봇용 실시간 생성 시뮬레이터 Cosmos-H-Dreams 발표

    NVIDIA는 수술 로봇용 실시간 생성 시뮬레이터 「Cosmos-H-Dreams」를 발표했다. Cosmos-H-Surgical-Simulator를 인과적 소수 단계(few-step) 학생 모델로 증류하고, 스트리밍 추론 라이브러리 FlashDreams로 제공한다. 단일 NVIDIA RTX PRO 6000 GPU에서 동작하며, 사람 또는 학습된 정책이 폐루프(closed-loop)로 조작할 수 있다.

7월 10일금
7월 2일목
  1. Mistral AI News42

    Mistral AI, Lean 4용 형식 검증 모델 「Leanstral 1.5」 공개

    Mistral AI는 Lean 4에서의 형식 검증을 지원하는 Apache-2.0 라이선스 모델 「Leanstral 1.5」를 공개했다. 총 파라미터 119B, 활성 파라미터 6B 규모이며, miniF2F를 포화시키고 PutnamBench에서는 672문제 중 587문제를 풀었다. FATE-H에서 87%, FATE-X에서 34%를 기록해 새로운 state-of-the-art를 달성했으며, Hugging Face와 무료 API를 통해 이용할 수 있다.