본문 바로가기

전체 뉴스

오늘 2건
10월 15일목
  1. Apple Machine Learning Research50

    MLX와 RDMA로 Mac Studio에서 대규모 LLM을 로컬·분산 추론

    Apple Machine Learning Research는 MLX와 RDMA over Thunderbolt를 활용해 Mac Studio 4대로 816B 파라미터의 Muse Spark Open을 초당 36토큰 이상으로 생성할 수 있음을 보였다고 밝혔다. M5 Ultra는 M3 Ultra 대비 TTFT가 최대 4.6배, 토큰 생성 속도가 1.6배 빠르다. Qwen 3.8 27B와 Mistral Medium 3.5 128B는 512GB 메모리를 탑재한 Mac Studio 단독으로 동작한다.

  2. AWS Machine Learning Blog40

    Amazon Bedrock AgentCore로 자기 개선형 문서 처리를 구축하는 방법

    Amazon Bedrock AgentCore와 Strands Agents를 활용해 양식 문서의 분류, 추출, 검증, 학습을 최소한의 사람 개입으로 수행하는 에이전트형 IDP 시스템 구축 방법을 설명합니다. 8개의 전문 에이전트가 식별, 학습, 자동화라는 두 개의 그래프 기반 워크플로에서 협업하며, 새로운 문서 형식에 대해서는 추출 지침을 생성해 이후 재사용합니다. 대부분의 경우 20분 미만으로 배포할 수 있으며, 수동 템플릿 설정은 필요하지 않습니다.

10월 14일수
  1. AWS Machine Learning Blog31

    Amazon SageMaker JumpStart에서 모델을 배포하고 평가하는 방법

    Amazon SageMaker JumpStart의 모델을 배포하고, SageMaker Python SDK로 가볍고 재현 가능한 성능 테스트를 실행한 뒤, 종료 후 엔드포인트를 삭제하는 절차를 설명합니다. 스크립트는 모델 탐색 및 배포, 지연 시간과 출력량, 단일 요청 생성 속도 측정, 정리의 세 단계로 구성됩니다. 여러 호환 모델에 사용할 수 있지만, 페이로드 형식, 인스턴스 타입, EULA, 응답 파싱은 모델마다 조정이 필요한 경우가 있습니다.

  2. AWS Machine Learning Blog33

    ShipStation Global, Amazon Bedrock AgentCore로 AI IT 헬프데스크를 구축한 방법

    ShipStation Global은 Amazon Bedrock AgentCore 위에 Slack용 AI IT 헬프데스크 에이전트 「Deckhand」를 구축해 채널에 들어오는 문의의 97.5%를 해결했다고 밝혔다. 직원들의 긍정적 평가는 96%다. Deckhand는 지식 베이스를 바탕으로 정형화된 IT 및 사내 질문에 답변하고, 오류 메시지 스크린샷을 판독하며, Jira Service Management 티켓을 생성·업데이트한다.

10월 13일화
  1. Simon Willison20

    Geoffrey Huntley, pre-commit 훅으로 에이전트가 진단 라이브러리를 사용하도록 만드는 방법 소개

    Geoffrey Huntley는 에이전트가 직접 만든 진단 라이브러리를 쓰지 않는 문제를 해결하기 위해, git diff에서 진단 모듈을 우회하고 observability 모듈을 직접 호출하는 부분을 찾아내는 pre-commit 훅을 작성했다고 밝혔다. 위반이 발견되면 커밋을 실패시키고, 진단 라이브러리 사용을 지시하는 프롬프트를 주입한다. AGENTS.md를 업데이트하는 것만으로는 차이가 남아 드리프트가 생기기 때문에 이 방식을 택했다고 설명했다.

  2. GitHub Blog: AI & ML33

    GitHub Copilot app 입문: Copilot에게 코드베이스를 가르치는 방법

    GitHub Copilot app에서는 커스텀 지침, 에이전트 스킬, 커스텀 에이전트, MCP 서버의 네 가지 방식으로 프로젝트의 규약과 절차를 Copilot에게 전달할 수 있다. 지침은 `.github/copilot-instructions.md`, 스킬은 `.github/skills`, 에이전트는 `.github/agents`에 둔다. MCP 서버를 통해 Playwright 등 외부 도구에도 연결할 수 있다.

  3. Simon Willison30

    Python 3.15의 web-edit 프로파일링: 플레임 그래프와 소스 히트맵으로 분석

    편집 부하가 큰 작업을 Python 3.15의 내장 프로파일러 profiling.sampling으로 측정한 결과, 혼합된 줄바꿈 보존 처리인 preserve_endings가 15,296개의 CPU 스택 중 64.8%에 나타나 큰 비중을 차지했다. 리프 샘플에서는 SequenceMatcher.find_longest_match가 38.3%를 차지했다. 스택의 95.1%는 AnyIO 워커 스레드에서 발생했으며, 모든 스레드를 샘플링하는 것이 필수적이었다. 메인 스레드만 프로파일링했을 때는 이 부분이 누락됐다고 한다.

  4. AWS Machine Learning Blog32

    llama.cpp로 의사결정 모델을 Amazon SageMaker AI에 배포하기

    llama.cpp의 AWS DLC와 SemIf용 하위 이미지를 사용해, 선언된 선택지별 확률을 반환하는 의사결정 모델을 SageMaker AI에 배포하는 방법을 소개한다. JevBench의 231개 작업으로 검증한 결과, Qwen3.5-4B(Q4_K_M)의 정답률은 CPU 구성이 77.5%, GPU 구성이 77.9%였다. p50 지연 시간은 GPU 구성의 0.352초가 CPU 구성의 1.715초보다 4.9배 빠르다.

10월 11일일
10월 10일토
  1. NVIDIA Blog42

    NVIDIA Omniverse, 프런티어 AI 에이전트로 시뮬레이션을 구축하는 방법

    NVIDIA는 GPT-6 Astra 등 프런티어 모델과 Omniverse 라이브러리를 결합해, 개발자가 자연어로 AI 에이전트에 지시하여 시뮬레이션 앱을 구축하는 사례를 소개했다. 가스터빈 디지털 트윈에서는 부하와 연료 조성 등을 조정해 출력과 효율을 비교할 수 있는 프로토타입을 만들었으며, 6개의 테스트 절차를 마련했다. 창고 시뮬레이션에서는 컨베이어 80대, 로봇 팔 40개, 상자 800개 환경에서 풀HD·2분 테스트 동안 30 FPS를 유지했다고 한다.

  2. AWS Machine Learning Blog52

    Postman, Amazon Bedrock에서 4000만 명을 위한 Agent Mode 운영 설계 패턴 해설

    Postman과 AWS는 4000만 명의 개발자가 사용하는 Agent Mode를 Amazon Bedrock에서 운영할 때의 아키텍처를 해설했다. 주요 교훈은 도구의 동적 선택, 스키마 기반 읽기, 컨텍스트 설계다. Bedrock에서는 크로스 리전 추론, 모델별로 다른 제로 데이터 보존, 2단계 프롬프트 캐시를 활용하고 있다.

10월 9일금
10월 8일목
  1. Claude Blog65

    Block, Claude Fable로 수천 건 규모의 PR 코드 마이그레이션을 총괄한 방법을 소개

    Block의 Bradley Axen이 Claude Fable 5를 총괄 역할로 두고 수백에서 수천 건에 이르는 풀 리퀘스트 규모의 코드 마이그레이션을 추진하는 방식을 소개했다. Fable이 설계를 맡고 Opus나 Sonnet 같은 소형 모델이 개별 작업을 수행하는 구성으로, 품질을 떨어뜨리지 않으면서 토큰 배분을 개선할 수 있었다는 초기 결과도 함께 제시했다.

    선정 이유: 수천 건 규모의 PR을 처리한 마이그레이션 사례에서 Fable이 설계를 맡고 소형 모델이 구현을 맡는 역할 분담과, 병합과 배포는 사람이 이중으로 승인하도록 남겨둔 운영 방식이 구체적으로 소개되어 있다.

10월 3일토
  1. OpenAI News23

    GPT-6 패밀리 모델 가이드

    OpenAI의 GPT-6 패밀리를 대상으로, 스타트업이 모델을 고르고 reasoning effort를 조정하며 프롬프트와 스킬을 개선하고 도구를 연동하며 프로덕션 운영에 대비해 워크플로를 준비하는 방법을 설명하는 가이드다.

  2. GitHub Blog: AI & ML38

    AI 시대 개발자가 갈고닦아야 할 3가지 역량

    AI가 개발 방식을 바꾸는 가운데, GitHub Blog가 개발자가 강화해야 할 3가지 역량을 제시했다. AI 에이전트에 지시하는 능력, 첫 번째 답변을 무턱대고 믿지 않는 평가 능력, 그리고 AI로 확보한 시간을 더 큰 과제 해결에 쓰는 역량이다. 평가와 관련해서는 GitHub Copilot에 내장된 Rubber Duck agent가 두 번째 모델을 이용해 계획, 코드, 테스트를 비판적으로 검토하는 사례를 들었다.

9월 29일화
  1. Google Blog: Gemini21

    Edy's Grocer, Gemini로 대량 조리 준비를 효율화하는 3가지 방법

    브루클린 그린포인트의 Edy's Grocer 오너 Edy Massih는 Gemini를 활용해 가족의 레바논 요리 레시피를 케이터링용 분량으로 환산하고, 장보기 목록을 자동으로 작성하며, 식이 제한에 맞춰 메뉴를 조정하고 있다. 예를 들어 치킨 샤와르마 랩의 재료를 8인분에서 50인분으로 환산하고, 향신료 조정과 매대별 정리도 맡기고 있다.

9월 26일토
9월 25일금
  1. GitHub Blog: AI & ML45

    GitHub Copilot 앱의 canvas로 생각해 보는, 채팅이 UI로 부적절한 상황

    GitHub Copilot 앱에는 에이전트와 양방향으로 통신할 수 있는 풀스택 소형 앱 「canvas」가 있어, 채팅 이외의 UI에서도 AI를 사용할 수 있다. Connect 4, Winget 관리, SQLite 조작 화면 등을 예로 들며, 전용 도구를 만들면 이후의 상호작용에서 토큰을 소비하지 않는다고 설명한다. 개발 워크플로 자동화에도 활용할 수 있지만, 그 예시는 설계와 자동화를 조정하는 데 거의 하루가 걸렸다고 한다.

9월 24일목
  1. GitHub Blog: AI & ML42

    GitHub Copilot 앱에서 거대한 풀 리퀘스트를 렌더링하는 방식

    GitHub Copilot 앱의 풀 리퀘스트 화면을 새로 만들어, 2,200개 파일, 100만 줄 이상의 변경, 400개 이상의 인라인 리뷰 댓글을 가진 거대한 풀 리퀘스트도 빠르게 렌더링할 수 있도록 했다. 댓글은 렌더링하기 전까지 높이를 알 수 없으므로, 코드 줄의 높이를 확정하는 방식과 댓글 등 동적 블록의 높이를 따로 다루는 방식의 두 가지 레이아웃 구성을 채택했다.

9월 16일수
  1. Google Blog: Gemini36

    Gemini로 집안일 해결하는 4가지 방법

    Google은 Gemini를 집안일에 활용하는 4가지 방법을 소개했다. DIY 수리와 가전제품 문제 해결, 식단표 및 장보기 목록 작성, 영수증 사진을 활용한 가계부 관리, 대형 제품 비교 등이 예로 제시됐다. Google의 「AI & Economy ATLAS v1.0」 연구에서는 익명화된 대화 1500만 건 가운데 86% 이상이 업무 목적이 아닌 용도로 이뤄졌던 것으로 나타났다. 연구진은 일상적인 AI 활용으로 가구당 주 30분을 절약할 수 있다면 미국에서만 연간 약 1000억 달러의 경제적 가치가 생긴다고 추산했다.

9월 11일금
  1. Google AI Blog22

    Google 검색으로 레이스 준비를 마치는 3가지 방법

    Google 검색의 AI 모드는 마라톤 등 레이스 준비에 도움이 된다. 훈련 계획은 +메뉴에서 Canvas 도구를 선택해 만들 수 있으며, 교차 훈련과 근력 훈련을 포함한 계획을 작성할 수 있다. YouTube Music 계정을 연동하면 러닝용 맞춤 플레이리스트를 만들 수 있고, Shopping Graph의 600억 건이 넘는 상품 정보를 바탕으로 와이드 풋용 신발이나 80달러 미만의 하이드레이션 베스트 등을 비교하며, 재고 현황과 매장 재고도 확인할 수 있다.

9월 10일목
  1. Hugging Face Blog36

    HF Jobs에서 LoRA 기반 Async GRPO를 실행하는 구성, Storage Bucket과 프록시로 NCCL 없이 동기화

    TRL v1.14의 AsyncGRPOTrainer는 LoRA 어댑터만 학습해 vLLM에 동기화할 수 있게 되었으며, 학습과 추론을 서로 다른 Hugging Face Jobs로 나누어 실행하는 구성을 보여준다. 랭크 1 어댑터는 크기가 수 MB에 불과해 1.5B 모델 전체(약 3GB)보다 훨씬 작으므로, Storage Bucket을 공유 파일 시스템으로 사용하면 NCCL 없이 동기화할 수 있다. 5회 실행 결과, 동일한 레시피로 500스텝을 학습하는 시간이 3시간 27분에서 53분으로 줄었다.

  2. Google AI Blog37

    AI로 70년을 함께한 부부의 기억을 재현 Google DeepMind, 단편 영화 『Love, Rendered』에 협력

    Google DeepMind는 영화 제작자들과 함께 단편 다큐멘터리 『Love, Rendered』를 제작하고, 결혼 70년이 넘은 Burt and Ethelle Shatz 부부의 기록되지 않은 만남의 날을 AI로 재현했다. 흑백 사진의 이미지 복원 기술과 퍼포먼스 캡처 모델을 결합해 현재 부부의 몸짓을 젊은 시절의 모습에 입혔다. 사진 복원은 Gemini 앱에서도 가능하다.

  3. Google Blog: Gemini33

    Gemini로 행정 절차를 빠르게 처리하는 4가지 방법

    Google은 Gemini를 운전면허증 갱신, 세무 신고, 행정 서비스 신청 등 행정 절차에 활용하는 4가지 방법을 소개했다. Google의 AI & Economy ATLAS v1.0 조사에 따르면, 이런 잡무에 관한 AI와의 대화 약 절반은 일반 영업시간 외에 이뤄졌다. Gemini로 생활과 관련된 용무를 처리하는 사람의 약 40%는 서류 용어나 절차 순서에 대해 상담했다.

9월 9일수
  1. Mistral AI News52

    Mistral, 복잡한 레거시 코드 개편을 위한 AI 에이전트 기법 소개… Fortran 77에서 C++로의 마이그레이션 사례

    Mistral는 유럽의 한 에너지 사업자가 보유한 Fortran 77 기반 저류층 시뮬레이터 4만 줄을 C++로 옮긴 사례를 바탕으로, AI 에이전트를 활용한 레거시 코드 현대화 진행 방식을 소개했다. 수치 일치를 확인하는 검증 기반을 먼저 구축하고, 문서를 정비하며, 사람의 검토를 포함한 구조화된 워크플로를 교훈으로 제시했다. 첫 스프린트의 대상은 30만 줄 가운데 4만 줄이다.

9월 3일목
  1. Hugging Face Blog62

    TRL과 OpenEnv로 코딩 모델에게 수채화를 그리게 하는 강화학습 재현 절차

    Hugging Face 블로그가 Surya Narreddi의 수채화 생성 기법을 TRL과 OpenEnv로 재현했으며, 데이터셋, RL 환경, 학습 스크립트, 학습된 모델을 모두 공개했다고 밝혔다. Qwen/Qwen3.5-35B-A3B에게 p5.brush용 JavaScript를 작성하게 하고, 심사 모델과 미적 평가 모델의 보상으로 학습시켰다. 세 가지 보상 배분 방식 모두에서 보상이 상승했다.

    선정 이유: 보상 설계에서 실패한 실험과 비용까지 구체적인 수치로 정리되어 있어, 선호도를 보상으로 삼는 RL을 직접 재현할 때 판단 근거로 활용할 수 있다.

  2. Hugging Face Blog45

    LFM2.5-350M를 100 GRPO 스텝으로 파인튜닝해 구조화 출력의 정확도를 개선

    LFM2.5-350M을 TRL의 Group Relative Policy Optimization(GRPO)으로 약 500개 샘플, 100스텝 학습해 IFStruct 벤치마크 점수를 22.6%에서 29.7%로 끌어올리는 절차를 공개했다. 학습은 무료 등급의 Colab과 Kaggle GPU에서 실행할 수 있으며, 노트북은 GitHub에서 공개되어 있다. 평가는 llama.cpp를 사용해 MacBook에서 로컬로 진행했고, 베이스라인은 22.6%로 IFStruct 공식 블로그가 보고한 21.1%에 가까운 결과였다.

8월 26일수
8월 21일금
  1. Hugging Face Blog42

    Hugging Face Inference Endpoints, Jobs, Buckets로 Papers with Code 검색을 뒷받침하는 방법

    Papers with Code 검색은 PostgreSQL 전문 검색과 pgvector 벡터 검색을 RRF로 통합한 하이브리드 검색으로 구축되었다. 논문 임베딩은 Hugging Face Jobs의 L4 GPU에서 오프라인으로 생성하며, arXiv와 Daily Papers의 11만 건이 넘는 현행 논문을 대상으로 한다. 온라인에서는 쿼리 임베딩만 Inference Endpoints에서 처리하고, 엔드포인트가 중지되거나 혼잡할 경우 전문 검색으로 전환한다.

8월 19일수
8월 18일화
  1. Hugging Face Blog47

    Sentence Transformers로 멀티벡터(Late Interaction) 임베딩 모델 사용하기

    Sentence Transformers v6.0에 ColBERT 방식의 Late Interaction 검색을 지원하는 새 모델 유형 「MultiVectorEncoder」가 추가됐다. PyLate와 Stanford-NLP의 ColBERT 체크포인트, colpali-engine 모델을 불러올 수 있으며, 토큰마다 벡터를 보관하고 MaxSim으로 점수를 매긴다. 단일 벡터 모델보다 검색 정확도가 높은 대신 인덱스 크기는 커진다.

8월 14일금
  1. Hugging Face Blog42

    Strands Agents, LeRobot, Hugging Face Storage Buckets로 로봇 데이터 수집부터 학습, 배포까지 한곳에서 운영하기

    Strands Robots의 에이전트 루프로 로봇 데모 기록, Hub에서 직접 스트리밍하는 학습, 정책의 하드웨어 재배포를 하나의 데이터 루프로 실행하는 방법을 설명한다. 데이터는 LeRobot 형식 그대로 Storage Bucket에 동기화되며, 동기화할 때마다 변경된 바이트만 업로드된다. 학습 시에는 `stream_dataset(repo_type="bucket")`으로 다운로드하지 않고 읽어 들이며, 배포는 `mode="real"` 인자를 바꾸는 방식으로 이루어진다.

8월 11일화
  1. Microsoft Source: AI32

    Microsoft Copilot로 코드 없이 AI 에이전트를 만드는 방법: 초보자를 위한 가이드

    Microsoft Copilot을 이용해 코드를 작성하지 않고 AI 에이전트를 만드는 5단계 절차를 설명하는 가이드다. Copilot Chat의 「Agents」에서 「New Agent」를 선택하고 평이한 말로 내용을 전달하면 에이전트 초안이 생성된다. 과제 정의, 기존 에이전트 확인, 지식과 출력 형식 설정, 테스트와 공유까지 공유 수신함 대응과 주간 보고서 작성을 예로 들어 설명한다.

8월 10일월
  1. Hugging Face Blog26

    지식 증류 비용을 낮추는 오프라인 Top-K logits와 융합 청크화 KL 손실

    교사 모델의 Top-K logits를 사전에 오프라인으로 계산해 캐시하고, 어휘 전체×시퀀스 길이 행렬을 만들지 않는 융합 청크 방식 KL 손실과 결합함으로써 지식 증류의 학습 비용을 줄이는 기법이 제시되었다. gpt-oss-120b(어휘 201,088개), 시퀀스 길이 32K, 배치 크기 4인 경우 기존 Dense KL은 학습 이터레이션 1회당 피크 VRAM이 약 250GB 필요한 반면, 융합 청크 KL은 약 128GB로 억제된다. 이를 통해 단일 GPU에서 장문 컨텍스트 회복(healing)이 가능해진다.

7월 24일금
  1. One Useful Thing (Ethan Mollick)47

    AI로 작업을 처리하려면 어떤 AI를 써야 할까: Ethan Mollick의 개인 가이드

    Ethan Mollick이 작업을 맡길 AI를 고르는 방법을 정리한 가이드를 공개했다. 중요한 상담에는 Claude의 Opus와 Fable, 또는 ChatGPT의 GPT-5.6 Sol을 최소 'High' 사고 수준으로 사용하라고 권한다. 실무에서는 ChatGPT나 Claude가 유력하며, 월 $20부터 이용할 수 있다. ChatGPT Work와 Cowork는 AI 기업 측의 가상 컴퓨터를 사용한다. 권한 설정과 프롬프트 인젝션에 대한 주의도 함께 당부한다.

7월 16일목
  1. Hugging Face Blog38

    에이전트용 모델 라우팅은 단순하지 않다

    에이전트를 위한 모델 라우팅은 모델 선택을 분류하는 문제가 아니라, 비용·품질·지연 시간을 동시에 최적화하는 시스템 최적화 문제로 다뤄야 한다고 주장한다. AppWorld Test Challenge의 417개 태스크에서 동일한 CodeAct 에이전트의 총비용은 Sonnet이 79달러(태스크당 0.19달러)였던 반면, GPT-4.1은 155달러(태스크당 0.37달러)로 약 2배에 달했다. 캐시가 작동하는 방식의 차이가 단가 차이를 뒤집은 것이다. 제안하는 라우터 구성 1은 Opus 단독 사용과 비교해 비용을 21%, 지연 시간을 9% 줄였으며, 정확도 하락은 4%에 그쳐 84%를 달성했다.