PyTorch 프로파일링(3회), Attention을 프로파일하다
Hugging Face 블로그 연재 「Profiling in PyTorch」 3회에서는 Attention을 단순하게 구현한 모듈을 프로파일러로 분석한다. out-of-place인 masked_fill을 in-place인 masked_fill_로 바꾸면 GPU에서 Memcpy 커널이 사라지고, forward를 한 번 실행할 때마다 커널이 하나씩 줄어든다고 설명한다.
AI 뉴스 전체
전체 뉴스
오늘 2건Hugging Face BlogAI 점수4848
Google DeepMind BlogAI 점수4545 케임브리지 대학, Co-Scientist로 신종 감염병의 분자 스위치 탐색
케임브리지 대학의 Clare Bryant 교수는 Google DeepMind의 Co-Scientist를 활용해, 병원체가 동물에서 사람으로 전파될 때 패혈증 등 중증화를 일으키는 분자 스위치를 탐색하고 있다. Co-Scientist는 연구 지원안의 요약으로부터 가설을 생성해 순위를 매기며, 주고받는 과정을 거듭하면서 후보 단백질에서 실험 대상 아미노산까지 범위를 좁혀 나갔다. 보통 특정까지 2~3년의 실험이 필요하지만, 표적이 맞다면 6개월 안에 완료될 것으로 전망된다고 한다.
Mistral AI NewsAI 점수4343 Rails 테스트를 자동화하는 에이전트, RSpec 작성과 검증을 CI/CD에서 실행
Mistral AI는 Rails 소스 파일을 읽어 RSpec 테스트를 생성·개선하고, 스타일 규칙과 커버리지 목표로 검증하는 에이전트를 구축했다고 발표했다. CI/CD 파이프라인 안에서 사람의 개입 없이 동작하며, 여러 인스턴스가 서로 다른 파일을 병렬로 처리한다.
One Useful Thing (Ethan Mollick)AI 점수6262 에이전트 시대에 어떤 AI를 쓸지, 모델·앱·하네스 관점에서 정리한 가이드
Ethan Mollick가 에이전트 시대의 AI 선택을 '모델', '앱', '하네스'의 세 가지 요소로 정리한 가이드를 공개했다. 대화형 챗봇에서 과제를 맡기면 AI가 도구를 사용해 직접 실행하는 방식으로 이용 방법이 바뀌었기 때문이다. 주요 모델은 GPT-5.2/5.3, Claude Opus 4.6, Gemini 3 Pro이며, 월 $20의 유료 플랜에서 고성능 모델을 선택할 것을 권하고 있다.
Mistral AI NewsAI 점수3636 힙은 거짓말을 한다: vLLM 메모리 누수 디버깅
Mistral AI의 엔지니어링 팀이 vLLM에서 발생한 메모리 누수의 원인을 추적한 과정을 해설한다. Mistral Medium 3.1을 사용하고 그래프 컴파일을 활성화한 조건에서 시스템 메모리가 분당 400MB씩 선형으로 증가했다. Prefill/Decode 분리 구성의 decode 측에서만 재현됐으며, Heaptrack에서는 힙 메모리가 안정적이었지만 힙 외부의 피크 RSS에서 차이가 나타났다.
One Useful Thing (Ethan Mollick)AI 점수6767 Ethan Mollick, Claude Code를 실측해 자율형 AI 코딩의 구조와 앞으로를 논하다
Ethan Mollick은 Opus 4.5를 탑재한 Claude Code에 창업 아이디어 구상부터 구현까지 맡겼고, 1시간 14분 동안의 자율 작업 끝에 웹사이트를 공개할 수 있는 상태가 됐다고 밝혔다. 그는 최근 AI는 자율적으로 수행하는 작업량이 늘어나고, 도구들로 구성된 에이전트용 하네스와 결합되면서 능력이 크게 도약하고 있다고 말했다. 또한 비개발자를 위한 Claude Desktop 사용법도 함께 소개했다.
One Useful Thing (Ethan Mollick)AI 점수6767 Ethan Mollick, Gemini 3를 실제 업무로 검증…GPT-3 이후 3년간의 AI 진화를 보여주다
Ethan Mollick은 Google의 새 모델 Gemini 3를 시험해 벤치마크 수치 대신 실제 작업 결과로 AI의 발전을 보여줬다. Antigravity를 이용해 자신의 과거 기사로 예측 사이트를 만들게 했고, 오래된 연구 데이터로 14페이지짜리 논문도 쓰게 했다. 오류는 남아 있지만, 인간의 역할이 수정하는 쪽에서 지휘하는 쪽으로 옮겨가고 있다고 주장한다.
One Useful Thing (Ethan Mollick)AI 점수4242 지금 어떤 AI를 써야 할까? 이용 실태를 바탕으로 한 독자적 가이드
무료 모델로 충분한 용도와 유료 모델이 필요한 용도를 나눠 정리한 가이드. Claude, Gemini, ChatGPT, Grok 등이 최첨단 모델을 담당하며, 본격적으로 이용하려면 많은 사람에게 월 20달러 요금제가 적합하다고 제시한다. ChatGPT는 기본 설정이 GPT-5 자동 선택 모드이므로, 복잡한 작업에서는 GPT-5 Thinking을 직접 고를 것을 권장한다.
Mistral AI NewsAI 점수2727 Pixtral-12B 파인튜닝으로 위성 이미지 분류 성능을 높이는 방법
Mistral은 Pixtral-12B를 위성 이미지로 파인튜닝하면 기본 모델보다 큰 폭의 성능 향상을 얻을 수 있다고 밝혔다. 평가에는 Aerial Image Dataset(AID)을 사용했으며, 이를 학습 데이터 8,000건과 테스트 데이터 2,000건으로 나누었다. 프롬프트만으로는 모호한 클래스를 구분하기 어렵고, 존재하지 않는 클래스 이름을 출력하는 문제가 있었다.
Mistral AI NewsAI 점수3535 Mistral AI, LLM as a Judge 방식의 RAG 시스템 평가 해설
Mistral AI는 LLM as a Judge 방식으로 RAG 시스템을 평가하는 방법을 해설하고, 평가 프레임워크로 RAG Triad(Context Relevance, Groundedness, Answer Relevance)를 제시했다고 밝혔다. RAG Triad는 검색된 문서와 답변을 모두 평가할 수 있어, 검색과 생성을 종단간(end-to-end)으로 평가하는 데 도움이 된다고 설명된다. 같은 회사 API의 커스텀 structured outputs를 사용하면 평가 기준과 스키마를 정의해 기계가 읽을 수 있는 형식으로 점수를 출력할 수 있다.