본문 바로가기

#이미지 생성

오늘 0건
11월 2일월
  1. The Decoder42

    Adobe, Photoshop 숙련자처럼 편집 도구를 쓰는 AI 에이전트 'EditAgent' 연구

    Adobe Research와 캘리포니아대학교 샌디에이고 캠퍼스(UCSD) 연구진은 이미지 편집용 AI 에이전트 'EditAgent'를 개발했다. 범용 편집기와 전용 도구를 작업 단계별로 나눠 쓰며, 표준 언어 모델이 확대 이미지, 변화 영역 맵, 밝기와 색상 통계값 등 검증 데이터를 바탕으로 후보를 비교하는 구조다. 600건의 편집 테스트에서 범용 편집기 Flux-2-Klein-9B는 42.7%만 실제로 쓸 만한 결과를 냈다. 반면 검증 데이터를 제공했을 때는 Qwen3.8-27B가 81.3%의 비율로 유용한 후보를 골라, 미세 조정된 EditScore-72B(74.8%)를 앞질렀다.

10월 30일금
  1. Hugging Face Daily Papers22

    Intrinsic Distribution Matching(IDM): 생성기 자체의 특징량으로 분포를 맞추는 기법

    IDM은 생성기 자체의 EMA 특징량 평균과 좌표별 표준편차에 명시적인 손실을 추가함으로써, 외부 특징 인코더 없이 분포 매칭을 수행하는 기법이다. 2 NFE 설정에서 IDM(Z-Image)은 LongText-CN에서 94.25%, LongText-EN에서 90.20%를 기록해, 비교 대상 가운데 같은 예산에서 가장 높은 점수를 얻었다. Z-Image-Turbo 6B와 Qwen-Image 20B에 대해 전체 파라미터 및 LoRA 방식의 튜닝을 평가했으며, 모델 가중치는 조만간 공개될 예정이라고 한다.

  2. Hugging Face Daily Papers34

    통합형 멀티모달 모델을 위한 연속 공간 잠재 추론(LARC)

    LARC는 통합형 멀티모달 모델(UMM)의 이미지 생성에서 이산 토큰이 아니라 연속적인 은닉 상태 위에서 추론을 수행하는 잠재 추론 프레임워크이다. GenEval에서는 BAGEN을 7%p 웃도는 state-of-the-art를 달성했으며, 병렬과 순차 모두의 테스트 시점 스케일링에서도 토큰 기반 생성을 능가한다고 보고되었다. 학습은 커리큘럼 지도 파인튜닝(SFT)과 정답 데이터를 사용하지 않는 정보 이득 강화학습(RL)의 2단계로 구성된다.

10월 27일화
  1. Hugging Face Daily Papers28

    FrameForge, 동영상 기반 모델의 사전 지식을 활용한 통합 이미지 생성

    FrameForge는 사전 학습된 동영상 모델을 활용해 통합적인 조건부 이미지 생성을 수행하는 기법이다. 동적으로 선택되는 가상 시간 간격의 시간적 RoPE 전문가(MoTE)로 조건과 목표 사이의 거리를 모델링하고, 잠재적 중간 상태를 거치는 시간적 추론(CoTR)으로 변환 과정을 표현한다. DreamBench, COCO2017, GEdit-Bench에서의 실험에서는 피사체 기반 생성, Canny-to-image 생성, 이미지 편집에서 비교 대상 기법들 가운데 우수한 성능을 달성했다.

10월 24일토
  1. Hugging Face Daily Papers35

    Qwen-Image-PE, 시각 디자인을 학습하는 텍스트-이미지 생성용 프롬프트 강화 기법

    Qwen-Image-PE는 2단계 학습을 통해 텍스트-이미지 생성(T2I)용 프롬프트를 강화하고, 조명, 구도, 레이아웃, 디테일 등 시각 디자인 요소를 학습하는 기법이다. Qwen-Image-Bench에서 Qwen-Image-2.1을 사용해 평가한 결과, Qwen-Image-PE-397B는 원래 요청보다 7.81포인트 향상됐으며, Qwen-Image-PE-9B는 평가에 포함된 모든 PE 베이스라인을 웃돌았다. Qwen-Image-PE-9B는 공개되어 있다.

10월 20일화
  1. Hugging Face Daily Papers30

    InfiniDream: 절차적 생성 기반의 개방형 포토리얼리스틱 3D 월드

    InfiniDream는 VLM으로 구동되는 절차적 3D 월드 생성 프레임워크로, 기호적 에셋 생성과 결정론적 씬 배치를 통해 편집 가능하고 포토리얼리스틱한 3D 월드를 개방형으로 생성한다. 기존 절차적 알고리즘을 활용하여 편집성과 seed 기반의 다양성을 유지한 채 새로운 포토리얼리스틱 에셋을 만든다. 100개의 오브젝트 생성 과제와 20개의 씬 생성 과제를 평가한 결과, 4개의 지각 지표에서 개선을 보였다고 밝혔다.

10월 19일월
  1. Hugging Face Daily Papers31

    Swift: 약한 가이드에서 목표를 외삽해 확산 모델을 강화하는 학습 기법

    Swift는 고정된 약한 디노이저의 예측으로부터 회귀 목표를 외삽해 확산 모델을 학습하는 자기 가이드형 기법이다. 추론 시 오버헤드를 늘리지 않고 오차와 학습 비용을 낮추며, CIFAR-10과 ImageNet-256에서 성능 향상을 보였다. ImageNet-256의 한 구성에서는 가이드 준비와 학습 오버헤드를 포함해도 약 절반의 총 학습 연산량으로 베이스라인의 최고 FID를 넘어섰으며, RAEv2에서는 가이드 없이 FID 1.15, 가이드 사용 시 0.99를 달성했다.

  2. Hugging Face Daily Papers34

    SpecKCast, 주파수 영역 칼만 필터 예측으로 디퓨전 Transformer 가속

    SpecKCast는 디퓨전 Transformer(DiT)의 출력을 주파수 영역에서 예측하는, 학습이 필요 없는 가속 기법이다. 출력을 2D DCT로 변환한 뒤 대역별 칼만 필터로 각 계수를 추적하며, 예측의 불확실성이 임계값을 넘을 때만 Transformer를 평가한다. FLUX.1-dev, Qwen-Image, Wan2.1-14B, HunyuanVideo에서의 실험에서는 기존 캐시 기법과 예측 기법을 웃도는 속도와 품질의 균형을 보였으며, 0.05GiB 미만의 추가 메모리로 최대 6배의 가속을 달성했다.

10월 18일일
  1. Hugging Face Daily Papers27

    MT Forcing, 멀티턴 이미지 편집의 안정화와 일관성 향상 제안

    MT Forcing은 자기회귀 확산에 기반한 통합 멀티모달 모델(UMMs)의 멀티턴 이미지 편집을 개선하는 학습 기법이다. 단일 턴 분포 매칭 증류(Single-Turn DMD)와 교사 강제 가이던스(Teacher-Forcing Guidance)를 결합하여, 편집을 거듭할 때마다 발생하는 시각적 품질 저하와 아티팩트 누적, 편집 전 영역이나 과거 편집 내용의 의도치 않은 변화를 억제한다. 논문에 따르면 이 기법으로 UMMs의 시각적 품질 안정성과 턴을 넘나드는 내용 일관성이 크게 향상되었다고 보고되었다.

10월 17일토
  1. Hugging Face Daily Papers33

    LayerEditor, 이미지를 재사용 가능한 RGBA 레이어로 편집하는 기법 제안

    LayerEditor는 지시 기반 이미지 편집과 재사용 가능한 RGBA 레이어 생성을 통합한 프레임워크다. 편집 후의 캔버스와 RGBA 레이어 열을 하나의 토큰 열로 다루며, 사전 학습된 모델의 편집 사전 분포를 증류해 편집 능력을 유지한다. 실험에서는 편집의 충실도를 유지하면서 정확한 RGBA 레이어를 생성했고, 레이어 단위 조작과 다층 분해를 지원함을 보였다.

10월 14일수
  1. Ars Technica AI58

    White Circle, OpenAI·Google 이미지 생성 모델의 가드레일을 우회하는 공격 기법 RISE 보고

    AI 안전 기업 White Circle은 DALL·E 3, Nano Banana 2, GPT-Image-2의 안전 필터를 시판·공개된 도구와 API 호출만으로 우회할 수 있는 공격 기법 RISE를 프리프린트 논문으로 보고했다. 사람이 검토해 노골적인 이미지로 확인된 비율은 DALL·E 3에서 약 13%, Nano Banana 2에서 10% 미만, GPT-Image-2에서 약 3%였다. OpenAI와 Google은 Ars Technica의 논평 요청에 응하지 않았다.

10월 8일목
  1. Apple Machine Learning Research38

    Normalizing Trajectory Models(NTM), 엄밀한 우도를 유지하면서 적은 단계로 이미지를 생성하는 기법

    Apple의 연구팀이 확산 모델의 각 역방향 단계를 엄밀한 우도로 학습할 수 있는 조건부 Normalizing Flow로 표현하는 Normalizing Trajectory Models(NTM)를 제안했다. 자기 증류를 통해 4단계만으로 고품질 샘플을 생성할 수 있다. 텍스트-이미지 벤치마크에서는 강력한 이미지 생성 베이스라인과 같거나 그 이상의 성능을 4단계 생성만으로 보였다고 한다.

9월 30일수
  1. Google Research Blog39

    Diffusion Controller는 어떻게 AI 이미지 생성의 제어를 통합하고 단순화하는가

    Diffusion Controller는 이미지 생성의 확산 과정을 연속적인 제어 문제로 재정의하고, 추론 시의 가이던스와 파인튜닝을 하나의 프레임워크로 다루는 기법이다. 베이스 모델을 고정한 채 경량 애드온 네트워크를 추가하는 방식으로, Stable Diffusion v1.4를 기반으로 한 실험에서는 인간의 선호 적합도를 나타내는 HPS-v2에서 업계 표준을 웃도는 결과를 기록했다고 보고되었다. 가중치에 전면적으로 접근할 수 있는 완전판은 베이스라인 모델 대비 90%의 승률을 달성했다.