Black Forest Labs, FLUX.3 Image Klein 공개… Diffusers에서 출시 첫날부터 사용 가능
Welcome FLUX.3 Image Klein in Diffusers
Black Forest Labs의 FLUX.3 Image Klein이 공개되었으며, Diffusers에서 출시 첫날부터 작동한다. 하나의 모델로 text-to-image, 여러 참조 이미지를 이용한 image-to-image, 바운딩 박스를 통한 레이아웃 제어를 지원한다. 증류 버전은 16스텝, CFG 없이 H100에서 1024 × 1024 이미지를 약 2초 만에 생성한다. NVFP4와 FP8 가중치, LoRA 학습 스크립트, Modular Diffusers 파이프라인도 함께 제공된다.
FLUX.3 Image Klein에는 두 가지 오픈 체크포인트가 있다. black-forest-labs/flux-3-image-klein은 타임스텝 증류 버전으로, 16스텝과 CFG 없음이 기본값이다. black-forest-labs/flux-3-image-klein-base는 베이스 모델로, 50스텝과 CFG를 사용하며 파인튜닝용으로 제공된다. 텍스트 인코더로 Qwen3-VL을 사용하므로 diffusers와 transformers의 업데이트가 필요하다.
레이아웃 제어는 새로운 기능이다. 캡션 뒤에 id, bbox, desc를 가진 영역들의 JSON 리스트를 덧붙인다. 좌표는 [y_min, x_min, y_max, x_max] 순서이며 0~1000으로 정규화되어 있어, 이미지 크기가 달라도 같은 박스를 사용할 수 있다. 편집에서는 src_bbox로 참조 이미지 내 원래 위치를, tgt_bbox로 출력에서의 이동 위치를 지정하며, 두 값이 같은 영역은 제자리에 머문다. 여러 참조 이미지는 프롬프트 안에서 <ref_image_0>, <ref_image_1>과 같이 지정한다.
경량화와 학습에 관해서는, transformer를 bf16, fp8r, nvfp4의 단일 파일로 배포하며 from_single_file로 불러올 수 있다. fp8r은 compute capability 8.9 이상, nvfp4는 Blackwell에서 고속 커널이 작동한다. 그 밖의 GPU에서는 가중치가 매 스텝 역양자화되어 메모리는 줄지만 속도는 빨라지지 않는다. 메모리 피크는 nvfp4 15.3 GiB, fp8r 16.27 GiB, bf16 20.72 GiB이다. DreamBooth LoRA 학습 스크립트는 text-to-image와 이미지 편집 두 가지가 준비되어 있다.
속도는 H100 80GB 기준으로, 증류 버전의 1024 × 1024 text-to-image가 1.93초, 참조 이미지 1장을 쓰는 image-to-image가 3.87초, 레이아웃 편집이 4.10초이다. 참조 이미지의 토큰이 같은 시퀀스에 더해지므로, 1024 × 1024 참조 이미지는 호출마다 4,096토큰을 늘려 시간이 거의 두 배가 된다. 아키텍처는 텍스트, 노이즈 이미지, 참조 이미지별 5개 블록과 전체가 가중치를 공유하는 28개 블록의 2단계 구성이다. 텍스트와 참조에는 항상 타임스텝 0을 부여하는 것도 특징으로 소개된다. Modular Diffusers 파이프라인에서는 텍스트 인코더를 분리해 쓰는 방법과 루프 안에 블록을 추가하는 방법도 제시되어 있다.
프롬프트에 bbox를 적어 배치와 이동을 지정하는 방법과 H100에서의 속도 및 메모리 실측치가 함께 제시되어 있어, 도입 부담을 가늠하기 쉽다.
출처: Hugging Face Blog · huggingface.co