Google Photos, Auto frame에 촬영 후 시점을 보정하는 3D 대응 사진 재구도 기능 추가

이 기법은 3D 장면과 카메라 추정, 생성형 인페인팅 및 리터치의 2단계로 구성된다. 3D 추정과 이미지 생성을 분리함으로써 카메라의 내부 파라미터와 외부 파라미터를 모두 3D 상에서 조작할 수 있다고 한다.

1단계에서는 인체와 얼굴을 충실하게 재구성하도록 설정한 내부 3D 포인트 맵 추정 모델을 사용한다. 원본 이미지의 각 픽셀에 대해 3D 점을 추정하고, 원본 카메라의 초점 거리도 근사한다. 이후 기존 방식의 3D 렌더링으로 카메라의 위치, 방향, 초점 거리를 바꾼 경우의 이미지를 추정한다.

다만 포인트 맵은 불완전한 표현이므로, 가상 카메라를 움직이면 원래 렌즈가 포착하지 못한 배경이 드러나 렌더링 결과에 구멍이 생긴다. 이 구멍을 보완하고 보정하기 위해 잠재 확산 모델을 사용한다. 이 모델은 알려진 카메라 파라미터를 가진 이미지 쌍의 내부 데이터셋으로 학습되며, 한쪽 이미지의 포인트 맵을 다른 카메라에 투영하고 그 재렌더링 결과로부터 두 번째 이미지를 재구성하는 법을 익힌다. 추론 시에는 영역별 스케일링을 동반하는 classifier guidance를 사용하여, 원래 내용은 유지하면서 빈 부분에는 생성의 자유도를 준다.

자동 편집을 위해 주요 피사체의 얼굴 위치와 3D 상의 방향을 검출하는 ML 모델도 사용하며, 3D 포인트 맵과 결합해 이상적인 프레이밍의 카메라 파라미터를 계산한다. 광각 전면 카메라에서 흔히 생기는 원근 왜곡도 자동으로 검출하고, 가상 카메라의 내부 파라미터를 조정하여 촬영 후 피사체에서 한 발 물러선 듯한 자연스러운 비율로 되돌린다.

이 기능은 Google DeepMind와 Google Platforms & Devices 팀의 공동 성과다. Google Photos에서는 인물이 포함된 대상 사진에 대해 Auto frame의 일부로 동작하며, 시점이 자동 조정된 이미지가 두 번째 후보로 표시되고 한 번의 조작으로 적용할 수 있다.