Google, Android용 'Guided Vision'을 Gemini Live에 추가

Guided Vision은 Gemini Live에서 카메라를 공유하면 대화 형식으로 시각 정보를 해석해 주는 기능이다. 카메라가 너무 높거나 가깝거나 옆으로 치우친 경우에는 천천히 오른쪽으로 돌리라거나, 아래로 기울이라거나, 조금 뒤로 물러서라는 식의 음성 안내로 구도 조정을 돕는다. 활용 사례로는 식품의 작은 영양성분 표시나 가전제품 다이얼 읽기, 어두운 레스토랑에서 인쇄된 메뉴 읽기, 바닥에 떨어진 이어폰이나 조미료 선반의 후추 찾기, 색깔과 무늬 확인, 낯선 방의 전체 모습 설명 등이 소개되어 있다.

개발은 접근성 커뮤니티와의 협력으로 진행되었다. Aira와 제휴해 시각 해석 데이터를 총 수만 시간 분량 마련했고, Aira의 Trusted Tester 네트워크에 속한 1,000명 이상이 일상 상황에서 모델 검증과 개선에 참여했다. Aira 전문가들은 안전 가드레일을 마련하고 평가하는 데도 참여했다. 인도, 브라질, 싱가포르, 인도네시아, 일본 등 시각장애인 커뮤니티의 테스트와 피드백도 반영되었으며, 여러 언어로 대화할 수 있다. 고령자, 읽고 쓰기가 어려운 사람, 어두운 곳에서 작은 글자를 읽고 싶은 사람에게도 도움이 될 것으로 보고 있다.

실행 방법은 세 가지다. Gemini 앱에서는 프로필 설정의 'Use Guided Vision in Live'를 켠 뒤 Gemini Live에서 카메라 공유를 시작한다. Android 설정의 접근성 내 시각 보조 기능에서 Guided Vision 바로가기를 설정하면 플로팅 버튼, 두 손가락 스와이프, 볼륨 키 동시 누르기로 실행할 수 있다. TalkBack을 사용할 때는 세 손가락 탭으로 메뉴를 열고 선택하면 된다.

Guided Vision은 생성형 AI이므로 오류를 포함할 수 있다. 의료기기나 이동 보조기구, 흰 지팡이를 대신하는 용도가 아니며, 내비게이션이나 안전한 이동 안내, 장애물 감지에는 사용할 수 없다. 이용하려면 Android 9 이상이 필요하며, Gemini 앱과 Android 시스템 소프트웨어를 최신 상태로 유지해야 한다.