영국 내무부의 AI 활용에 대해 감독 당국이 조사를 검토 중이다

ICIBI(국경·이민 독립 감찰관)는 내년도 검사 주제를 정하는 과정에서 디지털 권리 단체 Open Rights Group(ORG)에 추가 정보를 요청했다. ICIBI는 연간 검사 우선순위를 공표하기 전에는 검토 중인 주제를 확인할 수 없다고 하면서도, AI 도구 사용에 대한 우려는 파악하고 있으며 지난해 조사에서 도구의 "유효성과 신뢰성에 편차가 있다"고 지적했다고 밝혔다. 영국 내무부가 사용하는 것은 Asylum Case Summarisation(ACS)과 Asylum Policy Search(APS)로, 2023년의 GPT-4와 Microsoft Foundry를 기반으로 면접 기록과 출신국 정보를 요약한다. 2024년 후반에 시범 운영이 시작되었으며, 정부는 두 도구를 함께 쓰면 건당 약 1시간을 절약할 수 있다고 추산하고 있다. ORG의 조사에 따르면, ACS 요약이 사용에 부적합하다고 판단된 비율은 시범 평가에서 공표된 오류율 9%를 크게 웃돌며, APS 요약에는 품질 관리가 없다고 한다. 우려는 정확도에만 그치지 않는다. 7월에는 영국 판사가 내무부가 모로코 여성과 자녀의 망명 신청을 기각하면서 "AI가 환각을 일으킨" 문서를 인용했다고 지적했다. 의원과 연구자들은 GPT 모델의 문화적 편향이 요약에서 뉘앙스 상실이나 차별적 판단으로 이어질 수 있다고도 지적하고 있다. 투명성 측면에서는, 영국의 AI Playbook이 공개 저장소 게재를 요구하고 있음에도 두 도구는 게재되지 않았으며, 신청자에게도 사용 사실이 통지되지 않는다. ORG가 의뢰한 법률 의견은 잘못된 요약에 이의를 제기할 수 없는 점이 데이터 권리법에 위배될 수 있다고 지적했다. ORG와 Public Law Project는 조사 결과를 Information Commissioner에 제출했으며, 동 기관은 직원의 사용 방식과 교육에 대해 내무부가 답변을 거부한 건을 조사 중이다. 내무부는 도구가 면접 기록과 정책 정보의 참조를 보조할 뿐이며 단독으로는 사용되지 않고, 신청에 대한 판단은 하지 않는다고 설명했다. 또한 평가 업데이트 결과를 공표할 방침도 밝혔다. OpenAI는 정확도 개선에 노력하고 있으며 GPT-4를 1월에 종료할 예정이라고 말했다.

WIRED AI 발췌