Legora CTO가 말하는 열람할 수 없는 데이터로 법무 에이전트를 구축하고 평가하는 방법

Legora는 스톡홀름의 지하실에서 ChatGPT, 스웨덴 법률, 검색 도구를 결합한 제품으로 출발한 법률 AI 기업이다. CTO인 Jacob Lauritzen은 Latent Space에서 변호사를 위한 에이전트의 구축과 평가에 대해 이야기했다. 현재 에이전트는 Word 문서의 작성과 편집, 수천 건의 계약에 대한 일괄 검토, 변호사·고객·다른 에이전트 간 업무 조율을 맡고 있다. 4월에는 연간 경상수익(ARR)이 1억 달러를 넘어섰으며, 고객사는 1,800곳이 넘는다. 올해 인수 건수는 Wexler를 포함해 5건이라고 한다. 가장 큰 과제는 고객이 업로드하는 데이터가 기밀이며, 그중 상당수가 법률사무소 의뢰인의 자료여서 트레이스를 열어볼 수 없다는 점이다. 이에 엔지니어 3명과 변호사 3명으로 구성된 팀이 고객의 업무를 모사한 테스트 환경을 만들고 있다. 예를 들어 1만 개 파일이 담긴 데이터룸에서 실사(due diligence)를 수행하며 위험 신호(레드 플래그)를 찾아내는 RL 환경이 있으며, 실무 분야와 과제별 히트맵으로 새 모델의 강점과 약점을 추적한다. 실제 운영에서는 실패 사례를 10~20개 유형으로 분류하고, 저렴한 LLM 기반 검사를 기능 플래그 뒤에서 실행한다. 인용의 정확성과 관련해서는 한 릴리스에서 정답률이 70%에서 99%로 올랐지만 Legora는 아무것도 바꾸지 않았다고 한다. 환각(할루시네이션) 대책으로 모든 출력에는 출처 PDF의 해당 부분을 보여주는 인용을 붙인다. 인프라는 법률사무소가 AWS와 GCP를 받아들이지 않아, 승인된 벤더인 Microsoft를 통해 Azure로 통일했다. 모델에 대해 Jacob은 변호사가 Sonnet이나 Opus를 고르게 해서는 안 된다고 생각하며, 모델 선택기 도입에 오랫동안 반대했다고 밝혔다. 법무 업무의 약 60%는 이미 모델이 충분히 처리할 수 있고, 나머지는 100만 토큰 규모의 계약에 걸친 복잡한 분석과 편집이어서 더 높은 지능이 필요하다는 설명이다. 특정 과제에서는 오픈 웨이트 모델의 포스트 트레이닝도 시작했다. 제품은 프로젝트, 에이전트, Tabular Review, 리스트처럼 소수의 기본 구성요소로 이루어져 있다. Tabular Review는 행이 문서, 열이 질문인 표 형식으로 최대 100만 셀까지 지원하며, 먼저 10행으로 시험해 보고 프롬프트를 고칠 수 있다. 리스트는 Notion과 비슷한 데이터베이스로, 에이전트가 만들고 참조하며 변경 사항이 에이전트를 실행시킨다. Slack을 통한 intake 봇도 같은 구성요소로 작동한다. 인력 측면에서는 변호사 출신이며 대부분 컴퓨터공학 학위도 가진 약 100명의 legal engineer가 코드를 쓰지 않고 제품을 구성하고, forward deployed engineer(FDE)가 고객의 CRM과 문서 관리 시스템 연동을 구현한다. Jacob은 앞으로 FDE가 몇 개월 단위로 고객사에 상주하며 순환 배치되는 방식을 생각하고 있다. 2년 후에는 대기업이 Claude Cowork를 통해 Legora를 사용하고, 법률사무소는 Legora 안에서 일하는 모습을 그리고 있으며, 랩 기업들이 이를 배제할 것이라고는 보지 않는다고 한다.

보도를 바탕으로 AI가 작성 · 2일 전 업데이트