특허 변리사 실험: AI는 신입의 성과를 즉시 끌어올리지만 AI 없이 판단하는 능력은 늘지 않아

실험에서는 참가자의 3분의 2가 InFlow를 사용했고, 나머지 3분의 1은 AI 없이 작업했다. 두 가지 청구항 작성 과제에서는 처치군만 InFlow를 사용했으며, 세 번째 레드라인 과제에서는 모든 참가자가 AI 없이 기존 특허 초안을 비판적으로 검토했다. 독립된 사무소의 변리사들이 권리행사 가능성, 기술적 정확성, 전략적 모호성, 포괄성, 명확성의 5개 항목으로 익명 채점했다. 작성 과제는 즉각적인 AI 지원 아래의 성적을, 레드라인 과제는 내면화된 판단력을 측정하도록 설계됐다.

작성 과제에서는 10일 후와 90일 후 모두 처치군이 대조군을 앞섰고, 5개 항목 전부에서 효과가 나타났다. 향상은 낮은 평가의 감소와 중간 평가의 증가에 따른 것이었고, 최고 평가는 거의 변하지 않았다. 효과는 경력 7년 미만의 신입이 시니어보다 더 컸다.

반면 AI 없이 진행한 레드라인 과제에서는 처치군의 종합 점수가 높았지만, 그 우위는 전부 시니어에 의한 것이었고 신입에게는 이점이 없었다. 신입의 결과는 양극화되어 중간 평가는 줄고 낮은 평가와 높은 평가가 늘었다. 저자들은 AI가 일부 신입의 기술 형성을 앞당기고 다른 신입에게는 그것을 대체했다고 해석하지만, 그 이유까지는 실험으로 설명할 수 없다고 밝혔다. 보충 텍스트 분석에서는 시니어가 초안을 재구성하고 법적 원칙에 따라 수정하는 경향이 있었고, 신입은 중대한 결함을 알아채고도 고치지 않은 채 AI에 대한 지시처럼 보이는 메모를 남기는 경우가 많았다. 이 경향은 대조군에서도 나타났기 때문에, AI 사용으로 생긴 습관이 아니라 신입이 원래 지닌 약점으로 보고 있다.

한계로는 표본이 작다는 점, 참여 사무소가 전문 서비스 업계 전체를 대표하지 않는다는 점, 사전 기술 측정이 없다는 점, 3개월이라는 기간이 짧다는 점이 꼽혔다. 기사는 관련 사례로 Anthropic의 조사에서 AI의 도움을 받아 새 라이브러리를 익힌 개발자들의 테스트 점수가 17% 낮았다는 결과, MIT Media Lab의 인지적 부채 징후, 2023년 BCG 조사에서 GPT-4가 약한 컨설턴트일수록 크게 향상시켰다는 내용도 소개하고 있다.