AI는 왜 수학에 강해졌을까, 힌트 열과 분기 수로 풀어보다

저자는 먼저 문제의 난이도를 '통찰(힌트)의 열과 그 사이의 작업'으로 파악하는 모델을 제시한다. WT Gowers는 전문가가 증명을 재구성할 수 있는 가장 짧은 힌트 열로 난이도를 나타내고, 복잡도를 2^k + t로 놓았다. 여기서 k는 가장 짧은 힌트 열의 길이이고, t는 그 전개에 필요한 작업량이다. 단위거리 추측의 경우 힌트는 반례를 찾는 것, 알려진 최선의 구성을 일반화하는 것, 차수를 높인 수체를 사용하는 것 등 3가지였다.

인간은 유망해 보이는 방향을 얕게 탐색하고 대부분을 버린다. 한 방향을 시험하는 데 몇 달이 걸리기 때문이다. 반면 LLM은 한 궤적을 끝까지 진행할 수 있고, 병렬 에이전트로 여러 방안을 동시에 전개할 수 있다. 자동 검증기가 완성된 논증을 몇 분 만에 판정할 수 있으므로, 불확실한 방안에 많은 계산을 쓰는 것이 합리적이 된다. 실패한 시도는 부정적 힌트로 다음 반복의 프롬프트에 돌아가며, Drafter, Solver, Verifier로 구성된 하네스에서 축적된다. CDC 문제의 프롬프트 예시에는 부분적 결과를 불충분하다고 제외하라는 지시와 적대적 에이전트에 의한 검사가 포함되어 있다.

단위거리 반례와 관련해 Jacob Tsimerman도 이전에 반례를 찾았고 차수를 높이는 발상에도 접근했으나 도중에 그만두었다고 소개된다. 진전의 확신을 얻기 어려운 통찰형 문제에서는 인간이 탐색을 지속하기 어렵다. 저자는 이것을 LLM의 장점으로 보며, Tsimerman 본인도 AI가 인간보다 더 오래, 더 위험한 영역을 탐색할 수 있을 가능성이 있다고 말한다. Navier-Stokes 증명은 166페이지이며 10,000개 에이전트, 88시간, 300B 토큰을 사용한 것으로 알려져 있고, 저자는 개념적 도약이 크지 않다고 본다.

올해 모델의 변화로 긴 과제에서의 부품 연쇄, 궤적 내 자기 검증, 하위 에이전트의 통솔 세 가지를 든다. 더 나아가 분기 수 b를 더해 b^k × 계산 비용이 작은 문제일수록 AI가 잘한다고 예측한다. 사이버보안이 먼저 공략된 이유는 중간 단계의 분기 수가 1~2 정도이기 때문이라고 한다. Gowers는 탐색 트리가 깊고 분기도 큰 문제에서는 인간이 우위를 유지할 것으로 본다.

결론에서는 인간이 가지를 좁히고 모델이 한 가지 가지를 시험하는 시간을 줄이는 상호보완 관계를 설명한다. 다만 실패에 포함된 통찰은 공개되지 않으면 공유되지 않는다는 점도 지적한다. 부록에서는 1901년까지의 데이터로 일반상대성이론에 도달할 수 있는지를 묻는 시험에 대해, 첫 힌트가 중력을 기하학으로 다루는 것이며 그 이후의 수학은 모델이 잘하는 부분이라고 논한다.