Block, Claude Fable로 수천 건 규모의 PR 코드 마이그레이션을 총괄한 방법을 소개

Block에서는 코드 마이그레이션이 여러 리포지토리에 걸쳐 수백에서 수천 개의 PR, 수백만 줄의 코드에 이르는 경우가 있다. 기존에는 사람이 작업을 조율했고, 모델이 다룰 수 있는 범위는 1개에서 몇 개의 PR에 그쳤다. 현재는 사람인 엔지니어가 방향을 제시하고, Fable이 데이터 모델, API 명세, 알고리즘 같은 상위 설계를 맡는다. 실제 파일 편집과 테스트 실행은 최대 수십 개의 Opus, Sonnet 등 소형이면서 비용 효율이 높은 모델에 맡긴다. 한 번의 마이그레이션에서 PR 1,000개를 병합한 사례도 있다고 한다.

초기 결과에 따르면, 오케스트레이터는 복잡한 사전 계획에만 프런티어 모델의 토큰을 사용하고, 이후 소형 모델의 토큰 비율을 높여도 품질은 떨어지지 않았다. 이 구성은 오픈소스 협업 워크스페이스 Buzz에서 운영하고 있다. Buzz는 사람과 AI 에이전트가 공유 채널과 스레드에서 함께 작업하는 공간으로, 진행 상황을 시각화하는 데도 도움이 된다고 한다. 또한 코드베이스 전체를 매일 또는 매주 점검해 기술 부채를 정리하는 에이전트도 활용하고 있다.

모델 선택과 관련해서는 모든 기술 직군에 최첨단 모델의 전체 접근 권한을 주되, README 오타 수정에 Fable을 쓰는 것과 같은 낭비를 피하기 위해 모델을 제안하는 자동 선택기를 개발 중이다. 또한 노력 수준까지 포함한 조합을 표처럼 보고, 사용 사례별로 모든 모델과 모든 노력 수준을 벤치마크하고 있다고 한다.

안전 측면에서는 main 병합, 프로덕션 배포, 기능 플래그 등은 사람이 담당하도록 하고, 보안 검사를 통과한 뒤 2명의 승인을 필수로 한다. 네트워크는 차단 목록이 아닌 허용 목록 방식으로 운영하며, 정규 표현식이나 소형 분류기처럼 모델을 거치지 않는 저비용 검사도 포함한다. Block의 테스트에서는 이중 승인을 우회해 달라고 요청했을 때 Claude가 이를 거부했다고 한다. 마지막으로, 개인이 얻은 지식과 기술을 시스템 전체에 축적하는 것이 조직의 성숙으로 이어진다고 밝히고 있다.