OpenAI, COBOL 등 저자원 언어의 코딩 성능 향상 발표… MultiLangBench·COBOL 마이그레이션 평가로 측정

OpenAI는 최신 모델이 Python이나 JavaScript에 비해 학습용 코드와 문서가 적은 언어에서도 소프트웨어 구축과 마이그레이션을 더 정확하게 수행할 수 있게 됐다고 밝혔다. COBOL은 온라인 뱅킹 시스템의 40% 이상, 대면 신용카드 거래의 80%, ATM 거래의 95%를 떠받치는 것으로 알려져 있으며, Fortran은 기상 예보와 원자로 안전성 해석에 쓰인다. 배경에는 개발자와 기업 고객들로부터 코딩 모델이 이런 언어에 약하다는 지적이 있었다.

측정을 위해 두 가지 평가를 마련했다. MultiLangBench는 지정한 언어로 SQLite 호환 데이터베이스 엔진을 처음부터 만들게 하는 평가로, 20개 언어를 대상으로 한다. 초기 데이터베이스와 SQL 쿼리를 입력받아 갱신된 데이터베이스를 출력하게 하고, SQLite 본가 구현으로 내용을 검증하기 때문에 언어와 상관없이 같은 테스트를 적용할 수 있다. SQLite의 기존 테스트 스위트를 변형한 테스트를 사용하며, 통과율과 API 비용을 보고한다.

MultiLangBench에서 GPT-6 Astra는 최대 추론 부하에서 평균 87.4%를 기록해, GPT-5.6 Sol의 26.8%보다 모든 언어에서 개선됐다. COBOL은 10.9%에서 72.1%로, OCaml은 25.6%에서 85.8%로, Fortran은 21.4%에서 83.5%로, Visual Basic은 27.5%에서 89.4%로 올랐다. 20개 언어 중 19개에서 83%를 넘었고, COBOL은 가장 어려운 언어로 72%에 머물렀다. 비용 중심의 GPT-6 Luna는 평균 40.3%이며, 샘플당 추정 평균 API 비용은 0.77달러로 GPT-5.6 Sol의 3.48달러보다 약 78% 낮다.

COBOL 마이그레이션 평가는 COBOL 프로그램을 동작을 유지한 채 C++, Java, Kotlin, Python, Rust 중 하나로 옮기게 하는 것이다. COBOL의 고정소수점 연산은 명시하지 않으면 여분의 소수점 자리를 잘라내므로, 반올림해 버리는 재작성은 오류 없이 실행되더라도 금융 계산 결과를 바꿀 수 있다. 그래서 비공개 테스트에서 관찰 가능한 출력이 바이트 단위로 일치할 것을 요구하고, 모든 테스트를 통과한 경우에만 성공으로 본다. GPT-6.1 Sol은 낮은 추론 부하에서 86.6%, GPT-5.6 Sol은 5.4%를 기록했으며, API 비용은 61% 수준이다. 높은 추론 부하에서는 97.9%로 평가가 거의 포화됐다.

OpenAI는 MultiLangBench의 평가 설정과 테스트 스위트를 언어별 결과와 함께 GitHub에 공개했다. 실제 운영 소프트웨어에 적용하려면 전문가 검토와 업무 규칙 및 의존성에 대한 테스트가 여전히 필요하다고도 덧붙였다. 최신 모델은 API로 써볼 수 있으며, 잘된 점과 약한 언어·워크플로에 대한 피드백을 앞으로의 학습과 평가에 반영하겠다고 밝혔다.