OpenAI, COBOL·Fortran 등 저자료 언어 코딩 평가 공개 — 실제 마이그레이션 검증은 별개

핵심 내용

OpenAI는 10월 19일 상대적으로 학습자료가 부족한 COBOL·Fortran·OCaml·Visual Basic 등의 코딩 역량 평가 결과를 공개했다. 자체 MultiLangBench는 모델이 20개 프로그래밍 언어에서 SQLite와 호환되는 데이터베이스 엔진을 구현하도록 하고 테스트 통과율을 비교한다. 회사 측 결과에서 GPT-6 Astra는 평균 87.4%, 비교 대상인 GPT-5.6 Sol은 26.8%였다. GPT-6 Luna는 40.3%로 보고됐고, 회사가 추정한 평균 API 비용은 샘플당 0.77달러로 비교 모델의 3.48달러보다 약 78% 낮았다.

별도의 COBOL 이전 평가에서는 GPT-6.1 Sol이 낮은 추론 노력 조건에서 정확도 86.6%, 더 높은 노력 조건에서 97.9%를 달성했다고 보고했다. 하지만 이는 지정된 코드와 비공개 테스트로 구성된 회사 평가이며 모든 금융·행정 레거시 소프트웨어 이전에서 같은 성공률을 보장하지 않는다. 소수점 처리, 누락 레코드, 파일 인코딩 등 기존 시스템의 관찰 가능한 동작을 보존하는 것이 핵심이다.

배경

낡은 업무 시스템은 문서가 부족하고 기존 개발자가 떠난 경우가 많다. 새 언어로 코드를 바꾸더라도 금융 계산과 업무 규칙을 조금만 다르게 해석하면 정상 실행 중에도 잘못된 결과를 만들 수 있다.

산업·시장에 미치는 영향

AI 코딩 도구의 사용 영역이 대중적인 웹 개발 언어에서 금융·산업·공공 시스템의 레거시 현대화로 확대될 수 있다. 다만 벤치마크 점수와 실제 전환 비용, 독립 감사 및 운영 안정성은 별도 지표다.

실무에서 바로 활용할 수 있는 시사점

레거시 코드를 이전하려면 원본 프로그램의 입력·출력 기록을 회귀 테스트로 고정하고, 수치 정밀도·예외·시간대·파일 형식에 대한 동등성 검사를 자동화해야 한다. 모델이 생성한 코드에 대해 업무 담당자 검토와 병렬 운영 기간을 거치는 것이 적절하다.

출처

OpenAI — Advancing coding in low-resource programming languages