OpenAI、COBOLなど学習資源の少ない言語でのコーディング能力向上を発表 最新モデルで評価結果を公開

OpenAI、COBOLなど学習資源の少ない言語でのコーディング能力向上を発表 最新モデルで評価結果を公開
出典:https://x.com/OpenAI/status/2112310345863930168

OpenAIは2026年10月19日、最新モデルの進化により、COBOL、Fortran、Visual Basicといった学習リソースの少ないプログラミング言語で、ソフトウェアの開発や移行を行う能力が向上したと発表しました。これらの言語はPythonやJavaScriptに比べ、モデルが学習に使えるコードやドキュメントが少ない一方、社会の重要なインフラを支えているといいます。

同社によると、COBOLはオンラインバンキングシステムの40%超、対面でのクレジットカード取引の80%、ATM取引の95%を支えています。Fortranは天気予報や原子炉の安全解析に使われています。取り組みの背景には、コーディングモデルがこうした言語を苦手とすることが多いという、開発者や企業顧客からのフィードバックがありました。保守や刷新の現場では、ドキュメントが不完全だったり、当初の開発者が退職していたり、重要な業務ルールがコードの中にしか残っていなかったりする問題があり、バグ修正でも別言語への移行でも、システムが前提とする動作を維持する必要があるとしています。

進歩を測るため、同社は2つの評価を開発しました。1つ目の「MultiLangBench」は、20種類のプログラミング言語それぞれで、SQLite互換のデータベースエンジンをゼロから構築できるかを検証します。2つ目の「COBOL移行評価」は、既存プログラムの動作を維持したまま、C++、Java、Kotlin、Python、Rustのいずれかへ移行できるかを確かめるものです。

MultiLangBenchでは、推論量を最大に設定した「GPT-6 Astra」が、20言語の平均テスト合格率87.4%を記録しました。「GPT-5.6 Sol」の26.8%から大きく向上し、評価対象のすべての言語で改善がみられたといいます。COBOLは10.9%から72.1%、OCamlは25.6%から85.8%、Fortranは21.4%から83.5%、Visual Basicは27.5%から89.4%でした。Astraは20言語中19言語で83%を超えましたが、COBOLは引き続き最も難しい言語だとしています。より低コストな「GPT-6 Luna」も全言語でGPT-5.6 Solを上回り、平均テスト合格率は40.3%でした。サンプルあたりの推定平均APIコストは0.77ドルで、GPT-5.6 Solの3.48ドルより約78%低いと説明しています。

COBOL移行評価では、推論量を低く設定した「GPT-6.1 Sol」の正解率が86.6%となり、同じ設定のGPT-5.6 Solの5.4%を大きく上回りました。APIコストはGPT-5.6 Solの61%に収まり、推論量を増やすと正解率は97.9%に達したとのことです。テストは、観測可能な出力がバイト単位で完全に一致することを求める非公開のもので、すべてに合格した場合のみ成功と判定します。COBOLの固定小数点演算では、丸めを明示しなければ余分な小数桁が切り捨てられるため、書き換え後に丸めてしまうと金額の計算結果が変わる可能性があると、同社は例を挙げています。

同社はMultiLangBenchの評価環境とテストスイートを、各言語の結果とともにGitHubで公開するとしています。一方で、本番ソフトウェアへの適用には、専門家によるレビューや、業務ルール・依存関係に照らしたテストが引き続き必要だと断っています。API経由で最新モデルを試せるとして、利用者にフィードバックを求めており、今後のモデルの学習・評価の方針に生かす考えです。


出典:https://openai.com/ja-JP/index/low-resource-programming-languages/

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次