コードベースが成長すれば、使われなくなったコードの削除、終了した実験の後片付け、テストの修正といった保守作業が必要になります。OpenAI では、コーディングエージェントのおかげで開発が速くなり、それに伴って保守作業も増えました。
私は OpenAI の Core Experimentation チームで、フロントエンドの更新からモデル配信の効率改善まで、社内各所で行われる実験を支えるソフトウェアの開発と保守に携わっています。
GPT-6 Astra の登場で、ソフトウェアの開発も保守も速くなりました。GPT-6.1 Sol では、より低いコストで同様の成果が得られています。本記事では、これらのモデルを使って整理できる箇所を見つけ、判断の根拠を集め、変更をレビューに出すまでの流れを紹介します。
未使用コードの削除
エージェント型コーディングが登場する前は、多くの開発チームが、複雑な静的解析システムと実行時ログを組み合わせて未使用コードを検出し、削除していました。こうした仕組みを使い、慎重にコードレビューをしても、誤りは起こります。私も、必要なコードを誤って削除したために起きた障害をいくつか覚えています。リフレクションの影響で静的解析の結果が当てにならない場合や、普段は使われないコードパスが将来の障害を緩和するために用意されている場合など、考慮すべき例外は数えきれません。
Codex で GPT-5.6 Sol を使うようになると、調査範囲と明確な検証基準を指定して、静的解析用のコードの作成とデッドコードの削除をモデルに任せられるようになりました。対象を絞ったプロンプトは、従来の静的解析システムよりも作成や保守が容易で、信頼性は同程度でした。
GPT-6 Astra が使えるようになったとき、もっと大まかな依頼でも、どこを調べるべきか、それぞれの箇所を削除してよいと判断するにはどんな根拠が必要かを自力で見極められるのか、試してみたくなりました。手始めに、GPT-5.6 Sol には曖昧すぎて最後まで対応できなかった短いプロンプトを Codex に入力しました。誤記も含め、実際に使ったのは次のような文面です。
Astra はこの曖昧な依頼にうまく対応しました。過去の PR を調べ、Slack のスレッドから経緯を把握し、社内のプロジェクト管理ツールも確認しました。本番環境のプロファイリング結果を記録したテーブルを読み、削除対象の行が一度も実行されていないことも確かめました。Astra が削除箇所ごとに理由を説明してくれたおかげで、レビューも速くなりました。
Astra の結果を見て、エンジニア 5 人で協力し、このプロンプトを少しずつ変えながら複数のリポジトリで実行しました。その結果、1,400 件を超える Pull Request をマージし、80 万行を超えるコードを削除しました。作業の大半は、ほかのプロジェクトを主業務としながら、その合間に 2 週間で進めました。コードレビューは、変更対象のプロジェクトに詳しい各チームに分担してもらいました。削除の効果は数字にも表れています。あるサービスではコンテナイメージが 3.31 GB から 1.72 GB へと 48% 縮小しました。また、別の一連の変更では、テストスイートからビジュアルスナップショットのバリエーションを約 400 件削除できました。
役目を終えた実験の特定
ソフトウェア保守でさらに難しいのが、役目を終えた実験の整理です。こうした実験が未使用とは限りません。コードが今も本番環境で動いていたり、いつ変わってもおかしくない実験対象の判定結果に依存していたりするため、静的解析は格段に難しくなります。以前は、決定論的な静的解析をデータベースへのクエリで補い、役目を終えた実験を整理していました。解析用スクリプトの作成と改善には、当時最も高性能だったモデルの GPT-5.6 Sol を使っていました。それでも見逃しは多く、実際には役目を終えていても解析では特定できない実験があることは分かっていました。
GPT-6 Astra を使ったデッドコードの整理がうまくいったので、役目を終えた実験についても短いプロンプトを試すことにしました。何から始めればよいか迷ったので、Astra とアイデアを出し合い、新しいスレッドで試せる短いプロンプトを書いてもらいました。
Astra はプロンプトで指定した安全策を守り、チームがレビューできるよう根拠を添えて変更を用意しました。私はその Pull Request にコメントを付け、Astra にコメントを読んでフィードバックを反映し、コードベース全体を調べるための新しいプロンプトを作るよう依頼しました。整理すべき箇所が多すぎて優先順位を付けられなくなることも心配だったので、その点も相談しました。Astra が提案したのは次のプロンプトです。
できあがったレポートには期待の持てる結果が並んでいました。Astra は私たちの計測の仕組みを使い、役目を終えた実験ごとに CPU コストを調べました。上位の数件は、役目を終えたことに何年も誰も気付いていなかった実験で、整理すれば大幅な効率改善が見込めました。私は効果の大きい候補を慎重に検証してから全体の整理に進み、数百件の実験と機能フラグを削除しました。
Astra がどのように判断したかを示す例があります。数年前、私たちのチームのエンジニアが、社内の開発者向けにテスト用の Statsig 機能フラグを作りました。このフラグを使うと、新機能に関するほかのすべての機能フラグを上書きできました。この設定は、そのフラグをほかのすべての機能に対応付ける、わずか 1 行の Python コードで実装されていました。同じような機能フラグの対応付けが何百行も並ぶ中で、その 1 行は目立ちませんでした。
Astra は、この 1 行がフラグをすべての機能に対応付けているため、処理が多数に分岐し、CPU に大きな負荷がかかっていることを突き止めました。Astra は CPU コストを調査したうえで、人によるレビューを求めました。機能フラグの管理コンソールでそのフラグに「Permanent」と明示されており、今も運用上の役割があるかもしれなかったからです。レビューを経てフラグを削除した結果、最も影響を受けていたサービスで CPU 使用量が推定 0.42% 減りました。
GPT-6.1 Sol による費用対効果の改善
その後、同じ作業を GPT-6.1 Sol でも試し、GPT-6 Astra と同等の成果をより効率よく得られるかを調べました。
役目を終えた実験の整理についてモデルを比較するため、モデルと推論強度の組み合わせを変えながら、先ほどと同じプロンプトを実行しました。Codex には、あるリポジトリの指定したサブディレクトリを監査し、役目を終えた実験を見つけるよう依頼しました。対象には 6,000 を超えるファイルがあり、Python、TypeScript、Go、Rust のコードが合わせて 100 万行以上あります。検出結果は私がレビューして妥当性を確かめました。下のグラフは、モデルと推論強度の 3 通りの組み合わせで得られた結果です。
API cost
- GPT-6 Astra Ultra
- $109.06
- GPT-6.1 Sol Ultra
- $15.12
- GPT-6.1 Sol Medium
- $5.27
Findings
- GPT-6 Astra Ultra
- 142
- GPT-6.1 Sol Ultra
- 131
- GPT-6.1 Sol Medium
- 86
Cost per finding
- GPT-6 Astra Ultra
- $0.77
- GPT-6.1 Sol Ultra
- $0.12
- GPT-6.1 Sol Medium
- $0.06
コストは API の標準料金で算出し、調査用サブエージェントの利用分と、各目標の達成に向けて Codex が自動で実行した追加ターンの分も含みます。
この比較では、GPT-6.1 Sol(ウルトラ)は GPT-6 Astra(ウルトラ)の 14% の API コストで、その検出件数の 92% に達しました。GPT-6.1 Sol(中程度)では、妥当と認められた検出件数は減りましたが、コストはさらに低くなりました。
モデルと推論強度の組み合わせによって検出結果がどう異なるかを調べると、いくつかの傾向が見えてきました。たとえば、推論強度が「ウルトラ」のときにモデル間で結果が分かれたケースの大半は、値が固定された機能フラグを別の機能フラグが参照しているものでした。GPT-6 Astra はこれらを検出しましたが、GPT-6.1 Sol は見逃しました。
こうした誤りの傾向が分かれば、それを補うプロンプトを作れます。その結果、費用対効果の高いモデルでも、高コストのモデルに近い成果を得られます。一方、今後のモデルではこうした補正が不要になることもあるため、新しいモデルがリリースされたらプロンプトを見直すことが大切です。
ほかにも試せるアイデア
Codex を使っていて特に印象に残っている発見のいくつかは、次のような短いプロンプトから始まりました。まずは GPT-6.1 Sol の推論強度を「中程度」にして試してみてください。結果が有望なら、監査範囲を広げる際に推論強度を上げることも検討してみてください。
不安定なテストの修正:
エージェントに与えるコンテキストの改善:
継続的インテグレーションのコストと実行時間の削減:
最後のアイデアは、実際に CI の時間短縮につながりました。このプロンプトを実行し、提案をもとに作業を進め、CI 最適化の PR を約 30 件マージしました。CI 完了までの時間の中央値は約 10 分から 4.5 分に、90 パーセンタイルは 12.5 分から 6 分に短縮されました。その後の修正では、不足していたモックを追加しただけで、リゾルバーのテストスイートの実行時間が 592.6 秒から 29.8 秒に短縮されました。63 件のテストをすべて残したまま、実行時間を 95% 削減できました。
小さな範囲から始め、レビューを経て対象を拡大
GPT-6 シリーズの導入で、Core Experimentation チームは大規模なソフトウェアの保守方法を改善し、いくつもの処理を効率化できました。
これまでに私たちのチームがマージした保守関連の Pull Request のうち、GPT-6 の提案をきっかけとしたものは 1,400 件を超えます。その結果、テストの実行時間短縮、イメージの縮小、CPU 使用率の低下など、多くの効果が得られました。一方で、見込まれる効果の割に実装が複雑になる提案もあったため、優先順位付けと効果の測定は引き続き欠かせませんでした。
大規模なコードベースでは、GPT-6 モデルが見つける改善候補が多く、どこから手を付ければよいか迷いがちです。私たちは計測の仕組みと先ほど紹介したプロンプトの工夫を組み合わせ、Codex の助けを借りて改善の優先順位を付けています。
ご自身のコードベースで試すなら、未使用コード、役目を終えた機能フラグ、不安定なテストなど、小さな保守タスクを 1 つ選ぶことをおすすめします。該当箇所を 1 つ見つけ、根拠を集め、小さなドラフト PR を提案するよう Codex に依頼してみてください。そのタスクでモデルと推論強度を変えて結果を比較してみましょう。コストの低い組み合わせで十分な場合もあります。
小さな範囲でうまくいったら、サブディレクトリ単位、または対象範囲が明確なプロジェクト単位に広げてみてください。各段階で、コードレビューのフィードバックを次のプロンプトに反映するよう Codex に依頼します。モデルの性能に確信が持てたら、コードベース全体に対象を広げましょう。
Core Experimentation チームでは、エンジニアリング、データサイエンス、プロダクトマネジメントの各分野で人材を募集しています。この記事を読んで興味を持たれた方は、ぜひ採用ページからご応募ください!