Salesforceのベンチマークです。先端LLMでも自社コードの隠れたバグを発見する成功率が50％未満であることを示し、検証を小型モデルに任せない根拠となります。
Claude Code 20x の利用枠は、だいたい四日で底をつきます。計画は Claude Code に任せ、細かいバッチ作業は LiteLLM 上の安価な worker に振り、Codex でもう一度検証する――この『モデルを替え、インターフェースは残す』ワークフローを通じて、他社のモデルが実務でどこまで使えるかも見ていきます。
2026年5月22日