--- title: "弱いモデルで Agent Runtime をテストする" author: "Shawn Jiang" lang: ja date: 2026-11-02 canonical: https://tplog.dev/ja/essay/testing-agent-runtime-with-weak-models/ translations: en: https://tplog.dev/en/essay/testing-agent-runtime-with-weak-models/ zh: https://tplog.dev/zh/essay/testing-agent-runtime-with-weak-models/ --- # 弱いモデルで Agent Runtime をテストする 先日、Factory が[「Droid 1.0: Building a Frontier Harness」](https://factory.com/news/frontier-harness)という記事を公開し、自分たちの Agent Runtime をどう磨いてきたかを紹介していました。そのなかに、とても共感した一節があります。一つのモデルだけに合わせて調整していると、どれが本当の進歩で、どれがそのモデルの癖に合わせているだけなのか見分けがつきにくい、というものです。そのため彼らは複数のモデルでまとめてテストし、どのモデルでも同じように成り立つ改善だけを残しています。 ここまで読んで、自分が普段から続けているあるやり方を思い出しました。 普段 Claude Code の話をするとき、Anthropic が開発しているため、つい Claude モデルそのものと同一視してしまいがちです。しかし実際には、その中に別のモデルをつなぐこともできますし、それは Codex も同じです。Claude Code や Codex のようなプロダクトは、私自身が今つくっているものも含めて、すべて Agent Runtime にあたります。中のモデルはいつでも入れ替えられます。私たちが実際に自分の手で組み立てているのは、モデルの外側にある実行システムであり、プロンプトを渡し、ツールを定義し、コンテキストを整理して、実行ループを一歩ずつ前へ進める役割を担っています。 この Agent Runtime そのものが十分にしっかりしているかを確かめるため、私はまず評価基準を定め、あえて比較的弱いモデルをつないでタスクを走らせます。弱いモデルでも基準を満たせるなら、この Agent Runtime はうまく組めていると判断します。 続けて A/B Test を行い、Agent Runtime はそのままにして、モデルだけをとても強いものに切り替えます。同じ基準で比べると、結果はたいていずっと良くなります。 では、なぜあえて最初に弱いモデルを使うのでしょうか。 タスクを最後まで通したいだけなら、手元にある一番強いモデルを最初から使うのがもちろん一番手っ取り早いです。ただ問題は、強いモデルが Agent Runtime の欠陥を覆い隠してしまうことです。ツールの説明が曖昧でも、うまく推測して当ててくれますし、コンテキストの渡し方が雑でも、自分で整理して読み取ってくれます。結果としてタスクは完了しますが、この Agent Runtime が本当にしっかりしているのか、それともモデルが無理をして支えているだけなのか、見分けがつきにくくなります。 弱いモデルには、そこまでの力はありません。説明が曖昧なところや、渡した情報が足りないところがあれば、そのまま失敗します。詰まった箇所から遡っていくと、見えてくるのはすべて Agent Runtime 側の抜け漏れです。だからこそ、これはモデルのテストというより、自分が組み立てた Agent Runtime のテストに近いのです。 これは実は、Factory の考え方と同じです。特定のモデルの特徴に、自分の判断を縛られないようにするということです。違いがあるとすれば、彼らが異なる提供元のモデルを横に切り替えているのに対し、私は異なる強さのモデルを縦に切り替えている点だけです。 もっとも、このやり方にも落とし穴があります。弱いモデルをクリアさせようとするあまり、Agent Runtime につい「杖」を足してしまいがちです。タスクを細かく砕きすぎたり、チェックをたくさん入れたり、モデルにできることを制限したりしてしまうのです。こうした手当ては、弱いモデルには助けになっても、強いモデルにとっては天井になりかねません。強いモデルなら本来自分で判断できる手順まで、細かすぎるルールに手足を縛られてしまいます。だから強いモデルに切り替えたあとは、スコアが上がったかどうかを見るだけでなく、どの杖を取り除けるかも確かめる必要があります。 良い Agent Runtime とは、こういうものだと思います。それ自体がしっかりしていて、弱いモデルには十分で、強いモデルの邪魔にはならないものです。モデルがさらに強くなったときも、書き直す必要はなく、そのまま一緒に強くなっていきます。 --- 参考：Factory[「Droid 1.0: Building a Frontier Harness」](https://factory.com/news/frontier-harness)（2026-10-29）