マイクロソフトのホワイトペーパーの実証：Harnessを取り替えても、同じClaudeのパフォーマンスは大きく劣る

文｜晓静

編集｜徐青陽

11月7日、マイクロソフトはエージェント実行システムに関する技術白書を発表し、少し意外なテスト結果を含んでいました：同じくClaude Opus 4.8を使用し、Copilot Studioの背後にあるHarnessを変更するだけで、複雑なタスクの合格率が22.1ポイント向上しました。新しいシステムでは、各タスクでモデルを呼び出す回数がほぼ倍増し、換算された入力トークン消費は21%減少しました。

ちょうど10日前、マイクロソフトは統一されたCopilot Harnessを複数の製品に展開し、クラウドプラットフォームを通じて開発者にホスティングサービスを販売することを発表しました。

11月5日、月の暗い面がKimi Hosted Agents（ホスティングエージェント）を発表し、正式にHarness as a Serviceを提案しました。8月、DeepSeekは自社のHarnessをオープンソース化しました；OpenAIやAnthropicはさらに早く、内部運用システムを開発者が呼び出せるサービスに変えました。

その大規模モデルの背後にある「運用システム」が、モデル会社にとっての重要な存在になり始めています。

画像はAI生成

01 Harnessの先取り

Harnessは、大規模モデルの周りに構築されたエージェント実行システムと理解できます。これにより、モデルは外部ツールを使用し、複数のステップタスクを継続的に実行し、実行結果に基づいて次の行動を調整できます。長時間実行されるエージェントにとって、Harnessはタスクの状態を保存し、中断後に作業を再開できるようにします。

これはAIアプリケーションとは異なるレベルにあります。例えば、Claude CodeやWorkBuddyなどの製品は直接ユーザーに向けられていますが、基盤となるHarnessは異なるアプリケーションで再利用可能であり、開発者に独立したサービスとして提供することもできます。エージェントが担う作業がますます複雑になるにつれて、Harnessはタスクの成功率、実行効率、運用コストに影響を与える重要な要素となっています。

Anthropicは、Harnessの研究開発に早くから取り組んでいたモデル会社の一つで、最初はClaude Codeが長時間のプログラミングタスクで直面した問題を解決するために開発されました。

2025年末、Anthropicは、Claudeのコンテキストウィンドウが尽きると、新しい対話が以前の作業を引き継ぐことができないことを発見しました。エンジニアはClaude Codeの背後にあるHarnessを改善し、エージェントが各段階の終了前に進捗を保存し、次のラウンドでこれらの記録を読み取って未完了のタスクを続行できるようにしました。これにより、一度モデルセッションが終了しても、全体のプログラミングタスクは継続して進行できます。

今年4月、AnthropicはさらにManaged Agentsを発表し、このエージェント実行能力をクラウドサービスとして開発者に提供しました。企業がエージェントを長期的かつ安定的に運用できるように、Anthropicは基盤アーキテクチャを調整しました：Harnessはタスクの実行を推進し、履歴は個別に保存でき、AI実行プログラムのサンドボックスもいつでも交換可能です。サンドボックスに障害が発生しても、エージェントは以前の作業を復元できます。

Claude Code内部の運用システムから、外部開発者向けのホスティングサービスへ、Anthropicは長年の蓄積を独立した製品に変えました。

OpenAIもCodexの背後にあるHarnessをより多くの開発者に開放することを選びました。今年2月、OpenAIはCodexのウェブ版、コマンドライン、IDEプラグインが実際には同じエージェント実行システムを共有していることを明らかにしました。8月には、CodexをオープンなHarnessプラットフォームとして位置付け、第三者アプリケーションが直接接続できるようにしました。9月に発表されたAgents APIは、OpenAIがこのシステムをホスティングおよび維持し、開発者がエージェントの実行環境に直接接続できるようにしました。

このルートにより、OpenAIはCodexを通じて直接ユーザーにサービスを提供できるだけでなく、基盤となる実行能力を他のソフトウェア会社に提供することもできます。開発者は自分の製品インターフェースやビジネスプロセスを保持し、Codexが背後で具体的なタスクを完了することを可能にします。

DeepSeekは8月13日にMITライセンスでHarnessの全フレームワークコードをオープンソース化し、「Everything is a Plugin」を提唱し、ほぼ全体のエージェント実行システムを自由に組み合わせられるプラグインに分解しました。開発者はモデルや外部ツールを置き換えるだけでなく、エージェントがモデルを呼び出し、タスクを実行する方法を変更したり、エージェント自身が新しいプラグインを作成してインストールしたりすることもできます。

このCordisに基づくアーキテクチャは、開発者がゼロから運用システムを構築することなく、自分のニーズに応じて異なるタイプのエージェントを開発できることを目指しています。

11月5日、KimiはHosted Agentsが24時間体制のクラウド環境を提供し、企業はエージェントを内部システムに組み込むことも、対外販売の製品に埋め込むこともでき、Harness as a Serviceを明確に提案しました。

02 Harnessの進化

実際、Harnessの注目度はモデル会社から始まったわけではありません。

今年初め、OpenClawの人気は、基盤モデルを持たない会社がエージェント実行システムを利用して大量のユーザーを引き付ける可能性を業界に示しました。2月、OpenAIはOpenClawの創設者Peter Steinbergerを招募し、次世代の個人エージェントの開発に参加させました。

その後、Nous ResearchはHermes Agentを発表し、エージェントが作業中に蓄積した経験を再利用可能なスキルとして保存し、後続のタスクで継続的に改善することを試みました。

3月末、スタンフォード大学などの機関はMeta-Harnessを提案し、AIが失敗記録に基づいて直接Harnessコードを修正し、テストで効果を検証しました。あるテキスト分類実験では、正確性が7.7%向上し、コンテキストトークン消費が元の4分の1に減少しました。

これらの探求がモデル会社に投資する価値があるのはなぜでしょうか？10月、シンガポールの南洋理工大学は66種類のモデルとHarnessの組み合わせをテストし、Harnessを変更することでモデル間の性能ランキングが変わる可能性があることを発見しました。

FrontierHarness Evalも、同じKimi K3を使用した場合、Codexのタスク合格率が66.7%、DeepSeek Harness Creatorが63.3%、Kimi Codeが56.7%であることを発見しました。

基盤モデル会社にとって、モデルのパフォーマンスを向上させるためには、モデル自体の改善に加えて、Harnessの設計と最適化にますます依存するようになっています。

研究者たちは、Harnessが蓄積した経験をモデルのトレーニングに活用しようとしています。7月に提案されたCo-Harnessは、まず失敗記録を通じてHarnessを改善し、次に最適化された実行データを利用してモデルをトレーニングします。11月に発表されたHarnessFlowは、より良いHarness設計を自動的に検索し、6種類のタスクで平均スコアを10.89ポイント向上させることを試みました。

しかし、自動最適化にはリスクもあります。11月初めの研究では、特定の実験において、新しいタスクで最適化されたHarnessが、元々SWE-benchで94%の成績を持っていたのが32%に落ち込むことが発見されました。モデルのアップグレードも、以前は有効だった設計を無効にする可能性があります。

これは、Harnessの技術的蓄積が一度の努力で永続的なものになることが難しいことを意味します。継続的な改善の中で異なるタスクの安定性を維持する方法は、まだ解決されていない課題です。

業界の専門家は、これがオープンソースモデルの展開における大きな痛点の一つであるとも述べています。したがって、モデル会社はすでにHarnessサービスの販売を開始しています。オープンソースフレームワークは無料で入手できますが、企業がエージェントを長期的かつ安定的に運用するためには、依然として展開と維持のコストを負担する必要があります。KimiやAnthropicなどの会社は、これらの作業を引き受ける機会を見出し、Harnessを独立したビジネスに変えていますが、各社のアプローチには大きな違いがあります。

03 Harnessの隠れた価値

Harnessは単独で料金を請求できるサービスになり始めていますが、現在の価格表は、モデル推論が依然として主要な収益源であることを示しています。

AnthropicのManaged Agentsは、アクティブセッションごとに0.08ドルを請求し、トークンは別途計算されます。公式に発表された1時間のプログラミングタスクの例に基づくと、総費用は0.58ドルで、そのうちホスティング運用費は約14%に過ぎません。

Kimiの料金は、モデルトークン、サンドボックス運用、そして有料プラグインに分かれています。発表されたある投資銀行の法的分析タスクでは、コストが約30元と見積もられ、サンドボックス費用は0.1元未満です。OpenAIはAgents APIのパブリックベータ期間中に追加サービス料を免除し、主にモデルとツールの使用量に基づいて請求しています。DeepSeekはHarnessをMITライセンスでオープンソース化し、直接的な料金ロジックはありません。

つまり、モデル会社が現段階でHarnessから得られる直接収入は微々たるものかもしれません。

では、なぜ大量の研究開発リソースを投入するのでしょうか？

重要な理由の一つは、企業がエージェントを実際に展開した後、Harnessの需要が特定のモデルに対する需要よりも安定している可能性があるからです。

アメリカの法律サービス会社ABC Legalは、元々エージェントを従業員のコンピュータに展開し、定期的なタスクを実行していました。使用範囲が拡大するにつれて、CTOのBrandon Fullerは、これらのエージェントを統一管理できるプラットフォームを探し始めました。彼は複数のソリューションを比較し、最終的にAnthropicのManaged Agentsを選びました。企業は分散した運用環境を維持したくなかったのです。

Anthropicによると、ABC Legalは1ヶ月以内に50以上のエージェントを生産に投入し、約310名の従業員が日常的にClaudeを使用しています。従業員はソフトウェア開発の知識を持たなくても、設定を通じて新しいエージェントを作成できます。

これは、ホスティングHarnessの魅力が実際の企業のニーズから来ていることを示しています。ゼロから運用システムを開発し、長期的に維持するよりも、企業は既製のサービスを購入し、エンジニアリングリソースを自社のビジネスに傾けることを好むかもしれません。

しかし、企業は必ずしもそのために特定のモデル会社に縛られることを望んでいるわけではありません。

今年8月、VentureBeatは107社に対する調査を発表しました。85%の回答企業は、2つ以上のエージェントオーケストレーションプラットフォームを同時に使用しています。プラットフォームを選ぶ際、29%の企業はモデルとツールの柔軟性を最も重視し、わずか10%が特定の先進モデルとのネイティブ適合を優先しています。サンプルは大規模なテクノロジー企業に偏っていますが、顧客がモデルを変更する自由を保持したいという調達傾向を反映しています。

これはちょうどHarnessの競争に対する別のビジネスロジックを提供します。企業が長期的に1つの運用システムを使用する意向があれば、提供者はモデルの呼び出しを独占できなくても、ホスティング、メンテナンス、企業開発サービスの収入を持続的に得ることができ、顧客とのより安定した協力関係を築くことが可能です。

こうしてHarnessは企業の実際の業務の実行プロセスに接触することができます。単純なモデルAPIと比較して、Harnessはタスクが開始から完了までの作業の軌跡を記録することができ、モデルの呼び出し、ツールの実行、失敗の再試行、最終結果を含みます。これらの記録は、企業が故障を特定するのを助けるだけでなく、モデルの研究開発に貴重なフィードバックを提供します。

検証された実際のタスクからのフィードバックを持続的に得ることができれば、モデル会社は生産環境におけるモデルの問題をより早く発見する機会を得ることができます。しかし、この利点はデータ権利の明確な制限を受けることになります。

これにより、モデル会社には新たな問題が提起されます：企業が自由に基盤モデルを変更でき、自分のデータを掌握し続ける場合、Harnessはどれほどの長期的な優位性を築くことができるのでしょうか？

モデル会社にとって、Harnessは直接的な料金よりも長期的な価値をもたらす可能性があります。企業がますます多くの作業をエージェントに委ねるとき、信頼できる運用システムを提供できる者が、モデルの選択やAIが実際のビジネスにどのように関与するかに影響を与える機会を得ることになります。

馴染み深く、古くからある言葉：入口。

しかし、このインターネット時代に根付いた言葉は、AI時代の競争の敏感な神経を常に揺さぶります。現在、Harnessはある意味でこの期待と想像力を担っています。