Inference
LLM推論のための分散GPUクラスター
パフォーマンス
RD 人気指数
RD 成長指数
比較
更新をフォローする
フォローリスト
キャラクター
Inferenceについて
Inference.netは、LLM推論専用の分散GPUクラスターを運営しており、長期契約なしでオンデマンドの計算リソースを提供しています。中核事業は同期型、バッチ型、非同期型の推論モードで、非同期型はアイドル状態のGPU容量を活用することで、同期型の約10%の価格で提供されます。また、プラットフォームには観測可能性、評価、ファインチューニングのためのスイート「Catalyst」と、ワークフロー自動化のためのCLIツールも含まれています。 競争優位性は、アイドル容量の活用によるコスト削減と、トレーシング、評価、モデルチューニングを統合した統一ワークフローにあります。同社のストーリーは、特に大量処理やレイテンシーに寛容なワークロードにおいて、LLM推論を可能な限り低コストかつ効率的にすることを中心に据えています。市場の課題は明確です。GPUコストは依然として高額で、業界の利用率は平均15~40%にとどまり、既存ツールは複数のベンダーに分散しています。 過去6ヶ月間(2026-03-01から2026-09-01)に、Inference.netは3月にCatalystプラットフォームをローンチし、4月にCLIを導入、5月に非同期リクエストを展開、7月にファインチューニング機能を追加、8月に一部コンポーネントをオープンソース化しました。注目すべきマイナス点として、2025年にGPU供給の変動により推論レイテンシーが急増したとのユーザー報告がありました。
2023年に設立され、サンフランシスコに本社を置くInferenceは、LLM推論とカスタムモデルトレーニングのための分散型GPUインフラ構築に特化している。2025年10月、同社はMulticoin Capitalとa16z CSXが主導し、Topology Ventures、Founders, Inc.、および複数のエンジェル投資家が参加した1180万ドルのシードラウンドを完了した。この資金調達は、AIネイティブ企業が小規模でタスク特化型のモデルを導入することで、同等の性能を大幅に低コストかつ低遅延で実現し、フロンティアラボへの依存を低減するという同社のミッションを支援するものだ。Inferenceのプラットフォームは、トレーニング、デプロイ、可観測性、評価といったエンドツーエンドのモデルライフサイクル管理を可能にし、汎用APIと比較して最大90%のコスト削減と2~3倍の推論速度向上を実現すると主張する。同社は本番環境のワークロードをターゲットとしており、データプライバシーを確保するために顧客管理の環境上で動作するインフラを提供する。今回のシードラウンドは、専門的な推論インフラ市場の有効性を検証する上での重要なマイルストーンであり、急速に進化するAIインフラ層においてInferenceが競争力を高める位置づけとなる。
Inference(inference.net)は、過去6か月間(2026年3月1日から2026年9月1日)において、公式発表や製品リリースを通じて大きな進展を遂げました。 主な進展として、本番トラフィックを用いてLLMのパフォーマンスを自動的に評価・比較し、データ駆動型のモデル選択を可能にするツール「AutoEvals」の導入が挙げられます。また、HTMLからJSONへの抽出に特化したモデルファミリー「Schematron V2」をリリースし、従来版と比較して精度とスループット(単一H100で毎秒4.14リクエスト)が向上しました。さらに、Gravity Adsとの顧客事例では、本番データを用いて1Bモデルをファインチューニングし、汎用の70Bモデルを置き換えることで、推論コストを10分の1に削減し、p99レイテンシを5.7倍改善したことが示されました。 今後の展望として、Inferenceの公式ロードマップは継続的改善ループの深化を強調しています。すなわち、自動トレーニングと評価のための本番データの活用拡大、エンドツーエンドのモデルライフサイクル管理のためのCatalystプラットフォームの強化、そしてスループットを維持しながらさらに高い抽出品質を実現するSchematron Proの開発です。また、トレーニングループのコスト効率とアクセシビリティを高めることにも注力しており、ライブトラフィックとモデル改善の距離をさらに縮める計画を進めています。
Sam Heutmaker(創業者兼CEO):過去に複数のスタートアップを立ち上げ、Leap(CTO、12万人のユーザーに拡大)やUltramail(共同創業者、10万人のユーザーに拡大)を手がける。Croweでシニアソフトウェアエンジニアとして勤務。AIネイティブ製品および分散システムの構築に精通。 Ibrahim Ahmed(共同創業者兼CTO):Founders, Inc.にてFounding EngineerおよびStudio Founderを歴任。AIスタートアップのインキュベーション経験を持つテクニカルリーダー。モデルトレーニングおよび特化型言語モデルの専門家。