パフォーマンス
RD 人気指数
RD 成長指数
比較
資金調達
更新をフォローする
フォローリスト
キャラクター
Pluralis Researchについて
Pluralis Researchは、大規模なAIモデルを訓練するための分散型プロトコルを構築しています。その中核事業は「プロトコル学習」です。これは、モデルを多数の独立した参加者に分割し、インターネット上で協調的に訓練する手法です。完全なモデル重みを共有する代わりに、ノードは小さな勾配や活性化テンソルのみを交換するため、単一の当事者が完全なモデルを抽出したりコピーしたりすることは不可能です。この「非実体化可能モデル」という特性により、最終的な重みを誰かが持ち去ることはできず、同時に開かれた貢献と集合的な所有を可能にします。 この技術が解決する主な課題は、AI開発の集中化です。フロンティア規模のモデルを訓練するには通常、巨大で集中的な計算クラスターが必要であり、ほとんどの個人や小規模組織は参加できません。既存の分散型アプローチは、高帯域幅の接続を必要とする（データ並列化）か、訓練されたモデルが盗難から保護されないという問題があります。Pluralisは、低帯域幅でも動作するモデル並列訓練を可能にし、モデルを本質的に排除不可能でありながらコピー不可能にすることで、信頼できるコーディネーターを必要とせずに貢献者への経済的インセンティブを創出し、両方の問題を解決します。 過去6か月間で、Pluralisは理論から実践へと移行しました。4カ国（パリ、チューリッヒ、ダブリン、トロント）に分散した14台のApple Silicon Macを使用した公開訓練実験を実施し、36Bトークンで3週間かけて7.5Bパラメータのモデルを訓練しました。最終的な損失は2.75に達し、集中型ベースラインと同等でした。この実行には303のアクティブノードが参加し、78人の貢献者がそれぞれ1エクサFLOP以上の計算を提供しましたが、その多くは100Mbps未満の接続で動作していました。これにより、異種混合で信頼性が低く、低帯域幅のコンシューマーハードウェアでも競争力のあるモデルを訓練できることが実証されました。チームはまた、詳細な技術文書を公開し、GitHubリポジトリを開設しましたが、プロジェクトはまだ概念実証段階であり、本番環境への展開はまだありません。
Pluralis Researchは、元FAANG研究者のAlexander Longによって2024年1月に設立され、分散型トレーニングを通じて真のオープンソースAIを開発することを目的としています。2025年3月、同社はUSVとCoinFundが共同主導し、Balaji SrinivasanとHuggingFaceの共同創業者Clem Delangueが参加した760万ドルのシードラウンドを発表しました。同社は、単一の当事者が完全な重みを保持することなく、分散ネットワーク全体でモデルをトレーニングできる手法であるプロトコルラーニングを開拓しました。重要なマイルストーンとして、300以上の世界中の一般消費者向けGPUを使用して、3週間以上にわたってインターネット上で75億パラメータのOLMoスタイルモデルの公開トレーニングを実施し、分散型トレーニングの大規模な実現可能性を実証しました。これにより、彼らのアプローチが検証され、将来のオープンモデル開発の基盤が築かれました。
Pluralis Researchは、過去6ヶ月間で分散型AIにおいて大きな進展を遂げました。2026年3月には、大規模モデルの許可不要かつインターネット規模での事前学習を可能にするシステム「Agora」を発表しました。これにより、330台の異種コンシューマーGPUを使用し、40日間で500Bトークンを用いて学習された86億パラメータのモデル「Pluralis-8B」が実現し、集中型H100ベースラインの63％の効率を達成しました。6月には、チームは分離型RLポストトレーニングフレームワーク「Stoa」を導入し、4か国にわたる14台のコンシューマーMacを活用してLFM2.5-8B-A1Bを微調整し、PaperSearchQAにおけるpass@1を29％から63％に向上させました。また、同社はICMLワークショップ「Protocol Learning」を主催し、経済的インセンティブを伴う低帯域・異種・マルチパーティモデル学習というビジョンを正式に策定しました。今後、PluralisはAgoraとStoaを統合した統一RL学習ループを構築し、非同期最適化やビザンチン耐性における未解決問題に取り組み、初の完全オープンプロトコルベースの学習実行を開始する計画です。USVとCoinFundが主導する760万ドルのシードラウンドを基に、チームとコンピューティングパートナーシップを拡大し、フロンティアレベルのオープンモデルへのスケールアップを目指しています。
共同創業者および主要幹部：
- アレクサンダー・ロング（創業者）
- ギル・アブラハム
- ヤン・ズオ
- サミーラ・ラマシンゲ
- アジャンサン・タライヤシンガム