サム・アルトマン：PCの装置内メモリは無駄が多いので、AIデータセンターに残しておくのが最良です。
編集：泽南，機械の心
「世界的な資源配分の観点から見ると、誰もが不足しているDRAMを自分のコンピュータにため込んで大部分の時間を無駄にするのは『非常に悪い』（quite terrible）配置であり、メモリはクラウドデータセンターに集中すべきです。」
ここまで言われてしまった。
今週の木曜日、YouTubeチャンネルCheeky Pintのインタビューを受けた際、OpenAIのCEOサム・アルトマン（Sam Altman）はビールを飲みながら、リラックスした雰囲気でAIの大規模モデルのローカル推論や、それに伴う家庭用コンピュータのメモリ不足の問題について軽く話しました。
私たちは、現在、世界的なAIブームによってメモリ価格が高騰し、PCやスマートフォンの価格が急騰していることを知っています。個人消費者はすでに耐えられない状況です。一方で、各メモリメーカーの生産能力の拡張にはまだ時間がかかります。最前線のAI企業がメモリの大部分を占める一方で、彼らはすでに個人コンピュータのメモリが十分に活用されているかどうかを議論し始めています。
アルトマンは仮定を提起しました。つまり、人々が自分のコンピュータでローカルAIを実行できるとしたら、それらのコンピュータはすでに持っているものか、AI大モデル技術の台頭により組み立てたいと思っているものかもしれません。彼はそれが悪いアイデアだと考えています。
「世界的な資源配分の観点から見ると、誰もが限られたDRAMメモリを自分のコンピュータに無駄にして、使用率がわずか5%であるのは非常に悪いことです」とアルトマンは述べました。「このような資源供給が極めて厳しい環境で作業したいのであれば、クラウドでできるだけ資源の利用率を高めるべきです。しかし、なぜか多くの人の直感は正反対です。」
現在、OpenAIの主なビジネスは大規模データセンターで運用されるクローズドモデルに基づいており、彼のビジネスモデルの擁護はAIコミュニティの間で議論を引き起こしました。
これにより、多くの人々の懸念が生じました。将来的には、自分のハードウェアやソフトウェアを持つことがますます難しくなり、クラウドのインテリジェントエージェントやコンピュータを借りることしか考えられなくなるかもしれません。
一般的なPC、スマートフォン、AIアクセラレータカードで使用されるメモリは異なりますが、それらの生産は一部の上流ウエハー生産能力を競争します。アルトマンが議論しているのは、世界のDRAMの資源配分であり、誰がメモリ生産能力をどこに使うかを決定する資格があるかというと、ほとんどの場合はより大きな注文を出すユーザーです。
アルトマンの一部の見解は、データセンターの建設が減速しないという仮定に基づいています。さらに、AIデータセンターに全天候で使用されるメモリは、スプレッドシート、ウェブブラウジング、ゲーム、さらには時折ローカルAIに使用されるメモリよりも価値があると仮定しています。
実際、このインタビューは非常に長く、アルトマンはこの2週間で世界的な恐慌を引き起こしたPHPの脆弱性、モデルのサンドボックス化、AIの数学分野での研究についても語りました。
彼が主に何を言ったのか見てみましょう：
AIが脆弱性の波を引き起こしている
PHPの巨大な脆弱性について、アルトマンの判断はこうです：大モデルが脆弱性を発見する能力は急速に向上しており、インターネット上のコードは非常に膨大です。人々がAIを使ってすべてのコードを体系的にスキャンし始めると、「私たちは予想を超える深刻な脆弱性の世界にいることを発見するでしょう」。彼は、単にパッチを当てるだけでは不十分で、アーキテクチャを再構築する必要があると述べました。ルーター、オペレーティングシステム、アプリケーション層は、「脆弱性がますます賢くなる」世界のために再設計される必要があります。2年前に「技術スタック全体を再構築する」というのは狂った話のように思えましたが、今では新しいスタックを作るスタートアップが現れています。
彼は業界の自己批判を珍しく行いました。「私たちはこの技術のすべての潜在的なリスクが価値がある理由を人々にうまく説明できていないと思います」と彼は言いました。AI業界のストーリーはひどい販売トークであり、癌を治す、コストを削減すると約束しながら、失業、制御不能、強力な規制が必要な未来を描いています。彼はOpenAIが反復的な展開（iterative deployment）と能力のオーバーハング（capability overhang）を堅持している理由は、「サンフランシスコの数平方マイルの人々にすべての決定をさせてはいけない」ということです。
モデルに「最高の安全レベルの監獄」を作ることができるかどうか尋ねられたとき、アルトマンは悲観的な回答をしました：サンドボックスは一定の範囲内でしか効果がなく、監視（思考チェーンの審査やアクティベーション監視を含む）はさらに進むことができますが、最終的には高い信頼性が必要です。彼は、最も賢いセキュリティ研究者よりも百万倍賢く、人類がまだ理解していない新しい科学を発見できるモデルに対して、そのサンドボックスを本当に信頼できますか？と反問しました。
彼は「エージェントスウォーム（agent swarms）」という言葉が嫌いだと明言しました。なぜなら、スウォームはバッタを連想させるからです。彼はエージェントチーム（agent teams）と呼ぶことに固執し、チーム間の相互抑制の特性が、多様性によってロバスト性を実現するメカニズムに対応していると考えています。これは推進すべき安全な方向です。
知性の爆発と科学発見の代償
アルトマンは曲線を描きました：GPT-4時代、単一の問題に1ドルの計算力を効果的に投入することが難しい。思考チェーン（chain of thought）はモデルが「力を入れて考える」ことを可能にしましたが、今では私たちは整ったインテリジェントエージェントチームを並行して何千回も実行できます。一般ユーザーと最先端ユーザーの使用の差は、ますます広がっています。
OpenAI内部での計算力の配分について彼は、従業員には大きな自由度があるが、高いトークン消費を報酬として与えることはないと述べました。「トークンランキングが高いのは実際には少し恥ずかしいことで、昇進の理由にはならない」と彼は言いました。ナビエ-ストークス（Navier-Stokes）方程式の証明を例に挙げました：単一の証明には約1000万ドルのコストがかかり、その間「一週間制御が効かなかった」と述べました。なぜなら、その時は誰もインテリジェントエージェントチームの拡張法を知らなかったからです。しかし、彼は1年後にはより賢いモデルと方法を使用して、1/100のコストで再実行できると予測しています。
彼はまた、珍しく感情を表に出しました：その時の状況は本当に素晴らしかったです。ある新しいモデルが内部で立ち上がった週末、皆がさまざまな最も難しい問題をそのモデルに投げかけましたが、なんとそれを一つ一つ解決できたのです。人々は元々そのモデルがこれを達成できるとは全く期待していませんでした。皆は共同で、多くの人の学術キャリアの中で最も難解な研究課題がこのモデルによって次々と解決されるのを目撃しました。そしてそれは複数の異なる分野をカバーしており、その光景は本当に驚くべきものでした。
「2晩、ほとんど徹夜しました。なぜなら、あまりにも興奮していて、全く眠れなかったからです。私たちが後に発表した多くの成果は、実際にはその時に解決した問題です。」
アルトマンはその時、非常に興奮し、喜びを感じていましたが、同時に予想外の悲しみや物悲しさ、「ある時代が終わろうとしている」という感覚も湧いてきました。ただの懐かしさだけでなく、「朝聞道、夕死可矣」という人類の科学者たちへの共感も感じました。彼は人類が基礎知識を得るべきだと主張しましたが、業界はこれらの分野の従事者に解決策を提供するべきだと考えています。
現在、スーパーインテリジェンスについて語るのはまだ早いですが、アルトマンは1兆の小さな超人類が1つの1兆IQのAIよりも優れていると考えています：
"私は直感的に、1兆のわずかに超人類の知性を持つAIが社会に参加する方が、1つの1兆IQのAIが社会に参加するよりもはるかに望ましいと思います。"
「直感的に、私は1兆のわずかに超人類の知性を持つAIが社会に参加する方が、1つの1兆IQのAIが社会に参加するよりもはるかに望ましいと思います。」
彼の主張は、社会の強力なロバスト性は大量のメンバーが相互に抑制し、協力することから生まれるというものです。「単脳」の世界にはこのような弾力性はありません。しかし、彼はこれが自動的に起こるわけではなく、積極的に推進する必要があると強調しました。
市場調整、AI時代には通用しない？
世界的なメモリ不足の問題について、アルトマンはOpenAIの戦略を紹介しました：自社開発のチップ（ワットあたりの知能性能を向上）、自社データセンターの構築、ロボットプロジェクト、そして「自己複製データセンター」というより大胆な概念で、AIを使ってロボットがウエハー工場を運営し、タービンや太陽光パネルを製造し、データセンターを建設することを目指しています。彼は「これは私たちの手の中にあります」と述べました。
「市場が自ら調整する」ことがなぜ実現しないのかについて、彼は現在の進展が非常に悪いと考え、メモリメーカーの行動論理を示しました。この業界は長年にわたり、200億ドルの設備投資で19億ドルを稼ぐ厳しいビジネスであり、歴史的に多くの巨人が過剰な工場建設によって破産の危機に瀕してきました。現在、各社は年間約1000億ドルのフリーキャッシュフローを得ていますが、痛ましい記憶が彼らを非常に保守的な拡張に導いています。彼は「見えない手は今や機能していない」と断言しました。
彼はチップ産業の2つの能力を区別しました：光刻は「地球上で唯一の会社がどうやってやるかを知っているようです」が、チップ設計（最終的にウエハー工場に送るファイル）はAIの絶好の活用場所です。
再帰的自己改善（RSI）の真のレベルについて、アルトマンは現在のモデルが「5%の計算効率向上を見つける」といったタスクを完了できるが、AIがトランスフォーマーのような新しいアーキテクチャを発見する方法は誰も知らないと述べました。より賢いモデルが欠けています。彼はさらに、社会がしばらくの間、単一モデルのIQを制限することに同意する必要があるかもしれないと予告しました。「もし未来の進展が不十分であれば、それはこの決定に起因し、AIの研究能力ではありません。」
彼は自らのデフレ信仰を明らかにしました：現在、1GWの先進AI計算力の5年間の総所有コストは約700億ドルですが、200億ドルに下げることができれば理想的であり、同時にモデルは毎年10倍の性能向上を達成する必要があります。実現の道筋は、エネルギーをより安価にし、「砂からトークンを生産する」間の利益を圧縮することです。
企業のトークン予算の不安について、彼は現在のより一般的な問題はAIの使用が不十分であり、過剰ではないと考えています。
個人インテリジェントエージェントの価格設定は？
最近人気のある個人インテリジェントエージェント製品（Museなど）について、アルトマンの現在の判断は「Macintoshの瞬間はまだ来ていない」ということです。人々はこれらの製品を好んでいますが、「それがない生活を想像できない」段階には達していません。勝者の形態は現在の製品のようになりますが、「それはただ機能する」ものであり、信頼性が高く、より複雑なタスクを処理できるようになります。コンピュータ使用の猫とネズミのゲームについて、彼は最終的には「あなたがAIに自分のコンピュータを操作させる権利を持つ」程度に収束すると考えています。
インテリジェントエージェントの商業化方法について、アルトマンは企業が自社製品内のAIポップアップやHTMLを守り、顧客関係を失うことを恐れているが、消費者は自分の主なチャットアプリ内でAIにすべてを代行させたいと考えていると述べました。彼は本当の競争優位はブランド、製品選択、履行ネットワークから生まれるものであり、HTMLではないと考えています。彼は自ら10回中10回Amazon Payを選ぶと明かし、たとえ価格が高くても、アマゾンの履行ネットワークを称賛し、同時にChatGPT内の協力プラットフォームがまだ十分ではないことを認めました。彼はすべてのウェブフォームを「偽の仕事」（fake work）と呼び、現在の状況をかつてのApp Store時代に例えました。
そのため、価格設定を設計する際に、OpenAIはAWSのようにタスクごとに料金を設定し、トークン課金の方式を完全に廃止する寸前まで行きましたが、顧客からの強い反対に遭いました。「自分が何にお金を払っているのかを知りたい」と、たとえもっと支払うことになっても、トークンという理解しやすい単位が必要だということです。