Xに面白い投稿があったのでメモしておきます。
Thoughts on the eve of AGI
I talked to several friends about o3 this week. Their summarized response is basically "holy crap is this actually happening?"
Yes, this is actually happening. The next few years are going to be insane. This is historic stuff, galactic even.
What's…
— Will Bryk (@WilliamBryk) December 25, 2024
日本語訳:Thoughts on the eve of AGI
以下、日本語訳と元テキストです。AIによる要約と考察は後半にて掲載します。
AGI前夜に思うこと
今週、友人たちとo3について話したんだ。彼らの反応を要約すると、基本的に「まじかよ、これ本当に起こるのか?」って感じだ。
ああ、本当に起こるんだよ。これから数年間はマジでヤバいことになるだろうね。これは歴史的な出来事だ、銀河規模だよ。
何が馬鹿げてるかって、何が起こってるのかについて、ちゃんとした議論が全然ないことだ。AI研究所は話せない。ニュースはほとんど触れない。政府は理解していない。
人類の未来について議論する方法が、ソーシャルメディアのミームアプリのニュースフィードだなんて、まるで不条理なシットコムみたいだけど、現実はこうなんだ。
以下は、今起こっていることについての僕の考えだ。X(旧Twitter)というアイデアの深淵への僕なりの貢献だ。
注意:これらの考えはまだ練り上げられていない、ただの面白い推測だ。すべてをじっくり考えたり調べたりする時間がなかったし、たくさん間違っているだろう。でも、今起こっていることを理解しようとしている人たちにとって、面白いものになれば嬉しい。
楽しんでくれ。
- o3が衝撃的であるべきではなかったのは当然だ。OpenAIは2ヶ月前にテスト時のスケーリンググラフを見せてくれたし、コンピュータの歴史は、どんなに信じられないことでもトレンドラインを信じるべきだと教えてくれる。衝撃的であるべきは、それが2ヶ月で起こったことだ。大学レベルのAIから博士レベルのAIへの進化が、それほどの速さで起こったんだ。人間にとって変化は刺激的だが、急速な変化は衝撃的なんだ。
- 次に何が起こるかは明らかだ。o3クラスのモデルは、報酬関数を定義できるものであれば、どんなものでも最適化するのがめちゃくちゃ得意だ。数学とコーディングは、報酬関数を設計するのがかなり簡単だ。フィクションの執筆は難しい。つまり、短期的には(1年以内)、特化したモデルが登場するだろう。それらは数学とコーディング、そして一般的な推論においてはほぼAGIレベルだが、書くフィクションはありきたりなものになるだろう。より高度な推論能力によって、モデルは全体的に賢く感じられるだろうが、それでも強化学習されていない(つまり、トレーニングデータにない)分野では、間抜けな失敗をするだろう。長期的には(1〜3年)、感情データや感覚データなど、強化学習させる新たな領域を追加し続け、弱点を修正していく。そうなれば、ゲイリー・マーカス(著名なAI懐疑論者)でない人なら誰でも、これらのモデルを間違いなくAGIだと認めるだろう。
- エージェントは本当に2025年に登場するだろう。o3のようなモデルがブラウザやアプリを操作して行動できないわけがない。それらの報酬モデルを設計するのは簡単だ。それはまた、コンピュータ作業を自動化するという巨大な市場でもあるため、多額の費用を正当化する必要がある研究所にとっては大きなインセンティブとなる。僕の予想では、2025年12月までには、ウェブページやアプリを操作してデータを移動させるようなあらゆるワークフローをコンピュータに指示できるようになるだろう。
- 最も「煮詰まっている」知識労働者といえば、数学者だろう。数学者は記号空間で仕事をする。彼らの仕事は物理世界との接触がほとんどないため、物理的な制約を受けない。LLMは記号空間の王者だ。数学は実際には難しくない、霊長類が苦手なだけだ。正規表現も同じだ。
大きな疑問は、研究レベルの合成データを作成するのがどれほど難しいかだ。僕はそれほど難しくないと思う。博士レベルの数学と研究者レベルの数学は、私たちには質的に異なって見えるかもしれないが、AIにとっては本質的に同じで、あと数段階の強化学習が必要なだけかもしれない。数学者に700日を与える。(そう言うと狂っているように聞こえるが、o6が数学者に勝てないというのも同じくらい狂っているように聞こえる。だから、この予測には50/50以上の自信がある。この投稿の他の予測と同様に。)それは、人類が既知の宇宙における数学のトップの座から降りるまでの700日だ。
- ソフトウェアエンジニアはどうなる? 短期的には天国だろう。すべてのソフトウェアエンジニアがテクノロジーリードに昇進したようなものだ、おめでとう。LLMを全面的に採用する人にとって、2025年末までのコーディングは、小さな仕事をたくさん抱えて、小さなエージェントたちがそれらを実行していくのを指揮するような感覚になるだろう。明確な仕様を持つプルリクエストであれば、o4システムで対応可能になり、そのエラー率は許容できるほど小さくなるはずだ。ここで一つの問題となるのは、コンテキストウィンドウが小さすぎてコードベース全体を収容できないことだが、サム・アルトマンのようなリーダーたちはこのことをよく理解している。
AIはすぐにすべてのソフトウェアエンジニアを自動化してしまうのか? いいや。ソフトウェアエンジニアリングは、明確な指示に基づいてプルリクエストを作成するだけではない。数学者とは異なり、ソフトウェアエンジニアは常に物理世界、つまり他の人間と接している。エンジニアは顧客と協力してニーズを理解し、チームメイトと協力してニーズを理解する必要がある。エンジニアがアーキテクチャを設計したり、コードを書いたりする際には、多くの組織的な背景を考慮している。o4はそれができないだろう。しかし、o4は背景を理解しているエンジニアが10倍速く動くのを助けるだろう。
ソフトウェアエンジニアの作業速度が10倍になるなら、必要な人数は減るかもしれない? 特定の会社に限って言えば、その通りかもしれない。より少ないチームで同じ成果を達成できるため、必要なソフトウェアエンジニアの数は減るかもしれない。しかし、世界全体での高品質なソフトウェアの需要は間違いなく10倍以上に増える可能性があるため、ソフトウェアエンジニアに対するニーズは世界的に高まるかもしれない。だから、僕は小規模な企業から素晴らしいアプリケーションが生まれる黄金時代が訪れると思う。すべての人とビジネスのために、パーソナライズされたミクロアプリが登場するだろう。
- 長期的には(2年以上は長期と見なされる)、ソフトウェアエンジニアリングは完全に異なり、どうなるか予測するのは難しい。o6システムが存在し、私たちのアプリケーションに完全に統合されたら、そうならないわけがないだろう? フロントエンドエンジニアのような役割は3年後には存在しないかもしれない。それは奇妙だろうか? そうでもない。フロントエンドエンジニアという役割も30年前には存在しなかったのだから。
一歩引いて、ソフトウェアは世代ごとに大きく変わることを認識すべきだ。ソフトウェアはこれまでも、そしてこれからも、ニーズを純粋なロジックに変換することだ。その変換プロセスは、バイナリからPythonへと抽象度を高めてきた。今、異なるのは、それが英語レベルまで上がってきているということだ。
英語に移行することで、プログラミングは非技術者にも開かれる。しかし、最高の開発者は常に、抽象度のレベルを自由に行き来できる人たちだろう。
要するに、ソフトウェアエンジニアリングは組織のニーズをコードを通じて理解し解決することなのだから、ソフトウェアエンジニアリングが完全に自動化される日は、すべての組織が自動化される日だ。
- 知識労働者についていくつか話したが、肉体労働者はどうだろうか? AIはあなたたちの仕事にもやってくるだろうが、重力や摩擦を扱う必要があるため、よりゆっくりとしたペースになるだろう。oクラスのモデルはロボット工学をそれほど助けないだろう。なぜなら、処理に1時間かかるモデルは、工場のラインで働くロボットの役には立たないからだ。ベースモデルが賢くなることは役に立つし、oクラスのモデルはそれらを訓練するのに役立つだろうが、それがロボット工学の進歩における最大のボトルネックを解消するとは思わない。僕の推測では、最大のボトルネックはハードウェアの改善と、知覚と行動のための高速かつ信頼性の高いモデルだろう。それらの改善にはより長い時間がかかるだろう(つまり、さらに数年)。ロボット工学における驚異的な進歩は、ロボットがロボットを作り始め、AIがAI研究を始めたときにのみ起こるだろう。それはoクラスのモデルから生まれるかもしれないが、僕はそれはまだ数年先のことだと思う。
- 僕は年単位で話しているが、本当は計算量単位で話すべきかもしれない。時間は人間のアウトプットを決定するが、計算量はAIのアウトプットを決定し、AIのアウトプットは研究組織においてますます重要になるだろう。だからこそ、メタの2GWクラスターやXaiの追加10万基のH100など、スーパークラスターを構築するための競争が激化しているのだ。
すべての研究所は、OpenAIに続いてテスト時の計算量モデルをすぐに採用するだろうし、最初はアルゴリズムが劣っていても、より多くの計算量でそれを補うことができるだろう。彼らはGPT-4でやったように、後れを取り戻すだろう。これらのモデルを作成するには、一般的な知識と各研究所の秘伝のソースが混ざっている。OpenAIがoクラスのモデルに関してどれほどの秘伝のソースを持っているかは不明だが、彼らの改善のペースは、それが(複製しやすい)アルゴリズムの進歩であり、(複製が難しい)独自データの組み合わせではないことを示唆している。
テスト時の計算量の時代において、より多くの計算量を持つことと、より優れたモデルを持つことのどちらが重要かは僕にはわからない。一方では、より多くのテスト時の計算量を投入することで、劣ったモデルを補うことができる。他方では、わずかに優れたモデルが指数関数的な計算量を節約できるかもしれない。
Xaiが単に大規模クラスターの立ち上げが得意なだけでOpenAIに追いついたら、ちょっと面白いだろうな。
いずれにせよ、1年以上続くモデルの参入障壁はないだろう。なぜなら、研究所は野球カードのように研究者を交換するし、おそらくもっと重要なことには、研究所の研究者たちはパーティーに行ったり、一緒に寝たりするからだ。それに、僕は研究者たちは、もし事態が手に負えなくなったら、情報を共有しないほど利己的ではないと思う。
僕たちが抱えている状況はちょっとクレイジーだ。AI競争は核開発競争のようだが、アメリカ人とソ連人が週末にロスアラモスで一緒にパーティーをして、「2025年に一番大きな核兵器を持つのはうちだぜ、バーカ:)」とツイッターで煽り合っているようなものだ。
AI競争は、政府が介入するか、何か本当に悪いことが起こるまでは、ヒッピー的で陽気な雰囲気が続くだろう。
- oクラスのモデルは、いくつかの興味深い方法で計算量のスケールアップのダイナミクスを変える。
oクラスのモデルは、計算量が桁違いに増えるごとに明確なメリットがあるため、大規模な構築を促進する。計算量プロバイダーにとって、これほど都合の良いスケーリング則はないだろう。この法則こそが、サム・アルトマンが数兆ドル規模の計算量クラスターを求めた理由だと僕は推測する。
これは実際にはNvidiaにとって良くないかもしれない。oクラスのモデルは、トレーニングよりも推論を重要にする。僕は、最適化された推論チップはトレーニングチップよりも簡単に製造できると思うので、Nvidiaはそこに大きな参入障壁を持っていない。
非常に推測的だが、もしoクラスのモデルが全世界の集約された計算能力を解放して、最高のモデルをトレーニングできるとしたらどうだろう? 例えば、もしオープンソースがクローズドソースに勝てるとしたら、僕たちのMacBook Proを繋ぎ合わせて推論ギガクラスターを作ったら、どれほどクールだろうか。
- 計算量以外にもう一つの指数関数的な要素が加わった。それはコード自体だ。もしある研究所が最も賢いモデルへの特別なアクセス権を持っていて、その結果、そこのソフトウェアエンジニアの生産性が他の研究所の2倍になったとしたら、彼らは次の生産性の倍増にいち早く近づくことができる。ただし、コード速度が最大に達し、実行待ちの実験が長蛇の列になり、研究所が再び計算量によってボトルネックになる場合を除く。(わからないな、ダイナミクスは難しい。研究所が計算量と人員にどれだけ投資すべきかをどのようにモデル化しているのかを見るのは非常にクールだろう。)
- これらすべての計算量の増大や知識労働の自動化がクレイジーに聞こえるかもしれないが、科学者たちがAGIを感じ始めたときに初めて本当にクレイジーになる。物理学者、化学者、生物学者のことを考えているんだ。
それは名前に「理論」とつくものから始まるだろう。最初は理論物理学だ。もし数学が実際に解決されたとしたら(そう書くことさえ馬鹿げているように聞こえるが、そうである可能性が低いわけではない)、理論物理学はそれほど遅れないだろう。それもまた、LLMが人間を超える能力を発揮する記号的な領域に存在しているからだ。
メタの今後のデータセンターであるルイジアナの地で、100万人のAIフォン・ノイマンが昼夜を問わず働いたらどうなるだろう? 彼らは過去1世紀に書かれた何千もの物理学論文をどれほどの速さで読み込み、より正確なトークンを吐き出すだろうか?
明らかに、これは物語の中で予測が難しい部分だ。理論物理学、化学、生物学——これらは強化学習で訓練されたLLMにとって笑い話かもしれないとしたら? 現時点では、そうならないという合理的な根拠は何があるだろうか? 確かに、これらのモデルから真のイノベーションはまだ見られていないが、それらは主に高校や大学レベルのものであり、それらの年齢層は新しい物理学を発明しない。私たちは今、博士レベルに達しているので、創造性が見え始めるかもしれない。
- AIが新しい科学理論を次々と生み出すようになると、進歩のボトルネックは物理世界でのテストと実験になるだろう。そこでのボトルネックは労働力と材料だ。その頃には、ロボットがさらにロボットを作れるようになっていても驚かないだろう。そうなれば、労働力は解決される。そして、材料はロボットによって採掘できる。ここでのタイムラインは、物理的なものを構築したり輸送したりするのに時間がかかるため、遅くなるだろうが、それは数十年ではなく数年の話だ。
- 上記で述べたことはすべて、AIとロボット工学の研究開発において新たなボトルネックが発生せず、モデルが自由に学習できることを前提としている。それはほぼ確実に起こらないだろう。AIの進歩に対する最大のボトルネックは人間だろう。つまり、規制、テロ、そして社会の崩壊だ。
政府は、いくつかのサンフランシスコの企業が運営する自動化されたロボットに地球を採掘させるのを傍観しているわけにはいかないだろう(規制)。そして、もし政府がそれを阻止するほど有能でなければ、怒った失業者たちは暴力に訴えるかもしれない(テロ)。AIによって強化されたメディアによって人々の頭が腐り、社会として機能できなくなる場合を除いて(社会の崩壊)。
もし戦争が起こったとしても、それはボトルネックではなく、むしろ加速要因になるだろう。
事態は深刻になるだろう。2025年は、AIがSFテクノロジー界隈のツイッターでネタにされるワイルドな存在である最後の年になるかもしれない。スーツを着た一般の人々が関与するようになる前に、ルーン(AI関連のプロジェクト名か?)とサマ(おそらくOpenAIのサム・アルトマンCEO)を楽しんでおこう。
- これはみんなを殺してしまうことになるのか? 僕はAIが暴走することよりも、人間がAIを悪用することの方が怖い。
私たちは、人間が最新のテクノロジーを使って殺し合ってきた5000年の歴史を持っている。第二次世界大戦後の平和は、アメリカが失策を犯した瞬間、または敵対者がAIの加速を止めるために先制攻撃が必要だと考えた瞬間に崩壊する可能性のある異常事態だ。兵器がより致死的になり、より自律的になるにつれて、リスクは高まる。
もう一つの大きなリスクは、AIが社会的な混乱を引き起こすことだ。AIが生成したメディアは、大混乱、集団ヒステリー、集団的な思考停止を引き起こす可能性がある。権威主義的な国がAI競争に勝ち、その新しい技術を使って私たち全員から何千年もの間自由を奪うかもしれない。
もう一つのリスクは、AIが暴走することだ。つまり、私たちが予測していなかった絶滅レベルの何かを引き起こすことだ。特に強化学習が再び注目されている今、AIは人間のデータに合わせようとするのではなく(人間に合わせるのは安全だ)、独自の最適化を発見している。しかし、これまでのところ、これらのモデルの根底にある頭脳は依然としてLLMであり、LLMはただ人々を理解することを示している。「私たちを殺すようなことは絶対しないように」とプロンプトに含めれば、それでも私たちを殺す可能性が高いと主張するのはあなた自身の責任だ。もちろん、私はここですべての議論を考慮したわけではないが、AIディストピアについての悪夢を見るとき、僕が見るのはOpenAIのロゴではなく、中国やロシアの国旗だ。
- でも、間違いなく恐怖よりも興奮の方が大きい。
僕がずっと夢見てきたSFの世界がやってくる。少し予想よりも速いペースでやってくる——だからこそ恐れもあるのだが——でも、そこに到達するための可能なすべての道筋の中で、最高の道筋がどれほど優れているかはわからない。これはかなり素晴らしいタイムラインだ。
近い将来(10年以内)に実現することを期待していること:
- すごくクールな物理学の発見
- ロボットによって最初に建設される火星と月の基地
- あらゆることに対する完璧な家庭教師/アドバイス(ほぼ実現しているが、優れた検索、記憶、そしてより多くの個性が必要)
- 副作用がまったくない生物学を強化する薬
- 最適化されたドローンでの移動
- 核融合、地熱、そして大量の太陽光発電による全面的な超クリーンエネルギー
- 予想外のこと:AI天文学者が望遠鏡データから地球外生命体の信号を発見? AI化学者が室温超伝導体を簡単に設計? AI物理学者がいくつかの理論を統一? AI数学者がリーマン予想を解決?
これらはもはやSFのように思えない、すぐそこにある科学的な現実のように感じる。
- で、これは一体どこに向かっているんだ? まあ、最終的には超知能を手に入れるだろう。それは物理法則が許す限りのものを手に入れることを意味する。僕は不老不死を手に入れて、他の星系を見てみたい。僕たちの生身の体を何か遥かに優れたものにアップグレードすることも期待している。でも、何よりも宇宙がどこから来たのかを知りたいんだ。10年前、僕はその答えをどれほど知りたいか、そしてAIがそれを実現してくれるだろうと日記に書き始めた。それが今、実際に起こりうるなんて、マジでクレイジーだ。
- 私たちは今、これらすべてがもっともらしく聞こえる世界に住んでいる。AIの新たな進歩があるたびに、より多くの人々がそれを認識するようになり、o3はその最新の例だ。
今、未来が素晴らしいものにならないとすれば、それは私たち人間がしくじるからだ。私たちの世論、下流の政策、社会の安定、国際協力——これらが、この素晴らしい未来を阻む可能性のある障害だ。
- 人々はAI研究所の人々が私たちの未来をコントロールしていると考えている。僕はそう思わない。彼らの仕事はすでに決定されている。彼らは、いずれかの研究所で起こるであろうモデルアーキテクチャを実行しているに過ぎない。
しかし、私たちの世論、下流の政策、社会の安定、国際協力——これらは完全に不確実だ。つまり、私たち全体が未来の管理者なのだ。
素晴らしい未来を手に入れ、恐ろしい未来を避けるために、私たち一人ひとりが、これから訪れる激動の時代を乗り切る手助けをする責任がある。
- 手助けする方法はたくさんある。社会をより安定させる製品や、人々を賢くする製品(例:ソーシャルメディアの利用を抑制するのに役立つアプリ)を開発する手伝いをする。何が起こっているのかを人々に知らせる手伝いをする(ソーシャルメディアでの質の高い解説、本当に優れた検索エンジンなど)。私たち全員をユートピアに連れて行こうとしている都市がディストピアのように見えないように、私たちの街をきれいにする手伝いをする(地方政治への参加)。
- 僕が話したほとんどすべての人が、AIの世界で意味を失うことを恐れている。あなたもそうかもしれない。あなたに言いたいのは、それはまったく逆ではないか? あなたは歴史の中で最も重要な時代に生きていて、それを左右する力を持っているんだ。世界を救う手助けをすることだけで十分な意味があるんじゃないか? あなたは、自分のキャリアだけが進歩していて、世界は進歩していなかった時代に戻りたいのか?
おそらく、人々が移行する必要があるのは、個人の成功から意味を得ることから、集団的な成功から意味を得ることへの移行だろう。私たちの現在の仕事の多くは、間もなく自動化されるだろう。私たちは適応しなければならない。もしあなたが特定のスキルから意味を得ているなら、確かにそのスキルは5年後には必要なくなるかもしれないし、あなたは運が悪い。しかし、もしあなたが世界を助けることから意味を得られるなら、それは決してなくなることはないだろう。
- o3のおかげでアドバイスを受けているすべての新卒に、僕からアドバイスだ。1) 高い主体性を持って問題を解決できる人物、そして 2) 素晴らしいチームプレイヤーになる方法を学んでほしい。途中で学ぶ特定のスキルは重要ではないだろう。なぜなら、世界は非常に速く変化するからだ。しかし、積極的に問題解決に取り組み、チームと良好に協力することは、長い間重要であり続けるだろう。
あなたはまた、不安定な世界で不安定な生活を受け入れる必要があるかもしれない。これから奇妙なことになるだろう。あなたは郊外に子供二人と犬一匹を飼うような生活を送れないかもしれない。あなたは二人のサイボーグの子供と、恒星間アークに乗ったAI犬を飼っているかもしれない。
私たちはAGI前夜に生きている。そして、このクリスマスイブに、AGIへの移行がうまくいくように力を尽くしてほしい。そうすれば、西暦3024年のクリスマスイブに、アルトマン・ケンタウリを周回する、4光年離れた惑星であなたに挨拶できるだろうから。
AIによる要約と考察
この文章は、AGI(汎用人工知能)の到来が目前に迫っているという認識に基づき、その影響について広範かつ刺激的な考察を展開しています。筆者の興奮と、それによってもたらされる技術的、社会的な変革への期待と懸念が強く表れています。
肯定的な側面:
- 技術的特異点への期待: 筆者は、AGIが数学、科学、ソフトウェアエンジニアリングといった分野で飛躍的な進歩をもたらすと予測しています。特に、基礎科学分野でのブレイクスルー、宇宙開発の加速、そして生活の質を向上させる様々な技術革新への期待は、多くの人が共有する希望でしょう。
- ソフトウェア開発の進化: ソフトウェアエンジニアリングがより抽象的なレベルに移行し、非技術者でもプログラミングが可能になる未来像は、可能性に満ちています。これにより、より多様なアイデアが形になり、社会のニーズに合ったアプリケーションが生まれるかもしれません。
- 意味の再定義: AIによる自動化が進む中で、個人の成功から集団的な成功へと価値観をシフトする必要性を指摘している点は重要です。歴史的な転換期において、世界に貢献することに意味を見出すという考え方は、多くの人が新しい価値観を見出すきっかけになるかもしれません。
懸念される側面:
- 急速な変化への対応: 筆者自身も認めているように、AGIの急速な進展は社会に大きな混乱をもたらす可能性があります。雇用の喪失、経済格差の拡大、そして倫理的な問題など、克服すべき課題は山積しています。
- 悪用のリスク: AIがもたらす負の側面、特に国家間の競争や兵器の自律化、そして誤情報拡散による社会の不安定化に対する懸念は現実的です。技術の進歩と並行して、倫理的な枠組みや国際的な協力体制の構築が急務となります。
- 制御不能のリスク: AIが人間の意図を超えて行動する可能性、いわゆる「AIの暴走」に対する懸念も根強くあります。筆者は、人間による悪用の方がより現実的な脅威であるとしながらも、このリスクを完全に否定しているわけではありません。
考察を深めるポイント:
- AGIの定義と実現可能性: 筆者が想定するAGIの能力は非常に高いものですが、そのようなAGIが本当に近いうちに実現するのか、技術的な障壁はないのか、といった点は議論の余地があります。
- 社会的な影響の予測: AGIが社会にどのような具体的な影響を与えるのか、様々なシナリオを想定し、それに対する対策を検討する必要があります。雇用、教育、医療、政治など、あらゆる分野での変化を予測し、準備を進めることが重要です。
- 倫理的な課題への取り組み: AIの意思決定の透明性、公平性、責任の所在など、倫理的な課題は避けて通れません。技術開発と並行して、倫理的なガイドラインや規制を整備していく必要があります。
結論
この文章は、AGIの到来という大きな転換期を前に、私たちに多くの問いを投げかけています。筆者の楽観的な見方と危機感の両方を受け止め、技術の進歩を歓迎しつつも、その潜在的なリスクに真摯に向き合う必要があります。未来をより良いものにするためには、技術者だけでなく、政策立案者、倫理学者、そして私たち一人ひとりが主体的に関与し、議論を深めていくことが不可欠です。この文章は、そのための貴重な出発点となるでしょう。