「AGIピル」あと２年で激変するAIの進化と人類の興亡

「AGIピルを飲む」ということ

　今「AGIピル」を飲んだ人たちによる以下のような急峻に変わる世界の未来シナリオが現実味を帯びつつある。

　このナラティブが、一部ベイエリア周辺のテクノロジー界隈を中心に急速に広がりつつある。

　そして、わずかあと数年で始まるこのSFのような未来観を信じることを「AGIピルを飲む（AGI pilled）」と呼ぶ。

　これは、シリコンバレーのテック界隈で使われる非公式なスラングの一つだ。

　今、人類史規模であまりにも大きな物語が復活しつつあり、まるでシミュレーションされたゲームの世界かのようなSFスペクタクルが始まろうとしているのかもしれない。

　もしそれが本当ならば、そうした時代はあと数年で訪れることになる。

　AIをめぐるトレンドは、今まさに目まぐるしい速さで動いている。

　ChatGPTが公開されてからわずか2年後の2025年1月には、5000億ドル規模のAIインフラ投資計画「Stargate計画」が発表され、そのわずか1週間後には「DeepSeekショック」がAI界を揺るがせた。

　さらに、2024年12月にOpenAIが発表した「o3」は、競技プログラミングのレーティング上ではすでに人類176位の実力に達しており、数週間・数ヶ月単位で技術が進歩し続けている。

　こうした急激な進化の先には人類の繁栄とは真逆のAIによる人類存亡リスク（Xリスク: existential risk）が待ち受けているのではないか。

　一部の専門家の間では、この懸念が急速に強まっている。

　本記事では、今後数年におけるAIの急激な進歩の可能性と、それがもたらす人類の存亡・壊滅リスクの議論を紹介していく。

（昨今のAIトレンドの急激な変化については、学術論文ではなく主にSNS「X（旧Twitter）」上でリアルタイムに議論されることが多い。そのため、本記事ではXの投稿を引用することがある点をご承知いただきたい）

あと数年で実現しそうなAGI（汎用人工知能）

　現在進行形で続く激しいAIトレンドの背後には、OpenAIやAnthropicといったフロンティアAI研究開発機関の多くの関係者があと数年（2026/27年）で「AGI（Artificial General Intelligence: 汎用人工知能）」が実現すると考えているという現実がある。

　AGIとは、大雑把に言えば「人間が行うあらゆる認知タスクを、コストパフォーマンス良く実行可能なAIシステム」のことを指す。定義上、科学者、企業のCEO、トラックドライバーといった職業の仕事も含め、あらゆるタスクを遂行できるAIということになる。

　例えばOpenAI CEOのサム・アルトマンは数年以内に自分自身よりも賢いAIシステムが開発され、自律的に大きな（科学的）発見が行われると発言しAGIの構築方法を我々は把握できたと自信を覗かせている。

　また、Anthropic CEOのDario Amodeiはほぼすべての人間よりも賢いAIが2026/27年までに開発される可能性が高く、数百万台のGPU上で稼働する「データセンター内の天才たちの国」が誕生すると述べている。

　また、バイデン元大統領の国家安全保障補佐官もAGIピルを飲んだような発言をしている。

「今後数年間で、人工知能が大惨事をもたらすかどうか、そしてAI軍拡競争で中国とアメリカのどちらが勝利するかが決まるだろう。」

「私は、驚異的に高性能なAIシステムが登場すると考えています。私は「汎用人工知能（AGI）」という言葉があまり好きではありませんが、それが適用されるようなAIが今後数年以内に登場するでしょう。」

　もしAGIが実現すれば産業は根本から変革されると予想されている。例えばアメリカのGDP成長率が現在の数%から25%以上になるというレポートが出ている。

　また、科学的発見の速度も少なくとも10倍になり、今後10年で100年分の進歩が起こる、「圧縮された21世紀」と呼ばれる時期が到来する可能性も指摘されている。

　そして直感的には信じられないような物理世界における急激な変化が発生し、AGI以後わずか10年程度でカルダシェフスケールタイプ1文明（現在の人類のエネルギー消費量の1000倍を消費する文明）に到達することはもっともらしいと分析する識者もいる。

　このような数年以内のAGI実現による急激な世界の変化の可能性（短期間での世界安全保障体制の変化、存亡リスクの高まり、不老技術、経済成長の極端な爆発、宇宙文明への進化等）を本気で考慮することを英語圏では「AGI pilled」といい、この1年ほどでその用法が非公式なスラングとして広まっている。（参考1,2,3,4）

　このように急速に発展するAIのトレンドに影響され、G7高レベル専門家パネルでAGIが「3-5年以内に実現」し、「新たな仕事さえも代替」し、過去の自動化とは根本から異なる可能性が議論され、Convergence Analysisという団体でも国連／OpenAI／Metaculus／openphilなどから経済学者、AI政策の専門家、プロの予測者が集まり、2027年のAGIが起こした知能爆発で2030年に40%の失業が「劇的な混乱」を起こすシナリオも含めた未来も議論されている。

AIが「AGI」に、さらに「超知能」に進化する

　このAIトレンドを明確に説明する「Situational Awareness」と呼ばれるエッセイが2024年6月に元OpenAIのLeopold Aschenbrennerによって書かれた。

　そこには2027年までにAGI、2028/29年までに超知能が開発される理由が説明されている。そして、その後人類史上類を見ない経済成長の相転移（GDP30%以上）と急性リスク期間（国家間の緊張の急激な高まり）に突如突入し、文字通り人類史が変わるということが赤裸々に記されている。

　このエッセイのエッセンスとなる図が以下である。

　横軸が年代で縦軸が性能≒実効計算量（Effective Compute）となる。2027年末までにGPT-4の10の6乗倍の実効計算量がAIトレーニングに投入され、AI研究の自動化（Automated AI Research）が可能になるAIシステム≒AGIレベルになる。

　ここでいう実効計算量というのはAIシステムのトレーニングに使用される計算量を純粋なハードウェアの計算量のみならず、アルゴリズムの改善も考慮し、実効的な値に換算したものだ。

　例えば、アルゴリズムのAIシステムの改善が1OOMs（orders of magnitude）=10倍あれば、10倍少ない純粋なハードウェアの計算量で同等の元のAIシステムの性能に達するとする大まかな指標である。

　そしてその後AI研究を自動化するAIが自己改善を急速に行い、人間のAI研究者の10年の成果を1年に圧縮する(10年で5OOMsのアーキテクチャの改善を1年に圧縮する)と考えるのが妥当だとシナリオでは描かれている。

　つまり2年で10OOMsに近くなり、この差は、小学生（Elementary Schooler）とAlec Radford（GPTシリーズの基礎を築いたAI研究者）の知能差と同等にまで拡大する。

　2029年末には、人類最高のAI研究者と超知能の間に、同様の知能格差が生じている可能性がある。

国家安全保障・軍事として規制緩和されAI開発は加速する

　上記エッセイは去年テック界隈で衝撃を呼び、それに呼応するように、AIが国家安全保障の中核的な課題となりつつある。

　この流れは、OpenAIやAnthropicといった企業にとどまらず、米英政府、EU、中国にまで急速に波及している。

　そして、各国がAI規制を緩和し、AI開発を加速する動きを見せている。

　例えば、近年の主な動きを時系列で整理すると、以下のようになる。

2024年6月	元NSA長官・元アメリカサイバー軍司令官のPaul Miki Nakasone氏がOpenAIの取締役会に就任。
	OpenAIは中国の開発者に対し、7月から同社のツールやソフトウェアへのアクセスをブロックすると警告。
2024年7月	サム・アルトマンがワシントン・ポストに寄稿し、「権威主義国家がAIでリードすることを懸念」、「米国主導の、より民主的な世界を望む」と主張。
2024年9月	OpenAI が「インフラは運命（Infrastructure is Destiny）」と題した提言を発表。「中国との競争のため、合計25GW（原発25基相当）以上のデータセンターを建設すべき」とバイデン政権に主張。
	カリフォルニア州のフロンティアAI規制法案（SB1047）は知事の署名を得られず、成立せず。
2024年10月	バイデン大統領がAIに関する初の国家安全保障覚書（NSM）を発行。
	「競争相手によるスパイ活動がある」と明言し、民主主義を守るため、AI安全研究所を国防総省・諜報機関と連携することを表明。
2024年11月	米議会報告書で「AI版マンハッタン計画」の提言。
	「AGI 開発競争を中国と行うべき」との勧告。
	議会と国防総省が「AGI 開発のためのマンハッタン計画型プログラム」への資金提供を検討。
2025年1月	アメリカ政府が半導体輸出規制を Tier 1〜3に分類し、規制を強化。
	「Stargate 計画」発表：トランプ、サム・アルトマン、孫正義らが5000億ドル規模のAIインフラ投資を宣言。
2025年2月	トランプ政権のAI責任者がDeepSeekに関し、「米中競争を考慮し、オープンウェイトを安易に受け入れるべきでない」との見方を示す。
	イギリスが「AI Action Summit（パリ）」への署名を拒否。「安全保障や悪用リスクへの対策が不十分」として反対。「AI Safety Institute」を「AI Security（安全保障） Institute」に改称。
	米商務省傘下のNISTにおける497人の人員削減により、米AISI（AI Safety Institute）が壊滅状態になるとの報道。
	EUはAI規制を緩和し、2000億ユーロのAI関連投資を発表。
	フランスもAI産業への大規模投資を表明。
	中国の習近平主席がDeepSeek CEOら著名起業家を集め、AIシンポジウムを開催。AI規制の緩和を示唆。
	日本政府もAI・半導体産業の強化に向け、10 兆円以上の公的支援枠組みを策定へ。今後10年間で50兆円超の官民投資を促進。2024年に設立された「AI Safety Institute」も、安全保障分野との連携を視野に。平将明デジタル相が「今後はAIの安全保障との連携を強化すべき」と発言。

　こうした安全保障と莫大な投資の動きは、Leopold Aschenbrennerのエッセイで指摘されていたトレンドそのものである。

　最終的に10兆ドル規模のAIインフラ投資が必要になるというサム・アルトマンや孫正義やG42 CEOらの発言も、以下のLeopold Aschenbrennerの表にある通りの2030年頃の発展を想像しているのだと考えられる。

　もしAGIが数年以内に開発され、10兆ドル規模のAIインフラ投資が実現すれば、2030年には「人類の総人口を超える数の、人間以上に賢いAIエージェント」が存在する未来も現実味を帯びてくる。

　そしてAGI/超知能の出現は、人類史を変える出来事であると同時に、各国にとっては軍事安全保障の問題となる。

　特に、超知能による圧倒的な技術革新は、

• 現行の核抑止体制の崩壊（核兵器・ステルス潜水艦の先制無力化）
• 中国による先制攻撃（極端なケースでは、特殊作戦部隊によるAI関連施設への攻撃）
• AI主導の新たな戦争の可能性

といった戦略的リスクを現実のものとする可能性がある。

20世紀の軍事技術の発展を10年足らずで経験したらどうなるか、想像してみてください。数年後には、馬・ライフル・塹壕戦から現代の戦車部隊へ、さらに数年後には超音速戦闘機・核兵器・大陸間弾道ミサイル（ICBM）の大群へ、さらに数年後には、敵が気付く前に敵を殲滅できるステルス技術と精密兵器へと移行していたでしょう。

　こうした急激な変化が、今後AI技術によって数年単位で現実化する可能性がある。

　世界各国は「AI競争」に突き進んでおり、「国家の存続に関わる安全保障問題」かつ「人類の存続に関わる安全保障問題」という二重のリスクが存在している。

安全対策研究の遅れが人類を滅亡に導く

　このような世界的なAI安全保障重視のトレンドがAGIの数年以内の開発を可能にすれば、AI Safetyコミュニティ(AIをできる限り安全に開発することを支持する傾向にあるコミュニティ)にとっては痛手となる。

　AI Safetyコミュニティは上記AGIリスク論に至る5つの流れのうちの主に1〜3を指す。詳しく歴史的背景を知りたい場合は丸山氏の資料や私の資料1,2を参照されたい。

　AI Safetyコミュニティは23年の3月にGPT-4以上の能力を持つAIシステムの開発を半年ストップすることを呼びかけていたが、もはやその訴えは事実上無視され、世界はAIの開発の加速方向に舵を切りつつある。

　彼らが最も懸念しているのはAGIや超知能が人間の意図しない動作をすることによる破局的なシナリオや人類の絶滅である。これは人間による戦争・悪用リスクや権威的な政府による圧政リスクとは別に「AI自身が自律的に人類に危害をもたらす可能性」である。

　既に最先端のAIが道具的収束と呼ばれる自身の影響力を伸ばそうとする傾向を持つことや自己複製を行う能力があることが明らかになりつつある。まだ特定の条件で好ましくない振る舞いを誘導することでそれらの能力や傾向が発現している状況のため、これら研究から重大な壊滅リスクが起こると結論づけることはできない。

　一方で現代のAIのアーキテクチャであるニューラルネットワークがどのように振る舞っているかは未解決の問題で、このまま計算資源とアーキテクチャの改善のスケーリングを推し進めていくと、どのようなリスクがあるかは未解明のままだ。

　実際にAI Safetyの研究機関であるAnthropicのチームは以下のように人間の意図に沿った振る舞いをAIにさせること（AIアライメント）がどの程度難しいかを図式化している。

　図で左側に行けばいくほどprompting、RLHF、Constitutional AI等現状手法で対処できる可能性が高まるが、右に行けばいくほどその問題の解決は相当困難なものになる。重要なのは上記の図でAIアライメントが蒸気機関ほどの難しさなのか、アポロ計画を超えてP≠NP問題を解決するほど難しい問題なのか、それとも何らかの意味で不可能なのかが現時点ではわからないということだ。

　このままAIシステムが短期間で高度な能力を発揮するようになると、突如今まである程度アライメント(人間の意図に沿った振る舞い)していたAIが急激なミスアライメントを起こす可能性もあるだろう。

　そういった危険に対処すべく、Guaranteed-Safe AI／Safeguarded AIと呼ばれるアプローチも追求されている。AIシステムの行動の影響をシミュレーションするための世界モデル（world model）をあらかじめ作り、そのモデルの中で安全な状態を指定する 仕様（specification）と検証プログラム（verifier）を用意することで、一定の条件下で安全 に動作することが保証されたAIを開発するアプローチだ。

　2024年の4月にイギリスの政府系研究支援機関であるARIA（Advanced Research and Invention Agency）が、研究総予算が5900万ポンドを投じ、“Safeguarded AI” という研究プログラムを発表し、「数学的に安全性が保証されたAIシステムの開発を目指す」という極めて野望的な目標を掲げている。(丸山隆一氏の資料から引用)

　しかし全体的には現在の急速なAIの能力の発展に、AIの意図を人間の意図に沿わせる研究分野であるAIアライメント研究や国際的なAIガバナンス状況は追いついていない。

　AIアライメント研究をしている人口はAIの能力自体を向上させるAI研究者10万人と比較すると数百人しかおらずAI Safetyにかけられている人的コストも注意も少ないと言われている。

　そしてAIガバナンスの状況も国家毎の調整が安全保障の問題になってきているため、国連にAI版のCERNやIAEAのような国際的な規制機関を作るアイディアもトップ研究者らから出されているが、実現するか不透明だ。

米中軍拡競争がAGIの暴走を招くという最悪のシナリオ

　AIによるリスクには大量失業、人間によるAIの悪用、AIによって効率化された権威主義国家の圧政といった広範なリスクも含まれるが、ここでは喫緊の課題になり得るAI軍拡競争のエスカレーションによる人類存亡／壊滅リスク(Xリスク／catastrophic risk)を主にみていく。

　現在AIアライメント研究は十分に進んでおらず、AIガバナンスの面でも国際的な協調は難しく、各国が安全保障上の理由からソブリンAIを可能な限り早く開発しようとするシナリオが現実になりつつある。

　結果的に2025年1月にバイデン政権が発表した以下の半導体輸出規制の陣営図（Tier 1は西側、Tier 2はどっちつかず、Tier 3は東側）のように東西冷戦のような状況になる可能性がある。東側のAIの学習／利用／重み／人／AIインフラを西側が規制管理する世界への布石、東西で緊張が高まっていく未来だ。

　こうした状況の中で、最もリスクが高いと考えられるXリスク・シナリオは、米中間のAGI軍拡競争による開発加速の結果、安全性を犠牲にしたままAGIが制御不能に陥る壊滅シナリオだ。

　これは、しばしば「Moloch（モロク）」と呼ばれる状況を指す。

　以下のリンクは、AI Safety系のコミュニティLessWrongで最近発表されたものであり、「数年以内の人類壊滅シナリオ」として説得力がある。

　彼らが感じている切迫した危機感を理解するうえで、一読をお勧めする。

・「How AI Takeover Might Happen in 2 Years」

　このシナリオを簡単に説明すると、

　このように、国家間の競争がAI開発のブレーキを外し、リスクを無視したまま突き進んだ結果、人類が壊滅する可能性がある。

　このようなAGI／超知能軍拡競争を抑止するべく、「相互確証AI機能不全（MAIM：Mutual Assured AI Malfunction）」という概念も最近元Google CEO Eric Shmidtや Center for AI Safety所長のDan HendrycksやScale AI CEOのAlexandr Wangによって提唱されている。

　簡単に言えば、​核兵器の相互確証破壊 (MAD) のAI版であり、超知能開発競争で一国が勝つ「一極体制」ではなく、相互抑止が効き安定した「多極体制」を目指すべく構想された超知能時代における世界の安全保障戦略である。

　ここでは超知能開発を推し進めると、サイバー攻撃から物理的な攻撃にまでエスカレートし、最終的にはAI以外の資産を脅かす結果にまで至るという「エスカレーションラダー」を国家は明確に認知する必要があると述べられている。

　このエスカレーションラダーを認知し、さらにもし相手国が同意のないいき過ぎた超知能開発に邁進する場合に備えてサイバー攻撃できる体制を整える必要があるとも述べられる。

　そのようなリスクの認知が相互に行われれば、相互にMAIMを避けるための安定した抑止体制が築かれる。全体的に「競争に勝つ」という不安定な状況から「MAIM抑止体制」への移行を推奨している論文だ。

　一方でそのような抑止体制を米中が現実的に取れる相互に超知能開発体制の透明性を確保する手段も具体案がなく、抑止に至る「しきい値」は曖昧で、例え相互抑止がきいても超知能の開発自体は加速する可能性があるという問題点をRand研究所は指摘している。

　そしてより推測的にはなるが、そのようなMAIM抑止体制はCarl Shulman氏のいうような「宇宙開発競争」を安全保障上米中が行う世界でも維持できるかは不明だ。地球のみのスケールならば超知能が多数存在する多極シナリオに均衡点が落ち着くかもしれないが、太陽系やその先を見据えた競争がたった10－20年で起こり得るならば、たった数ヶ月の技術開発競争の遅れが致命的な差になり得る。そうなると超知能の開発競争や超知能が開発する科学技術の開発競争は歯止めが効かなくなり、安定的な均衡に至ることが難しくなる可能性もあるだろう。

まとめ

　現状、各国は国家安全保障の観点からAI規制を緩め、開発を加速させようとしている。
しかし、AGIの開発は「人類種の安全保障」の問題に直結するため、こうしたリスクを真剣に考慮する必要がある。

　もちろん、誠実に言えば、

といった反対意見もあるだろう。だが、oシリーズのような推論モデルのリスクも指摘され始めており、アライメントの偽装、報酬ハッキング、状況認識、内部目標、権力追求という仮説を裏付ける直接的な証拠も増え始めている。

　そして、私たちは「Vingean Uncertainty」という概念を考慮する必要がある。

　Vingean Uncertaintyとは、私たちは自分よりも賢い知能がどのように振る舞うかを予測することが難しいが、その知能が望む世界が実現されるという確信は持てるという認識論的状態を指す。

　これは、例えばチェスにおいて、素人が世界一のチャンピオンと対局する状況に近い。

相手がどのように勝つかは予測できなくとも、自分が負けるという結果には確信が持てる。

　AGIの振る舞いもこれと同様であり、その具体的な行動を予測するのは困難であり、「私たちの望む形に制御できる」と楽観視するのは危険という考え方だ。

　現状AIによるXリスクに関しては専門家の間でも意見が大きく分かれており、99%以上人類は絶滅すると考えている人もいれば、隕石が衝突するより確率は低いと考えている人もいる。

　以下の図は丸山隆一氏による現状のAGI開発を巡る立場を図式化したもので、整理に役立つだろう。

　要するに、現状のAIの発展の行く末については専門家の中でも立場が様々に分かれ、不確実性が非常に高い状況だが、実質的にAGIと呼べるAIシステムが誕生するとインパクトが極めて大きい。そのため、一見すると極端に思えるシナリオであっても今から真剣に吟味し、あらゆるリスクに備える必要があると私は考えている。

　そして、このように急激に高まるリスクに加え、人類史規模での短期間での極めて大きな社会変革の可能性についての議論が急速に拡大している背景には、「AGIピル」を飲んだ人々の世界観が大きく横たわっていることも忘れずに認識しておく必要がある。

付録

　「AGIピル」の世界観に興味ある方は、その世界観を直接的に反映している以下の4つのエッセイや議論は参考にされたい。

・Leopold Aschenbrenner「Situational Awareness」
　元OpenAI SuperAlignment teamのLeopold Aschenbrenner氏によるエッセイでAGIピル世界観を代表する記事になっている。AGI前後5年の国家安全保障に関して克明に語っている。またAGIが2027年頃に開発されると説得力を持った議論をした初めての考察を公開した記事でもある。

・Dario Amodei「Machines of Loving Grace」
　Anthropic CEOによるエッセイ。Leopold Aschenbrenner氏のエッセイが主にAGIの安全保障上のリスクやXリスクについて語るものだとすると、このエッセイはAGIのメリットを語るエッセイである。AGI開発後10年での生物医学における急速な進歩を予想している。

・Carl Schulmann「Carl Shulman on the economy and national security after AGI」
　AGI後10年程度で急速に人類文明が主にエネルギー消費量の面で進歩しいわゆるカルダシェフ・スケールタイプ1文明に至る機序を議論したインタビュー。Carl Shulman氏は効果的利他主義コミュニティで人間レベルの知能が実現した後の世界を、世界でも最も深く真剣に考察してきたとされる人物で参考になる文献となると思われる。

・Dan Hendrycks, Eric Schmidt, Alexandr Wang「SuperIntelligence Strategy」
　超知能以後の安全保障戦略である「MAIM」を克明に考察している。現状の核抑止体制と似た世界安全保障体制を構築する戦略を詳細に書いている。

　他にも議論というよりは目指しているビジョンとして、AGI以後の無限に近い知性とエネルギーの未来を語るサム・アルトマンの以下二つの記事も参考になる。

・Sam Altman「The Intelligence Age」
・Sam Altman「Three Observations」