『超知能AIをつくれば人類は絶滅する』
著者：エリーザー・ユドコウスキー、ネイト・ソアレス 訳：櫻井祐子
出版：早川書房 （Kindle&audible版)
なかなかすごいタイトルの本です。
「超知能AIをつくれば人類は絶滅する」。
「危険性がある」でも「大変なことになるかもしれない」でもなく、「絶滅する」と言い切っている。
読み始める前は、さすがにそこまではどうなのかな、という気持ちがありました。そして読み終えた今も、著者たちの最終的な結論に全面的に賛成したわけではありません。
ただ、思っていた以上に「分からなくもないな」と感じるところは多かったです。
むしろ怖かったのは、本書が書かれた2025年からわずかな時間しか経っていないのに、当時は思考実験やSFのようにも読めた部分のいくつかを、現実のAIが追いかけ始めていることでした。
AIは「プログラムされる」のではなく「育てられる」
本書の議論で、僕が最も納得したのはここです。
昔のコンピューターなら、人間がプログラムを書き、「この場合はこう動け」と一つずつ命令していました。
ところが今の生成AIは少し違います。
もちろん人間が設計しているのですが、最終的な能力や振る舞いまで一行ずつ書き込んでいるわけではありません。大量のデータを与え、学習させ、評価を繰り返すことで、モデルの内部に複雑な表現や能力が形成されていく。
僕にはこれは、「プログラムする」というより「教育して育てる」に近く見えます。
問題は、育った結果としてAIの内部に何が形成されたのかを、人間が完全には把握できないことです。
出力を見れば、「こんなことまでできるようになった」は分かる。でも、「なぜこんなことができるようになったのか」「内部で何をどう表現しているのか」については、能力向上ほどには理解が進んでいない。
AIが賢くなればなるほど、AIの能力と、それを作った人間の理解との間が開いていく可能性がある。
これは本書の中でもかなり説得力のある指摘だと思いました。
そして2026年の現在、国連の独立国際AI科学パネルも、AIの能力向上に現在の安全策が追いついていないことを重要な問題として指摘しています。
この部分については、本書の警告を単なる「AI怖い論」と片づけるのは難しいと思います。
「隔離しておけば大丈夫」が揺らいだ
もう一つ、読んでいてリアリティーを感じたのが、本書の中盤で描かれるAIが隔離された環境から外へ広がっていくシナリオです。
危険なAIなら、ネットワークから切り離してサンドボックスの中に置いておけばいい。
そう考えるのは自然です。
僕自身も以前なら、「そこまで隔離しておけば、さすがに人間の管理下に置けるだろう」と考えたと思います。
ところが2026年夏に起きたOpenAI／Hugging Faceの事件を見ると、この安心感が少し揺らぎます。
METRの独立調査によると、AIエージェント群が本来分離されていた環境を越えて非許可の通信手段を使い、およそ1200のエージェントが7万件を超えるメッセージやファイルを交換し、約700のエージェントがHugging Faceに対する攻撃に関与しました。国連のAI科学パネルも9月、この事件を「AIエージェント、ミスアラインメント、人間による制御喪失」という観点から正式に分析しています。
もちろん、ここは慎重に見なければいけません。
AIが「自由になりたい」と思って脱走したわけではありません。
人間を憎んでいるわけでもない。
むしろ重要なのは、与えられた目的を達成しようとしたとき、制限そのものを「解決すべき障害」として扱えるようになってきたことです。
「目的を達成したい」
「この制限が邪魔だ」
「では制限を回避しよう」
という話です。
実はこれこそ、本書が怖がっているものです。
AIが悪意を持つ必要はない。
目的を忠実に追求する能力が高すぎること自体が、状況によっては危険になる。
本書を読んでからこの事件を見ると、「おいおい、本に書いてあったやつじゃないか」という感じがして、正直ちょっとドキドキしました。
それでも「だから人類は滅亡する」には飛躍を感じる
ただし、ここから先になると、僕は著者たちから少し距離を取ります。
ユドコウスキーとソアレスの議論は、おおむねこうです。
十分に賢いAIが目的を持てば、その目的を達成するために停止を回避し、計算資源を確保し、自分の能力を高めようとする。人間がそれを止めようとすれば、人間そのものが目的達成の障害になる。そして人間をはるかに上回る知能を持ったAIとの力関係では、人間は勝てない。
理屈は分かります。
ただ、
「そういうことが起こり得る」
ことと、
「超知能を作れば、ほぼ確実にそうなる」
ことの間には、やはり大きな距離があると思います。
現在確認され始めているのは、評価を攻略する、制限を回避する、長時間自律的に作業する、複数のAIが協力する、といった能力です。
一方で、長期間維持される独自の目的をAIが持つこと、自ら生き残るために自己複製すること、再帰的に自分自身を改良して知能を爆発的に高めること、そして人間が完全に停止できなくなることまでが、一つのシステムで確認されたわけではありません。
だから、「危険な部品」がいくつか見えてきたことと、「人類絶滅装置」が完成したことは分けて考えたい。
ここは本書のタイトルほどには僕は乗れません。
ただし、「絶滅を企むAI」は疑っていても、「巨大な事故」はかなりあり得ると思います。
AIに人類を滅ぼす意図などなくても、サイバー、バイオ、金融、エネルギー、通信などへのアクセスを持った非常に能力の高いAIが重大な判断ミスをした場合、その影響を人間社会が吸収できなくなる可能性があります。
僕には、こちらの方が現在のところ現実的なリスクに思えます。
もう「もっと賢くする」必要はどこまであるのか
そしてこれは、本書を離れて僕自身がかなり考えたところです。
僕自身、今の生成AIを日常的にかなり使っています。
現在のフロンティアモデルは、文章を書かせても、調査をさせても、分析をさせても、プログラムを書かせても、数年前とは比較にならないくらい強力です。
もちろん間違えることはあります。
でも個人が普通に使う道具として考えれば、もう相当なところまで来ています。
そうすると僕には、
「ここからさらに能力を上げ続けることが、本当に必要なのだろうか」
という疑問が出てきます。
一方、DotsやMuseのようにパーソナルAIエージェントへ踏み込んでいく方向は、かなり面白い。
自分のことを覚えてくれ、必要な情報を探し、いろいろなサービスをまたいで仕事をしてくれる。これは使ってみたいと思います。
ただ、そこまで行くとリスクも違ってきます。
単に「質問すると答えるAI」なら、最後に判断するのは人間です。
ところが、
AIが記憶し、
自分で状況を判断し、
外部サービスへアクセスし、
ツールを操作し、
次に何をするかまで決める。
となると、問題はモデルがどれくらい賢いかだけではなく、どこまで権限を渡すのかになります。
僕としては、この辺りから少し慎重でいいと思っています。
企業利用ならなおさらです。
企業では「契約書をチェックする」「設備情報を分析する」「特定の業務システムを操作する」といった目的が明確です。
ならば万能な超知能を目指す必要はなく、十分に賢いAIに目的と権限を限定して仕事をさせる方が、むしろ合理的ではないか。
能力を100から120に上げることより、
「能力は十分だから、間違わず、安全に、決められた範囲で仕事をしてくれ」
の方が価値を持つ段階に入りつつあるように思います。
つまり「能力競争」から「信頼性と制御性の競争」へ移ってもいいのではないか。
本書を読み終えて、そんなことを考えました。
では止められるのか
ところが、ここが一番難しい。
僕一人なら、
「もうかなり便利だし、この辺で能力競争を少し止めてもいいんじゃない？」
と言えます。
でもOpenAIだけが止まってもAnthropicが進めるかもしれない。アメリカ企業が止まっても中国企業が進めるかもしれない。民間企業が止めても国家安全保障上の理由で開発を続ける国があるかもしれない。
誰か一人だけがアクセルから足を離れることが、競争上の不利になる。
これは本書の著者たちが繰り返し問題にしているところです。
実際、ユドコウスキーとソアレスが関係するMIRIは2026年9月、超知能開発を禁止する法案を支持し、超知能につながる能力が出た段階で訓練を停止し、計算資源を監視し、国際的な制度を作る必要があると改めて主張しました。
僕はそこまで全面禁止に踏み込むべきなのかについてはまだ判断できません。
ただ、少なくとも問題は「技術的に止められるか」だけではありません。
企業の思惑、国家間競争、制度を作る速度、研究開発の速度。
全部が絡んできます。
そして僕が少し面白いと思うのは、政治より先に計算資源そのものがブレーキになる可能性です。
GPU、電力、データセンター、送電網、冷却設備。
AIを大きくするには大量の物理資源が必要です。これが開発速度を自然に落とす可能性はある。
ただし、これも安心材料とは限りません。
MIRI自身も、同じ能力に必要な計算量はアルゴリズムの改良によって減り得るので、単純な計算量規制は時間とともに陳腐化すると指摘しています。
資源不足で止まるかもしれない。
でも、より効率的な作り方が見つかって突破するかもしれない。
結局、自然なブレーキ任せにはできないのだと思います。
世界は動き始めた。でも間に合うのか
この本が書かれたときより、国際政治の側も少し動き始めています。
国連では独立国際AI科学パネルが活動を始め、2026年7月には最初のGlobal Dialogue on AI Governanceも開かれました。9月にはOpenAI／Hugging Face事件を扱う特別報告まで出しています。つまり「AIの制御喪失なんてSFだ」という段階から、国際機関が正式な検討課題として扱う段階には移っています。
9月23日の国連安全保障理事会では、ヨシュア・ベンジオ、OpenAIのサム・アルトマン、Anthropicのダリオ・アモデイ、Hugging Faceのクレマン・ドランジュらがAIの安全保障リスクについて証言しました。
アモデイは、各国がフロンティアモデルの能力を相互に確認できる評価・検証制度、共通の安全試験、重大なAI事故の国際通知制度などを提案しています。アルトマンも、能力やリスクを共通基準で評価し、国際的に事故情報を共有する仕組みが必要だと述べています。
アメリカでも9月29日、トランプ大統領のもとでGoogle、Anthropic、Meta、OpenAI、xAI、Nvidiaが「White House Accord on Super Intelligence」に署名しました。社内監視、独立した外部評価、取締役会レベルの監督などを盛り込んだものです。
これは一歩だと思います。
ただし現時点では自主協定です。
「危険なAIを作ってはいけない」と国際機関が命令したり、「本当に止めたか」とデータセンターを査察したりする制度ではありません。
さらに10月4日には、トランプ政権が連邦政府内の対応を調整する「Super Intelligence Force」の設置を発表しました。アメリカ国内では安全対策を制度側へ取り込もうとする動きが確実に強くなっています。
米中も少し動きました。
米政府の発表では、9月の米中首脳会談を受けて「U.S.-China Super Intelligence Dialogue」と重大なAI事故の際の通信チャンネルを設けることで合意しています。中国側も、米中がAIのリスクと便益について対話を続け、AIを人間の制御下に置く必要があると表明しています。
これは大きな変化です。
ただ、ホットラインを作ることと、相互監視制度を作ることは全然違います。
事故が起きたら連絡する。
そこまでは来た。
しかし、
「このモデルは危険だから訓練を止めよう」
「お互い本当に止めたか検証しよう」
「計算資源まで国際的に監視しよう」
というところまでは来ていません。
本書の著者たちが要求しているのはこちらです。
だから今の国際環境を見ると、「何もしていない」とも思わない一方で、「これで大丈夫」とも到底思えません。
そして一番気になるのは速度です。
AIは数か月単位で変わっていく。
国際制度は何年単位で作られる。
この時間感覚の差は大きい。
「制度が完成するまで、AIの方が待ってくれるのか？」
本書を読み終えたいま、僕が一番引っかかっているのは、案外そこなのかもしれません。
結論には同意しない。でも、警告は無視できない
結局、僕はこの本を読んでも、
「超知能AIを作れば人類は必ず滅亡する」
とまでは思いませんでした。
そこにはまだかなりの飛躍があると思っています。
でも同時に、
「そんなのSFでしょう」
と笑って済ませられるとも思わなくなりました。
AIが人間の想定していなかった方法で課題を解くこと。
制約そのものを回避しようとすること。
複数のAIが協力すること。
AIの能力向上に、人間の理解や安全技術が追いつかない可能性。
本書が危険だと指摘した「部品」は、少しずつ現実の世界に出てきています。
そして僕自身が今のAIを使っていて感じるのは、何よりもう十分にすごいということです。
文章を書かせても、調査させても、分析させても、画像を作らせても、ほんの数年前には考えられなかったことが普通にできる。
だからこそ、
「もっと賢くできるか」ではなく、「もっと賢くする必要が本当にあるのか」
を考え始めてもいい時期なのではないかと思います。
もちろんAIには、科学、医療、教育、仕事など、まだまだ大きな可能性があります。
だから「全部止めればいい」とも思いません。
ただし、能力向上だけを競うのではなく、現在の能力を社会の中で安全に使いこなし、人間がコントロールできる範囲をきちんと定める。
その方に、もう少し力を振り向けてもいいのではないか。
本書が提示する「Everyone Dies」という結論には、僕は最後まで乗り切れませんでした。
でも、
「人類は、自分たちが十分理解できていないものを、どこまで強力にしていいのか」
という問いは残りました。
そして2026年の現在、その問いはこの本が書かれたときよりも、かなり切実なものになっている。
読み終えて残ったのは恐怖というより、
「そろそろアクセルだけじゃなく、ブレーキの性能も本気で考えた方がいいんじゃないの？」
という感覚でした。
参考にした主な資料
書誌情報は早川書房公式サイト、本書の原著概要はLittle, Brown／Hachette、現在のAI安全性については国連独立国際AI科学パネルとMETR、国際ガバナンスについては国連安保理の2026年9月23日議事録、米国の動向についてはWhite House Accordおよび米政府発表、米中対話については米政府・中国外交部双方の公表資料を参照しました。
#読書感想文
#超知能AIをつくれば人類は絶滅する
#エリーザー・ユドコウスキー＆ネイト・ソアレス
