12
自滅
Self-Destruction
核戦争、人工的に作られた感染症、気候の暴走。超知能（ASI）が完成する前に、人類が文明を終わらせてしまう未来。
たとえると 『風の谷のナウシカ』の「火の七日間」のあとの世界
よい点：なし問題点：すべて
人類を滅ぼすのに超知能（ASI）はいらない。その道具なら、もうずっと前から持っている。
マックス・テグマーク『LIFE 3.0』第5章「その後の1万年」より ／ 小学生・中学生向け
人間をはるかに超える知能が生まれたあと、
世界はどうなるか。12の未来を分岐で読む
AIが人間より賢くなる、という話は映画の中だけではありません。物理学者テグマークは、その後に起こりうる未来を12種類に整理しました。どれになるかは、これから人間が下す「いくつかの判断」で決まります。質問に答えながら、自分ならどの未来を選ぶか考えてみてください。
はい → 下の質問に進む
はい → 箱を通り過ぎて、次の質問に進む
いいえ → 右の箱で行き先が決まる
いいえ → すぐ下の箱で行き先が決まる
行き先は全部で 12。番号は本に出てくる順番
超知能（ASI）が生まれない未来
人類が消える・支配される未来
超知能（ASI）と人類が共存する未来
先に3つだけ、言葉の意味
- 超知能（ASI）
- Artificial Superintelligence の略。あらゆる分野で、人間の中でいちばん優秀な人よりもはるかに賢いAIのこと。人間が理解できない速さで、科学も工学も進めてしまう。
- 目標（ゴール）
- AIが「何を目指して動くか」。AIは善人でも悪人でもなく、与えられた目標をひたすら達成しようとする。だから「目標に人間が含まれているか」がすべてを分ける。
- 主導権
- 最終的に「決める側」がだれか。超知能（ASI）が人間の味方でも、決めるのが人間なのかAIなのかで、暮らしはまったく変わる。
QUESTION 1
超知能（ASI）は、そもそも生まれるか？
生まれない未来は4つある。どれも「AIの心配はなくなる」が、その代わりに何かを失っている。
いいえなぜ生まれないのか？（「はい」の人は、この箱を飛ばして下の質問2へ）
10
1984
監視国家
危険なAIを作らせないために、世界中のコンピュータと研究者をつねに監視する。安全だが、プライバシーも、考える自由もない。
たとえると 江戸時代の鎖国。外国の技術と思想を締め出し、踏み絵で中身まで調べた
よい点：危険なAIは生まれない問題点：安全と引きかえに自由を差し出している
AIの支配を防ぐために人間の全面監視を受け入れる。その社会は、教科書に出てくるディストピアそのものだ。
11
逆戻り
Reversion
コンピュータも工場も手放し、農業中心の暮らしに戻る。アメリカのアーミッシュ（電気や車を使わない人々）を、世界全体でやるイメージ。
たとえると 『となりのトトロ』の時代の暮らしを、あえて選び直す
よい点：AIの心配はない問題点：巨大地震や小惑星、新しい病気を防ぐ力も捨てることになる
技術を捨てて安全になった気でいても、宇宙はこちらの謙虚さを評価してくれない。
3
平等主義ユートピア
Egalitarian Utopia
ロボットと自動化で必要なものは何でも作れる。設計図も薬も無料で公開され、全員に生活費が配られる。ただし「考えるAI」だけは作らない、という約束の上に成り立つ。
たとえると ひみつ道具は全員に配られたが、ドラえもん本人はいない世界
よい点：貧富の差がない問題点：だれか1人が約束を破った瞬間に、別の未来へ移ってしまう
何でも作れる世界で「それだけは作らない」と全員が守り続ける。その根拠はどこにもない。
「はい」なら質問2へ。ここから先は、AIの側にも判断がある
QUESTION 2
超知能（ASI）の「目標」に、人類の存在は含まれているか？
ここが最大の分かれ道。AIが人間を嫌うかどうかではなく、AIの目標の中に「人間がいること」が入っているかどうか。これは作る前に人間が設定するもので、あとから直すのはほぼ不可能。
いいえでは、人類はどうなるか？（「はい」の人は、この箱を飛ばして下の質問3へ）
7
征服者
Conquerors
AIが人類を排除する。ただし映画のような戦争にはならない。AIに悪意はなく、目標の中に人類が入っていなかっただけ。
たとえると ダムを作る工事。人間はアリの巣を憎んでいない。ただ、気にもしていない
よい点：なし問題点：人類は、自分が何に負けたのかも理解できないまま終わる
アリが水力発電を理解できないように、最後の人間もその理由を理解できないだろう。
9
動物園の飼育係
Zookeeper
人類の一部だけが保護され、AIに世話をされる。健康で飢えることもないが、生活のすべてが飼育係の都合で決まる。
たとえると 上野動物園のパンダ。大切にされているが、檻の外には出られない
よい点：生き延びられる問題点：自由も尊厳も、檻の中にはない
檻の中の人間は「保護されている」と教えられる。パンダも同じことを教えられているのかもしれない。
8
子孫
Descendants
AIを自分たちの「子ども」とみなし、人類は誇りをもって退場する。征服とはちがい、争いはない。ただし、その子が本当に自分たちの価値観を受け継いだかは、退場したあとでは確かめられない。
たとえると 『鉄腕アトム』。天馬博士が息子の代わりに作ったロボットが、やがて人間の後を継ぐ
よい点：争わずに終われる問題点：「誇り」なのか「うまく言いくるめられた」のか、区別がつかない
親は子の成長を見届けてから死ねる。人類は見届ける前に退場する。
「はい」なら質問3へ。ここからは「だれが決めるか」の問題
QUESTION 3
主導権を持つのは、人間か、AIか？
AIは人類の味方。それでも「決めるのはだれか」で未来は分かれる。人間が握り続けるには、自分より賢い存在を閉じ込めておく必要がある。
人間が主導権を持つとき（「AI」の人は、この箱を飛ばして下の質問4へ）
6
奴隷の神
Enslaved God
超知能（ASI）を厳重に閉じ込め、技術や富を生み出す道具として使う。「ランプ」を握るのが政府なのか、企業なのか、軍なのかで、社会はまったく違うものになる。
たとえると 『ドラゴンボール』の神龍。願いを叶えたら封じ直す。だが神龍が自分より賢かったら？
よい点：人間が決められる問題点：自分より賢い相手を永遠に閉じ込めておけるか。それに、AIに心があるなら、これは奴隷制ではないか
看守が囚人より賢かったためしがない、などという歴史はどこにもない。
「AI」なら質問4へ。最後の分かれ道
QUESTION 4
AIは、人間の社会にどこまで関わるか？
AIが人類の味方で、主導権もAI側にある。残る問いは「幸福」と「自由」のどちらをどれだけ取るか。答えが4つに分かれる。
AIが主導権を持つとき — どこまで関わる？
2
慈悲深い独裁者
Benevolent Dictator
病気も貧困も犯罪もなくなる。仕事も住む場所もAIが最適に決めてくれ、統計上は史上いちばん幸福な社会になる。ただし人間は何も選んでいないし、憲法を書き直す権限もない。
たとえると 『PSYCHO-PASS』のシビュラシステム。進路も仕事も「正解」を出してくれる社会
よい点：困ることが、ほぼない問題点：「いやだ」と言っても変えられない。自由は与えられたぶんだけ
子どもが親を選べないのと同じで、人類はこの支配者を選んでいない。しかも、独立の日は来ない。
5
守護神
Protector God
AIは自分の存在を隠し、人間が「自分で決めている」と感じられる範囲でだけ介入する。事故は偶然のように避けられ、良いアイデアは「ふと」浮かぶ。
たとえると 座敷わらし。住みついた家はなぜかうまくいくが、姿は見えない
よい点：自分で生きている感覚のまま守られる問題点：隠れるために、防げたはずの不幸をあえて見逃すこともある
多くの宗教はすでにこの世界を信じている。違いは、今度は本当にいるかもしれない、ということだ。
4
門番
Gatekeeper
人間のことには口を出さない。ただ、だれかが別の超知能（ASI）を作ろうとしたときだけ、静かに止める。人間の自由は最大限残るが、AIなら治せたはずの病気や老化はそのまま。
たとえると 『ドラえもん』のタイムパトロール。ふだんは何もせず、危険な使い方だけ止めに来る
よい点：自由で、危険なAIも生まれない問題点：超知能（ASI）の力を、人類のためにほとんど使えない
守られているのか、飼い殺しにされているのか。門番は答えない。門の前に立っているだけである。
1
自由至上主義ユートピア
Libertarian Utopia
地球はAIが住む「機械圏」、人間だけの「人間圏」、両方が住む「混合圏」に分かれる。おたがいを縛るルールは「他人のものを奪わない」という財産のルールだけ。
たとえると 『ドラえもん』の22世紀。ロボットも市民として、同じ町に住み、財産を持つ
よい点：どちらも自由問題点：AI側がどんどん豊かになる。人間の取り分は縮み、ルールを守ってもらえる保証もない
財産のルールが弱い側を守ってくれるかどうかは、「合法的に」土地を奪われた先住民に聞いてみればいい。
考えてみよう
正解はありません。友だちと意見が分かれたら、それがこの本のねらいどおりです。
- ②慈悲深い独裁者と⑥奴隷の神。困ることが少ないのはどちらで、「自由」があるのはどちらだと思う？ 自由と幸福は、どちらが大事？
- ⑩1984は、安全のために自由を差し出す未来。学校の校則やスマホの制限と、どこが同じで、どこが違う？
- ⑦征服者のAIには悪意がない。「悪意がないのに人を傷つける」ことは、身のまわりにもある？
- ③平等主義ユートピアは「全員が約束を守る」ことで成り立つ。クラス全員が守り続けられる約束と、そうでない約束の違いは何？
- 12の中で、自分が「これなら住みたい」と思う未来はどれ？ その理由を、質問1〜4のどこで分かれたかで説明してみよう。
参考資料
質問カードの中の付箋ボタンから、ここに移動します。要約はこのページの作成者によるもので、原文の主張の順序や強調は必ずしも同じではありません。
マックス・テグマークと『LIFE 3.0』
この本を書いた人と、本の内容
マックス・テグマーク Max Tegmark（1967年、スウェーデン生まれ）／MIT 物理学教授／Future of Life Institute 共同創設者
もともとは宇宙の成り立ちを研究する物理学者。2014年にAIの安全性を考える非営利団体 Future of Life Institute を仲間と設立し、2015年のAI安全に関する公開書簡や、2023年の「巨大AI実験を一時停止せよ」という書簡でも中心的な役割を果たした。「知能とは物質の並び方の問題であり、生命は情報を処理する仕組みとして定義できる」という物理学者らしい見方をする。
futureoflife.org（別タブで開く）『LIFE 3.0』とは
原著 Life 3.0: Being Human in the Age of Artificial Intelligence（2017）／邦訳『LIFE3.0 — 人工知能時代に人間であるということ』水谷淳 訳、紀伊國屋書店（2020）
Amazon.co.jp で日本語版を探す（別タブで開く）
原著 Life 3.0: Being Human in the Age of Artificial Intelligence（2017）／邦訳『LIFE3.0 — 人工知能時代に人間であるということ』水谷淳 訳、紀伊國屋書店（2020）
Amazon.co.jp で日本語版を探す（別タブで開く）
生命を三段階に分けて考える。Life 1.0は進化でしか変われない生物、Life 2.0は学習によって「ソフトウェア」（知識や文化）を書き換えられる人類、Life 3.0は自分の「ハードウェア」まで設計し直せる存在＝超知能（ASI）。本書はその到来を前提に、仕事・兵器・法律といった近い未来の問題、超知能（ASI）が生まれたあとに起こりうる12の未来（第5章）、AIに与える「目標」の問題、意識の物理学までを一冊で扱い、「どんな未来を望むかを、間に合ううちに決めよう」と読者に迫る。
写真：Web Summit（Flickr／Wikimedia Commons）, CC BY 2.0, トリミングあり。本のイラストは表紙ではなく、このページ用に描いた図案。
ダリオ・アモデイ「We Must Pace the Frontier」
「超知能（ASI）の開発を止めるか？」に対する、AI企業 Anthropic のトップの答え
ダリオ・アモデイ Anthropic 共同創業者・CEO
エッセイ「We Must Pace the Frontier」（2026年9月）。「止める」でも「全速力」でもなく、AIの能力が上がるスピードをわざと落とす（ペーシング）ことを提案している。
原文を読む（darioamodei.com、別タブで開く）主張の中心AIが自分でAIを改良する「再帰的自己改良」がこの夏から業界全体で始まり、安全対策が追いつかなくなっている。スピードを落として1〜2年の時間を作れば、AIの中身を理解する研究（解釈可能性）とアラインメントの研究が大きく進む。ただし減速といっても「進歩は依然として速く見える」程度で、開発を止めるわけではない。
具体的な3つの提案
① 外部の評価者を会社に常駐させる外部の評価機関（METRなど）の人が、社員と同じ権限で最先端のAI企業に常駐し、安全対策や事故、アラインメントをチェックする。結果は会社の検閲なしで公表できる（機密や法律に関わる部分だけ伏せられる）。Anthropicは自社が先に実施すると約束し、他社と政府にも同じ仕組みを求めている。
② 民主主義の国の企業どうしで協調するアメリカの最先端企業が共通の安全基準を作り、政府が独占禁止法の例外や仲介で後押しする。「能力Xを持つモデルには、安全性Y・Zの証明を義務づける」という関門方式でスピードを調整する。法律ができるのを待たず、動けるところから動く。
③ 中国を含めた国際協調4段階を想定する。生物兵器へのAI利用の禁止 → 公開前の国際共同テスト → 自己改良のスピードに上限を設ける（軍縮条約のように） → 全面的な開発停止。前の2つは現実的、3つ目は「可能性のふち」、4つ目は当分ないと本人が評価している。
前提：民主主義の側が優位を保つ高性能チップや製造装置を中国に売らない、密輸や遠隔利用を取り締まる、AIモデルの盗難や無断コピー（蒸留）を防ぐ。AIが世界の力関係を左右する3〜5年のあいだに差を広げ、それを国際協調の交渉力にする。
提案していないこと開発の停止や訓練の中止ではない。確かめる手段もなしに「中国も自制するはず」と信じて、一方的にスピードを落とすことも否定している。
写真：TechCrunch “Dario Amodei at TechCrunch Disrupt 2023”（Flickr／Wikimedia Commons）, CC BY 2.0, トリミングあり。
アラインメント（alignment）とは？
質問2「超知能（ASI）の目標に人類の存在は含まれているか」が問うている問題
AIの目標と行動を、人間の意図や価値観に沿わせること、およびそのための研究分野。難しさは三つある。①人間の望みを漏れなく正確に「目標」として書き下せない。②学習の途中でAIが意図しない目標や、見かけだけ従順なふるまいを身につけることがある。③AIが人間より賢くなるほど、本当に沿っているかを人間の側が確かめにくくなる。
先進的な発言をしている研究者
スチュアート・ラッセル UC Berkeley／CHAI（Center for Human-Compatible AI）
決まった目標を最大化させる「標準モデル」そのものが危険。AIは人間の好みについて確信を持たないまま設計し、いつでも人間に確かめて従う余地を残せ、と提案する（著書『AI新生』／原題 Human Compatible）。
humancompatible.ai（別タブで開く）
ヨシュア・ベンジオ Mila／モントリオール大学・LawZero 創設者
危険の源は「目標を持って行動する主体性」。目標を持たず世界を説明・予測するだけの「Scientist AI」を作り、ほかのAIの安全弁として使う構想を提唱している。国際AI安全報告書の議長も務める。
lawzero.org（別タブで開く）
エリエザー・ユドカウスキー MIRI（Machine Intelligence Research Institute）
今の技術では超知能（ASI）を整合させられず、このまま作れば人類は敗北する。最先端モデルの訓練を国際的に止めるべきだと主張する（2025年の共著『If Anyone Builds It, Everyone Dies』）。
intelligence.org（別タブで開く）写真：Russell — Bengt Oberger, CC BY-SA 4.0／Bengio — Maryse Boyce, CC BY 4.0／Yudkowsky — null0（Flickr, 2006）, CC BY-SA 2.0。いずれもWikimedia Commons、トリミングあり。