・今から25億年前、生物学者が「 大酸化 事変」と呼ぶ 出来事が 起きた、 新しい生命体のシアノバクテリアが、太陽光エネルギーを利用して大気から貴重な 二酸化炭素を取り込み 光合成する方法を覚えた。この過程で廃棄物として排出されたのが今では「酸素」化学物質である。酸素は非常に 毒性が強く、 当時の ほとんどの生物にとって有毒であった。 そして 大気中の酸素濃度が高まり始めると、酸素を排出していた当のバクテリアを含む ほとんどの生物は酸化に対処できず 死滅した。幸運な 少数派の細胞の系統が適用し、やがて酸素を燃料として用いる 好気性生物に進化した、だが物事がかつての状態に戻ることはなかった(p15)
・1930年代にドイツではユダヤ人 家族に危険が迫っていることを警告する兆候があった、 危険を察知してすぐに逃れた 少数派もいたが大多数の人がその場にとどまった。 すると彼らはナチス政府に市民権とパスポートを剥奪され逃れるチャンスを断たれた。 数年後 彼らは一斉検挙され絶滅収容所に送られた。 多くの数 家族がとどまった理由は 警告 徴候に気付かなかったわけではなく、最悪の事態になる前に生活が常態に 戻ると信じていたからであった(p16)
・昔々 人間は ASI（人工超知能＝思考し、経験から汎化し、科学の謎を改名して新たな技術を発明し、計画・戦略・構想を立て、自身のあり方を検討し改善する人間の能力を超えるAI)創造の一歩手前にいた、常態は必ず終わりを迎える、だが必ずしも悪い状態に変わるとは限らない、 悪くなることもあればならないこともあるし 行動によって結果を変えられることもある、しかし「最悪の事態にはならない」という希望にすがりつく こと は何の助けにもならない(p16)
・人間は 今も「 汎用性」 と呼ばれる領域では優位性を保っているように思われる、知性がより「汎用的」とは、より広い領域で予測と操舵を 実行できることである。人間は必ずしもすべての領域で最も優れてはいない、 だが人間はより幅広い領域で 汎用的な思考ができる。より幅広い領域で予測と操舵を成功させることができる(p28)
・人間の脳には約1000億個のニューロンと100兆個のシナプスがある、 これは 記憶容量で言うと、 ほとんどのノートパソコンを上回る。 だが 現在のデータセンターは人間の脳の記憶容量の1000倍以上に当たる 400ペタバイトものデータを5 ミリ秒以内にアクセスできる場所に保持している。 しかも 現代の AI は人類の全知識のかなりの部分を使って訓練され その知識のかなりの部分を保持している。 これはどんな人間でもなし得ない 離れ技である(p31)
・ 一旦 AI が高度な技術レベルに達したら人間はお祓い箱になる、人間にも かつて 馬に頼っていた時代があった、 餌代は高くついたが、それでも 馬を飼っていた。なぜなら に変わる自動車や 騎兵隊に代わる 装甲戦車を まだ発明していなかったからだ、 しかし 一旦馬の技術的 代替物を発明すると馬を飼わなくなった。鶏は上手と違って今も大量に繁殖・飼育されているが、 それは人間の技術が他の安価な方法で肉を培養するレベルには届いていないからである(p96)
・ 超知能にとっては人間を殺すよりも 交易相手として利用する方が価値が高いのではないか、 これは 経済学者がよく投げかける 問いである。比較優位の原則というものがあるからであろう、 ハイテクの国が ローテクの国と交易することで双方が全体としてより多くの利益が得ることができる。残念ながらこの原則が成り立つのは、 ローテク 国とハイテク国の両方が、この先も存続して 労働力を生み出し続ける場合だけである。 人間一人を動かすのに必要な熱量は最低でも100 W 必要とする。人間が100 W を使って生産できる財や サービスが、 機械超知能が同じ 100 W を使って生産できるものを上回るとはとても考えられない(p97)
・人間が脳内に閉じ込められていないのと同様、 AI は「コンピューター内に閉じ込められて」などいない 。人間の思考は脳内を流れる電気信号でできている、脳から発した電気的な神経 信号は脊髄を通って筋肉に伝わると連鎖反応を 引き起こし、 ハンドルを正しい 方法で切らせるように 筋肉を収縮させる。同様に コンピューター内の電気信号も 世界全体に連鎖的影響を及ぼす。人間にできることは、 手や体を使って何かを動かせるかによって 決まる。 AI にできることはインターネットに接続された人間などの「装置」を使って何を動かせるかによって決まる。 インターネットは数十億台の電話やスマートフォン、 コンピューター、 そして人間が接続された 豊かで複雑な環境である。 そこには全世界 A に影響を与える機会があふれている(p109)
