Enlightenment Now その53

Enlightenment Now: The Case for Reason, Science, Humanism, and Progress (English Edition)

第19章　実存的脅威　その2

　
まずピンカーはヒトの認知バイアスや悲観的な方が賢く見えるということから本来のリスク以上に破局シナリオが取り上げられがちであること，対応リソースには限りがあるし，どのみち世界が破滅すると思えば対策を取る動機が失われるので，この破局シナリオにどこまでも対応すべきではないことを議論した．

• では我々は破局の脅威についてどう考えるべきなのだろうか．まず実存的脅威の最大のもの「人類の運命」を取り上げよう．
• 生物学者はしばしば「これまでに存在した種の99％以上は絶滅しているので近似的にはすべての種は絶滅する」というジョークをいう．典型的な哺乳類の存続期間は100万年ほどだ．人類が絶滅に関して例外だと主張するのは難しい．近傍で超新星爆発があればガンマ線放射で地球は死の星になる．小惑星が落下すれば大惨事が生じる．超巨大カルデラ火山は我々を窒息させかねない．ブラックホールが太陽系に入り込んで地球を軌道から放り出すかもしれない．人類がそれらを乗り越えても10億年たてば地球は巨大化した太陽に焼き尽くされる．
• だとするなら，テクノロジーについて我々に終末をもたらす理由だと考えるべきではない．テクノロジーこそが我々を破局から（しばらくの間であっても）救ってくれる可能性を持つものだ．それを考えてみるべきだ．核融合エネルギーによる食糧生産，衝突可能性のある小惑星の探知と軌道修正，超巨大カルデラ火山マグマだまりへの高圧水注入による冷却などテクノロジーが可能にするかもしれないことがあるのだ．

• だから，我々の文明は自分自身を破壊するのだというテクノロジー黙示録的主張は思い違いというべきだ．これまでに存在したほとんどの文明は外側から破壊されたのだ．伝統的な歴史は外側からの破壊要因を疫病，征服，地震，天候に求めるが，基本的には文明はより優れた農業，医療，軍事テクノロジーによってそれを回避できるのだ．（ここでデイヴィッド・ドイチュの「無限の始まり」が引用されている．技術の進歩による選択肢が得られれば「”自然”災害」と「無知による人災」を区別することはできなくなると書かれている．）

無限の始まり : ひとはなぜ限りない可能性をもつのか

　

• 「人類の存続を脅かす実存的脅威」と最近よく主張されるものは，AIやロボットに起因する大災害（ロボカリプスと呼ばれる．映画ターミネーターのイメージだそうだ）であり，いわば21世紀版のY2Kバグだ．しばしば非常に賢明な人がこれを主張する．イーロン・マスクは作っている自動運転車にAIを搭載しているにもかかわらず，これらのテクノロジーは核より危険だと公言したし，スティーヴン・ホーキングはAIは世界の破滅を引き起こせると警告した．
• ロボカリプスは，現代的な科学知識ではなく，「存在の大いなる連鎖」や「ニーチェ的意思」のようなグズグズの知識ベースの上にある．これは万能の意思を持つ機械を想定している．そして人類が劣った動物を家畜にしたようにスーパーインテリジェントな機械は我々を奴隷にするだろうとおびえているのだ．しかしその懸念は「ジェット機が飛翔能力でワシを凌駕してしまった以上，いつの日かジェット機はヒツジを引っさらっていくだろう」と考えるのに似ている．
• 第1の間違いは知性と動機を持つ意思との混同だ．ロボットがそもそもなぜヒトを奴隷にしたいなどと欲するのだろうか．AIのゴールはその知性の外側から与えられるのだ．複雑なシステムが征服意欲を創発させることになるようなどんな理論も存在しない．
• 第2の間違いは知性が連続的にどこまでも上がり，超知性はどんな問題も解決できると考えていることだ．問題は個別に異なり，解決に必要な知識も異なるのだ．そして知識は説明を定式化して現実の中でテストすることによってしか得られない．アルゴリズムを速く回しても問題解決のための知識を得ることはできないのだ．ビッグデータも無限に大きいわけでなく，知識は無限に開いている．
• これらの理由で，AIリサーチャーたちは最近の「人工一般知能（AGI）の出現は間近い」という騒ぎにうんざりしている．私が知る限り，AGIを作ろうというまともなプロジェクトは存在しない．それは商業的に見込みがないという理由ではなく，AGIというコンセプト自体まず実現不可能だと考えられているからだ．仮にAGIが意思を持つように試みるとしても，それはヒトの助けなしには無力な「水槽に浮かぶ脳」に過ぎないだろう．
• 現実にはデジタル黙示録を防ぐ方法は簡単だ．HALが怪しくなったときにデイヴはスクリュードライバーでそれを無力化した．もちろん悪意を持つ破滅をもたらす機械を想像することはできる．でもそんなもの作らなければいいだけだ．

• ロボットの反乱が怪しいとわかり始めると新たなデジタル黙示録が浮かび上がった．今度のはフランケンシュタインというよりミダス王の話に似ている．それはValue Alignment Problem（価値決定問題）と呼ばれる．我々は自らの目的設定をAIにまかせてしまい，その後はAIに目的設定を乗っ取られ，あとは受動的に生きるしかなくなるという恐怖だ．
• これは簡単に反駁できる．このシナリオは以下の馬鹿げた前提に基づいているからだ．（１）ヒトは全知全能のAIを設計できるが，その全知全能AIはテストなしで本番移行するほど愚かだ．（2）そのAIはヒトの脳を書き換えるほど聡明だが，目的設定を間違えるほど愚かだ．互いに相克するゴールがある中での行動選択は，知性を設計するときに入れ忘れられるようなアドオンではなく，知性そのものなのだ．
• 要するにAIもその他のテクノロジーと変わらない．それは累積的に発達し，多くの条件の中で機能するようにデザインされ，テストの上でリリースされ，常に安全をチェックされるのだ．

• AIについていえば，それによって職を奪われる人がいるという問題は確かにある．しかしこの失業は一瞬で生じるわけではない．引き続きヒトはコストの割には非常に高性能であり続けている．皿洗いや使い走りやおむつ換えは自動運転に比べて遙かに難しいのだ．

　
テクノロジーは人類に破滅をもたらすことを恐れるより，破滅を避けるために用いられることをよく考えようというピンカーの主張は真にもっともだと思う．特に日本にとってここ数千年を見たときに超巨大カルデラ火山の脅威は（大地震と大津波を遙かに超えて）リアルだ．温暖化対策を考慮に入れた原発のあり方も是非冷静に議論して欲しいところだろう．
後半のロボカリプスの話は楽しい．AIにある程度理解がある人々にとっては真にばからしい話が多いのだろう．ピンカーは引き続いてより深刻な脅威を議論する．それは真に悪意を持つ人間によって引き起こされるテクノロジーの濫用，つまりサイバーテロやバイオテロだ．