へつらう人工知能 〜巧みな質問を繰り返して心の中をのぞき見る：Over the AI ―― AIの向こう側に（9）（4/10 ページ）

[江端智一，EE Times Japan]

それでも、もう少し頑張って仮説を立ててみた

　それでも、私はもう少し頑張って考えてみました。

■仮説：AI技術を搭載したコンピュータが暴走したら、人類を滅亡させられる

　残念ですが、「暴走する」のは「AI技術」の仕業とはいえず、単なる「故障」です。「故障」と「AI技術」は無関係です。

　それに、もし、AI技術のプログラムが、バグなどで、暴走したのであれば、コンピュータの電源を落とせばいいのです。そのAI技術が、先回りして送電経路の制御を掌握する恐れがあるというのであれば（そんな都合のよいバグが発生する可能性は絶無でしょうが）、その地域一体を全部停電させれば良いですし、発電所を停止しても良いです。自家発電装置や蓄電池があるのであれば、その装置を破壊するか、ケーブルを切断すれば足ります

　電源を喪失することによって、逆に暴走を始める物騒なものは、世界中探したって「原子炉」くらいなものです（参考記事）。

■仮説：AIによって指揮系統を掌握された軍隊や兵器が、人類を滅亡させる

　これは、かなり無理をすれば考えられなくはないのですが、現実的ではありません。コストが見合わないからです。

　軍隊や兵器を掌握するための、専用のハードウェアと専用のソフトウェアから成る専用システムと、そのための、国家予算レベルの膨大なコストと時間が必要です。

　しかし、どこの世界に、自国を滅亡させるのためのAI技術を作るべく国家予算を費やす国があるか、ということです。

　多分、システムエンジニアでない人の中には、コンピュータシステムというのが、ちょっとした変更で、そのシステムの目的を、別の目的に変更できると考える人がいるのでしょうが ―― 私のところで、私の仕事の手伝い^＊）を、やってみますか？　3時間もあれば簡単に考えが変わると思います。

＊）例えば、数百万オーダのオブジェクトを同時に取り扱う、絶望的に可読性の悪い、数千行のソースコードのデバッグなど