ChatGPTは怖くない 〜使い倒してラクをせよ：踊るバズワード 〜Behind the Buzzword（18）（2/11 ページ）

[江端智一，EE Times Japan]

ChatGPTの回答「江端智一について」を添削してみた

　私が、連載「Over the AI ――AIの向こう側に」で論じてきたAI技術の多くは、ロクなインタフェース（Web入力画面など）を持っていませんでしたが、ChatGPTの使い方はとても簡単です。3ステップくらいで使えます。

（Step 1） Google検索で”ChatGPT”と入力する

（Step 2） これをクリックして、”Try ChatGPT”ボタンをクリックする

（Step 3） ここに好きなフレーズ（例:『江端智一について教えて』）を入力してリターンする

　これだけです。ログインアカウントとパスワードの入力を求められるかもしれませんが、まあ、その辺は適当にアカウントを作成してください（私は、Googleのアカウントログインをそのまま使いました）。

　先程の4月29日分のChatGPTの文章を、添削してみましょう。なにしろ、私自身の経歴が解答ですから、添削は簡単です。

■江端智一（えばた ともかず（いち））は、

■日本のプログラマーであり、AIの研究者でもあります（AI研究者ではありません）。

■彼は、OpenAIという非営利研究組織で働いており（そもそも、OpenAI自体を知りませんでした）、

■大規模言語モデルの開発に関わっています（言語モデル自体、知りません）。

■また、彼はGPT-3という言語モデルの開発に重要な役割を果たし（GPT-3は、今回のコラムの下調べで初めて知りました）、

■その性能に貢献しました。（“貢献”以前の問題です）

■江端智一氏は、東京大学大学院情報理工学系研究科で博士号を取得しており（現在、別の大学の社会人大学院で、博士号取得を目指してヘロヘロになっているところです）、

■専門分野は自然言語処理と深層学習（あえていうのであれば、今なら”エージェントシミュレーション”でしょうか）です。

■彼は、言語処理技術を利用したさまざまな応用分野の研究に取り組んでおり（言語処理には、1mmも関わったことがありません）、

■その成果は高く評価されています（“評価”以前の問題です）。

　以上のように、4月29日分のChatGPTの答は、95％がデタラメで、唯一の正解は、「日本のプログラマー」の1つだけでした。

　この他、別の日の「江端智一について教えて」に対する愉快なChatGPTの解答例につきましては、こちらをご覧ください。

　「江端智一について教えて」で、最高傑作は、『東京大学出身博士号取得者』『文部科学省の事務次官』『政界に進出した国会議員』で、『国際的なAIの枠組みに取り組む国際機関のトップ』でした（このログのコピペを取り忘れていたのは、返す返す残念です）。

　しかし『ChatGPT = バカ』ではないのです。

　私にとって、最大の威力を発揮したのは、英語論文の概要把握です。私はこれで随分ラクをさせてもらいました。数百の英語論文の概要を、数日でまとめることができたからです。

　しかし、これらの論文の概要の内容が、どの程度妥当なものなのかを調べることはしていませんでした。

ChatGPTが返してきた論文概要は、どれくらい妥当なのか

　そこで今回、私の執筆した論文やカンファレンスペーパー（以下、”ペーパー”といいます）を使って、これを調査してみました。なにしろ自分が書いたものですから内容は熟知しています。対象としたペーパーは以下のものにしました。

　以下の表は、私のペーパーの中で、私が渾身を込めて主張したいと考えていた内容と、ChatGPTが、その私の「渾身」に対して、どれだけ応えてくれたかを、主観値で評価したものです（100点満点）。

　感想は、

「概要は間違ってはいないか、一般論の域を出ない凡庸な内容だった」
「私（江端）のオリジナリティの主張が全く取り出されていなくて、とても悲しかった」

です。

　これは邪推の域を出ませんが、「ChatGPTは、ペーパーの表題だけを読んで、内容を推測しているんじゃないか？」と疑ってしまうレベルです。

　まあ、それでも、論文調査においては、概要把握ができるだけでも上出来と言えます。それに、普通の人間でも、著者の『熱い思い』まで読みとるのは、難しいことですから。

　総じて、私、昨今のAI技術って、こんなもんだと思っていますので、それほど気にしていません。というか、これで十分だろう、と思っています。この気持ちをまとめてみると、こんな感じです。

　『弱いAI』『強いAI』については、「弱いままの人工知能 〜 “強いAI”を生み出すには「死の恐怖」が必要だ」で説明していますが、ざっくりとした説明を付けておきます。

　私の、ChatGPTに関する興味はもっと別のところにあります。これについては後述します。