理解するとは、どういうことでしょうか。
三省堂国語辞典 第3版によると、
りかい【理解】
- 〔ものごとの筋道や わけを〕考えて正しく知ること。わかること。「文章を–する・–に苦しむ・–力」
- 〔相手の気持ちなどを〕正しく くみ取ること。「だれもわたしを–してくれない・–のある親・–を示す」
と示されています。だれもが納得する定義ですね。一方で、先生と学生の次のような対話を考えてみましょう。
先生：先週渡した論文読んだか。内容を説明してみてくれ。
学生：・・・
先生：おい、理解してないのか。
苦いシーンを思い出した方もいるかもしれません。この場合、理解したということを、自然言語で表現できたか否かで評価していることになります。あるいは、理解度テストと称して、学校でテストを受ける人もいるでしょう。テストの点数が良ければ理解できている、と評価されます。つまり、他人にわかる形で表現できていることが理解できていることの指標になるわけです。
ところで、ChatGPT や Gemini などの生成AIは、私たちの言葉を理解しているのでしょうか。いつも回答に困ることなく、自然言語で流暢に表現します。したがって、あなたの入力したプロンプトを生成AIは理解していると、評価できることになります。
しかし、生成AIはあなたの入力したプロンプトに対して、もっともらしいトークンを次々に生成しているにすぎません。果たしてこれはあなたの入力したプロンプトを理解していることになるのでしょうか。
どうやら、生成AIが理解しているか否かについて論ずる前に、理解しているということを正しく評価する基準を別に定めないといけないようですね。