生成AIの回答は、ニュアンスとフィーリングがドライブしてる気がする。考えてみれば当然で、目立つところに注目してざっくりと把握するという、まるで同調圧力に負けちゃった人間のような学び方をしているから。
だから、AIは自身の回答を理解していない。論理的、理論的に回答しているように感じるけど、それは人間の知識を無批判に取り込んで、「なんとなくコレ、重要じゃん」という数値化された雰囲気でそれらしい回答を組み立てている。その結果が、人間が回答するであろう内容と極めて近似しているだけのことらしい。
例えば、架空の ISBNを回答するのは、「ISBNという文字列が来たら、10桁か13桁のなんとなくそれっぽい数字を打ち返せばいいらしい」というフィーリング・ルールで動作しているからじゃないかな。コレ、すごく危ないことで、まあ面白いよね、の一言で済ませることはできるんだけど、バカとマトモの格差のようなものを加速度的に拡大するんじゃないかな。
AIが膨大な絵や言葉を取り込んで、そこに何となく見えている平均的な傾向をルールとして質問に反応している点で、統計の平均で社会を眺めて分析したり判断したりするというのに似ている。ただそこには因果関係が欠落してるんだよね。