ハルシネーション
Hallucination
AIが事実とは異なる内容を、もっともらしく生成してしまう現象
簡単に説明すると
生成AIが、事実ではないデタラメな情報を、さも正解であるかのように答えてしまうことだよ。 例えば、架空の事件を歴史的事実のように語ったり、存在しない本や論文を捏造して紹介したりする現象のことなんだ。 AIに悪気があるわけじゃなくて、わからないことでも推測で答えを作ろうとする仕組み上、起こってしまうミスなんだよ。
名前のヒミツ
Hallucination（ハルシネーション）は、元々「幻覚」という意味だよ。 AIがあたかも現実にあるかのように、存在しない情報を自信満々に作り出す様子が、幻覚を見ているのに似ていることから名付けられたんだ。
くわしく見てみよう！
ハルシネーションとは、AI、とくに大規模言語モデルが事実に基づかない誤った情報を、もっともらしく生成してしまう現象のことだよ。
まるで本当のことのように自信満々に、流暢に語るから、人間がつい信じ込んでしまうリスクがあるんだ。
そもそも多くの生成AIは、人間のように言葉の意味を正しく理解して思考しているわけではないんだ。
学習した大量のデータをもとに、「この言葉の次にはこれが来そうだ」という確率計算を繰り返して、もっともらしい文章をつなぎ合わせる仕組みなんだよ。だから、内容が事実かどうかを人のように確認しているわけではなく、あいまいな情報でももっともらしく語ってしまうことがあるんだ。
例えば、知らないことでも「知りません」と言えないことがあり、文脈に合わせて無理やり答えを作ろうとして、全くのデタラメを言ってしまうことがあるんだよ。
検索拡張生成のように、外部の信頼できる情報を参照させてハルシネーションを減らす方法もあるけれど、完全にゼロにするのは難しいんだ。
そのためAIの出力は、内容を鵜呑みにせず、必要に応じて情報源と照らし合わせて扱われるんだ。