AIのハルシネーションとは？防ぐ方法は？

ハルシネーションとは何を指すか

米国国立標準技術研究所（NIST）は、これを「confabulation（作話）」と呼んでいます。生成AIが、自信ありげに述べる誤った内容や偽の内容を作り出すことです。一般にはハルシネーションという呼び方が通っています。渡した資料と食い違う回答や、同じチャットの中で先に言ったことと矛盾する回答も含みます。

画像や動画では、指が多い、物が溶けるといった不自然な描写もハルシネーションと呼ばれることがあります。ただし、これは偽の主張ではなく品質の問題です。創作では、存在しないものを作ることがむしろ目的になります。ハルシネーションが問題になるのは、事実が必要なときです。

言語モデルがハルシネーションを起こす理由

言語モデルは、ここまでのテキストから次のトークン（テキストの小さな断片）を予測して文章を書きます。学習の目的は、真実のテキストではなく、ありそうなテキストを作ることです。たいていは「ありそう」と「真実」が重なるので、モデルは役に立ちます。失敗は、両者が重ならないところで起きます。

• 事実確認の仕組みがない。次トークン予測には、出力を現実の世界と照らし合わせる処理がありません。
• まれな事実は学習が弱い。学習中に数回しか出てこない事実は、似た事実と混ざりやすくなります。たとえば、あまり有名でない公人の生年です。
• 当てずっぽうが報われる。2025年に発表された研究は、一般的な学習やベンチマークの採点では、自信のある推測には得点が入る一方、「わからない」には得点が入らないため、モデルが推測を覚えると論じています。
• よくある誤りの模倣。人間のテキストで学習したモデルは、広まっている誤解を繰り返すことがあります。TruthfulQAベンチマークは、これを測るために作られました。
• プロンプトによる圧力。続編がない映画の2019年の続編を尋ねるなど、誤った前提を含む質問は、モデルがその前提に付き合ってしまう原因になります。
• 長い、または散らかったコンテキスト。長い入力の中ほどにある詳細は、見落とされたり混同されたりしやすくなります。
• 知識のカットオフ。検索や文書が追加されない限り、学習データが終わった後のことは何も知りません。

特に危険なタスク

リスクはモデルそのものより、何をさせるかによって大きく変わります。

法律のリサーチは、よく知られた危険地帯です。チャットボットが捏造した判例を引用した書面を提出したとして、弁護士が裁判所から制裁を受けた例があります。

ハルシネーションを減らすプロンプト

最も効果的なのは、グラウンディングです。モデルに元の資料を渡し、その資料だけから答えるよう指示します。検索拡張生成（RAG）も同じ考え方で、システムが先に文書を検索し、最適な箇所をプロンプトに入れます。

Weak prompt:
What is the refund period in our store policy?

Grounded prompt:
Answer using only the policy text below.
If the answer is not in the text, reply: Not stated in the policy.
Quote the exact sentence you used.

Policy:
<paste the policy text here>

Question: What is the refund period?

グラウンディングしたプロンプトの各行には役割があります。「Answer using only the policy text below」は情報源を方針の文面だけに限定します。「If the answer is not in the text, reply」の行は、推測する以外の安全な答えをモデルに与えます。「Quote the exact sentence you used」を入れると、回答を数秒で確認できます。

ほかにも効果のある習慣があります。

1. 質問を絞る。長い一覧より、1問につき1つの事実のほうが、正しく答えさせやすくなります。
2. 不確かさを許す。「確信がなければそう言い、何があれば確認できるかを説明して」といった一文を加えます。
3. 最新の事実には検索やブラウジングをオンにし、回答が引用するリンクを開く。
4. 複数の要素がある問題では、推論や手順を書かせて、各ステップを確認する。
5. 記憶から出典を出させない。検索ツールで出典を探させるか、自分で見つけて貼り付けます。
6. コードの場合は、ライブラリのバージョンを伝え、関連するドキュメントを貼り付けて、コードを実際に実行する。

AIの回答を確かめる方法

事実に関わる内容を頼りにしたり公開したりする前に、次のチェックリストを使いましょう。

1. すべてのリンクとDOIを開く。ページが存在し、回答の主張どおりのことが書かれているかを確認します。
2. 引用文は完全一致で検索する。一次情報で見つからない引用は使いません。
3. 数字はすべて一次情報で確認する。公的統計サイト、規格、元の論文などです。
4. 危険信号に注意する。出典のない非常に細かい数字、ありきたりに見える著者リスト、見つからない参考文献、聞き直すと変わる回答などです。
5. 重要な主張は、別のチャットボットではなく、独立した2つ目の情報源で確認する。
6. 法律、医療、金融に関わる質問は、資格のある人に結果を確認してもらう。

対策の限界

現在の方法では、ハルシネーションを完全に取り除くことはできません。グラウンディングやRAGは、文書で答えられる質問については発生率を大きく下げますが、モデルが文章を読み違えたり、2つの文章を混ぜたり、文書にない隙間を埋めたりすることはあります。検索ツールが質の低いページを返し、モデルがそれを信じてしまうこともあります。

temperatureを下げると、回答の再現性は上がりますが、正確にはなりません。最もありそうな答えが間違っていれば、モデルは同じ間違いを一貫して繰り返します。

新しいモデルは、よくある質問ではハルシネーションが少ないことが多く、わからないことを認めるよう訓練されたものもあります。それでも発生率は話題や言語によって異なります。頼る前に、自分が使う種類の質問でモデルを試し、間違いのコストが大きいところでは人によるチェックを残してください。