コンテキストロット
Context Rot
AIとのやり取りが長くなるほど前の指示を忘れ精度が落ちる現象。
簡単に説明すると
コンテキストロットっていうのは、AIに入力する会話や文章が長くなると、指示を守る精度や回答の質が低下する現象のこと。 AIシステムやアプリの開発現場などでよく問題になる課題なんだ。会話の履歴が長くなることが、AIが過去の指示を無視したり関係のない出力をしたりする原因になるよ。長文の資料解析や長時間のチャットボット運用などで対策が必要とされているんだよ。
名前のヒミツ
Context Rotという英語表現が元になっているよ。Contextは文脈や背景、Rotは腐敗や劣化を意味する英単語なんだ。AIが保持する情報が長くなると、内容が腐るように精度が落ちる様子から名付けられたよ。日本語ではコンテキスト劣化や文脈の劣化と呼ばれることもあるんだよ。
くわしく見てみよう！
コンテキストロットとは、AIに一度に入力するテキストの量が大きくなったり、会話が長くなったりした際に、モデルの精度や指示の追従能力が低下する現象のこと。
AIが読み込める情報の上限が広がっても、処理する情報が増えるほど内部で集中力が散漫になり、正確な回答を出せなくなるんだよ。
この現象が起きる主な原因は、AIが膨大な文章の中から重要な情報を検索したり関連付けたりする処理に負担がかかるためなんだ。
文章の最初や途中に書かれた指示が、大量のテキストの中に埋もれてしまい、AIがそれらを忘れたり無視したりしてしまうんだね。
ざっくり言うと、人間が厚い本を一度に全部読んで質問に答えるときに、途中の細かい話を忘れてしまう状態に似ているよ。
コンテキストロットを防ぐために、開発者は会話の履歴を定期的に要約したり、必要な情報だけを抽出してAIに渡したりする工夫を行っているよ。
また、指示文の位置をテキストの最後に配置し直すなど、AIが読み取りやすいプロンプトの構成方法も研究されているんだ。
長文を扱えるAIアプリを作る上では、この現象を意識した設計が不可欠になっているよ。