プロンプトキャッシング
Prompt Caching
AIへの指示を一時保存して、2回目からの処理を速くし費用も抑える技術。
簡単に説明すると
プロンプトキャッシングは、AIに送る指示文の一部を一時的に保存して、次回から素早く処理できるようにする仕組みのことだよ。 たとえば、AIに本の感想を聞くとき、その本の全データを毎回送り直して一から読み込ませると時間がかかるんだ。 そこで、本のデータをあらかじめ一時保存（キャッシュ）させておけば、2回目以降に同じ本のデータと新しい質問を一緒に送ったとき、AIは本の読み込み処理をスキップして質問にすぐ回答してくれるよ。 これで処理時間が短縮され、利用料金も安く抑えられるんだ。
名前のヒミツ
Prompt Caching（プロンプトキャッシング）は、AIへの指示である「プロンプト」と、一時的に処理を保存して高速化する「キャッシング」を組み合わせた言葉だよ。 送信された同じプロンプトの先頭部分を、システム側であらかじめ解析（処理）した状態で再利用し、処理にかかる時間や費用を抑える仕組みからこの名前がついたんだ。
くわしく見てみよう！
プロンプトキャッシングとは、AIに送る指示文（プロンプト）のうち、共通して繰り返し使われる長い文章を解析した結果を、システム側に一時的に保存しておき、次の処理で再利用する技術のことだよ。
かんたんに言うと、AI側のシステムで「よく使う長い前提データ」の事前解析処理を省略できるようにする仕組みなんだ。
通常、AIに質問するときは、前提となる長文の資料やこれまでの会話履歴などのデータを毎回一緒に送信し、AIはそれを最初からすべて解析し直したうえで、回答の生成に取りかかっているんだ。
これには多くの計算時間と費用がかかるけれど、この技術を使えば、送信された長いプロンプトのうち共通する部分の解析結果をシステム側で再利用できるため、その解析にかかる時間と費用を省略できるようになるよ。
この「共通する長文データ」の扱い方には、サービスによって主に2つのやり方があるんだ。
ひとつは、長文データを含むプロンプト全体を今まで通り毎回まるごと送信し、AI側のシステムがその先頭部分だけ解析結果を使い回す方式だよ。
もうひとつは、長文データをあらかじめシステム側に登録しておき、専用の呼び出し名（ID）を受け取ったら、2回目以降はその名前を指定するだけで済ませ、データ本体を送り直さない方式なんだ。
どちらの方式でも、新しい質問そのものへの回答の生成は毎回あらためて行われる点は変わらないから、同じ・似た質問への回答をそのまま使い回すレスポンスキャッシュのような技術とは別物だと覚えておくといいよ。
この技術は、AIを使ったアプリの開発者やサービスを提供する企業にとって大きな助けになっているよ。
共通データの送り方は方式によって違っても、サーバー側で重複する解析処理を省略できる分、回答が返ってくるまでの待ち時間を短くでき、利用料金も抑えられるんだ。