投機的デコーディング
Speculative Decoding
小さいAIが下書きを作り大きなAIがまとめて確認することで文章生成を高速化する技術。
簡単に説明すると
投機的デコーディングっていうのは、生成AIが文章を作るときに、小さなAIが先回りして作った下書きを大きなAIがまとめてチェックして文章を完成させる技術のことだよ。 普段AIは1単語ずつ順番に考えて言葉を出力するけれど、この仕組みを使うと1度に複数の単語を確定できるんだ。 AIの賢さや出力される文章の質を落とさずに、言葉を返すまでの時間を大幅に短縮できる仕組みとしてサーバーなどで使われているよ。
名前のヒミツ
投機という言葉には、結果を見越して先回りして動くという意味があるんだ。 英語ではSpeculative Decodingと呼ばれていて、推測に基づいたという意味のspeculativeと、言葉を紡ぎ出す処理を指すdecodingが合わさっているよ。先回りして言葉を作る仕組みから名付けられたんだね。
くわしく見てみよう！
投機的デコーディングとは、文章を生成するAIの処理速度を上げるために、動作の軽い補助AIが先行して予測した単語を本体の大規模なAIがまとめて検証する技術のことだよ。
生成AIが持つ本来の出力品質をまったく変えることなく、計算効率を引き上げて生成時間を短縮できる手法として広く知られているんだ。
通常の生成AIは、直前までの文章をもとに次の1単語を順番に計算して出力する仕組みになっているんだ。そのため、どれほど性能が高いコンピューターを使っても、1単語ごとに毎回膨大な計算を行う必要があって時間がかかってしまうんだね。
そこで投機的デコーディングでは、動作が非常に軽快な小型モデルに数単語先までの下書きを素早く作らせるんだよ。そのあとで本命の大型モデルが下書きを1度にまとめて読み込み、本体のAIが計算した言葉の出やすさに基づいて、下書きを採用するかどうかを同時に判定するんだ。
大型モデルによる検証の結果、下書きが採用されればその単語群はすべてそのまま使われるよ。もし途中で採用されない単語があれば、採用された部分に加えて、不採用になった最初の1単語だけを大型モデルが選び直し、それより後ろの下書きは破棄して小型モデルによる下書きと検証を再開するんだ。
この工夫によって、本体のAIだけで生成した場合と同じ出力の確率分布を保ちながら、1回あたりの生成ステップ数を大幅に減らすことができるんだね。チャットAIの応答速度を高める基盤技術として、大規模な配信システムなどで幅広く活用されているよ。