DPO（直接選好最適化）
Direct Preference Optimization
AIが人間の好みに合う回答をするように直接学習させる手法。
簡単に説明すると
DPOは、AIに『どちらの回答が人間にとってより好ましいか』を直接教えて賢くする技術のことだよ。 人間が選んだ『良い回答』と『悪い回答』のペアをAIに見せて、良い回答を多く選び、悪い回答を避けるように学習させるんだ。 従来のやり方よりも計算の手間や時間をおさえられるため、対話型AIを調整する場面などで実際に使われているよ。
名前のヒミツ
DPO（ディーピーオー）は、Direct（直接）、Preference（好み・選好）、Optimization（最適化）の頭文字を合わせた言葉だよ。 人間の好みを直接使って、AIを最も良い状態に調整するという意味なんだ。 別の評価用AIを間に挟んで間接的に学習させるのではなく、人間の好みのデータから『直接（Direct）』AIを最適化（調整）できるという特徴からこの名前がついたよ。
くわしく見てみよう！
DPOとは、AIの出力する文章を人間の好みに近づけるための機械学習の手法のことだよ。
対話型AIなどが、人間にとってより自然で安全な回答をできるように調整する段階で使われるんだ。
これまでの代表的なやり方では、まず「人間の好みを評価する別のAI」を作り、そのAIを使って本命のAIを鍛えるという複雑な手順を踏んでいたんだよ。
しかし、DPOではその中間のAIを作ることなく、本命のAIに人間の好みのデータを直接覚えさせることができるんだ。このシンプルな仕組みのおかげで、学習に必要な計算量やプログラムの手間を大幅に減らすことができるようになったよ。
具体的には、AIに同じ質問に対して作られた「良い回答」と「良くない回答」の2つをセットにして見せるんだよ。そして、良い回答を選ぶ確率を高くし、良くない回答を選ぶ確率を低くするようにAIの中身を直接書き換えていくんだ。
かんたんに言うと、2択の問題集を繰り返し解かせて、人間の好みのクセをダイレクトに覚えさせるイメージだよ。この手法は、対話型AIを実用的なレベルに仕上げるプロセスなどで広く採用されているよ。