LoRA(低ランク適応)
Low-Rank Adaptation
AIを効率よく追加学習させるための手法。
簡単に説明すると
LoRAは、AIが元々持っている知識をベースにしながら、特定の分野だけを効率よく追加で学ばせる技術のことだよ。 例えば、絵を描くAIに特定のキャラクターの特徴だけを覚えさせることができるんだ。 AI全体を作り直す手間がないから、少ないデータや性能が限られたパソコンでも追加学習ができるよ。さらに、学習したデータはファイルサイズがとても小さいため、手軽に共有できるのも特徴の1つだね。
名前のヒミツ
LoRA(ろーら)は、Low-Rank Adaptation(ロー・ランク・アダプテーション)の略なんだ。 Lowは「低い」、Rankは「ランク(情報の圧縮度合いを表す数値)」、Adaptationは「適応」を意味しているよ。 AI全体を書き換えるのではなく、情報を圧縮した小さなパーツを追加する仕組みだからこの名前がついたんだ。
くわしく見てみよう!
LoRAとは、大規模なAIモデルを効率よく学習させる手法のことだよ。
AIの学習には普通、膨大な計算量が必要になるけれど、LoRAを使えばその手間を大幅に減らすことができるんだ。
これにより、個人でも大規模なAIを特定の目的に合わせて調整できるようになったんだよ。
仕組みをかんたんに言うと、AIが元々持っている重み(知識の核)はそのまま固定しておいて、その隣に小さな「追加の計算式」を付け足して、新しい学習内容をそこに記録するイメージだね。
この追加する部分を、数学的に情報を凝縮した「低ランク」な行列で構成し、重みの更新分だけを効率よく表現することで、学習に必要なメモリ使用量や学習パラメータ数を大幅に抑えられるんだ。
元のAIの土台を壊さずに、必要な差分だけを賢く付け足せるのがこの仕組みのポイントだよ。
LoRAを使えば、自分だけのキャラクターを描かせたり、特定の話し方をさせたりする追加学習が手軽にできるようになるんだ。
元のAIは書き換えないから、複数のLoRAを差し替えて使うことも可能だよ。
また、学習した結果のデータも非常に軽いため、インターネット上で配布したり共有したりするのにも向いているんだ。