ハーネスエンジニアリング

ハーネスエンジニアリングとは、AIモデル（LLM）を実運用で動く「AIエージェント」に育て上げるために、モデルを取り囲む土台（ソフトウェア基盤）を設計・構築する技術のことだよ。
「AIエージェント ＝ モデル ＋ ハーネス」という考え方に基づき、外部ツールとの連携、安全なプログラム実行環境（サンドボックス）、メモリやコンテキストの管理、思考から行動へのループ設計、安全性を保つためのガードレール、動作状況を捉える可観測性、そして自動でのテストや評価（フィードバックによる自己検証）など、モデル以外のすべてを組み合わせて統合環境を作り上げるんだ。自動テストや評価はこの土台を構成する要素の一つであって、ハーネスエンジニアリングそのものの主な目的ではないんだよ。

これに似た概念として「テストハーネス」や「評価ハーネス」があるけれど、これらは判定の仕組みも目的も異なるものだ。
まず「テストハーネス」は、テスト対象のプログラムにデータを渡して期待される結果と比較し、不具合の有無を「合格・不合格」で判定する仕組みのこと。
一方の「評価ハーネス」は、大量の問題に対するAIの出力を採点し、その能力を「正答率などの数値スコア」として算出して比較する仕組みを指すよ。合否を出すテストハーネスと、数値で採点する評価ハーネスは、判定の出し方そのものが違うんだ。
ハーネスエンジニアリングは、こうしたテストや評価の仕組みも構成要素の一つとして取り込みながら、AIエージェントを本番で動かすための土台全体を作り上げる、より広い範囲を扱う技術なんだよ。