トークン
Token
AIが文章を処理する際の区切り単位や、アクセス権限を証明するためのデータのこと
名前のヒミツ
Token（トークン）。 元々は「しるし」「象徴」「代用貨幣」という意味の英単語だよ。 カジノのチップや地下鉄のコイン型切符もトークンと呼ばれるんだ。 ITでは「意味を持つ小さな単位」や「権限の証」として使われているね。
簡単に説明すると
AIの話でよく出てくるのは、言葉を分析するための「計算の単位」のことだね。 人間は「文字数」で文章の長さを測ることが多いけど、生成AIのサービスでは「トークン数」で計算されることが多いんだ。 これはAIがテキストを処理するために区切った単位のことで、必ずしも「1文字」や「1単語」とは一致しないんだよ。 日本語だと1文字が複数トークンになることもあるし、逆に短い言葉がまとまって1トークンになることもあるんだ。
くわしく見てみよう！
トークンとは、ITの世界で広く使われる「意味を持つデータの単位」や「しるし」のことだよ。
使われる場面によって意味が少し変わる、とても重要な言葉なんだ。
AIの世界、特に生成AIにおいては、文章を分解した「データの断片」を指すよ。
AIは文字をそのまま読むのではなく、計算しやすいように独自のルールで文字を区切って処理しているんだ。
この区切り方はAIによって違うから、同じ文章でもトークン数が変わることがあるよ。
AIを使う時に「トークン数」を気にするのは、一度に処理できるこの断片の量に限界があるからなんだ。
一方、セキュリティの世界では、大きく2つの使い方があるよ。
1つ目は、ワンタイムパスワードを生成するための小型の装置やアプリのことで、これを「トークン」と呼ぶんだ。ネットバンキングなどで使われているね。
2つ目は、サービスへのアクセス権限を証明するためのデータ（アクセストークン）のことだよ。たとえばあるアプリが君のGoogleカレンダーの情報を読み取りたいとき、Googleから発行されたアクセストークンを使って「この操作を許可されている」とシステムに示すんだ。
どちらもセキュリティに関わる「証明のための道具」だけど、ワンタイムパスワード用のトークンは主に本人確認に、アクセストークンは「この操作をしてよい」という権限確認に使われるんだ。