AIコトバ図鑑
技術とーくん

トークン

AIが文字を処理する最小単位。課金もこの単位で行われる。


詳しい解説

LLMが文章を処理する最小単位。英語は単語・単語の一部、日本語は1〜3文字ごとに1トークンが目安。API利用料金はトークン数で課金されます(入力と出力それぞれ)。

関連用語