GLOSSARY

トークン

トークンとは、AIが文章を処理する際の最小単位で、単語や文字の一部を区切って数えたものである。

LLMの多くは、入力・出力できるトークン数に上限があり、扱えるデータ量の目安となる。APIの利用料金も、多くの場合トークン数に応じて計算される。