トークンは、自然言語のテキストを表すためにモデルで使用される基本ユニットと、請求に使用するユニットです。それらは、「キャラクター」または「単語」として直感的に理解できます。通常、中国語の単語、英語の単語、数字、またはシンボルはトークンとしてカウントされます。一般に、モデルのトークンと文字の数との間の変換比は、ほぼ次のようです。ただし、異なるモデルで使用されるさまざまなトークン化方法により、変換比は異なる場合があります。毎回処理される実際のトークンの数は、モデルのリターンに基づいており、使用結果から表示できます。トークンの使用をオフラインで計算します#
次のZIPパッケージでデモトークナイザーコードを実行して、intput/outputのトークン使用を計算できます。 