토큰 및 토큰 사용

토큰은 모델에서 자연어 텍스트를 나타내는 데 사용되는 기본 단위이며 청구에 사용하는 단위입니다. 그들은 직관적으로 '캐릭터'또는 '단어'로 이해 될 수 있습니다. 일반적으로 중국어 단어, 영어 단어, 숫자 또는 기호는 토큰으로 간주됩니다.

일반적으로 모델의 토큰과 문자 수 사이의 변환 비율은 다음과 같습니다.

1 영어 문자 ≈ 0.3 토큰.

1 중국어 ≈ 0.6 토큰.

그러나, 다른 모델에 사용되는 다른 토큰 화 방법으로 인해 변환 비율은 다를 수 있습니다. 매번 처리되는 실제 토큰 수는 모델의 수익을 기반으로하며 사용 결과에서 볼 수 있습니다.

오프라인으로 토큰 사용량을 계산합니다

다음 zip 패키지에서 데모 토큰 화제 코드를 실행하여 intput/output의 토큰 사용량을 계산할 수 있습니다.