토큰은 모델에서 자연어 텍스트를 나타내는 데 사용되는 기본 단위이며 청구에 사용하는 단위입니다. 그들은 직관적으로 '캐릭터'또는 '단어'로 이해 될 수 있습니다. 일반적으로 중국어 단어, 영어 단어, 숫자 또는 기호는 토큰으로 간주됩니다.일반적으로 모델의 토큰과 문자 수 사이의 변환 비율은 다음과 같습니다.1 영어 문자 ≈ 0.3 토큰.1 중국어 ≈ 0.6 토큰.그러나, 다른 모델에 사용되는 다른 토큰 화 방법으로 인해 변환 비율은 다를 수 있습니다. 매번 처리되는 실제 토큰 수는 모델의 수익을 기반으로하며 사용 결과에서 볼 수 있습니다.
