Token
Token: Et token er den mindste bid tekst, en sprogmodel arbejder med, typisk et ord, en del af et ord eller et tegn.
Lidt mere forklaring
Modeller afregnes og begrænses i tokens. Derfor betyder længden af jeres dokumenter og spørgsmål noget for både pris og kvalitet.