Token

Et token er den mindste bid tekst, en sprogmodel arbejder med. Det er typisk et helt kort ord, en stavelse eller et tegn. Sprogmodellen læser ikke bogstaver og ikke hele ord. Den læser tokens. Det lyder som en teknisk detalje, men tokens er den enhed, I betaler i, og den enhed, der sætter grænsen for, hvor meget modellen kan have i hovedet på én gang.

Token betyder flere ting

Ordet bruges også om andet. Et adgangstoken er en digital nøgle, der giver et system lov til at kalde et andet system, fx gennem et API. I kryptoverdenen er et token en digital værdienhed. Her på siden handler det om AI-tokens. Hører I ordet i et møde om AI, er det tekstbidder og pris, der tales om.

Hvor mange tokens er en tekst?

På engelsk svarer et token groft til fire tegn, altså omkring tre fjerdedele af et ord. Dansk er dyrere. Vores sammensatte ord og bogstaver som æ, ø og å bliver delt i flere bidder, så en dansk tekst fylder ofte 20 til 40 procent flere tokens end den samme tekst på engelsk. En A4-side fylder rundt regnet 600 til 800 tokens. En kontrakt på 40 sider fylder 30.000. Det er værd at vide, når nogen lover, at modellen læser hele jeres arkiv.

Tokens er prisen

De store modeller lejes pr. forbrug, og forbruget måles i tokens. I betaler både for det, I sender ind, og for det, modellen skriver tilbage. Priserne er faldet kraftigt, og de fortsætter med at falde. Men volumen tæller. En løsning, der læser 2.000 mails om dagen med 40 siders kontekst til hver, koster noget andet end en chatassistent til ti medarbejdere. Bed altid om et estimat i tokens pr. opgave, før I skriver under. Det er den eneste måde at sammenligne to tilbud på.

Tokens er også grænsen

Hver model har et kontekstvindue, altså et loft for, hvor mange tokens den kan se ad gangen. Spørgsmål, instruks, dokumenter og svar skal alle være inden for loftet. Bliver det for meget, glemmer modellen begyndelsen, eller den afviser opgaven. Derfor bygger man RAG, som kun sender de relevante afsnit med, i stedet for hele arkivet. Store kontekstvinduer er ikke en erstatning for orden i data. De er bare dyrere.

Det betyder tokens for ledelsen

Tre ting. For det første er driftsomkostningen til AI variabel, ikke fast. Den følger brugen, og den skal budgetteres som forbrug, ikke som licens. For det andet afslører tokenforbruget, hvor der er spild. Sendes der 30.000 tokens med for at besvare et spørgsmål på én linje, er der noget galt med løsningen, ikke med modellen. For det tredje kan tokens måles. Det gør AI til en af de få investeringer, hvor I kan se præcis, hvad hver opgave koster, og holde det op mod de timer, den sparer.

Når jeg gennemgår AI-løsninger med ledelser, beder jeg om to tal: tokens pr. opgave og opgaver pr. måned. Med dem kan enhver økonomichef regne businesscasen ud på fem minutter. Uden dem køber I en fornemmelse.

Et sidste råd: bed leverandøren vise tokenforbruget i en rapport, I selv kan læse hver måned. Stiger forbruget uden at antallet af opgaver gør det, er der noget, der skal kigges på. Falder det, mens opgaverne stiger, har nogen gjort deres arbejde godt. Det er den slags tal, en bestyrelse kan styre efter, uden at forstå én linje kode.