Embedding

En embedding er en lang række tal, der beskriver betydningen af et stykke tekst. Tekster, der handler om det samme, får tal, der ligger tæt på hinanden. Tekster om noget helt andet ligger langt fra hinanden. Det gør det muligt for et system at søge på mening i stedet for på bogstaver. Embeddings er den stille motor under næsten al moderne AI-søgning.

Hvorfor det er et gennembrud

Klassisk søgning finder ord. Skriver du opsigelse, finder den dokumenter med ordet opsigelse, men ikke dem, der skriver fratrædelse. Embeddings forstår, at de to ord hører sammen. Skriver en kunde, at faktura mangler, finder systemet også svaret, der hedder manglende betaling. Det er præcis den forskel, der får AI-svar til at ramme rigtigt i stedet for at ramme ved siden af.

Teknisk foregår det sådan, at en model læser teksten og laver den om til en vektor, typisk mellem 300 og 3.000 tal. Tallene har ingen mening for et menneske. De har mening i forhold til hinanden. Afstanden mellem to vektorer er et mål for, hvor tæt to tekster ligger i betydning.

Sådan indgår embeddings i en AI-løsning

I en RAG-løsning bliver alle jeres dokumenter delt op i afsnit, og hvert afsnit får sin embedding. Tallene gemmes i en vektordatabase. Når nogen stiller et spørgsmål, får spørgsmålet også en embedding, og systemet finder de afsnit, der ligger tættest. De afsnit sendes videre til sprogmodellen, som skriver svaret. Embeddings finder, sprogmodellen formulerer. To forskellige job, ofte to forskellige modeller.

Samme teknik bruges til andet end søgning. Den kan gruppere kundehenvendelser efter emne uden faste kategorier, finde dubletter i sager og opdage, når to leverandøraftaler stort set siger det samme. Det er den slags forbindelser, som ellers kun opdages af den medarbejder, der har været der i 20 år.

Det skal ledelsen tage stilling til

Først: hvor tallene ligger. En embedding kan i mange tilfælde føres tilbage til den oprindelige tekst. Rummer teksten personoplysninger, gør tallene det også i GDPR-forstand. Vektordatabasen er derfor ikke en teknisk bagvedliggende ting. Den er et register med persondata, som skal have samme beskyttelse som resten.

Dernæst: binding til leverandør. Embeddings fra én model kan ikke bruges sammen med en anden. Skifter I model, skal hele arkivet køres igennem igen. Det er ikke dyrt, men det skal være planlagt. Spørg, hvad et modelskift koster i tid og penge, før I vælger.

Til sidst: kvaliteten af det, der lægges ind. Embeddings gør dårlige dokumenter lettere at finde. De gør dem ikke bedre. Oprydning før indeksering er den investering, der giver mest tilbage.

Et eksempel fra hverdagen

En ejendomsadministrator får hver dag spørgsmål fra beboere om det samme: varme, affald, opsigelse, fremleje. Svarene står i husordener, vedtægter og gamle mails, skrevet med forskellige ord af forskellige mennesker gennem 15 år. Med embeddings kan et system finde det rigtige afsnit, selv om beboeren skriver radiatoren er kold, og dokumentet skriver varmeforsyning. Det er ikke magi. Det er betydning gjort målbar, og det sparer en sagsbehandler for en halv time pr. henvendelse.

Kort sagt

I behøver ikke forstå matematikken. I skal vide, at embeddings er grunden til, at AI kan finde det rigtige i jeres data, at de er persondata, når kilden er det, og at de binder jer til en model, indtil I beslutter noget andet. Med de tre punkter på plads er resten teknik, som en god leverandør kan løse.