RAG

RAG står for retrieval augmented generation. Metoden gør, at en sprogmodel først slår op i jeres egne dokumenter og derefter skriver sit svar ud fra det, den fandt. Det er forskellen på en AI, der gætter, og en AI, der ved noget om jeres virksomhed. Næsten alle seriøse AI-løsninger i danske virksomheder bygger på RAG i en eller anden form.

Sådan virker RAG i praksis

Tænk på en dygtig ny medarbejder med adgang til arkivet. Får hun et spørgsmål, læser hun ikke hele arkivet. Hun finder de tre relevante dokumenter, læser dem og svarer. RAG gør det samme i tre trin. Først bliver jeres dokumenter delt op i afsnit og oversat til tal, kaldet embeddings, så de kan søges på betydning. Så finder systemet de afsnit, der ligner spørgsmålet mest. Til sidst får sprogmodellen spørgsmålet og afsnittene i samme prompt og skriver svaret med henvisning til kilderne.

Fordelen er tydelig. Modellen skal ikke trænes om, hver gang I ændrer en procedure. I opdaterer dokumentet, og svaret følger med. Og fordi svaret bygger på konkrete afsnit, kan I vise kilden. Det er afgørende, når svaret skal kunne forsvares over for en kunde eller en myndighed.

Hvor RAG fejler, og det er sjældent teknikken

I de projekter, jeg har set gå galt, var problemet næsten aldrig modellen. Det var dokumenterne. Tre versioner af samme politik, en forældet prisliste i en delt mappe, referater uden dato. RAG finder det, der ligger der, også når det er forkert. Et AI-projekt bliver derfor ofte et oprydningsprojekt først. Det er godt nyt, for oprydningen giver værdi, selv hvis AI'en aldrig kommer i drift.

Det andet sted, det går galt, er rettigheder. Når alle dokumenter samles i ét søgeindeks, kan en medarbejder pludselig spørge sig frem til lønninger, opsigelser og bestyrelsesreferater. Adgangsrettighederne skal følge med ind i RAG-løsningen, så modellen kun ser det, den spørgende selv må se. Spørg jeres leverandør, hvordan det er løst. Får I et vagt svar, er det ikke løst.

RAG og GDPR

Jeres dokumenter rummer personoplysninger. Når de indekseres, kopieres og sendes til en model, behandler I dem på en ny måde, og den behandling skal have et formål og en hjemmel. Ligger modellen hos en leverandør uden for EU, skal overførslen også være i orden. Det er ikke argumenter mod RAG. Det er punkter på den tjekliste, jeg gennemgår med ledelser, før noget kommer i drift. Se også GDPR.

Hvad RAG kan for forretningen

De bedste eksempler, jeg kender, er upåfaldende. Kundeservice, der finder det rigtige svar i manualen på ti sekunder. Sagsbehandlere, der får de relevante afsnit fra aftalen fremhævet. Nye medarbejdere, der kan spørge til procedurer i stedet for at forstyrre kollegerne. Ingen af delene er revolutioner. Alle sammen sparer timer hver uge og fjerner fejl.

Det skal ledelsen beslutte

RAG er den mest ansvarlige måde at bruge AI på i en virksomhed, fordi svarene kan spores til kilder, I selv ejer. Men det kræver tre beslutninger fra ledelsen: hvilke dokumenter der må indekseres, hvem der er ansvarlig for, at de er korrekte, og hvordan rettigheder håndhæves. Med de tre på plads er RAG et solidt første skridt. Uden dem er det et flot søgefelt oven på rod.