Prompt engineering

Prompt engineering er håndværket at skrive instrukser til en sprogmodel, så den giver stabile og brugbare svar hver gang. Ordet lyder som en ingeniørdisciplin, og det er lidt af en overdrivelse. Det er tættere på at skrive en god arbejdsinstruks. Men det er et håndværk med regler, og forskellen på en tilfældig prompt og en gennemarbejdet kan være forskellen på et AI-projekt, der virker, og et, der bliver lukket efter tre måneder.

Hvad en god prompt indeholder

De prompts, der virker i drift, har typisk fem dele. En rolle: hvem modellen skal være, fx en erfaren sagsbehandler i ejendomsadministration. En opgave: præcis hvad der skal leveres. Kontekst: de dokumenter, regler og data, svaret skal bygge på. Eksempler: to eller tre gode svar, modellen kan efterligne. Og et format: hvordan svaret skal se ud, så det kan bruges direkte i næste led. Mangler en af de fem, gætter modellen, og gæt er det, I vil undgå.

Dertil kommer nogle teknikker, der er værd at kende navnet på. At bede modellen tænke i trin, før den svarer, giver bedre resultater på opgaver med logik. At bede den citere kilden gør svaret kontrollerbart. At bede den sige, når den ikke ved det, sænker antallet af opdigtede svar. Ingen af delene er raketvidenskab. Alle sammen bliver glemt, når en prompt skrives i en travl eftermiddag.

Hvad prompt engineering ikke kan

Her er den del, jeg bruger mest tid på i ledelseslokaler. En prompt kan ikke give modellen viden, den ikke har. Skal den svare rigtigt om jeres priser, aftaler og procedurer, skal den have adgang til dem. Det er RAG, ikke prompt engineering. En prompt kan heller ikke fjerne risikoen for, at modellen finder på noget. Den kan sænke den. Kontrollen skal stadig ligge hos et menneske, hvor svaret har konsekvens.

Og en prompt kan ikke beskytte mod tekst udefra, der forsøger at overtage styringen. Det hedder prompt injection, og det løses med arkitektur, ikke med flere ord i instruksen.

Prompt engineering som fag i virksomheden

I 2023 blev prompt engineer udråbt til fremtidens job. I dag er det snarere en færdighed, som mange skal have lidt af, og som få skal have meget af. De få er dem, der bygger systemprompter ind i jeres løsninger. De mange er medarbejderne, der skriver brugerprompter hver dag og får bedre svar, når de ved, hvordan man beder om dem.

Begge dele kan læres på kort tid. En halv dags træning i at skrive klare instrukser løfter kvaliteten af AI-brugen i en afdeling mere end et modelskift gør. Det er den billigste investering i AI, jeg kender, og den bliver oftest sprunget over.

Det skal ledelsen kræve

Tre ting. At de prompts, der styrer jeres AI-løsninger, er skrevet ned, har en ejer og testes, hver gang de ændres. At der findes en lille samling af gode prompts til de opgaver, medarbejderne løser oftest, så viden ikke sidder i private chatvinduer. Og at nogen måler, om prompterne virker: fejlrate, tid sparet, antal gange et menneske måtte rette. Uden måling er prompt engineering en smagssag. Med måling er det et håndværk, I kan forbedre.

Kort sagt

Prompt engineering er at skrive instrukser, en maskine kan følge, lige så omhyggeligt som I ville skrive dem til en ny medarbejder. Det er ikke magi, og det erstatter ikke adgang til jeres data eller menneskelig kontrol. Men det er forskellen på AI, der irriterer, og AI, der aflaster.