Design et kildebaseret workflow til udkast med generativ AI

Kildebaseret skrivning med generativ AI er ikke et bedre prompt, men en kontrolleret kæde af kilder, evidens, tekst, review og godkendelse. Hvis et pilotnotat siger, at en løsning »beviste, at analytikere vil spare tid«, mens målingen kun viser kortere forberedelse af første udkast blandt få selvvalgte deltagere, har teksten overskredet kildens grænse. En blankpoleret formulering og en plausibel henvisning reparerer ikke springet. Arbejdsgangen skal derfor gøre grænsen synlig, før modellen skriver, og bevare de beslutninger, der fører frem til frigivelsen.

Hvad skal være besluttet, før generativ AI skriver?

Før modellen får materiale, skal teamet have en godkendt opgavepakke med formål, målgruppe, deadline, fejlkonsekvens og en ansvarlig dokumentejer. Pakken skal også angive den beslutning eller handling, dokumentet skal understøtte, det tilladte outputformat og hvem der kan acceptere teksten som et forretningsdokument. NISTs AI RMF anbefaler, at vidensgrænser, anvendelsesområde, tilsyn med output samt menneskers og AI-systemers forskellige roller dokumenteres. Det er et nyttigt princip, men ikke et bindende krav til én bestemt skabelon.

• Formål, målgruppe, deadline og konsekvensen af en fejl
• Navngiven dokumentejer og endelig godkender
• Godkendt værktøj og tilladt informationsgrænse
• Kilderegister og format for evidenskort
• Outputskabelon, tilladte slutninger og forbudte tilføjelser
• Synlig markør for manglende belæg
• Reviewkort med spørgsmål, roller og eskalationsvej
• Proportional regel for bevaring og ændringslog

Opgavepakken skal skelne mellem det, modellen må formulere, og det, mennesker fortsat skal beslutte. Den kan eksempelvis tillade en neutral sammenfatning af godkendte observationer, men forbyde nye årsagsforklaringer, markedsdata, leverandørpåstande og fortolkninger af interne regler. Modellen må ikke acceptere sit eget output som organisationens endelige dokument; en navngiven ejer og godkender skal træffe frigivelsesbeslutningen. Når følsomme eller beskyttede oplysninger indgår, bestemmer organisationens informations-, sikkerheds- og privacy-ejere både værktøj, adgang og behandling.

Hvordan bliver godkendte kilder til brugbar evidens?

Godkendte kilder bliver først brugbare, når et kilderegister og præcise evidenskort afgrænser, hvad hvert dokument faktisk kan understøtte. Kildegrænsen skal godkendes før generering, hvis efterfølgende udsagn skal kunne føres tilbage til et kontrolleret grundlag. Registret giver hver kilde et stabilt id og registrerer ophav, version eller dato, relevant omfang, godkendelsesstatus, adgangsvilkår, kendte begrænsninger og en anledning til ajourføring. Et godkendt kildesæt er en kontrolleret grænse, ikke en garanti for kvalitet eller lovlig anvendelighed.

• Kilde-id og ansvarlig ejer eller udgiver
• Version, dato og præcis locator
• Ordret passage eller måleresultat
• Det punkt, passagen understøtter
• Forbehold og kendte begrænsninger
• Tilladt anvendelse i udkastet
• Slutninger, som materialet ikke må bruges til

Et evidenskort med id'et E-04 kan eksempelvis tillade udsagnet, at deltagerne brugte mindre tid på første udkast i de målte pilotopgaver. Samme kort skal samtidig fastholde, at piloten var lille og selvselekteret, manglede en sammenligningsgruppe og ikke fastslår effekten for analytikerarbejde generelt. Kildegodkendelse bør omfatte ophav, relevans, aktualitet, egnethed, adgangsvilkår og kendte begrænsninger frem for blot tilgængelighed. NISTs profil anbefaler tilsvarende dokumentation af kildeafhængighed og vurdering af blandt andet nøjagtighed, repræsentativitet, relevans og egnethed.

Hvordan skriver modellen uden lydløst at udfylde huller?

Modellen kan undgå skjulte udfyldninger, når den får en snæver genereringskontrakt, der kræver synlige markeringer ved manglende belæg. Evidenskortene leveres med deres id'er og en outputskabelon, men de opbevares som et særskilt lag fra læserteksten. Når kilder, evidenskort, genereret tekst og godkendelser holdes som særskilte artefakter, kan revieweren kontrollere den konkrete passage uden at forveksle modellens formulering med kildens ord. NISTs eksperimentelle arbejde med grundlagstjek viser netop en adskillelse mellem korpus, citeret output, evaluering og strukturerede resultater.

• Skriv kun beslutningskontekst og observationer med angivne evidens-id'er.
• Beskriv kun risici, muligheder og anbefalinger, som kortenes tilladte brug dækker.
• Indsæt [BELÆG MANGLER], når grundlaget ikke rækker.
• Tilføj ikke generel modelviden, leverandørudsagn eller opdigtede henvisninger.
• Send nødvendige nye kilder tilbage gennem godkendelsesprocessen.

En kildehenvisning gør ikke et AI-genereret udsagn pålideligt af sig selv; revieweren skal sammenholde udsagnet med det konkrete kildested. NISTs profil anbefaler netop kontrol af kilder og henvisninger i genererede output. Modellen bør derfor heller ikke være eneste faktatjekker af sin egen tekst, navnlig når et udsagn kan påvirke en beslutning, forpligtelse eller ekstern meddelelse. Er belægget utilstrækkeligt, er det korrekte output en synlig mangel eller en afgrænset formulering, ikke en sandsynlig fortsættelse baseret på modellens generelle viden.

Hvem skal gennemgå de enkelte dele af udkastet?

Hver del skal gennemgås af den rolle, som har ret til at besvare det relevante kontrolspørgsmål. NISTs AI RMF siger, at roller, ansvar, kommunikationslinjer, menneske-AI-roller og tilsynsansvar bør være dokumenterede og tydelige. En lille afdeling kan godt lade én person udføre flere opgaver, men kontrollen af evidens, redaktionel bearbejdning, specialistvurdering og endelig godkendelse er stadig forskellige beslutninger. Hvis de samles under etiketten »menneskeligt review«, bliver det uklart, hvad der faktisk blev kontrolleret, og hvem der accepterede den resterende usikkerhed.

• Kildeejeren bekræfter kildesættets status og evidenskortenes trofasthed.
• Evidensrevieweren sammenholder betydningsfulde udsagn med kort og originalpassager.
• Redaktøren forbedrer struktur, tone og målgruppetilpasning uden at flytte den faglige betydning.
• En specialist vurderer kun de områder, hvor politik, metode, domæne eller anden særlig risiko udløser behovet.
• Godkenderen accepterer anbefaling, betingelser og resterende usikkerhed og træffer frigivelsesbeslutningen.

Ved lange eller konsekvensfulde dokumenter er det praktisk at kontrollere afgrænsede udsagn frem for kun at spørge, om hele teksten »ser rigtig ud«. I to forskningsdatasæt om lange resuméer fandt LongEval mindre uenighed mellem bedømmere, når vurderingen blev opdelt i finere enheder såsom sætninger og ledsætninger. Resultatet kan ikke uden videre generaliseres til forretningsdokumenter, men understøtter en forsigtig arbejdsregel. Automatiske kontroller fra udsagn til kilde kan hjælpe med sortering; NISTs aktuelle arbejde beskriver dem som eksperimentelle evalueringsprober, ikke som en erstatning for menneskelig godkendelse.

Et kildebaseret udkast nøjes ikke med at nævne kilder; det gør betydningsfulde udsagn mulige at spore, udfordre, rette og godkende bevidst.

Hvilke redigeringer kræver en særskilt registrering?

En redigering kræver en særskilt registrering, når den ændrer faktuel betydning, fortolkning, anbefaling, forpligtelse, risikobehandling, kildegrundlag eller godkendelsesstatus. Almindelig korrektur og formatering kan blive i den normale versionshistorik, medmindre organisationens politik siger noget andet. En let post kan registrere ordlyden før og efter, begrundelsen, berørt evidens, reviewer, godkender og tidspunkt. NISTs profil beskriver proveniensmetadata, der kan omfatte ophavspersoner, datoer, ændringer og kilder, og anbefaler registrering af indholdsændringer med tilhørende metadata.

Pilotudsagnet bør derfor ændres fra »Piloten beviste, at workflowet vil spare analytikere tid« til »I de målte pilotopgaver brugte deltagerne mindre tid på at forberede første udkast; den lille, selvselekterede stikprøve fastslår ikke effekten for analytikerarbejde.« Loggen skal forklare, at en udokumenteret slutning om årsag og en bredere population blev fjernet, og at forbeholdet fra E-04 blev bevaret. Der findes samtidig ikke en universel regel om at gemme alle prompts og udkast; bevaring afgøres efter formål, risiko, forretningsbehov og gældende organisatoriske krav.

• Tidligere og ny ordlyd
• Årsag til ændringen
• Berørte kilder og evidenskort
• Navn på reviewer og godkender
• Tidspunkt og ændret godkendelsesstatus

Hvordan tilpasses kontrollen til notater, rapporter og rutinebeskeder?

Kontrollen skal skaleres efter dokumentets konsekvens, kompleksitet og usikkerhed, ikke alene efter længden. Et kort løfte til en kunde kan kræve mere opmærksomhed end en lang intern opsummering med lav risiko. Beslutningsnotatet har brug for en tydelig ejer, dokumenterede muligheder og accepteret usikkerhed. Analyserapporten kræver sporbar metode, afgrænsninger og en detaljeret evidensgennemgang. Rutinebeskeden kan nøjes med godkendte fakta og afsenderkontrol, men skal eskaleres, hvis den introducerer en forpligtelse, undtagelse, følsomt indhold eller et nyt udsagn.

Skabelonerne bør have samme grundmønster: en synlig informationsgrænse, understøttede formuleringer, en navngiven kontrol og en vej for undtagelser. Vægten varierer. Et beslutningsnotat kan kræve accept af resterende usikkerhed, mens en rutinebesked måske blot kræver kontrol af dato, navn, link og fast formulering. Når beskeden går uden for de godkendte fakta, skifter den imidlertid karakter og skal tilbage til den relevante ejer. Det er konsekvensen af indholdet, ikke etiketten på dokumenttypen, der bestemmer næste kontrol.

Hvordan forbliver workflowet pålideligt, når arbejdet ændrer sig?

Workflowet forbliver pålideligt gennem navngivet ajourføringsansvar, stikprøver af afsluttede sager og ændringer i selve genereringskontrakten. En kilde skal genbesøges, når dens fakta, version, relevans, adgangsvilkår eller organisatoriske status ændres. NISTs profil anbefaler at definere ansvar for periodisk gennemgang af indholdsproveniens og at dokumentere rollerne i det menneskelige tilsyn, men foreskriver ingen universel frekvens. Kadencen bør derfor følge dokumenternes konsekvens og kildernes ændringstakt frem for en vilkårlig kalenderregel.

• Udtag afsluttede opgavepakker, og kontrollér sporbarhed fra udsagn til kildested.
• Se efter, om forbehold overlevede redigeringen, og om udløste specialistreviews faktisk fandt sted.
• Gennemgå, om væsentlige ændringer og beslutninger om undtagelser blev registreret.
• Saml tilbagevendende rettelser, og ændr evidenskort eller outputskabelon ved mønstre.

Falder en kilde uden for grænsen, eller opstår der et spørgsmål om følsomhed, adgang, politik eller specialistvurdering, skal den berørte del sættes på pause. Sagen sendes til den navngivne ejer, grænsebeslutningen registreres, og arbejdet fortsætter først, når kildesættet eller undtagelsen er udtrykkeligt afklaret. Hvis den samme udokumenterede slutning bliver rettet igen og igen, bør teamet stramme evidenskortet, skabelonen eller genereringsgrænsen før endnu et reviewlag tilføjes. Begynd med én tilbagevendende dokumenttype, og gør dens kildegrænse, beslutningsrettigheder og ændringsregel synlige.

Ved følsomme oplysninger, usikre tilladelser, regulerede formuleringer, kontraktlige løfter, specialistvurderinger eller bevaringspligter skal den relevante informations-, sikkerheds-, privacy-, juridiske, records-, policy- eller domæneejer inddrages. Disse ejere afgør de konkrete krav; modellen må ikke fortolke dem som sin egen beslutningskompetence. Målet er ikke maksimal dokumentation for enhver sætning, men tilstrækkelig sporbarhed til, at et betydningsfuldt udsagn kan udfordres, korrigeres og accepteres af den rette person, før det bliver til en organisatorisk beslutning eller meddelelse.