Gyakorlati, forrásalapú tudás az üzleti MI felelős alkalmazásához.

Keresés MI-stratégiára, automatizálásra vagy irányításra…
Menü megnyitása vagy bezárása

Intelligens dokumentumfeldolgozás

Intelligens dokumentumfeldolgozási folyamat tervezése az átvételtől a megőrzésig

Gyakorlati, technológiasemleges keret az intelligens dokumentumfeldolgozás átvételtől ellenőrzésen át megőrzésig tartó, nyomon követhető kialakításához.

Kollégák hajolnak egy hosszú faasztal fölé, miközben egy nő a beérkező tálcától a zárható irattári dobozig vezető színes mappákra mutat.

Egy intelligens dokumentumfeldolgozási rendszer akkor sem működik jól, ha minden kért mezőt helyesen olvas ki, de ugyanazt az iratot kétszer dolgozza fel, az egyik eredményt rossz sorba küldi, majd a célrendszer visszaigazolása előtt késznek jelöli az ügyet. A kinyerés sikerült, a dokumentumszolgáltatás mégis hibázott. A megbízható tervezés ezért egyetlen nyomon követhető dokumentumrekord teljes útját szabályozza az átvételtől a végső továbbításon át a megőrzésig vagy az engedélyezett törlésig.

A legfontosabb tervezési elvek

  • Az IDP-folyamat ellenőrzött dokumentum-életciklus, nem pusztán egy kinyerési modell meghívása.
  • Minden szakaszhoz elfogadott bemenet, tartós kimenet, továbbhaladási kontroll, felelős és névvel ellátott hibaút tartozzon.
  • A modell konfidenciája útválasztási jel, nem bizonyíték arra, hogy a kinyert érték helyes vagy tartalmilag igaz.
  • Az emberi ellenőrzéshez használható forrásbizonyíték, egyértelmű döntési jogkör, kiszolgálható sor és eszkaláció szükséges.
  • A feldolgozás csak a célrendszer visszaigazolása és az artefaktumok jóváhagyott életciklusba helyezése után tekinthető befejezettnek.

Mitől lesz a dokumentumeszközök sorozatából működtethető folyamat?

Egy térdelő működéstervező lezárt üres borítékot helyez a derékmagasságú görgős szállítón sorakozó, különböző alakú tálcák egyikébe.

A folyamat attól válik működtethetővé, hogy minden logikai szakasz szerződésként rögzíti, mit fogad el, mit ad tovább tartósan, milyen feltétellel haladhat a dokumentum, ki felel érte, és hová kerül a sikertelen vagy bizonytalan eset. Az átvétel, előkészítés, osztályozás, kinyerés, validálás, útválasztás, emberi ellenőrzés és megőrzés külön logikai feladat. Egy megvalósítás több feladatot összevonhat, de a kimeneteiket és kontrolljaikat nem teheti láthatatlanná.

Az átvételkor létrehozott stabil dokumentumazonosító köré érdemes szervezni az eredetit, a szükséges köztes artefaktumokat, a taxonómia-, modell-, séma- és szabályverziókat, a validálási eredményeket, az állapotváltozásokat és a végső kimenetet. Ez nem jelent korlátlan megőrzést: minden elem tárolása az illetékes tulajdonosok által jóváhagyott életciklushoz igazodik. Az azonosító célja az, hogy az operátor meg tudja mondani, hol van a dokumentum, mi történt vele, és melyik állapotból indítható újra.

Nyolcszakaszos műhelymátrix a dokumentum kézváltásainak megtervezéséhez
Szakasz és felelősElfogadott bemenetTartós kimenetTovábbhaladási kontroll és hibaút
Átvétel — csatorna- és biztonsági felelősEngedélyezett csatornából érkező dokumentum, forrásmetaadat és feldolgozási célVáltozatlan eredeti, stabil azonosító, átvételi nyugta, kezdeti állapotJogosultság, formátum, típus, méret, duplikáció; elutasítás, karantén vagy újrabekérés
Előkészítés — dokumentumfeldolgozási üzemeltetésMegőrzött eredeti és deklarált dokumentumkorlátokNormalizált oldalak, szöveg, elrendezés, minőségi tények és oldaleredetReprodukálható átalakítás és minőségvizsgálat; korlátozott újrapróbálás, újrabekérés vagy szakértői sor
Osztályozás — taxonómiafelelősNormalizált oldalak, szöveg, elrendezés és jóváhagyott taxonómiaDokumentum- vagy oldalosztály, csomaghatár, taxonómiaverzió és kiválasztott sémaIsmert, ismeretlen és vegyes osztály szabálya; újraosztályozás vagy csomagellenőrzés
Kinyerés — modell- és sémafelelősOsztályozott oldalkészlet és verziózott mező-, tábla- vagy entitássémaNyers és normalizált érték, típus, kihagyás, konfidencia és forráshely, ha elérhetőSéma- és eredetkövetelmény; kinyerési újrapróbálás, sémahhiba vagy szakértői ellenőrzés
Validálás — üzleti szabályfelelősKinyert jelöltek, forrásmetaadat, referenciaadat és konfidenciapolitikaMező- és dokumentumszintű eredmény, okkód, súlyosság és javasolt útJelenlét-, típus-, formátum-, tartomány- és kapcsolatvizsgálat; javítás, újrabekérés vagy felülvizsgálat
Útválasztás — folyamatgazdaValidálási eredmény, aktuális állapot, prioritás, cél és szolgáltatási szabályÁllapotátmenet, ok, cél, próbálkozásszám és várt visszaigazolásEngedélyezett állapotgép és korlátozott újrapróbálás; karantén, szakértői sor vagy végleges kivétel
Emberi ellenőrzés — sor- és döntési felelősEredeti bizonyíték, jelölt érték, forráshely, hibás kontroll, előzmény és engedélyezett műveletMegerősített vagy javított rekord, indok, ellenőri azonosság, időpont és visszaillesztési állapotSzerepkör, sorcél és eszkaláció; jóváhagyás, javítás, újrabekérés, elutasítás vagy megoldatlan kivétel
Megőrzés — iratkezelési és adatgazdaEredeti és származtatott artefaktumok, végső kimenet, előzmény és jóváhagyott szabályMegőrzési osztály, hozzáférés, zárolás, átadás, rendelkezési esemény és szükség esetén törlési bizonyítékTulajdonosi jóváhagyás, integritás és életciklus-metaadat; megőrzés, zárolás, átadás, törlés vagy eszkaláció

A mátrixot nem kész dokumentációként, hanem döntési műhelyként célszerű használni. Ha egy cellába csak annyi kerül, hogy „hiba esetén ember ellenőrzi”, még hiányzik a belépési feltétel, a sor tulajdonosa, a rendelkezésre álló bizonyíték, az engedélyezett művelet és a visszatérés módja. Ugyanígy feltáró erejű az üres visszaigazolási mező: megmutatja, hogy a folyamat a saját belső sikerét összetéveszti-e a célrendszer tényleges elfogadásával.

Hogyan fogadjuk és készítsük elő a dokumentumokat az eredeti bizonyíték elvesztése nélkül?

Egy kesztyűs dokumentumkezelő nyitva tartja a krémszínű iratcsomagot körülvevő átlátszó védőtasakot a síkágyas szkenner és a lefelé fordított másolatok mellett.

A dokumentumot ellenőrzött átvételi határon kell befogadni, majd a beérkezett eredetit változatlanul meg kell őrizni, mielőtt normalizált oldalak vagy OCR-szövegek készülnek. A határon az engedélyezett csatorna és beküldő, a megengedett formátum, a fájltípus és aláírás, a méret és szükség esetén a kibontott méret, az elkülönített tárolás, valamint a fenyegetési modellhez illő tartalomvizsgálat együtt ad réteges védelmet. Egyetlen ellenőrzés sem bizonyítja önmagában, hogy a fájl biztonságos.

Az átvételi rekord tartalmazza a stabil azonosítót, az időpontot, a forráscsatornát, a feldolgozási célt, a duplikációs állapotot és a kezdeti státuszt. A duplikáció felismerése nem automatikusan elutasítást jelent: ugyanaz az irat lehet téves ismételt beküldés, helyesbítés vagy egy másik ügy jogos melléklete. A szabály ezért rögzítse, mi számít azonos dokumentumnak, mikor kapcsolható össze két példány, és mikor kell emberi tisztázás.

  • Őrizzük külön a beérkezett eredetit, a normalizált oldalakat, a natív szöveget, az OCR-szöveget és az elrendezési adatot.
  • Rögzítsük az elforgatást, az oldalsorrendet és minden alkalmazott átalakítás verzióját, hogy a kimenet reprodukálható legyen.
  • Az elmosódást, tükröződést, sötétséget, levágott tartalmat és hiányzó oldalt útválasztási tényként kezeljük.
  • A levágott vagy eleve nem rögzített tartalmat ne próbáljuk csendben „kijavítani”; kérjünk új példányt, vagy nyissunk névvel ellátott kivételt.

A minőségi jelzés nem végleges ítélet. Egy digitális dokumentumra adott hibajelzés lehet téves pozitív, egy helyi tükröződés pedig nem feltétlenül teszi olvashatatlanná az egész oldalt. A jelzéseket ezért dokumentumtípusonként értelmezett útválasztási bizonyítékként érdemes használni. Az előkészítés javíthatja a gépi olvashatóságot, de nem rekonstruálhat hitelesen olyan tartalmat, amelyet a forrás levágott, eltakart vagy egyáltalán nem rögzített.

Hogyan maradjon külön az osztályozás, a kinyerés és a validálás?

Egy dokumentumelemző lefelé fordított lapot emel fel az áttetsző színes fülekkel jelölt, különálló irathalmok közül egy napfényes faasztalon.

Az osztályozást, a kinyerést és a validálást külön logikai szerződésként kell kezelni, mert más kérdésre válaszolnak és másképp hibáznak. Az osztályozás megmondja, milyen dokumentummal vagy oldallal van dolgunk, hol húzódnak a csomaghatárok, melyik taxonómiaverzió érvényes, és milyen kinyerési séma következzen. Az ismeretlen, bizonytalan vagy vegyes osztály névvel ellátott út legyen, ne pedig a legközelebbi ismert kategória erőltetett kiválasztása.

A kinyerési kimenet ne csak egy véglegesnek látszó értéket tartalmazzon. Tartsa meg a nyers forrásszöveget és a normalizált értéket, a deklarált típust, a táblákat vagy entitásokat, a kihagyott mezőket, a feldolgozó verzióját, valamint az oldal- vagy geometriai eredetet. Konfidenciaérték csak ott szerepeljen, ahol a feldolgozó valóban biztosítja. Az eredetkövetés teszi lehetővé, hogy a szabály vagy az ellenőr visszataláljon ahhoz a laprészhez, amelyből a jelölt érték származik.

A validálás ezután jelenlétet, típust, formátumot, tartományt, mezők és dokumentumok közötti kapcsolatot, duplikációt vagy referenciaadatot vizsgálhat. Egy sikeres formátumellenőrzés azonban csak azt mutatja, hogy az érték megfelel a deklarált alaknak; nem bizonyítja a dokumentum hitelességét vagy az állítás tartalmi igazságát. A modell konfidenciája szintén csak jel: nem helyettesíti a determinisztikus szabályokat és a címkézett, reprezentatív dokumentumokon végzett teljesítményértékelést.

  1. Dokumentumtípusonként és mezőnként állítsunk össze reprezentatív, címkézett értékelési példákat.
  2. Külön mérlegeljük a hibás automatikus elfogadás és a felesleges emberi ellenőrzés következményét.
  3. A megfigyelt minőség, konfidencia és üzleti következmény alapján határozzuk meg az automatikus, ellenőrzési és kivételi utat.
  4. Modell-, séma- vagy dokumentumpopuláció-változáskor értékeljük újra a szabályt; gyártói példaszámot ne emeljünk át általános küszöbként.

A küszöb emelése általában több becslést zár ki: ettől javulhat a pontosság, miközben romolhat a felidézés, mert helyes találatok is kiesnek. Ezért nincs minden mezőre és folyamatra alkalmas univerzális konfidenciaszám. A jó útválasztás a dokumentumosztályt, a mező jelentőségét, a célrendszer használatát és mindkét hibatípus következményét együtt kezeli. Nagy következményű esetben a technikai validálás nem válthatja ki a megfelelő szakmai döntési jogkört.

A dokumentumfolyamat annyira megbízható, amennyire a legkevésbé tisztázott kézváltása.

ModelFold szerkesztőség

Hogyan kapjon külön útvonalat minden sikeres, hibás és bizonytalan eredmény?

Egy ellenőr lefelé fordított, krémszínű lapokat hasonlít össze asztali lámpánál, és rózsaszín jelölőt tesz a közelebbi lapra egy nyitott, zárható irattálca mellett.

Minden eredményt névvel ellátott állapotátmenetre kell küldeni: automatikus továbbításra, korlátozott újrapróbálásra, újrabekérésre, karanténba, szakértői kezelésre, emberi ellenőrzésre vagy végleges kivételbe. Az egyetlen közös „hiba” sor elrejti, hogy egy sérült fájl, egy ismeretlen osztály, egy időtúllépés és egy üzleti ellentmondás eltérő felelőst és megoldást igényel. Az újrapróbálás legyen korlátozott, különben a folyamat észrevétlen hurkot és növekvő várólistát hozhat létre.

A route-rekordban szerepeljen az aktuális állapot, az útvonal oka, a prioritás, a próbálkozások száma, a következő cél és a várt visszaigazolás. Ezekből derül ki, ha egy ügy rossz sorba került, gazdátlanná vált, vagy ugyanaz a célrendszeri művelet többször indult el. A dokumentumot ne tekintsük késznek pusztán azért, mert a saját folyamatunk elküldte az adatot: a célrendszer elfogadó válasza vagy egy névvel rögzített kézbesítési hiba zárja le az átadást.

Az emberi ellenőrzési csomag a feladat érzékenységéhez igazodó, legszükségesebb kontextust adja: az eredeti oldalt, a jelölt értéket, a forráshelyet, a sikertelen kontrollokat, a releváns konfidenciajelzéseket, a feldolgozási előzményt és az engedélyezett műveleteket. Az ellenőrnek tudnia kell, hogy megerősíthet, javíthat, új példányt kérhet, szakértőhöz eszkalálhat vagy elutasíthat-e. A túl kevés kontextus találgatást, a korlátlan hozzáférés pedig indokolatlan adatkezelési kockázatot okozhat.

  • Nevezzük meg a sor tulajdonosát, helyettesét és az elakadt ügyek eszkalációs címzettjét.
  • Mérjük a sor korát, a beérkező mennyiséget, a rendelkezésre álló kapacitást és a megoldatlan eseteket.
  • Őrizzük meg az ellenőr azonosítóját, az időpontot, az indokot, valamint a gépi és a javított értéket.
  • A javítást csak külön minőségi és irányítási ellenőrzés után használjuk fel tanítási vagy értékelési adatként.

Az emberi ág csak akkor valódi kontroll, ha kiszolgálható. A sor célideje, kapacitása, hozzáférési rendje és eszkalációja ezért ugyanúgy tervezési elem, mint a modell vagy a validálási szabály. A javítás visszaillesztésekor rögzíteni kell, melyik gépi értéket írta felül, milyen indokkal, és elfogadta-e a célrendszer az eredményt. Az ellenőri beavatkozás nem teszi automatikusan hibátlanná a döntést, és önmagában nem változtatja jóváhagyott tanítási adattá a korrekciót.

Hogyan marad ellenőrzött a folyamat a kinyerés és felülvizsgálat után?

Egy kesztyűs irattáros jelöletlen barna dokumentumdobozt tesz a polcra egy zárható, álló munkamappákat tartalmazó tároló mellett.

A folyamat a végső átadás után is csak tulajdonosok által jóváhagyott megőrzési, hozzáférési, monitorozási és változáskezelési szabályokkal marad ellenőrzött. Az eredeti dokumentumot, a származtatott képeket és szövegeket, a kinyert adatot, az ellenőrzési előzményt és az üzemi naplókat külön artefaktumosztályként kell kezelni. Eltérhet a céljuk, érzékenységük, hozzáférési körük, megőrzésük, zárolásuk, átadásuk és engedélyezett törlésük, ezért az „archiváljuk mindent” nem megfelelő alapértelmezés.

Nincs minden szervezetre, dokumentumosztályra és joghatóságra érvényes megőrzési idő. Magyarországi működésben is az iratkezelési, adatvédelmi, információbiztonsági, jogi és üzleti felelősöknek kell meghatározniuk, mi őrzendő, meddig, milyen hozzáféréssel, mikor kerül zárolás vagy átadás alá, és milyen bizonyíték igazolja az engedélyezett rendelkezést. A külföldi közigazgatási keretek hasznos életciklus-kategóriákat adhatnak a műhelymunkához, de nem helyettesítik a helyben alkalmazandó követelmények szakértői megállapítását.

Az üzemi monitorozás dokumentumosztály és folyamatverzió szerint mutassa a volument, az állapotokat, a késleltetést, a hibaokokat, az ellenőrzési sor korát, a javítási mintákat és a célrendszeri átadás eredményét. Egy összesített pontossági szám nem jelzi, ha csak egy új űrlapváltozat romlik, egy meghatározott mező okoz sok javítást, vagy egy célrendszer visszaigazolásai maradnak el. A mutatókhoz tulajdonos, vizsgálati út és helyreállítási lehetőség is tartozzon.

  1. Verziózzuk a taxonómiát, az előkészítési átalakítást, a modellt, a sémát, a validálási szabályt és az útválasztási küszöböt.
  2. A releváns változtatást reprezentatív dokumentumokon értékeljük, mielőtt üzemi forgalomba kerül.
  3. Rögzítsük a jóváhagyót, az érvénybe lépés idejét, a megfigyelendő mutatókat és a visszaállítás feltételét.
  4. Ellenőrizzük, hogy minden szakasznak van-e felelőse, bemenete, tartós kimenete, kontrollja, hibaútja, mérhető szolgáltatási célja és helyreállítható állapota.

A tervezést a szolgáltatások kiválasztása vagy az automatizálási cél kitűzése előtt érdemes lezárni a szakaszmátrix segítségével. A biztonsági szakemberek az átvételi és hozzáférési kontrollokat, az iratkezelési és adatvédelmi felelősök az életciklust, a jogi vagy szabályozott terület szakértői pedig a konkrét kötelezettségeket határozzák meg. Jogi, klinikai, hitel-, biztosítási, adó- és más nagy következményű szakmai döntés maradjon megfelelően képzett ember hatáskörében; sem a validálás, sem egy ellenőrzési sor nem szünteti meg az alapul szolgáló kockázatot.

Gyakori kérdések az IDP-folyamat tervezéséről

Melyek az intelligens dokumentumfeldolgozás fő szakaszai?

A használható logikai modell nyolc szakaszt különít el: átvétel, előkészítés, osztályozás, kinyerés, validálás, útválasztás, emberi ellenőrzés és megőrzés. Egy technikai megvalósítás összevonhat több szakaszt, de az elfogadott bemeneteket, tartós kimeneteket, kontrollokat, felelősöket és hibaútvonalakat továbbra is külön kell láthatóvá tenni.

Mi a különbség a dokumentumosztályozás és az adatkinyerés között?

Az osztályozás a dokumentum vagy oldal típusát, a csomaghatárokat és a következő kinyerési sémát határozza meg. A kinyerés e séma alapján mezőket, táblákat, entitásokat, típusos értékeket és ellenőrizhető forráshelyeket állít elő. Az ismeretlen vagy vegyes osztályt nem célszerű automatikusan egy közeli ismert sémába kényszeríteni.

Hol legyen emberi ellenőrzés az IDP-folyamatban?

Az emberi ellenőrzés egy névvel ellátott útvonal legyen olyan esetekre, amelyeket dokumentumminőség, konfidencia, validálási szabály vagy a hiba következménye indokol. Az ellenőr kapja meg a szükséges forrásbizonyítékot, a jelölt értéket, a hiba okát és az engedélyezett műveleteket. A sornak tulajdonosra, kapacitásra, célidőre és eszkalációra is szüksége van.

Mekkora konfidenciaküszöböt használjon egy IDP-rendszer?

Nincs minden dokumentumra és mezőre megfelelő univerzális küszöb. Az automatikus és ellenőrzési út határát reprezentatív, címkézett dokumentumokon kell értékelni, figyelembe véve a hibás elfogadás és a felesleges elutasítás következményeit. A gyártói példaszám nem helyettesíti a helyi kalibrálást.

Mit kell megőriznie egy IDP-folyamatnak?

Külön kell dönteni az eredeti dokumentum, a származtatott artefaktumok, a kinyert adatok, az ellenőrzési előzmények és az üzemi naplók életciklusáról. Mindegyikhez megfelelő metaadatot, hozzáférést, zárolási, átadási és rendelkezési szabályt kell rendelni. A konkrét megőrzési időket az illetékes szervezeti és szakmai felelősök határozzák meg.

ModelFold logo

Az ModelFold szerkesztősége

Arról írunk, hogyan érkezik meg valójában a mesterséges intelligencia egy vállalathoz. Munkánk megnevezett forrásokból indul, elkülöníti a feltárt tényeket a saját véleményünktől, és dokumentált szerkesztőségi kontrollok mellett használ MI-támogatást a kutatáshoz és a szövegezéshez. Nem helyettesítjük az egyéni szakértői véleményt.