Näin rakennat ylläpidettävän tekoälyinventaarion ja riskitasomallin

Ylläpidettävä tekoälyinventaario on hallintotyön reitityskerros, ei taulukko, johon yritetään mahduttaa jokainen arviointi ja todistusaineisto. Kuvitteellinen asiakaspalveluavustin voi aluksi vain hakea hyväksyttyä ohjesisältöä ja luonnostella vastauksen työntekijälle. Jos se myöhemmin saa pääsyn henkilöllisyysasiakirjoihin, oikeuden tehdä hyvityksiä ja luvan lähettää viestejä itsenäisesti, kyse ei enää ole samasta hallittavasta käytöstä. Toimittaja tai malli voi pysyä samana, mutta tietue, riskitaso ja tarkastusreitti on avattava uudelleen.

Mikä tarkalleen kuuluu tekoälyinventaarioon?

Inventaarioon kuuluu yksi tietue kutakin määritellyssä työnkulussa toimivaa tekoälyn käyttötapaa kohden. Tietue kertoo tarkoituksen, käyttäjäryhmän, vaikutuksen kohteet sekä polun tuotoksesta toimintaan. Sama malli tarvitsee erilliset tietueet, jos sitä käytetään esimerkiksi sisäiseen tekstiluonnosteluun ja asiakkaan tilitietoja muuttavaan automaatioon. NIST kuvaa inventaarion resurssiksi, joka voi tukea ylläpitoa, poikkeamiin reagointia sekä yksittäisiä järjestelmiä ja koko portfoliota koskevia kysymyksiä. OECD puolestaan tarkastelee järjestelmiä ihmisten, toimintaympäristön, datan, mallien, tehtävien ja tuotosten kokonaisuutena.

• Jaa tietueet, kun tarkoitus, vaikutuksen kohteet, tietojen arkaluonteisuus, toimintavaltuus, käyttölaajuus tai vastuullinen omistaja eroaa olennaisesti.
• Linkitä yhteiset toimittaja-, malli-, data-, sovellus-, kontrolli-, testi-, poikkeama- ja hyväksyntätietueet sen sijaan, että kopioisit ne jokaiseen käyttötapaukseen.
• Suunnittele tietue vastaamaan sekä omistajan käytännön kysymyksiin että portfolion kysymyksiin, kuten puuttuviin vastuisiin, avoimiin arviointeihin ja käytöstä poistamisen etenemiseen.

Mitkä tiedot tekevät inventaariosta hyödyllisen ilman raskasta lomaketta?

Hyödyllinen inventaario erottaa omistajan ylläpitämän perustietueen ja tarvittaessa linkitettävän syvemmän näytön. Perustietueen tehtävä on tunnistaa käyttö, tehdä sen rajat näkyviksi ja lähettää se oikealle tarkastusreitille. NISTin dokumentointiaiheet ja Britannian tallennusstandardi kattavat muun muassa vastuut, tarkoituksen, datan, riippuvuudet, ihmisen tarkastuksen, käytön laajuuden, elinkaaren, riskit ja lieventävät toimet. Niistä kannattaa tehdä tiivis reititysrakenne, ei avointa tekstikenttää jokaiselle mahdolliselle selvitykselle.

• Tunniste ja nimi: Pysyvä tunniste ja selkokielinen nimi hakua, linkitystä ja muutoshistoriaa varten.
• Liiketoiminta- ja tekninen omistaja: Vastuurooli, nykyinen vastuuhenkilö sekä taho, joka voi muuttaa, pysäyttää tai poistaa käytön.
• Tarkoitus, työnkulku ja rajat: Miksi käyttö on olemassa, missä työvaiheessa se toimii ja mitkä käyttötavat ovat kiellettyjä tai rajauksen ulkopuolella.
• Käyttäjät ja vaikutuksen kohteet: Järjestelmää käyttävät henkilöt erotettuina ihmisistä ja ryhmistä, joihin tuotokset tai toimet vaikuttavat.
• Syötteet ja arkaluonteisuus: Tietoluokat, lähteet ja korkein käsittelyluokitus; jokaista saraketta ei tarvitse luetella.
• Tuotokset ja toimintavaltuus: Mitä syntyy, kuka tai mikä käyttää tuotosta ja voiko järjestelmä ehdottaa, käynnistää tai toteuttaa toimia.
• Toimittajat, mallit ja riippuvuudet: Palvelut, data, integraatiot, käyttöoikeudet sekä ylä- ja alavirran järjestelmät linkkeineen.
• Kontrollit ja näyttölinkit: Ihmisen tarkastus, käyttöoikeudet, testaus, seuranta, varamenettely, korjaus- ja valitustiet sekä näyttöaineiston sijainti.
• Elinkaari ja päivämäärät: Hallittu tila, viimeisin olennainen muutos, viimeisin tarkastus ja seuraava riskiperusteinen tarkastus.
• Arviot ja riskitaso: Neljä arviota perusteluineen, alustava taso, ohitussäännöt, avoimet epävarmuudet ja omistajan perustelu.
• Velvoitteiden tila: Linkki erillisiin oikeudellisiin, tietosuoja-, turvallisuus-, sopimus- ja sektorikohtaisiin arviointeihin.

Kattavat vaikutusarviot, validointiraportit, toimittaja-arviot, testitulokset, poikkeamat, hyväksynnät ja seurantasuunnitelmat kuuluvat ehdollisiin liitteisiin. Kontrolli voidaan nimetä perustietueessa, mutta pelkkä merkintä ei osoita sen toimivuutta. Kirjaa siksi esimerkiksi vaadittu ihmisen tarkastus tiiviisti ja linkitä sen suunnittelua, toteutusta ja testausta koskeva näyttö. Näin omistaja pystyy päivittämään tietueen ilman, että inventaariosta tulee vaikeasti ylläpidettävä asiakirjavarasto.

Miten luontainen altistus arvioidaan ymmärrettävästi?

Luontaista altistusta voi arvioida neljällä ulottuvuudella: seurauksella, autonomialla, mittakaavalla ja arkaluonteisuudella. Tämä nelikko ja sen kolmiportaiset ankkurit ovat ModelFoldin käytännöllinen sisäinen triage-ehdotus. NIST, OECD, Kanada tai Britannia eivät määrää eivätkä hyväksy tätä täsmällistä menetelmää. Viralliset aineistot käsittelevät kuitenkin vaikutuksen kohteita, palautettavuutta, dataa, käyttöönoton laajuutta, tuotoksia ja toiminnallista autonomiaa, joista omistaja voi muodostaa jäljitettävän ensiarvion.

• Seuraus: taso 1 tarkoittaa paikallista, helposti havaittavaa ja palautettavaa haittaa tai vähäistä uudelleentyötä. Tasolla 2 mahdollinen toiminnallinen, taloudellinen, asiakas-, henkilöstö- tai mainevaikutus vaatii tietoisen korjauksen. Taso 3 kattaa uskottavan vakavan tai vaikeasti palautettavan vaikutuksen oikeuksiin, tärkeisiin palveluihin tai mahdollisuuksiin, toimeentuloon, turvallisuuteen tai kriittisiin toimintoihin.
• Autonomia: tasolla 1 järjestelmä tuottaa ehdotuksen, jonka ihminen päättää ottaa käyttöön. Tasolla 2 se järjestää, suosittelee, reitittää, personoi tai käynnistää rajatun toimen, jota tarkastetaan rajoitetusti tai jälkikäteen. Tasolla 3 se toteuttaa ulkoisia toimia, muuttaa tietueita tai oikeuksia, sitoo resursseja tai vaikuttaa olennaisesti seuraukselliseen päätökseen ilman tehokasta tapauskohtaista hyväksyntää.
• Mittakaava: taso 1 on rajattu pilotti tai pieni sisäinen ryhmä, jolla on vähän jatkokäyttöä. Taso 2 tarkoittaa toistuvaa käyttöä toiminnossa, segmentissä tai olennaisessa työnkulussa ja useita käyttäjiä tai vastaanottajia. Taso 3 on yrityksenlaajuinen, julkinen, usean markkinan, suurivolyyminen, reaaliaikainen tai syvästi integroitu käyttö, jossa vaikutus voi levitä.
• Arkaluonteisuus: tasolla 1 käsitellään julkista, synteettistä tai hyväksyttyä ei-luottamuksellista tietoa ilman erityisoikeuksia. Taso 2 kattaa sisäisen tai luottamuksellisen yritysdatan, tavanomaiset henkilötiedot, asiakassisällön tai rajatun tunnistautuneen pääsyn. Taso 3 kattaa erittäin arkaluonteisen tai säännellyn datan, tunnukset, salaisuudet, etuoikeutetun aineiston, suojatut ominaisuudet tai laajan kirjoitusoikeuden tärkeisiin järjestelmiin.

Jokaisen arvion yhteyteen kirjoitetaan yksi käyttötapaukseen sidottu näyttölause. Esimerkiksi ”autonomia on tasolla 1, koska järjestelmä tuottaa vain luonnoksen eikä voi lähettää tai muuttaa asiakastiliä” on tarkistettavissa oleva perustelu. ”Autonomia on pieni” ei ole. Puuttuva tieto merkitään selvästi ratkaistavaksi; sitä ei arvata matalaksi. Arvioi todellinen ehdotettu tai käytössä oleva kokonaisuus, älä toimittajan yleistä tuotekuvausta.

Miten arviot määräävät tarkastusreitin?

Alustava sisäinen taso asetetaan korkeimman olennaisen ulottuvuuden mukaan: neljä tason 1 arviota tuottavat riskitason 1, yksikin tason 2 arvio ilman tason 3 arviota tuottaa riskitason 2, ja yksikin tason 3 arvio tuottaa riskitason 3. Tämä on toimituksellinen varotoimi, ei NISTin tai OECD:n validoima pisteytyskaava. Organisaation pitää kalibroida ankkurit ja käsittelyreitit oman riskinsietonsa, toimialansa ja velvoitteidensa mukaan.

Vakavaa altistusta ei keskiarvoteta pois. Tasoa nostava ohitussääntö voi liittyä sietorajan ylittävään toimintaan, vakavaan vaikutukseen, laajaan pääsyyn arkaluonteiseen dataan, tehottomaan ihmiskontrolliin, vaikeaan palautettavuuteen, ketjuuntuviin riippuvuuksiin, olennaiseen poikkeamaan, sovellettavaan velvoitteeseen tai ratkaisemattomaan tietoon. Luontainen altistus arvioidaan ensin. Kontrollit kirjataan erikseen, niiden suunnittelu ja näyttö tutkitaan tarkastuksessa, ja lopuksi dokumentoidaan jäännösriskipäätös ehtoineen.

Oikeudelliset, sääntelyyn liittyvät, sopimukselliset, tietosuoja-, turvallisuus-, työoikeus-, asiakirjahallinto- ja sektoriluokitukset kulkevat rinnakkaisella radalla. Sisäinen taso 1–3 vain reitittää organisaation omaa työtä, eikä sitä pidä rinnastaa EU:n tekoälysäädöksen tai muun sääntelyn käsitteisiin. Soveltuvuuden ja velvoitteet arvioivat organisaation pätevät oikeudelliset, compliance-, tietosuoja-, turvallisuus- ja toimialaomistajat.

Mitä menetelmä paljastaa tekoälyn käyttötavan muuttuessa?

Menetelmä paljastaa, milloin näennäisesti sama tuote muuttuu hallinnollisesti eri käyttötavaksi. Kuvitteellisessa pilotissa avustin hakee hyväksyttyä ohjesisältöä ja luonnostelee vastauksen koulutetulle asiakaspalvelijalle, joka tarkistaa, muokkaa ja lähettää sen. Rajauksen ulkopuolella ovat tilipäätökset, poikkeukset käytännöistä, itsenäinen lähettäminen, maksutiedot, henkilöllisyysasiakirjat, hyvitykset ja tilimuutokset. Tuotos sisältää lähdeviitteet, mutta työntekijä vastaa lähetyspäätöksestä.

• Seuraus on tasolla 2, koska lähetetty virhe voi kuvata tukikäytännön olennaisesti väärin ja vaatia tietoista asiakashyvitystä tai muuta korjausta.
• Autonomia on tasolla 1, koska avustin laatii vain luonnoksen eikä voi toteuttaa ulkoista tointa.
• Mittakaava on tasolla 1, koska pilotti koskee yhtä koulutettua tiimiä ja rajattua viestiluokkaa.
• Arkaluonteisuus on tasolla 2, koska käytössä on tavanomaista asiakas- ja tilikontekstia tunnistautuneessa järjestelmässä.

Korkein arvio tekee pilotista alustavasti tason 2 käyttötavan. Lähetystä edeltävä tarkastus, rajatut käyttöoikeudet, estetyt kirjoitustoiminnot, otantaseuranta, valitusreitti ja manuaalinen varamenettely kuuluvat kontrollitietueeseen; niiden olemassaolo ei laske luontaista arviota. Arviointireitillä tutkitaan, toimivatko kontrollit tarkoitetusti ja millä näytöllä. Esimerkki ei väitä mitattua hyötyä eikä sitä, että käyttö pitäisi hyväksyä.

Laajennuksessa avustin saisi lukea henkilöllisyysasiakirjoja ja maksukiistojen tietoja, tehdä hyvityksiä, muuttaa tilin tilaa, lähettää viestejä automaattisesti ja toimia useilla markkinoilla. Silloin seuraus nousee tasolle 3 asiakasvarojen ja tilipääsyn vuoksi, autonomia ulkoisten toimien vuoksi, mittakaava laajan suurivolyymisen käytön vuoksi ja arkaluonteisuus henkilöllisyys-, kiista- ja kirjoitusoikeuksien vuoksi. Tietue avataan ennen laajennusta, reitti vaihtuu tasolle 3 ja rinnakkainen velvoitearvio käynnistyy.

Inventaario ansaitsee luottamuksen vasta, kun datan, valtuuksien tai mittakaavan muutos vaihtaa myös tarkastusreittiä.

Miten inventaario pidetään ajan tasalla käyttöönoton jälkeen?

Inventaario pysyy ajan tasalla, kun ylläpito sidotaan sekä tapahtumiin että riskiperusteiseen omistajavahvistukseen. Löytämislähteitä ovat tuote- ja työnkulkujen intake, hankinnat ja sopimusuusinnat, sovellus- ja arkkitehtuurikatselmukset, käyttöoikeus- ja integraatiohallinta, ohjelmistotilaukset, malli- ja dataprosessit, työntekijäilmoitukset, tukipyynnöt, poikkeamat ja valitukset. Useat lähteet parantavat näkyvyyttä, mutta eivät todista inventaariota täydelliseksi. Siksi myös kattavuussääntö, ylläpitovastuu ja puuttuvien tietueiden käsittely on määriteltävä.

• Avaa tietue uudelleen, kun tarkoitus, omistaja, käyttäjät, vaikutuksen kohteet, markkina, data, säilytys, käyttöoikeudet, tuotokset, valtuudet, ihmisen tarkastus, toimittaja, malli, integraatio, volyymi, kontrollit, poikkeamat tai velvoitteet muuttuvat olennaisesti.
• Ylläpidä jonoja puuttuville omistajille, tuntemattomille arvioille, avoimille ohituksille, myöhästyneille tarkastuksille, puuttuvalle kontrollinäytölle, toimittajamuutoksille ja keskeneräiselle käytöstä poistamiselle.
• Seuraa pientä portfolionäkymää: tietueet ja vaikutuksen kohteet tasoittain ja elinkaaritiloittain, puuttuvat tiedot, avoimet poikkeukset, päätösten läpimenoaika sekä vahvistamattomat käytöstä poistot.

Kaikille käyttötavoille ei tarvita samaa neljännesvuosittaista tai vuosittaista rytmiä. Korkeampi altistus, nopea muutos, tuore poikkeama tai heikko näyttö voi edellyttää tiiviimpää tarkastusta. Käytöstä poistaminen on puolestaan hallittu tila, ei rivin poistaminen: säilytä tarvittava tieto omistajasta, siirtymästä, riippuvuuksista, käyttöoikeuksien poistosta ja sulkemisen näytöstä. Sovellettava politiikka ja velvoitteet ratkaisevat säilytysajat.

1. Päivät 1–10: määritä tietueen yksikkö, vähimmäiskentät, omistajuussääntö, elinkaaritilat ja tärkeimmät löytämislähteet.
2. Päivät 11–20: pilotoi menetelmää keskenään erilaisilla käyttötavoilla ja kalibroi ankkurit, epävarmuuksien käsittely sekä nousevat ohitussäännöt.
3. Päivät 21–30: käynnistä omistajavahvistukset, muutoslaukaisimet, vanhentuneiden tietueiden jonot ja pieni portfoliohallinnan näkymä.

Menetelmä on sisäisen reitityksen ehdotus, ei vaatimustenmukaisuuspäätös. Pyydä päteviä oikeudellisia, compliance-, tietosuoja-, turvallisuus-, hankinta-, asiakirjahallinto-, työoikeus- ja toimialaomistajia arvioimaan sovellettavat velvoitteet. Seuraukselliset tai korkean panoksen käyttötavat tarvitsevat tarkoituksenmukaista toimialaosaamista, vastuullisen ihmisen harkintaa ja organisaation politiikan mukaisen päätöksen ennen etenemistä. Tehostettu tarkastus voi rajata tai pysäyttää ehdotuksen; sen tehtävä ei ole tehdä autonomisesta toiminnasta automaattisesti hyväksyttävää.