Ustno preverjanje oddanega dela z varovanjem zasebnosti

Lokalni delovni tok za izobraževanje, poklicno usposabljanje in strokovno certificiranje

Ko dovršena oddaja ne dokazuje več usposobljenosti

UI lahko udeležencu pomaga izdelati prepričljivo programsko kodo, izračune, poročila, zvezke in razlage. Takšna pomoč je lahko dovoljena in koristna. Težava nastane, ko izvajalec izobraževanja ali certificiranja ne more več ugotoviti, ali oddano gradivo spremlja tudi razumevanje, ki ga zahtevana kvalifikacija predpostavlja.

To je posebej pomembno za MSP. Majhen izvajalec usposabljanja ne more ročno oblikovati individualnega ustnega preverjanja za vsakega udeleženca. Hkrati lahko spregledana velika vrzel v znanju ogrozi prihodnjega delodajalca, naročnika, proizvodni sistem ali udeleženca samega—zlasti pri upravljanju programske opreme, kibernetski varnosti, industrijski avtomatizaciji, inženirstvu, laboratorijskem delu in na drugih tehnično zahtevnih področjih.

Delovni tok lokalno loči identitete od oddaj in z agentom UI pripravi vprašanja o dejanskem delu vsakega udeleženca. Usposobljeni izvajalec vprašanja postavi in odgovore oceni. Delovni tok ne zaznava goljufanja, ne dokazuje avtorstva, ne določa ocene in ne ugotavlja kršitve. Omogoča izvedljivo, usmerjeno človeško preverjanje, preden je kvalifikacija podeljena.

Pregled

Lokalni delovni tok, ki loči identitete udeležencev od oddanega gradiva, v psevdonimiziranem agentskem okolju pripravi vprašanja za ustno preverjanje posamezne oddaje in identitete obnovi samo v zasebnih izhodih za izvajalca. Izvajalcem izobraževanja in certificiranja pomaga preveriti izkazano razumevanje brez detektorjev avtorstva UI ali samodejnega ocenjevanja.

Rezultat

Izvajalci prejmejo usmerjena vprašanja in pričakovane razlage, utemeljene v dejanski oddaji vsakega udeleženca. Tako postane individualno ustno preverjanje izvedljivo na ravni skupine, pri čemer človek ohrani pristojnost ocenjevanja, neposredno identifikacijski podatki pa se po nepotrebnem ne razkrivajo.

Kartica storitve

Kategorija	AI products
Domena	Izobraževalna tehnologija, preverjanje usposobljenosti, UI z varovanjem zasebnosti
Vertikala	Izobraževanje, poklicno usposabljanje in strokovno certificiranje
Ciljni uporabniki	Poklicne šole, izvajalci strokovnega certificiranja, tehnične akademije, univerze, izvajalci nadaljnjega izobraževanja, panožne izobraževalne organizacije, MSP z omejenim notranjim usposabljanjem
Tip storitve	Lokalni delovni tok s pomočjo UI in človeškim pregledom / orodje ukazne vrstice
Rezultat	Psevdonimizirano agentsko okolje; povezave oddaj; ustna vprašanja, utemeljena z dokazi; pričakovane razlage za izvajalce; poročilo predobdelave; zasebna poimenska poročila za izvajalce.
Zahteve	Oddaje v slogu Moodle/Canvas, lokalni seznam udeležencev, navodila naloge, podprto berljivo gradivo, izolirano agentsko okolje, odobrena ureditev obdelave podatkov in usposobljen človeški izvajalec.
Omejitve	Delovni tok ne zaznava goljufanja, ne dokazuje avtorstva, ne določa ocen in ne ugotavlja kršitev. Psevdonimizirane oddaje ostanejo osebni podatki. Odstranjevanje identifikatorjev je izvedeno po najboljših močeh, nepregledni dokumenti so privzeto izločeni, vsako ustvarjeno vprašanje pa zahteva človeško preverjanje. Odločitve o zaposlovanju niso del predvidene uporabe.
Na voljo	Raziskovalni MVP je na voljo za nadzorovane institucionalne pilote
Licenca	Licenca MIT za programsko opremo delovnega toka; zunanji modeli in storitve kodirnih agentov ohranijo svoje pogoje.

Težava: izdelava je preprosta, dokazano razumevanje pa ne

Naloge, ki jih udeleženci opravijo doma, so dragocene, ker omogočajo reševanje realističnih problemov, uporabo profesionalnih orodij, raziskovanje možnosti in izboljševanje rešitev. Generativna UI te vrednosti ne odpravi. Oslabi pa dolgoletno predpostavko, da tehnično odlična oddaja nujno odraža razumevanje osebe, ki jo je oddala.

Prepoved UI ni realistična in ni vedno pedagoško smiselna. Delo s pomočjo UI lahko še vedno izkazuje dobro presojo, kadar udeleženec zna razložiti zasnovo, zagovarjati izbiro parametrov, diagnosticirati napake in rešitev prilagoditi. Nasprotno lahko udeleženec z malo znanja odda odlično gradivo, ne da bi razumel njegov osrednji mehanizem.

Splošna ustna vprašanja tega ne rešijo dobro. Nagrajujejo pomnjenje teorije in lahko zgrešijo prav tiste dele oddaje, ki zahtevajo preverjanje. Ročna priprava individualnih vprašanj je učinkovita, vendar draga, posebej za majhne poklicne akademije, izvajalce certificiranja, programe nadaljnjega strokovnega izobraževanja in specialistične tečaje z malo izvajalci.

Delovni tok spremeni predmet preverjanja. Namesto vprašanja, ali detektor meni, da je delo »videti ustvarjeno z UI«, vpraša:

Ali zna udeleženec razložiti konkretne odločitve, rezultate, odstopanja in načine odpovedi v delu, oddanem pod njegovim psevdonimom?

Ponazoritev za MSP

Predstavljajmo si zasebnega izvajalca poklicnega usposabljanja, ki certificira tehnike za vzdrževanje omreženih industrijskih sistemov. Udeleženec odda dovršen projekt avtomatizacije s konfiguracijskimi datotekami, preskusi in jedrnatim tehničnim poročilom. Iz datotek ni mogoče zanesljivo ugotoviti, ali je udeleženec rešitev izdelal sam, UI uporabil kompetentno, sodeloval v skladu s pravili ali oddal delo, ki ga ne razume.

Izvajalec lokalno zažene pripravo. Ime udeleženca in identifikatorji učnega okolja ostanejo v zasebni preslikavi, agent pa prejme oznako Student 0007 in psevdonimizirano besedilno predstavitev oddaje. Ustvarjeno poročilo izbere tri utemeljene vidike—na primer neobičajno časovno omejitev, vejo za obnovitev po napaki in neskladje med poročilom ter konfiguracijo—ter za vsakega predlaga ustno vprašanje in pričakovano razlago.

Pri zagovoru lahko izvajalec vpraša, zakaj je bila izbrana takšna časovna omejitev, kaj se zgodi ob nedosegljivosti senzorja in katero nastavitev bi bilo treba spremeniti za drugo napravo. Udeleženec, ki delo razume, zna o teh vprašanjih sklepati, tudi če mu je pri izdelavi datotek pomagala UI. Če odgovori pokažejo vrzel, izvajalec nadaljuje po običajnem akademskem ali certifikacijskem postopku ustanove. Izhod UI nikoli ni razsodba.

Namen ni ujeti uporabnika določenega orodja. Namen je preprečiti, da bi nepreverjena usposobljenost zdrsnila skozi sito ocenjevanja.

Predvideni uporabniki in okolja

Glavni uporabniki so organizacije, ki morajo praktično razumevanje preveriti na podlagi dela, opravljenega brez neposrednega nadzora:

poklicne šole in zasebne tehnične akademije;
izvajalci strokovnega certificiranja in nadaljnjega izobraževanja;
univerze, visoke šole in programi usposabljanja za aplikativno raziskovanje;
programerske šole ter specialistični tečaji kibernetske varnosti ali podatkovne znanosti;
panožna združenja, ki potrjujejo rezultate sektorskih usposabljanj; in
MSP z jasno omejenim notranjim usposabljanjem ali preverjanjem vajencev.

Primerne naloge vsebujejo pregledljive dokaze: izvorno kodo, zvezke, poročila Markdown ali TeX, parametre, izračune, rezultate poskusov, konfiguracijo in razlage. Delovni tok je posebej koristen, kadar se oddaje dovolj razlikujejo, da omogočajo individualna vprašanja.

Ni namenjen zaposlovanju, razvrščanju kandidatov, spremljanju zaposlenih ali ocenjevanju njihove delovne uspešnosti. Uporaba izhodov UI pri zaposlovanju, napredovanju, odpovedi, razporejanju dela ali drugih delovnopravnih odločitvah je ločena regulirana uporaba in ne sodi v tukaj opisani namen.

Delovni tok

Izvedba ima tri izrecne faze. Resnične identitete so potrebne le pred agentsko fazo in po njej.

flowchart LR
    A[Zasebni seznam in oddaje] --> B[Lokalna priprava]
    B --> C[Psevdonimizirano okolje agenta]
    C --> D[Priprava vprašanj na podlagi dokazov]
    D --> E[Ustno preverjanje pod vodstvom človeka]
    E --> F[Presoja izvajalca]
    D --> G[Lokalna zaključna obdelava]
    G --> H[Zasebna poimenska poročila]

1. Lokalna priprava

Izvajalec poda enega ali več izvozov ZIP iz okolja Moodle oziroma Canvas, zasebni seznam udeležencev in navodila naloge. Ukaz prepare:

konservativno poveže mape oddaj z lokalnim seznamom;
dodeli deterministične oznake, kot je Student 0001;
preslikavo med resničnimi imeni in psevdonimi zapiše zunaj okolja agenta;
podprte berljive datoteke oddaje združi v psevdonimizirane besedilne pakete;
odstrani znana imena, e-poštne naslove, identifikatorje udeležencev in oznake map učnega okolja;
ustvari psevdonimizirani datoteki students.csv in associations.csv;
izdela deterministični skript process.sh; in
neujemajoče, manjkajoče ter izločeno gradivo zabeleži v zasebnem poročilu predobdelave.

Podprti berljivi formati trenutno vključujejo običajne datoteke izvorne kode, zvezke Jupyter, golo besedilo, Markdown, TeX in Makefile. Oddane datoteke PDF, DOCX, DOC, ODT in RTF so privzeto izločene, ker sprememba imena datoteke ne odstrani identifikacijskih podatkov iz vsebine ali metapodatkov. Navodila izvajalca so lahko kljub temu prekopirana pod kanoničnim imenom, kot je task.pdf.

2. Priprava gradiva za ustno preverjanje

Ustvarjeni skript za vsakega psevdonimiziranega udeleženca zažene eno agentsko nalogo. Agent pri ciljni oddaji uporabi le datoteke iz associations.csv in kanonična navodila naloge. Razrešene oddaje lahko primerja, da loči podobnosti zaradi zahtev naloge od posebnosti posamezne rešitve.

Obvezna struktura poročila vsebuje do tri vidike, utemeljene z dokazi. Vsak vsebuje:

konkretni del oddaje, vreden pogovora;
razlago, zakaj je ta del informativen;
eno vprašanje za udeleženca; in
pričakovano razlago za izvajalca.

Če dokazov ni, mora poročilo to povedati in ne sme izmišljati vprašanj. V agentski fazi vsa poročila ostanejo psevdonimizirana.

3. Zasebna zaključna obdelava in zagovor

Ukaz finalize z ločeno zasebno preslikavo lokalno ustvari poimenska poročila za izvajalca. Pričakovani odgovori so gradivo za izvajalca in se udeležencem ne posredujejo v celoti. Izvajalec izbere primerna vprašanja, vodi ustno preverjanje, posluša udeleženčevo sklepanje in uporabi ocenjevalna pravila ustanove.

Ta ločitev je bistvena: agent pripravi dokaze, usposobljen človek pa razloži pogovor in ohrani pristojnost odločanja.

Meja zasebnosti

Delovni tok zmanjša količino neposredno identifikacijskih podatkov v agentski fazi, ne da bi preostalo gradivo napačno predstavljal kot anonimno.

flowchart TB
    subgraph P[Zasebno lokalno območje]
        A[Resnični seznam]
        B[Izvorni izvoz učnega okolja]
        C[Preslikava psevdonimov]
        D[Poimenska poročila izvajalca]
    end
    subgraph W[Psevdonimizirano območje agenta]
        E[Oznake udeležencev]
        F[Berljivo besedilo oddaj]
        G[Poročila z vprašanji]
    end
    A --> C
    A --> E
    B --> F
    E --> G
    F --> G
    C --> D
    G --> D

To je psevdonimizacija, ne anonimizacija. Izvajalec lahko poročilo ponovno poveže z osebo, izvorna koda pa lahko vsebuje posredne identifikatorje, ki jih ni na seznamu. Psevdonimizirani podatki zato ostanejo osebni podatki. Upravljavec še vedno potrebuje zakonit namen, pregledno obvestilo udeležencem, nadzor dostopa in hrambe, ustrezno pogodbeno ureditev z obdelovalcem ter presojo, ali zunanji ponudnik modela oddane vsebine hrani, prenaša ali ponovno uporablja.

Repozitorij že izvaja koristne zaščitne ukrepe: varno razširjanje arhivov ZIP, ločevanje zasebnih in agentskih map, odstranjevanje znanih identifikatorjev, preverjanje uhajanja v delovnem okolju, konservativno povezovanje, izrecne nerazrešene statuse in privzeto izločanje nepreglednih dokumentov. Ti ukrepi tveganje zmanjšajo, vendar sami ne zagotavljajo pravne skladnosti.

Človeški nadzor in evropski regulativni okvir

Izobraževanje in poklicno usposabljanje sta po Aktu EU o umetni inteligenci občutljivi področji. Sistemi, namenjeni ocenjevanju učnih rezultatov, so lahko razvrščeni kot sistemi velikega tveganja. Tukaj opisani delovni tok je namenoma omejen na pripravljalno vlogo: pripravi možna ustna vprašanja in podporne dokaze, ne določa pa ocene, ne razvršča, ne priporoča sankcij in ne ugotavlja kršitev. Izvajalec mora vsako poročilo kritično pregledati in neodvisno ovrednotiti dejanske odgovore udeleženca.

Ali posamezna namestitev ostane pripravljalno orodje ali pomembno vpliva na izobraževalno odločitev, je odvisno od njenega opredeljenega namena in dejanske uporabe. Preden vpliva na ocene, napredovanje ali strokovno certificiranje, mora ustanova dokumentirati razvrstitev, opraviti ustrezno presojo varstva podatkov in temeljnih pravic, določiti pot za ugovor ali popravek, usposobiti izvajalce ter preveriti kakovost vprašanj pri relevantnih skupinah udeležencev. »Človek v zanki« mora pomeniti dejansko znanje in pristojnost, ne samodejnega sprejemanja poročila UI.

Uporabni primarni viri so smernice Evropske komisije za UI v izobraževanju in poklicnem usposabljanju, pravila razvrščanja sistemov velikega tveganja ter razlaga Evropskega odbora za varstvo podatkov o anonimizaciji in psevdonimizaciji.

Operativni zaščitni ukrepi za pilot

Oddaje udeležencev so nezaupanja vreden vhod. Vsebujejo lahko skrivnosti, zlonamerno kodo ali besedilo, namenjeno manipulaciji agenta. Nadzorovani pilot naj zato:

uporablja začasni vsebnik ali izoliran virtualni stroj;
oddaje priklopi samo za branje in zagotovi ločeno mesto za izhode;
izključi dostop do omrežja, kadar ni izrecno potreben in odobren;
privzeto prepreči izvajanje oddanih programov;
iz delovnega okolja odstrani poverilnice in nepovezane institucionalne datoteke;
primerjavo med udeleženci omeji na primere z dokumentirano pedagoško potrebo;
pred zagonom agenta pregleda psevdonimizirano delovno okolje; in
vsako ustvarjeno vprašanje preveri glede na izvorne dokaze.

Trenutni ukazni delovni tok zažene programerskega agenta v avtonomnem načinu. To je priročno za MVP, vendar ne sme veljati za končni institucionalni varnostni profil. Pred širšo uporabo je treba določiti izolacijo, upravljanje ponudnika modela, beleženje, brisanje, pripenjanje različic in ponovljive pozive.

Kaj delovni tok podpira—in česa ne dokazuje

Podpira	Ne dokazuje
Individualna vprašanja, utemeljena v oddanem gradivu	Da je udeleženec goljufal ali uporabil prepovedano orodje
Preverjanje izkazanega razumevanja	Pravnega ali dejanskega avtorstva
Pripravo izvajalca na ravni skupine	Samodejne ocene ali odločitve opravil/ni opravil
Zmanjšanje tveganja s psevdonimizacijo	Anonimne obdelave ali izvzetja iz GDPR
Dokumentirani človeški pregled	Skladnosti brez presoje ustanove

Razlikovanje varuje udeležence in krepi veljavnost kvalifikacije. Udeleženec, ki je UI uporabil pregledno in rezultat razume, lahko to znanje pokaže. Udeleženec, ki ključnih odločitev ne zna razložiti, dobi človeško nadaljnjo obravnavo namesto nepregledne obtožbe.

Trenutni MVP in pot do uporabe

Raziskovalni MVP zagotavlja celotno pot prepare → agent → finalize, sintetične preskuse zasebnosti, deterministične psevdonime, obdelavo arhivov iz okolij, strukturirana poročila in zasebne poimenske izhode. Primeren je za nadzorovano vrednotenje s sintetičnimi podatki, ki mu sledi majhen, formalno odobren pilot.

Odgovorna uvedba se začne z eno učno ali certifikacijsko nalogo, jasnim pedagoškim namenom, reprezentativnim sintetičnim preskušanjem, odobreno zasnovo zasebnosti in varnosti, usposabljanjem izvajalcev ter pravilom, da nobena odločitev z resnimi posledicami ne sme temeljiti samo na ustvarjenem poročilu. Pilot naj meri ustreznost vprašanj, neutemeljene trditve, čas priprave izvajalcev, izkušnjo udeležencev in razlike med vrstami oddaj—ne zgolj števila »sumljivih« primerov.

Izvedba in navodila za uporabo so na voljo v repozitoriju SLAIF Defense Grading. Ime repozitorija odraža njegov izvor; izvedeni delovni tok je natančneje razumeti kot pripravo ustnega preverjanja z varovanjem zasebnosti, ne kot samodejno ocenjevanje.