Ocenjevanje skladnosti obraznih slik z bona fide razredom

Pregled

Ponovljiva prvostopenjska storitev za organizacije, ki pregledujejo velike količine obraznih slik. Vrne zvezno mero odmika slike od bona fide strani, ki se je je naučil fiksni model, in tako pomaga določiti prednostni vrstni red nadaljnjih pregledov ter opisati lastni slikovni kanal. Rezultat ni razsodba o pristnosti, verjetnost manipulacije, preverjanje identitete, sistem živosti ali univerzalni detektor globokih ponaredkov.

Rezultat

Strojno berljiva ocena in status za vsako sliko, identifikatorja modela in predobdelave, podatki o obrazih in izrezu ter orodja za profiliranje referenčnih slik in vrednotenje na več zbirkah. Izhod podpira čakalne vrste za pregled, preizkuse zagotavljanja kakovosti in postopke celovitosti medijev z več signali.

Kartica storitve

Kategorija	Izdelki umetne inteligence
Področje	Celovitost slik, analiza sintetičnih medijev, zagotavljanje kakovosti UI
Vertikala	Digitalna družba, mediji in ustvarjalne industrije
Ciljni uporabniki	Digitalni založniki in uredništva, tržnice ustvarjalnih vsebin, zasebne ekipe za zaupanje in varnost, podjetja za preverjanje medijev, ponudniki tehnologij zajema, laboratoriji za zagotavljanje kakovosti UI
Vrsta storitve	Ocenjevalni API in orodja za vrednotenje
Izhodi	Zvezna ocena med 0 in 1 ali izrecen rezultat, da slike ni mogoče oceniti; izvor modela in predobdelave; število obrazov in podatki o izrezu; neobvezna poročila vrednotenja, statistike ROC/EER, porazdelitve in referenčni profili.
Zahteve	Slike JPEG, PNG ali WebP z zaznavnim obrazom; za praktično prepustnost je priporočena grafična kartica NVIDIA. Pred operativno uporabo mora uporabnik fiksni model ovrednotiti na reprezentativnih podatkih iz lastnega slikovnega kanala, za katere ima ustrezne pravice, in določiti postopek človeškega pregleda.
Omejitve	Ocene niso kalibrirane in so odvisne od domene. Ocenjen je le največji zaznani obraz. Storitev ne ugotavlja pristnosti in ne priporoča univerzalnega praga. Ne sme se uporabljati za biometrično identifikacijo, samodejne sankcije ali druge odločitve z velikimi posledicami.
Razpoložljivost	Raziskovalni MVP je na voljo za omejeno vrednotenje v zasebnem sektorju
Licenciranje	Programska oprema storitve je pod licenco Apache-2.0; kontrolna točka modela, komponenta za obrazne značilnice in zbirke za vrednotenje ohranijo lastne licence in pogoje dostopa.

Prvostopenjski signal za celovitost medijev v zasebnem sektorju

Organizacije, ki obdelujejo velike količine portretnih slik, ne morejo vsake poslati v drag izvedenski forenzični pregled. Storitev zagotavlja ponovljivo zvezno oceno, s katero lažje določijo, katere slike potrebujejo dodatno preverjanje.

Ocena meri skladnost s porazdelitvijo bona fide slik, ki se je je naučil fiksni model. Ni verjetnost manipulacije, odločitev o pristnosti ali univerzalni detektor. Najbolj utemeljena je kot eden izmed signalov v širšem postopku, ki združuje profiliranje lastnega slikovnega kanala, metapodatke, poverilnice vsebine, druge detektorje in človeško presojo.

Možni uporabniki so digitalni založniki, uredništva, tržnice fotografij in ustvarjalnih vsebin, zasebna podjetja za preverjanje medijev in varnost blagovnih znamk, platforme z uporabniškimi vsebinami, ponudniki kamer in tehnologij zajema obraza ter laboratoriji za zagotavljanje kakovosti UI. Uporaba za vlado, vojsko, policijo, mejni nadzor, javni nadzor, biometrično identifikacijo in druge avtomatizirane odločitve z velikimi posledicami je izrecno izključena.

Zakaj je storitev pomembna za MSP

Manjša podjetja prejemajo vse več slik od strank, sodelavcev, dobaviteljev, ustvarjalcev in avtomatiziranih produkcijskih orodij. Pregled vsake slike pri specialistu je predrag, obravnava nepreglednega izhoda detektorja kot razsodbe pa ustvari novo in lahko še večje tveganje. MSP potrebujejo zmeren prvi korak: signal, ki ga lahko namestijo lokalno, ponovijo, izmerijo na lastnem gradivu in vključijo v obstoječi postopek pregleda.

Storitev zapolni to vrzel. Objavljeni raziskovalni model zapakira v stabilen vmesnik in izpostavi dokaze, potrebne za presojo, ali je model uporaben za konkreten slikovni kanal. Podjetju pred smiselnim poskusom ni treba samemu sestaviti zaznave obrazov, obraznih značilnic, predobdelave, nalaganja modela, strežniškega API-ja in orodij za vrednotenje.

Primeri uporabe so:

• uredništvo, ki med poslanimi portreti prednostno izbere slike za uredniško preverjanje;
• tržnica fotografij ali ustvarjalnih vsebin, ki neobičajne prispevke usmeri v ročni pregled;
• zasebna platforma, ki obstoječi čakalni vrsti moderiranja doda neodločitveni signal;
• podjetje za preverjanje medijev ali varnost blagovne znamke, ki preskuša dodatni signal v skupini metod;
• ponudnik kamere, programske opreme za zajem ali slikovne tehnologije, ki opisuje spremembe zaradi naprave ali obdelovalnega postopka; in
• laboratorij za zagotavljanje kakovosti UI, ki preskuša prenos fiksnega detektorja med zbirkami in dejanskimi pogoji uporabe.

V vseh primerih storitev podpira triažo in merjenje, ne pa samodejne obtožbe, zavrnitve ali sankcije.

Kaj pomeni ocena

Začetno zaledje uporablja SelfMAD++, naučen na zbirki SMDD. Za ustrezno vhodno sliko storitev vrne oceno med 0 in 1:

• nižja vrednost pomeni večjo skladnost z bona fide stranjo, ki se je je naučil model;
• višja vrednost pomeni manjšo skladnost s to naučeno stranjo; in
• status unscorable z oceno null pomeni, da zahtevanega obraza ni bilo mogoče obdelati.

Ta razlaga je bistvena. Ocena 0,9 ne pomeni »90 % verjetnosti manipulacije«. Odmik lahko povzročijo manipulacija, obdelava v kameri, stiskanje, spreminjanje velikosti, osvetlitev, demografske značilnosti, poza, retuširanje, sintetično ustvarjanje ali druga razlika glede na učno porazdelitev. Model vzroka ne določi.

Storitev zazna obraze, izbere največjega, izračuna 81 značilnih točk, okvir obraza razširi za 12,5 % in izrez spremeni na 512 × 512 slikovnih pik. Koraki so pripeti in označeni v vsakem uspešnem odgovoru, zato ponovljeni poskusi sliko obravnavajo enako.

Priporočeni tok odločanja

Rezultat sodi v pregledni postopek, v katerem človek ohrani pristojnost in uporablja tudi druge razpoložljive dokaze.

flowchart LR
    A[Portretna slika] --> B[Ocenjevanje skladnosti]
    B --> C{Jo je mogoče oceniti?}
    C -->|Ne| D[Ročna obravnava]
    C -->|Da| E[Primerjava s profilom kanala]
    E --> F[Združitev z metapodatki in drugimi signali]
    F --> G{Je potreben dodatni pregled?}
    G -->|Da| H[Usposobljen človeški pregled]
    G -->|Ne| I[Nadaljevanje običajnega postopka]

Izdelek nima vgrajenega praga. Prag, prepisan iz članka ali druge organizacije, bi neopazno prevzel predpostavke o drugačnih slikah in drugačnih posledicah napak. Uporabnik mora najprej zbrati reprezentativno referenčno gradivo z urejenimi pravicami, pregledati porazdelitev ocen ter za nameravano nalogo izmeriti lažno pozitivne in lažno negativne rezultate.

Najboljše izhodišče: profiliranje kanala

Najbolj utemeljena začetna uporaba ni internetni »detektor ponaredkov«, temveč opis bona fide slikovnega kanala. Podjetje oceni znane, nespremenjene primere iz določenega kanala, na primer iz ene aplikacije za zajem, postopka dobavitelja, studijskega procesa ali nadzorovane poti za nalaganje, in vzpostavi referenčno porazdelitev. Nove slike nato primerja s svojo referenco. Velik odmik sproži preverjanje; manipulacije ne dokazuje.

flowchart TB
    A[Znane referenčne slike z urejenimi pravicami] --> B[Ocena s pripeto različico storitve]
    B --> C[Referenčni profil kanala]
    D[Nova slika iz istega kanala] --> E[Ocena z isto različico]
    C --> F[Primerjava porazdelitev in odmikov]
    E --> F
    F --> G[Nadzor kakovosti ali človeški pregled]

Tak pristop MSP omogoča praktičen poskus z omejenimi trditvami. Še preden podjetje vlaga v integracijo ali specialistične storitve, lahko preveri, ali signal na njegovih podatkih sploh razlikuje znane pogoje. Ponovitev profila po menjavi kamere, kodeka, urejevalnega postopka ali modela lahko pomaga odkriti tudi neželene spremembe porazdelitve.

Vmesniki in pogodba rezultata

MVP ponuja tri načine uporabe iste izvedbe ocenjevanja:

1. ukazno vrstico za lokalne datoteke in skriptno vrednotenje;
2. Python API za vključitev v analitično kodo; in
3. FastAPI HTTP brez stanja za storitvene namestitve.

Običajna namestitev HTTP uporablja en proces na grafični kartici:

CUDA_VISIBLE_DEVICES=0 uvicorn slaif_fms.api:app \
  --host 0.0.0.0 --port 8000 --workers 1

Pooblaščeni odjemalec pošlje eno sliko kot večdelni obrazec:

curl -sS -H "X-API-Key: <generated-key>" \
  -F image=@portrait.jpg \
  http://localhost:8000/v1/score

Strojno berljiv odgovor vsebuje opcijsko oceno in status, identiteto modela in predobdelave, izvorne mere slike, število zaznanih obrazov ter okvir izbranega izreza. Shranjevanje teh polj skupaj z rezultatom pregleda omogoča poznejšo revizijo in ponovitev. Podprti so JPEG, PNG in WebP; okvarjene datoteke, nepodprti tipi ter slike brez uporabnega obraza dobijo izrecno napako ali status, da jih ni mogoče oceniti, ne pa izmišljene ocene.

Objavljeni dokazi MVP

Repozitorij vsebuje zamrznjeno vrednotenje na več zbirkah s krivuljami ROC, histogrami ocen, empiričnimi kumulativnimi porazdelitvami, izračunom stopnje enakih napak (EER) in galerijami, ki upoštevajo pravice uporabe. Trenutna osnova dosega:

Zbirka za vrednotenje	ROC AUC	EER
STR-FFHQ-FM	0,900	0,180
READFake	0,688	0,373
CelebHQ-FM	0,944	0,134
FFHQR	0,598	0,429
PPR10K	0,467	0,522
MFFI	0,782	0,287
RetouchingFFHQ	0,686	0,367

Razlike so del dokazov, ne nekaj, kar dokumentacija skriva. Model dobro loči ovrednotena razreda na CelebHQ-FM in STR-FFHQ-FM, šibkeje na več drugih zbirkah, na nekaterih vrstah retuširanja in premaknjenih domenah pa se ne prenese uporabno. Zato ne podpira univerzalnega delovnega praga ali široke trditve, da zazna vse vrste manipulacije obraza.

Prav zato je MVP uporaben za ocenjevalce in bodoče uporabnike: raziskovalni rezultat spremeni v preizkusljivo storitev, hkrati pa ohrani negativne dokaze, potrebne za odgovorno uporabo. Podjetje lahko ponovi osnovno vrednotenje, doda lastno zbirko in sprejme dokumentirano odločitev za nadaljevanje ali ustavitev.

Ponovljivost in izvor

Storitev pripne izvorno različico modela, kontrolno vsoto kontrolne točke in identiteto predobdelave. Kontrolne točke in zbirk za vrednotenje ne zapakira prikrito. Koda storitve je pod licenco Apache-2.0, kontrolna točka, komponenta dlib in posamezne zbirke pa ohranijo lastne licence in pogoje dostopa. Uporabnik mora preveriti, ali je njegova nameravana komercialna ali raziskovalna uporaba dovoljena.

Izvedba ponuja tudi namestitev z Dockerjem na grafični kartici, neobvezno zaščito s ključem API, preskuse v stalni integraciji in statično varnostno analizo. Ti elementi olajšajo pregled in namestitev prototipa, ne nadomestijo pa produkcijske omrežne varnosti, spremljanja, omejevanja zahtevkov, pravil hrambe ali organizacijske ocene tveganja.

Zasebnost, varnost in človeški nadzor

Obrazne slike so lahko osebni in potencialno biometrični podatki. Namestitev mora določiti zakonit namen, zmanjšati zbiranje, omejiti dostop, opredeliti hrambo in brisanje, zaščititi podatke med prenosom in mirovanjem ter vzdrževati sledljiv postopek pregleda. API je zasnovan brez stanja, upravljavec pa ostaja odgovoren za infrastrukturne dnevnike, začasne datoteke, okoliške aplikacije in shranjene rezultate.

Storitev ni zasnovana ali ponujena za:

• identifikacijo ali preverjanje osebe;
• preverjanje živosti, nadzor dostopa ali overjanje osebnih dokumentov;
• samodejne odločitve pri zaposlovanju, posojilih, zavarovanju, goljufijah, blokadi računa ali zavrnitvi dostopa;
• uporabo vlade, vojske, policije, mejnega nadzora ali javnega nadzora; ali
• postopek, v katerem ocena sama povzroči odločitev z resnimi posledicami.

Trenutno stanje in naslednji koraki

Trenutni raziskovalni MVP je primeren za nadzorovano vrednotenje v zasebnem sektorju. Smiseln projekt uporabe se začne z ozko opredeljenim slikovnim kanalom in merilom uspeha, nadaljuje s pregledom pravic in zasebnosti, izdelavo referenčnega profila, lokalnim merjenjem učinkovitosti ter dokumentirano zasnovo človeškega pregleda. Signal naj se z operativno čakalno vrsto poveže šele, ko se na lokalnih podatkih izkaže kot uporaben.

Izvorna izvedba, pogodba storitve, podatkovni list modela, zapis izvora, navodila za namestitev in protokol vrednotenja so na voljo v repozitoriju SLAIF za ocenjevanje skladnosti obraznih slik.