Zavarovalnica vam ob sklenitvi zavarovanja ponudi velik popust, če ste pripravljeni v avto namestiti »črno skrinjico«, ki bo merila vašo hitrost, pospeševanje, zaviranje in druge podatke o vašem načinu vožnje. Učitelji bodo lahko zaznali učne težave vašega otroka, še preden se bodo v redovalnici znašle prve slabe ocene – le strinjati se morate z vpisom v poseben elektronski sistem za analizo njegovega šolskega dela. Ali pa iščete službo in vidite oglas za novo, po njihovih navedbah izjemno uspešno agencijo, ki vas bo povezala z idealnim delodajalcem. Zgolj prepustiti jim morate dostop do vašega osebnega elektronskega poštnega predala, iz katerega bodo izdelali vaš osebnostni profil.
Omenjena zaposlitvena agencija deluje na Finskem. O zgodnjem zaznavanju učnih težav razmišljajo v Sloveniji. V Italiji algoritmi odločajo, kateri bolniki so upravičeni do sprejema v javnem zdravstvenem sistemu. Na Poljskem razvrščajo brezposelne, na Danskem samodejno opozarjajo na domnevno zanemarjene otroke: Sistemi za avtomatizirano odločanje na Nizozemskem preganjajo nepoštene prejemnike socialne podpore, v številnih državah EU pa presojajo kreditno zmožnost državljanov in odločajo, komu bodo odobrili kredit.
Zbranih podatkov ne bodo analizirali ljudje, temveč algoritmi – oziroma sistemi za avtomatizirano odločanje, ki jih nameščamo in uporabljamo povsod po Evropi.
Avtomatizirano odločanje je vse bolj navzoče v vsakdanjem življenju Evropejcev in uporaba takšnih sistemov ima lahko številne družbene koristi: prihrani in izboljša porabo javnega denarja, rešuje življenja in poveča konkurenčnost podjetij. Vendar lahko ti sistemi brez ustreznih varovalk povzročajo tudi negativne učinke – nepravično diskriminirajo posameznike, jih nadzirajo in povečujejo družbeno neenakost.
Uporabnikov velikokrat ne seznanijo, da o njihovi usodi odločajo računalniški sistemi. Ne vedo, na kakšen način se obdelujejo njihovi podatki in nimajo možnosti pritožbe nad odločitvijo algoritma. Ne pomislijo, da so bili morda diskriminirani zaradi spola, starosti, etnične pripadnosti, kraja bivanja ali veroizpovedi. Vse manj je tudi izbire, ali se sploh hočemo vključiti v takšne sisteme in storitve, saj je udeležba za marsikoga obvezna. Sploh če ste revni ali brezposelni.
Politični odločevalci zelo površno sledijo, na katerih področjih in s kakšnim namenom se uvajajo sistemi za avtomatizirano odločanje. Zato sta nevladna organizacija AlgorithmWatch in fundacija Bertelsmann Stiftung pripravili poročilo o avtomatizaciji družbe (Automating Society – Taking Stock of Automated Decision-Making in the EU), s katerim sta hotela prvič celovito predstaviti uporabo algoritmov pri odločanju.
Avtorji poročila smo tako zbrali več kot 60 primerov avtomatiziranega odločanja v dvanajstih državah EU. Med njimi smo vključili tudi Slovenijo.
Evropa nima enotnega pristopa
Razlike med predstavljenim članicami EU so velike. Skoraj vse države so pripravile vsaj okvirne strategije za razvoj strojnega učenja in umetne inteligence. V večini držav delujejo nevladne organizacije in strokovna združenja, ki spremljajo uporabo sistemov za samodejno odločanje in opozarjajo na zlorabe – zlasti pri policiji. Toda resnost teh strategij najprej pokaže financiranje.
V Španiji je vlada namenila skromne štiri milijone evrov za program Via Industria 4.0, v katerega je vključila 400 podjetij, ki bodo »pospešile digitalno preobrazbo in izboljšale konkurenčnost z uporabo novih tehnologij«. Na Švedskem pa je že ena zasebna fundacija podelila 100 milijonov evrov dvema univerzama, ki bosta v okviru Wallenbergovega programa za razvoj avtonomnih sistemov in računalniških programov razvijali strojno učenje, umetno inteligenco in matematična orodja, ki jih potrebujejo takšni sistemi. Za Slovenijo takšne ocene nismo uspeli pridobiti.
Drugi pokazatelj so strokovne komisije in civilnodružbene pobude. V Nemčiji in Veliki Britaniji se s področjem avtonomnih sistemov ukvarjajo številne vladne in parlamentarne komisije, varuhi zasebnosti, poslovna združenja in nevladne organizacije. V državah kot so Poljska, Slovenija ali Italija, pa sicer prav tako uporabljajo sisteme za samodejno odločanje, vendar ni politične razprave o njihovi uporabi. Edina izjema je izjava proti uporabi avtonomnih orožij, ki jo je pripravila skupina pravnikov in inženirjev (…).
Podobno velja za nadzor. V Franciji morajo biti po zakonu transparentni vsi algoritmi, ki jih uporabljajo vladne službe, a v praksi nihče ne upošteva tega pravila. Na Finskem pa je poseben ombudsman za nediskriminatorno uporabo podatkov vložil pritožbo proti podjetju, ki je uporabljalo sporen model za kreditno točkovanje. Če bodo ugotovili diskriminatorno prakso, grozi podjetju 100.000 evrov kazni.
Algoritmi? Kakšni algoritmi?
V Sloveniji najbolj izstopa pomanjkanje javne razprave, državne strategije in civilnodružbenih pobud na področju razvoja avtonomnih sistemov, uporabe umetne inteligence in nadzora nad delovanjem algoritmov.
Na prvi pogled se zdi, da Slovenija na področju avtonomnih sistemov tudi v praksi zaostaja za tujimi praksami. Na ministrstvih večinoma niso znali našteti primerov, kjer bi odločanje delno ali v celoti prepustili algoritmom. Pomoč algoritmov so potrdili na finančni upravi, kjer jih uporabljajo za zaznavanje in preprečevanje davčnih utaj. Na ministrstvu za izobraževanje pa niso hoteli predstaviti načrtov, ali (in če sploh) bo zaživel Metis – sistem za zgodnje prepoznavanje učnih težav. Nekoliko konkretnejši so bili pri policiji, kjer so nam posredovali statistiko sistema za nadzor letalskih potnikov. Zatrdili so, da o pregledih odločajo ljudje. Niso pa se opredeljevali do stališča varuha človekovih pravic in informacijskega pooblaščenca, da sistem preveč posega v zasebnost letalskih potnikov.
Dosti zgovornejši niso bili niti v gospodarstvu. Predstavniki bančnih in zavarovalniških podjetij so sicer potrdili, da preizkušajo in uporabljajo tudi orodja za pomoč pri odločanju, vendar so hkrati zatrdili, da je odločanje še vedno človeško. Kljub temu so se strinjali z ugotovitvami nekaterih raziskovalcev, da se lahko ljudje zelo hitro začnejo zanašati na elektronske svetovalce. Da se človeški uslužbenci redko odločajo drugače kot računalnik, če morajo odločati o zavarovanju ali kreditu. Kljub temu, da ne vedo, kako sploh razmišlja »črna škatla« in kako poteka algoritemsko odločanje.
To med drugim kažejo tudi zadrege nekaterih oglaševalcev, ki oglasna orodja pogosto uporabljajo kot avtopilote: vpišejo nekaj besed ter odkljukajo demografske in lokacijske kvadratke, a si niti ne predstavljajo spletnega okolja, v katerem se bodo pojavili njihovi oglasi. Kako nepremišljeno je lahko slepo zaupanje oglasnim algoritmov, je pokazala kampanja proti financiranju sovraštva na spletu, ki so ga – hote ali nehote – podpirala tudi nekatera največja slovenska podjetja. Včasih z izgovorom, da nimajo vpliva na razporejanje spletnih oglasov.
Dobre prakse
Poleg slabih smo v poročilu našteli tudi precej dobrih praks. Na Nizozemskem so se v javnosti veliko ukvarjali z vprašanjem, ali je njihov sistem za zaznavanje prevar pri prejemanju socialne podpore pravičen. Na Danskem je na podobne dileme opozoril sistem za zaznavanje zapostavljenih otrok. V obeh primerih so se kritiki spraševali, ali sistema morda diskriminirata določene skupine prebivalstva? Kaj hoče vlada sploh doseči s takšnim sistemom – izboljšati sistem socialne pomoči ali omejiti socialne pravice? Pomagati revnim ali jih prisiliti, da sprejemajo slabo plačane službe? Podobne razprave so spremljale tudi uvedbo sistemov za videonadzor ali zaznavanje kriminala v več evropskih državah, kjer so civilnodružbene organizacije opozarjale na »vgrajene« pristranskosti do določenih skupin državljanov. Zlasti revnejših in pripadnikov etničnih ali verskih manjšin.
Na Danskem pa so potrdili, da je lahko uporaba strojnega učenja zelo koristna pri izboljšanju medicinske diagnostike – pregledovanju rezultatov pri preventivnih pregledih za rak na dojki – vendar je še vedno nujen tudi človeški zdravniški nadzor, ki zmanjša verjetnost napačno pozitivnih rezultatov. Zanimiv primer smo našli tudi na Finskem, kjer so razvili brezplačen spletni izobraževalni tečaj o umetni inteligenci in strojnem učenju, v katerem so se dotaknili tudi delovanja sistemov za samodejno odločanje. Tečaj je opravilo več kot 100.000 Fincev, kar je imelo po mnenju avtorjev zelo pozitivne učinke na javno razpravo o uporabi algoritmov.
Razpravo, ki se ni v Sloveniji še niti začela.
Brez komentarjev