NEOVISNA

STRUČNA SKUPINA NA VISOKOJ RAZINI O UMJETNOJ INTELIGENCIJI

KOJU JE EUROPSKA KOMISIJA OSNOVALA U LIPNJU 2018.

ETIČKE SMJERNICE ZA POUZDANU UMJETNU

INTELIGENCIJU

ETIČKE SMJERNICE ZA POUZDANU UMJETNU INTELIGENCIJU

Stručna skupina na visokoj razini o umjetnoj inteligenciji

Ovaj dokument izradila je Stručna skupina na visokoj razini o umjetnoj inteligenciji (AI HLEG). Članovi AI HLEG-a navedeni u ovom dokumentu podupiru cjelokupni okvir za pouzdanu umjetnu inteligenciju prikazan u ovim Smjernicama, iako se ne slažu nužno sa svakom izjavom u dokumentu. .

Popis za procjenu pouzdane umjetne inteligencije prikazan u poglavlju III. ovog dokumenta proći će kroz pilot-fazu među dionicima kako bi se prikupile praktične povratne informacije. Revidirana verzija popisa za procjenu, u kojoj će se uzeti u obzir povratne informacije prikupljene u pilot-fazi, dostavit će se Europskoj komisiji početkom 2020.

AI HLEG neovisna je stručna skupina koju je Europska komisija osnovala u lipnju 2018. Kontakt Nathalie Smuha – koordinatorica Stručne skupine na visokoj razini o umjetnoj inteligenciji Adresa e-pošte CNECT-HLG-AI@ec.europa.eu Europska komisija B-1049 Bruxelles

Dokument je objavljen X travnja 2019. Prvi nacrt ovog dokumenta objavljen je 18. prosinca 2018. i bio je predmet otvorenog savjetovanja u kojem je više od 500 sudionika dalo povratne informacije. Srdačno se zahvaljujemo svim sudionicima koji su povratnim informacijama pridonijeli prvom nacrtu dokumenta i koje su uzete u obzir u pripremi ove revidirane verzije. Ni Europska komisija ni bilo koja druga osoba koja postupa u ime Komisije nisu odgovorne za moguću upotrebu ovih podataka. Sadržaj ovog radnog dokumenta isključiva je odgovornost Stručne skupine na visokoj razini o umjetnoj inteligenciji (AI HLEG). Iako je osoblje Komisije olakšalo pripremu Smjernica, stajališta izražena u ovom dokumentu odražavaju mišljenje AI HLEG-a i ni u kojim se okolnostima ne može smatrati da odražavaju službeno stajalište Europske komisije. Više informacija o Stručnoj skupini na visokoj razini o umjetnoj inteligenciji dostupno je na internetu (https://ec.europa.eu/digital-single-market/en/high-level-expert-group-artificial-intelligence).

Politika ponovne upotrebe dokumenata Europske komisije uređena je Odlukom 2011/833/EU (SL L 330, 14.12.2011., str. 39.). Za svaku upotrebu ili reprodukciju fotografija ili drugih materijala koji nisu zaštićeni autorskim pravima EU-a dopuštenje se mora zatražiti izravno od vlasnika autorskih prava.

1

SADRŽAJ

SAŽETAK 2

A. UVOD 5

B. OKVIR ZA POUZDANU UMJETNU INTELIGENCIJU 7

I. Poglavlje I.: Temelji pouzdane umjetne inteligencije 10

1. Temeljna prava kao moralna i zakonska prava 10

2. Od temeljnih prava do etičkih načela 11

II. Poglavlje II.: Ostvarenje pouzdane umjetne inteligencije 15

1. Zahtjevi za pouzdanu umjetnu inteligenciju 15

2. Tehničke i netehničke metode za ostvarenje pouzdane umjetne inteligencije 23

III. Poglavlje III.: Procjena pouzdane umjetne inteligencije 27

C. PRIMJERI PRILIKA I POSEBNO PROBLEMATIČNIH PODRUČJA KOJA SE JAVLJAJU U VEZI S

UMJETNOM INTELIGENCIJOM 38

D. ZAKLJUČAK 42

POJMOVNIK 44

2

SAŽETAK

(1) Cilj je Smjernica promicati pouzdanu umjetnu inteligenciju. Pouzdana umjetna inteligencija ima tri sastavnice,

koje trebaju biti ispunjene tijekom cijelog životnog ciklusa sustava: (a) trebala bi biti zakonita i poštovati sve

primjenjive zakone i propise; (b) trebala bi biti etična i osigurati poštovanje etičkih načela i vrijednosti i (c)

trebala bi biti otporna i iz tehničke i iz socijalne perspektive jer sustavi umjetne inteligencije, čak i s dobrim

namjerama, mogu uzrokovati nenamjernu štetu. Svaka je sastavnica sama po sebi nužna, ali nije dovoljna za

postizanje pouzdane umjetne inteligencije. U idealnom su slučaju sve tri sastavnice usklađene i preklapaju se u

svojem djelovanju. Ako se u praksi među njima pojave napetosti, društvo bi ih trebalo nastojati uskladiti.

(2) U ovim je Smjernicama utvrđen okvir za postizanje pouzdane umjetne inteligencije. U okviru se ne govori

izričito o prvoj sastavnici pouzdane umjetne inteligencije (zakonita umjetna inteligencija)1. Umjesto

toga, u njemu se nastoje utvrditi smjernice za poticanje i osiguravanje etičke i otporne umjetne inteligencije

(druga i treća sastavnica). Smjernice su namijenjene svim dionicima i njima se nastoji otići korak dalje od

jednostavnog navođenja popisa etičkih načela pružanjem smjernica o načinu na koji se ta načela mogu

operacionalizirati u socijalnim i tehničkim sustavima. Smjernice su prikazane u tri razine apstrakcije, od

najapstraktnije u poglavlju I. do najkonkretnije u poglavlju III., a završavaju primjerima prilika i posebno

problematičnih područja koja se pojavljuju u vezi sa sustavima umjetne inteligencije

I. Na temelju pristupa koji se temelji na temeljnim pravima, u poglavlju I. utvrđena su etička načela i s njima

povezane vrijednosti koje se moraju poštovati pri razvoju, uvođenju i upotrebi sustava umjetne

inteligencije.

Ključne smjernice izvedene iz poglavlja I.

Razvijati, uvoditi i upotrebljavati sustave umjetne inteligencije na način kojim se poštuju ova etička

načela: poštovanje ljudske autonomije, sprečavanje nastanka štete, pravednost i objašnjivost.

Prepoznati i razriješiti moguće napetosti među tim načelima.

Obratiti posebnu pozornost na situacije koje uključuju više ranjivih skupina kao što su djeca, osobe s

invaliditetom i ostale skupine koje su povijesno bile u nepovoljnom položaju ili im prijeti opasnost od

isključenosti te na situacije za koje je karakteristična razlika u moći ili informiranosti, na primjer

između poslodavaca i radnika ili između poduzeća i potrošača2.

Prepoznati i imati na umu da iako sustavi umjetne inteligencije pojedincima i društvu pružaju znatne

koristi, ti sustavi povezani su i s određenim rizicima i mogu imati negativan učinak, među ostalim i

učinke koje može biti teško predvidjeti, utvrditi ili mjeriti (npr. na demokraciju, vladavinu prava i

pravednu raspodjelu ili na sam ljudski um). Prema potrebi donijeti odgovarajuće mjere za smanjenje

tih rizika, razmjerne veličini rizika.

II. Na osnovi poglavlja I. u poglavlju II. daju se smjernice o tome kako postići pouzdanu umjetnu inteligenciju

– navođenjem sedam zahtjeva koje bi sustavi umjetne inteligencije trebali ispuniti. Za njihovu se

provedbu mogu upotrijebiti i tehničke i netehničke metode.

Ključne smjernice izvedene iz poglavlja II.

Osigurati da razvoj, uvođenje i upotreba sustava umjetne inteligencije ispunjavaju zahtjeve za

pouzdanu umjetnu inteligenciju: (1) ljudsko djelovanje i nadzor; (2) tehnička otpornost i sigurnost; (3)

1 Svim normativnim izjavama u ovom dokumentu nastoje se odraziti smjernice za postizanje druge i treće sastavnice pouzdane

umjetne inteligencije (etična i otporna umjetna inteligencija). Te izjave stoga nisu usmjerene na davanje pravnih savjeta ili pružanje smjernica o usklađenosti s primjenjivim zakonima, iako se priznaje da se mnoge od tih izjava u nekoj mjeri već odražavaju u postojećim zakonima. Po tom pitanju vidjeti točku 21. i dalje. 2 Vidjeti članke od 24. do 27. Povelje EU-a o temeljnim pravima (Povelja EU-a), koji se bave pravima djeteta i starijih osoba te integracijom osoba s invaliditetom i pravima radnika. Vidjeti i članak 38., koji se bavi zaštitom potrošača.

3

privatnost i upravljanje podacima; (4) transparentnost; (5) raznolikost, nediskriminacija i pravednost;

(6) dobrobit za okoliš i društvo te (7) odgovornost.

Razmotriti tehničke i netehničke metode kako bi se osigurala provedba tih zahtjeva.

Poticati istraživanje i inovacije kako bi se pomoglo u procjeni sustava umjetne inteligencije i

unaprijedilo ostvarenje zahtjeva; distribuirati rezultate i otvorena pitanja široj javnosti i sustavno

osposobljavati novu generaciju stručnjaka za etiku umjetne inteligencije.

Dionicima na jasan i proaktivan način priopćavati informacije o sposobnostima i ograničenjima

sustava umjetne inteligencije, što omogućuje realistična očekivanja, te o načinu na koji se provode

zahtjevi. Treba biti transparentan oko činjenice da je riječ o sustavu umjetne inteligencije.

Olakšati sljedivost i provjerljivost sustava umjetne inteligencije, osobito u kritičnim uvjetima ili

situacijama.

Uključiti dionike u cijeli životni ciklus sustava umjetne inteligencije. Poticati osposobljavanje i

obrazovanje tako da svi dionici budu svjesni pouzdane umjetne inteligencije i osposobljeni za nju.

Biti svjestan da mogu postojati temeljne napetosti među različitim načelima i zahtjevima. Stalno

utvrđivati, procjenjivati, dokumentirati i priopćavati te kompromise i njihova rješenja.

III. U poglavlju III. navodi se konkretan i neiscrpan popis za procjenu pouzdane umjetne inteligencije

kojim se nastoje operacionalizirati zahtjevi utvrđeni u poglavlju II. Taj popis za procjenu trebat će

prilagoditi specifičnom slučaju upotrebe sustava umjetne inteligencije3.

Ključne smjernice izvedene iz poglavlja III.

Upotrebljavati procjenu pouzdane umjetne inteligencije pri razvoju, uvođenju i upotrebi sustava

umjetne inteligencije te je prilagoditi specifičnom slučaju upotrebe u kojem se sustav primjenjuje.

Imati na umu da takav popis za procjenu nikada nije iscrpan. Kod osiguranja pouzdane umjetne

inteligencije nije riječ o ispunjavanju formalnih zahtjeva, nego o kontinuiranom identificiranju i

provođenju zahtjeva, vrednovanju rješenja i osiguravanju boljih ishoda kroz cijeli životni ciklus sustava

umjetne inteligencije te uključivanju dionika u taj proces.

(3) U zadnjem odjeljku dokumenta nastoje se konkretizirati neka pitanja koja se spominju u okviru pružanjem

primjera korisnih prilika koje bi trebalo nastojati ostvariti te posebno problematičnih područja koja se javljaju u

vezi sa sustavima umjetne inteligencije, koja bi trebalo pažljivo razmotriti.

(4) Iako se ovim Smjernicama nastoje pružiti općenite upute za primjene umjetne inteligencije, tijekom izgradnje

horizontalnog temelja za postizanje pouzdane umjetne inteligencije različite situacije dovode do različitih

izazova. Zato treba ispitati je li uz taj horizontalni okvir potreban i sektorski pristup, uzimajući u obzir

posebnosti sustava umjetne inteligencije u različitim kontekstima.

(5) Ovim se Smjernicama ne nastoji zamijeniti nikakav oblik postojećeg ili budućeg donošenja politika ili propisa

niti im je cilj njegovo suzbijanje. Trebalo bi ih smatrati dokumentom koji je podložan promjenama i koji s

vremenom treba preispitivati i ažurirati kako bi se osigurala njihova stalna relevantnost, s obzirom na to da se

tehnologija, naše društveno okruženje i naše znanje razvijaju. Dokument je zamišljen kao početna točka za

raspravu o „pouzdanoj umjetnoj inteligenciji za Europu”4. Smjernicama se i izvan Europe nastoji potaknuti

3 U skladu s područjem primjene okvira utvrđenog u točki 2. taj popis za procjenu ne pruža nikakve savjete o osiguravanju pravne usklađenosti (zakonita umjetna inteligencija), već se ograničava na pružanje smjernica o ispunjavanju druge i treće sastavnice pouzdane umjetne inteligencije (etična i otporna umjetna inteligencija).

4 Cilj je da se taj ideal primjenjuje na sustave umjetne inteligencije koji se razvijaju, uvode i upotrebljavaju u državama članicama EU-a te na sustave koji su razvijeni ili proizvedeni negdje drugdje, ali se uvode i upotrebljavaju u EU-u. Kada se u ovom dokumentu upućuje na „Europu”, misli se na države članice EU-a. Međutim, teži se tomu da Smjernice budu relevantne i izvan EU-a. Kad je riječ o tome, može se napomenuti i da su Norveška i Švicarska dio Koordiniranog plana o umjetnoj inteligenciji koji su Komisija i države članice dogovorile i objavile u prosincu 2018.

4

istraživanje, promišljanje i rasprava o etičkom okviru za sustave umjetne inteligencije na globalnoj razini.

5

A. UVOD

(6) U komunikacijama od 25. travnja 2018. i 7. prosinca 2018. Europska komisija (Komisija) utvrdila je

svoju viziju umjetne inteligencije kojom se podupire „etična, sigurna i napredna umjetna inteligencija

oblikovana u Europi”5. Komisijina vizija temelji se na trima stupovima: i. povećanju javnih i privatnih ulaganja

u umjetnu inteligenciju kako bi se povećalo njezino prihvaćanje; ii. pripremi za socioekonomske promjene i iii.

osiguravanju primjerenog etičkog i pravnog okvira za jačanje europskih vrijednosti.

(7) Kako bi podržala provedbu te vizije, Komisija je uspostavila Stručnu skupinu na visokoj razini o umjetnoj

inteligenciji (AI HLEG), neovisnu skupinu kojoj je povjerena zadaća izrade dvaju dokumenata: (1) Etičkih

smjernica za umjetnu inteligenciju i (2) Preporuka za politiku i ulaganje.

(8) Ovaj dokument sadržava Etičke smjernice za umjetnu inteligenciju koje su revidirane nakon što ih je skupina

dodatno razmotrila u kontekstu povratnih informacija iz javnog savjetovanja o nacrtu koji je objavljen

18. prosinca 2018. Temelji se na radu Europske skupine za etiku u znanosti i novim tehnologijama6 i

drugim sličnim nastojanjima7.

(9) U zadnjih nekoliko mjeseci 52 člana Skupine sastala su se, raspravljala i zajedno djelovala u skladu s europskim

motom: ujedinjeni u raznolikosti. Smatramo da umjetna inteligencija ima potencijal za znatnu preobrazbu

društva. Umjetna inteligencija nije sama po sebi cilj, već je obećavajuće sredstvo za poboljšanje ljudskog

napretka, čime se poboljšava pojedinačna i društvena dobrobit i opće dobro, kao i za ostvarivanje napretka i

inovacija. Točnije, sustavi umjetne inteligencije mogu pomoći u olakšavanju ostvarenja UN-ovih ciljeva

održivog razvoja, kao što su promicanje ravnoteže spolova i rješavanje problema koji su povezani s klimatskim

promjenama, racionalizacija upotrebe prirodnih resursa, poboljšanje zdravlja, mobilnosti i proizvodnih

postupaka, te u podupiranju načina na koji pratimo napredak u odnosu na pokazatelje održivosti i društvene

kohezije.

(10) Da bi to bilo moguće, sustavi umjetne inteligencije8 trebaju biti usmjereni na čovjeka i temeljiti se na obvezi

upotrebe sustava u službi čovječanstva i općeg dobra, s ciljem poboljšanja ljudske dobrobiti i slobode. Iako

pružaju velike prilike, sustavi umjetne inteligencije povezani su i s određenim rizicima koji se moraju riješiti

primjereno i razmjerno. Sada imamo važnu mogućnost za usmjeravanje njihova razvoja. Želimo osigurati

povjerenje socioekonomskoj okolini u koju su integrirani i želimo da proizvođači sustava umjetne inteligencije

dobiju konkurentnu prednost ugrađivanjem pouzdane umjetne inteligencije u svoje proizvode i usluge. To

obuhvaća nastojanje da se maksimalno povećaju koristi sustava umjetne inteligencije uz istovremeno

sprečavanje i umanjivanje rizika koje oni predstavljaju.

(11) U kontekstu brzih tehnoloških promjena smatramo da je od presudne važnosti da povjerenje bude spona u

društvima, zajednicama, gospodarstvima i održivom razvoju. Stoga smo utvrdili da je pouzdana umjetna

inteligencija temeljna težnja jer će ljudi i zajednice razvoju tehnologije i njezinim primjenama moći vjerovati

samo ako se uspostavi jasan i sveobuhvatan okvir za postizanje njezine pouzdanosti.

(12) Smatramo da bi Europa trebala slijediti taj put kako bi se pozicionirala kao sjedište i predvodnik napredne i

etičke tehnologije. S pomoću pouzdane umjetne inteligencije mi ćemo kao europski građani nastojati ostvariti

koristi na način koji je usklađen s našim temeljnim vrijednostima – poštovanjem ljudskih prava, demokracijom i

5 COM(2018) 237 i COM(2018) 795. Napominjemo da se izraz „oblikovana u Europi” upotrebljava u cijeloj komunikaciji Komisije. Međutim, područjem primjene Smjernica ne nastoje se obuhvatiti samo sustavi umjetne inteligencije proizvedeni u Europi, već i oni koji su razvijeni negdje drugdje, ali se uvode ili upotrebljavaju u Europi. Stoga u cijelom dokumentu nastojimo promicati pouzdanu umjetnu inteligenciju „za” Europu.

6 Europska skupina za etiku u znanosti i novim tehnologijama (EGE) savjetodavna je skupina Komisije.

7 Vidjeti odjeljak 3.3. dokumenta COM(2018) 237. 8 U Pojmovniku na kraju dokumenta nalazi se definicija sustava umjetne inteligencije za potrebe ovog dokumenta. Ta je definicija dodatno razrađena u namjenskom dokumentu koji je pripremio AI HLEG i koji je priložen ovim Smjernicama, pod nazivom „Definicija umjetne inteligencije: glavne mogućnosti i znanstvene discipline”.

6

vladavinom prava.

Pouzdana umjetna inteligencija

(13) Pouzdanost je preduvjet koji se mora ispuniti kako bi ljudi i društva razvijali, uvodili i upotrebljavali sustave

umjetne inteligencije. Ako se ne dokaže da sustavi umjetne inteligencije – i ljudi koji stoje iza njih – zaslužuju

povjerenje, može doći do neželjenih posljedica i može se omesti prihvaćanje tih sustava. Time bi se spriječilo

ostvarivanjevelikih potencijalnih društvenih i ekonomskih koristi koje sustavi umjetne inteligencije

omogućuju. Kako bismo pomogli Europi da ostvari koristi od sustava umjetne inteligencije, naša je vizija

koristiti se etičkim načelima kao osnovnim stupom kojim se osigurava i vrednuje pouzdana umjetna

inteligencija.

(14) Pouzdanje u razvoj, uvođenje i upotreba sustava umjetne inteligencije ne odnose se samo na

inherentna svojstva tehnologije, nego i na svojstva socijalnih i tehničkih sustava u kojima se umjetna

inteligencija primjenjuje9. U skladu s pitanjima povezanima s povjerenjem (ili gubitkom povjerenja) u

zračni promet, nuklearne elektrane ili sigurnost hrane, povjerenje ili manjak povjerenja mogu

izazvati ne samo sastavnice sustava umjetne inteligencije nego i sustav u njegovu cjelokupnom

kontekstu. Težnja da se postigne pouzdana umjetna inteligencija ne odnosi se stoga samo na pouzdanost

samog sustava umjetne inteligencije, nego zahtijeva sveobuhvatan i sustavan pristup, koji obuhvaća

pouzdanost svih subjekata i procesa koji su dio sociotehničkog konteksta sustava u cijelom njegovu

životnom ciklusu.

(15) Pouzdana umjetna inteligencija ima tri sastavnice, koje trebaju biti ispunjene tijekom cijelog životnog ciklusa

sustava:

1. trebala bi biti zakonita i osigurati poštovanje svih primjenjivih zakona i propisa;

2. trebala bi biti etična i osigurati poštovanje etičkih načela i vrijednosti; i

3. trebala bi biti otporna i iz tehničke i iz socijalne perspektive jer sustavi umjetne inteligencije, čak i s dobrim

namjerama, mogu uzrokovati nenamjernu štetu.

(16) Svaka je sastavnica nužna, ali sama po sebi nije dovoljna za postizanje pouzdane umjetne inteligencije10. U

idealnom su slučaju sve tri sastavnice usklađene i preklapaju se u svojem djelovanju. Međutim, u praksi mogu

postojati napetosti među tim elementima (npr. ponekad područje primjene i sadržaj postojećeg zakona nisu

usklađeni s etičkim normama). Naša pojedinačna i zajednička odgovornost kao društva jest surađivati

kako bismo osigurali da sve tri sastavnice pomognu u postizanju pouzdane umjetne inteligencije11.

(17) Pristup koji se temelji na pouzdanosti ključan je za omogućivanje „odgovorne konkurentnosti” jer pruža temelj

na osnovu kojeg svi subjekti na koje sustavi umjetne inteligencije utječu mogu vjerovati da su njihov dizajn,

razvoj i upotreba zakoniti, etični i otporni. Cilj je ovih Smjernica poticati odgovorne i održive inovacije u

području umjetne inteligencije u Europi. Njima se etika nastoji učiniti osnovnim stupom za razvoj jedinstvenog

pristupa umjetnoj inteligenciji, kojim se pogoduje, osnažuje i štiti pojedinačni razvoj ljudi i opće dobro društva.

Smatramo da će to Europi omogućiti da se postavi kao globalni predvodnik napredne umjetne inteligencije

koja zaslužuje naše pojedinačno i zajedničko povjerenje. Stanovnici Europe u potpunosti će ostvariti koristi od

sustava umjetne inteligencije samo ako se osigura pouzdanost, jer će u tom slučaju biti sigurni da postoje

mjere za zaštitu od mogućih rizika.

(18) Baš kao što upotreba sustava umjetne inteligencije nije ograničena nacionalnim granicama, time nije ograničen

9 Ti sustavi obuhvaćaju ljude, državne subjekte, poduzeća, infrastrukturu, računalne programe, protokole, standarde, upravljanje, postojeće zakone, mehanizme nadzora, strukture za poticaje, postupke revizije, izvješćivanje o najboljoj praksi i drugo. 10 To ne isključuje činjenicu da su možda potrebni (ili će postati potrebni) dodatni uvjeti.

11 To znači i da će tvorci zakonodavstva ili politika možda trebati preispitati primjerenost postojećih zakona ako oni nisu usklađeni s etičkim načelima.

7

ni njezin učinak. Potrebna su globalna rješenja za globalne prilike i izazove povezane s umjetnom

inteligencijom. Stoga potičemo sve dionike da rade na globalnom okviru za pouzdanu umjetnu inteligenciju

postizanjem međunarodnog konsenzusa uz istovremeno promicanje i poštovanje našeg pristupa koji se temelji

na temeljnim pravima.

Publika i područje primjene

(19) Ove su Smjernice namijenjene svim dionicima u području umjetne inteligencije koji dizajniraju, razvijaju,

uvode, provode i upotrebljavaju umjetnu inteligenciju ili ona na njih utječe. To uključuje poduzeća,

organizacije, istraživače, javne usluge, državne agencije, ustanove, organizacije civilnog društva, pojedince,

radnike i potrošače, ali nije ograničeno na njih. Dionici koji su predani postizanju pouzdane umjetne

inteligencije mogu dobrovoljno odlučiti upotrebljavati ove Smjernice kao metodu za operacionalizaciju svoje

predanosti, osobito upotrebom praktičnog popisa za procjenu iz poglavlja III. u procesima razvoja i uvođenja

svojih sustava umjetne inteligencije. Taj se popis za procjenu može upotrijebiti i za nadopunu postojećih

procesa procjene (a time i uključiti u te procese).

(20) Smjernicama se nastoje pružiti općenite upute za primjene umjetne inteligencije te izgraditi horizontalni

temelj za postizanje pouzdane umjetne inteligencije. Međutim, različite situacije dovode do različitih izazova.

Sustavi umjetne inteligencije za preporuku glazbe ne otvaraju ista etička pitanja kao i sustavi umjetne

inteligencije koji predlažu kritično liječenje. Isto tako, različite prilike i izazovi javljaju se kod sustava umjetne

inteligencije koji se upotrebljavaju u kontekstu odnosa između poduzeća i potrošača, poduzeća i poduzeća,

poslodavca i zaposlenika, javnosti i građana ili općenitije u različitim sektorima ili slučajevima upotrebe. S

obzirom na posebnost sustava umjetne inteligencije u različitim kontekstima, priznaje se da se provedba ovih

Smjernica treba prilagoditi specifičnoj primjeni umjetne inteligencije. Štoviše, trebalo bi ispitati potrebu za

dodatnim sektorskim pristupom za dopunu općenitijeg horizontalnog okvira predloženog u ovom dokumentu.

Kako bismo mogli bolje razumjeti način na koji se ove Smjernice mogu provesti na horizontalnoj razini i pitanja

koja zahtijevaju sektorski pristup, pozivamo sve dionike da isprobaju popis za procjenu pouzdane umjetne

inteligencije (poglavlje III.) kojim se operacionalizira okvir te da nam dostave povratne informacije. Na temelju

povratnih informacija koje prikupimo u pilot-fazi revidirat ćemo popis za procjenu Smjernica do početka 2020.

Pilot-faza pokrenut će se do ljeta 2019. i trajat će do kraja godine. Svi zainteresirani dionici moći će sudjelovati

ako izraze interes putem Europskog saveza za umjetnu inteligenciju.

B. OKVIR ZA POUZDANU UMJETNU INTELIGENCIJU

(21) U ovim se Smjernicama daje okvir za postizanje pouzdane umjetne inteligencije na temelju temeljnih prava

sadržanih u Povelji Europske unije o temeljnim pravima (Povelja EU-a) i u relevantnom međunarodnom pravu

o ljudskim pravima. U nastavku ukratko razmatramo tri sastavnice pouzdane umjetne inteligencije.

Zakonita umjetna inteligencija

(22) Sustavi umjetne inteligencije ne rade u svijetu bez zakona. Na razvoj, uvođenje i upotrebu sustava umjetne

inteligencije već se primjenjuje ili je za njih relevantan niz pravno obvezujućih pravila na europskoj, nacionalnoj

i međunarodnoj razini. Relevantni pravni izvori među ostalim uključuju primarno pravo Unije (ugovori

Europske unije i njezina Povelja o temeljnim pravima), sekundarno pravo Unije (kao što su Opća uredba o

zaštiti podataka, direktive protiv diskriminacije, Direktiva o strojevima, Direktiva o odgovornosti za proizvode,

Uredba o slobodnom protoku neosobnih podataka, pravo u području potrošača te direktive o sigurnosti i

zdravlju na radu), ali i ugovore UN-a o ljudskim pravima i konvencije Vijeća Europe (kao što je Europska

konvencija o ljudskim pravima) te mnoge zakone država članica EU-a. Osim horizontalno primjenjivih pravila,

postoje i različita pravila specifična za određeno područje, koja se primjenjuju na određene primjene umjetne

inteligencije (kao što je, na primjer, Uredba o medicinskim proizvodima u sektoru zdravstvene zaštite).

8

(23) Pravom se predviđaju i pozitivne i negativne obveze, što znači da se pravo ne bi trebalo tumačiti samo u

pogledu onoga što se ne može učiniti, nego i u pogledu onoga što bi se trebalo učiniti. Pravom se zabranjuju

određene radnje, ali se ujedno i omogućuju druge. Kad je riječ o tome, može se napomenuti da Povelja EU-a

sadržava članke o „slobodi poduzetništva” i „slobodi umjetnosti i znanost”, kao i članke koji se bave

područjima s kojima smo bolje upoznati kada nastojimo osigurati pouzdanost umjetne inteligencije, na primjer

zaštitom podataka i nediskriminacijom.

(24) Smjernice se ne bave izričito prvom sastavnicom pouzdane umjetne inteligencije (zakonita umjetna

inteligencija), nego su usmjerene na pružanje smjernica kojima se potiču i osiguravaju druga i treća sastavnica

(etična i otporna umjetna inteligencija). Iako su te dvije sastavnice u određenoj mjeri već prisutne u postojećim

zakonima, njihovo potpuno ostvarivanje može nadići postojeće pravne obveze.

(25) Ništa u ovom dokumentu ne može se tumačiti kao da pruža pravne savjete ili smjernice o načinu na koji se

može postići usklađenost s bilo kojim primjenjivim postojećim pravnim normama i zahtjevima. Ništa u ovom

dokumentu ne stvara zakonska prava i ne nameće pravne obveze prema trećim stranama. Međutim,

podsjećamo da je dužnost svake fizičke ili pravne osobe poštovati zakone, bilo da je riječ o zakonima koji su

trenutačno primjenjivi ili o zakonima koji budu doneseni u budućnosti u skladu s razvojem umjetne

inteligencije. Ove Smjernice temelje se na pretpostavci da su sva zakonska prava i obveze koji se primjenjuju

na procese i aktivnosti tijekom razvoja, uvođenja i upotrebe umjetne inteligencije i dalje obvezna i da ih se

mora poštovati na odgovarajući način.

Etična umjetna inteligencija

(26) Za postizanje pouzdane umjetne inteligencije nije dovoljna samo usklađenost sa zakonima – to je samo jedna

od tri sastavnice. Zakoni ponekad kaskaju za tehnološkim razvojem, ponekad nisu usklađeni s etičkim

normama ili možda jednostavno nisu primjereni za rješavanje određenih pitanja. Kako bi sustavi umjetne

inteligencije bili pouzdani, trebali bi biti etični i osiguravati usklađenost s etičkim normama.

Otporna umjetna inteligencija

(27) Čak i ako se osigura etična svrha, pojedinci i društvo moraju imati povjerenje u to da sustavi umjetne

inteligencije neće uzrokovati nikakvu nenamjernu štetu. Ti sustavi trebali bi raditi na siguran, zaštićen i

pouzdan način i trebalo bi predvidjeti zaštitne mjere za sprečavanje bilo kakvih nenamjernih negativnih

učinaka. Stoga je važno osigurati da sustavi umjetne inteligencije budu otporni. To je potrebno i iz tehničke

perspektive (osiguravanje tehničke otpornosti sustava kako je primjereno u određenom kontekstu, kao što je

područje primjene ili faza životnog ciklusa) i iz socijalne perspektive (uz valjano razmatranje konteksta i okoline

u kojima sustav radi). Etičnost i otpornost umjetne inteligencije stoga su usko povezani te se nadopunjuju.

Načela prikazana u poglavlju I. i zahtjevi koji su iz njih izvedeni u poglavlju II. bave se objema sastavnicama.

Okvir

(28) Smjernice su u ovom dokumentu prikazane u tri razine apstrakcije, od najapstraktnije u poglavlju I. do

najkonkretnije u poglavlju III.

(I) Temelji pouzdane umjetne inteligencije. U poglavlju I. utvrđeni su temelji pouzdane umjetne inteligencije

prikazivanjem pristupa umjetnoj inteligenciji koji se temelji na temeljnim pravima12. Utvrđuju se i opisuju

etička načela koja se moraju poštovati kako bi se osigurala etična i otporna umjetna inteligencija.

(II) Ostvarenje pouzdane umjetne inteligencije. U poglavlju II. ta se etička načela pretvaraju u sedam zahtjeva

12 Temeljna prava osnova su i međunarodnog i EU-ova prava o ljudskim pravima i temelj su pravno provedivih prava zajamčenih ugovorima EU-a i Poveljom EU-a o temeljnim pravima. Budući da je pravno obvezujuća, usklađenost s temeljnim pravima stoga pripada prvoj sastavnici pouzdane umjetne inteligencije, „zakonitoj umjetnoj inteligenciji”. Međutim, temeljna prava mogu se shvatiti i kao da odražavaju iposebna moralna prava svih pojedinaca koja proizlaze iz njihove čovječnosti, neovisno o pravno obvezujućem statusu prava. U tom su smislu ona i dio druge sastavnice pouzdane umjetne inteligencije, „etične umjetne inteligencije”.

9

koje bi trebalo provesti u sustavima umjetne inteligencije i poštovati tijekom njihova cijelog životnog ciklusa.

Usto, u njemu se pružaju i tehničke i netehničke metode koje se mogu upotrijebiti za provedbu tih zahtjeva.

(III) Procjena pouzdane umjetne inteligencije. Stručnjaci za umjetnu inteligenciju očekuju konkretne

smjernice. U poglavlju III. stoga je utvrđen preliminarni i neiscrpan popis za procjenu pouzdane umjetne

inteligencije kako bi se operacionalizirali zahtjevi iz poglavlja II. Tu bi procjenu trebalo prilagoditi specifičnoj

primjeni sustava.

(29) U završnom odjeljku dokumenta navode se korisne prilike i posebno problematična područja koja se pojavljuju

u vezi sa sustavima umjetne inteligencije o kojima bismo željeli potaknuti daljnju raspravu.

(30) Struktura Smjernica prikazana je na slici 1. u nastavku.

Slika 1.: Smjernice kao okvir za pouzdanu umjetnu inteligenciju

10

I. Poglavlje I.: Temelji pouzdane umjetne inteligencije

(31) U ovom su poglavlju utvrđeni temelji umjetne inteligencije koji se zasnivaju na temeljnim pravima i očituju u

četirima načelima koja treba poštovati kako bi se osigurala etična i otporna umjetna inteligencija. Ovo se

poglavlje u velikoj mjeri oslanja na područje etike.

(32) Etika umjetne inteligencije potpodručje je primijenjene etike usmjereno na etička pitanja koja se javljaju u vezi

s razvojem, uvođenje i upotrebom umjetne inteligencije. Njezina je središnja zadaća utvrditi načine na koje

umjetna inteligencija može povećati ili uzrokovati bojazni u pogledu dobrog života pojedinaca, bilo da je riječ o

kvaliteti života ili ljudskoj autonomiji i slobodi koji su potrebni za demokratsko društvo.

(33) Etička razmatranja o tehnologiji umjetne inteligencije mogu imati više svrha. Prvo, mogu potaknuti

razmatranja o potrebi za zaštitom pojedinaca i skupina na osnovnoj razini. Drugo, mogu potaknuti nove vrste

inovacija kojima se nastoje promicati etičke vrijednosti, kao što je pomoć u ostvarivanju UN-ovih ciljeva

održivog razvoja13, koji su integrirani u predstojeći Program EU-a za 2030.14. Iako se ovaj dokument uglavnom

bavi prvom navedenom svrhom, ne bi trebalo podcijeniti važnost koju bi etika mogla imati u drugoj svrsi.

Pouzdana umjetna inteligencija može poboljšati individualni napredak i kolektivnu dobrobit stvaranjem

blagostanja i vrijednosti te povećanjem bogatstva. Može pridonijeti postizanju pravednog društva tako što će

pomoći poboljšati zdravlje i dobrobit građana na načine koji potiču ravnopravnost u raspodjeli ekonomskih,

socijalnih i političkih prilika.

(34) Stoga je od presudne važnosti razumjeti kako najbolje podržati razvoj, uvođenje i upotrebu umjetne

inteligencije kako bi se osigurala mogućnost da svi budu uspješni u svijetu koji se temelji na umjetnoj

inteligenciji te kako bismo izgradili bolju budućnost i u isto vrijeme bili konkurentni na globalnoj razini. Kao i

kod svake moćne tehnologije, upotreba sustava umjetne inteligencije u našem društvu dovodi do nekoliko

etičkih pitanja, na primjer o njihovu učinku na ljude i društvo, sposobnosti odlučivanja i na sigurnost. Ako ćemo

sve više upotrebljavati pomoć sustava umjetne inteligencije ili odluke delegirati tim sustavima, moramo

osigurati da ti sustavi budu pravedni u pogledu njihova učinka na živote ljudi, da budu usklađeni s

beskompromisnim vrijednostima i da mogu djelovati u skladu s njima te da se to može osigurati primjerenim

procesima odgovornosti.

(35) Europa treba definirati kakvu normativnu viziju budućnosti uronjene u umjetnu inteligenciju želi ostvariti i u

skladu s tim razumjeti koji bi se pojam umjetne inteligencije trebao proučavati, razvijati, uvoditi i

upotrebljavati u Europi kako bi se ostvarila ta vizija. Ovim dokumentom nastojimo pridonijeti tom poduhvatu

uvođenjem pojma pouzdane umjetne inteligencije, za koju smatramo da je ispravan način izgradnje

budućnosti s umjetnom inteligencijom. Budućnost u kojoj se sustavi umjetne inteligencije temelje na

demokraciji, vladavini prava i temeljnim pravima te u kojoj ti sustavi stalno poboljšavaju i brane demokratsku

kulturu omogućit će i nastanak okoline u kojoj mogu napredovati inovacije i odgovorna konkurentnost.

(36) Etički kodeks za određeno područje, neovisno o tome koliko su njegove buduće verzije dosljedne, razvijene i

razrađene, nikada ne može funkcionirati kao zamjena za samo etičko promišljanje, koje uvijek mora biti

osjetljivo na pojedinosti konteksta koje se ne mogu obuhvatiti općenitim smjernicama. Osiguranje pouzdane

umjetne inteligencije zahtijeva da, osim razvoja skupa pravila, izradimo i održavamo etičku kulturu i način

razmišljanja u javnim raspravama, obrazovanju i praktičnom učenju.

1. Temeljna prava kao moralna i zakonska prava

13 https://ec.europa.eu/commission/publications/reflection-paper-towards-sustainable-europe-2030_hr

14 https://sustainabledevelopment.un.org/?menu=1300

11

(37) Vjerujemo u pristup etici umjetne inteligencije koji se temelji na temeljnim pravima iz ugovora EU-a,15

Povelje EU-a o temeljnim pravima (Povelja EU-a) i međunarodnog prava o ljudskim pravima16. Poštovanje

temeljnih prava u okviru demokracije i vladavine prava pruža najperspektivnije temelje za utvrđivanje

apstraktnih etičkih načela i vrijednosti koji se mogu operacionalizirati u kontekstu umjetne

inteligencije.

(38) Ugovori EU-a i Povelja EU-a propisuju niz temeljnih prava koja su države članice EU-a i institucije EU-a pravno

obvezne poštovati pri provedbi prava Unije. Ta su prava opisana u Povelji EU-a upućivanjem na dostojanstvo,

slobode, ravnopravnost i solidarnost, prava građana i pravdu. Zajednički temelj koji ujedinjuje ta prava

ukorijenjen je u poštovanju ljudskog dostojanstva. To se odražava u „pristupu usmjerenom na čovjeka” u

kojem čovjek ima jedinstven i neotuđiv moralni status prvenstva u građanskom, političkom,

ekonomskom i socijalnom području17.

(39) Iako su prava utvrđena u Povelji EU-a pravno obvezujuća,18 važno je prepoznati da temeljna prava ne pružaju u

svim slučajevima sveobuhvatnu pravnu zaštitu. Na primjer, za Povelju EU-a važno je naglasiti da je područje

njezine primjene ograničeno na područja prava Unije. Međunarodno pravo o ljudskim pravima i posebno

Europska konvencija o ljudskim pravima pravno su obvezujući za države članice, među ostalim i u područjima

izvan područja primjene prava Unije. Istovremeno mora se istaknuti da se temeljna prava dodjeljuju

pojedincima i (u određenoj mjeri) skupinama na temelju njihova moralnog statusa kao ljudskih bića, neovisno

o njihovoj pravnoj snazi. Ako se smatraju pravno provedivim pravima, temeljna prava pripadaju prvoj

sastavnici pouzdane umjetne inteligencije (zakonitoj umjetnoj inteligenciji), kojom se štiti usklađenost sa

zakonom. Ako se smatraju pravima svih osoba utemeljenima u inherentnom moralnom statusu ljudskih bića,

na njima se temelji i druga sastavnica pouzdane umjetne inteligencije (etična umjetna inteligencija), koja se

bavi etičkim normama koje nisu nužno pravno obvezujuće, ali se presudne za osiguravanje pouzdanosti.

Budući da svrha ovog dokumenta nije pružiti smjernice o prvoj sastavnici, za potrebe ovih neobvezujućih

smjernica upućivanja na temeljna prava odražavaju drugu sastavnicu.

2. Od temeljnih prava do etičkih načela

2.1 Temeljna prava kao osnova za pouzdanu umjetnu inteligenciju

(40) Od sveobuhvatnog skupa nerazdvojivih prava utvrđenih međunarodnim pravom o ljudskim pravima,

ugovorima EU-a i Poveljom EU-a, porodice temeljnih prava u nastavku posebno su primjerene za sustave

umjetne inteligencije. Mnoga od tih prava u utvrđenim su okolnostima pravno provediva u EU-u pa je

usklađenost s njihovim uvjetima pravno obvezna. Međutim, čak i nakon što se postigne usklađenost s pravno

provedivim temeljnim pravima, etička nam razmatranja mogu pomoći da razumijemo kako razvoj, uvođenje i

upotreba umjetne inteligencije mogu utjecati na temeljna prava i vrijednosti na kojima se ona temelje te nam

mogu pomoći da osiguramo razrađenijesmjernice kada nastojimo utvrditi što bismo trebali raditi s

tehnologijom, a ne što (trenutačno) možemo raditi s njom.

(41) Poštovanje ljudskog dostojanstva. Ljudsko dostojanstvo podrazumijeva ideju da svako ljudsko biće posjeduje

„intrinzičnu vrijednost” koju druge osobe, ali ni nove tehnologije kao što su sustavi umjetne inteligencije,

15 EU se temelji na ustavnoj obvezi zaštite temeljnih i nerazdvojivih prava ljudi kako bi se osiguralo poštovanje vladavine prava, poticala demokratska sloboda i promicalo opće dobro. Ta se prava odražavaju u člancima 2. i 3. Ugovora o Europskoj uniji te u Povelji EU-a o temeljnim pravima. 16 Drugi pravni instrumenti odražavaju i dodatno specificiraju te obveze, kao što je na primjer Europska socijalna povelja Vijeća Europe ili posebno zakonodavstvo kao što je EU-ova Opća uredba o zaštiti podataka. 17 Trebalo bi napomenuti da predanost umjetnoj inteligenciji usmjerenoj na čovjeka i njezina utemeljenost u temeljnim pravima zahtijevaju kolektivnu društvenu i ustavnu osnovu prema kojoj su pojedinačna sloboda i poštovanje ljudskog dostojanstva praktični mogući i smisleni, a ne podrazumijeva pretjerano individualističko shvaćanje čovjeka. 18 U skladu s člankom 51. Povelje, ona se primjenjuje na institucije EU-a i države članice EU-a kada provode pravo Unije.

12

nikada ne bi trebala umanjiti, ugroziti ili potisnuti19. U kontekstu umjetne inteligencije poštovanje ljudskog

dostojanstva podrazumijeva da se sa svim ljudima postupa s poštovanjem koje zaslužuju kao moralni subjekti,

a ne samo kao s objektima koje se probire, razvrstava, vrednuje, grupira, uvjetuje ili kojima se manipulira.

Sustave umjetne inteligencije stoga treba razvijati tako da se poštuje tjelesni i duhovni integritet ljudi, njihov

osobni i kulturni osjećaj identiteta i zadovoljavanje njihovih osnovnih potreba te da im se služi i da ih se štiti20.

(42) Osobna sloboda. Ljudi bi trebali zadržati slobodu da odlučuju sami za sebe. To podrazumijeva slobodu od

povrede suverenosti, ali zahtijeva i intervenciju vladinih i nevladinih organizacija kako bi se osiguralo da

pojedinci ili ljudi izloženi riziku od isključenosti imaju jednak pristup prednostima i prilikama umjetne

inteligencije. U kontekstu umjetne inteligencije sloboda pojedinca zahtijeva ublažavanje (ne)izravne prisile,

ublažavanje prijetnji mentalnoj autonomiji i mentalnom zdravlju, neopravdanog nadzora, zavaravanja i

nepravedne manipulacije. Štoviše, sloboda pojedinca znači predanost da se pojedincima omogući veća

kontrola nad svojim životima, uključujući (među ostalim pravima) zaštitu slobode poduzetništva, slobode

umjetnosti i znanost, slobode izražavanja, prava na privatni život i privatnost te slobode okupljanja i

udruživanja.

(43) Poštovanje demokracije, pravde i vladavine prava. U ustavnim demokracijama sve ovlasti vlade moraju biti

zakonski odobrene i ograničene zakonom. Sustavi umjetne inteligencije trebali bi služiti održavanju i poticanju

demokratskih procesa te poštovati pluralnost vrijednosti i životnih odabira pojedinaca. Sustavi umjetne

inteligencije ne smiju ugroziti demokratske procese, ljudsko razmatranje ili demokratske sustave glasanja.

Sustavi umjetne inteligencije moraju sadržavati i obvezu kojom se osigurava da ne djeluju na načine kojima se

ugrožavaju temeljne obveze na kojima se temelji vladavina prava, obvezni zakoni i propisi te kojom se

osigurava zakonito postupanje i ravnopravnost pred zakonom.

(44) Ravnopravnost, nediskriminacija i solidarnost – uključujući prava osoba kojima prijeti opasnost od

isključenosti. Mora se osigurati ravnopravno poštovanje moralne vrijednosti i dostojanstva svih ljudi. To

nadilazi nediskriminaciju, koja dopušta razlikovanje situacija koje nisu slične na temelju objektivnih opravdanja.

U kontekstu umjetne inteligencije ravnopravnost podrazumijeva da operacije sustava ne mogu dovesti do

nepravedno pristranih ishoda (npr. podaci koji se upotrebljavaju za trening sustava umjetne inteligencije

trebali bi biti što više uključivi i predstavljati različite skupine populacije). To zahtijeva i odgovarajuće

poštovanje potencijalno ranjivih osoba i skupina21, kao što su radnici, žene, osobe s invaliditetom, etničke

manjine, djeca, potrošači ili druge osobe kojima prijeti opasnost od isključenosti.

(45) Prava građana. Građani ostvaruju korist od niza prava, uključujući biračko pravo, pravo na dobru upravu ili

pristup javnim dokumentima te pravo na podnošenje peticije upravi. Sustavi umjetne inteligencije pružaju

veliku mogućnost za poboljšanje razmjera i učinkovitosti vlade u pružanju javnih dobara i usluga društvu.

Primjene umjetne inteligencije istovremeno mogu i negativno utjecati na prava građana koja bi trebalo zaštiti.

Upotrebom pojma „prava građana” ne nastoje se uskratiti ili zanemariti prava državljana trećih zemalja i

nezakonitih osoba u EU-u, koji isto imaju prava na temelju međunarodnog prava, a time i u području umjetne

inteligencije.

2.2 Etička načela u kontekstu sustava umjetne inteligencije22

(46) Mnoge javne i privatne organizacije i organizacije civilnog društva pri izradi etičkih okvira za umjetnu

19 McCrudden, C., Human Dignity and Judicial Interpretation of Human Rights, EJIL, 19(4), 2008. 20 Da biste razumjeli „ljudsko dostojanstvo” u tom smislu vidjeti Hilgendorf, E., Problem Areas in the Dignity Debate and the Ensemble Theory of Human Dignity, u: D. Grimm, A. Kemmerer, C. Möllers (ur.), Human Dignity in Context. Explorations of a Contested Concept, 2018., str. 325 ff. 21 Opis pojma na način na koji se upotrebljava u ovom dokumentu potražiti u Pojmovniku. 22 Ta se načela primjenjuju i na razvoj, uvođenje i upotrebu drugih tehnologija i stoga nisu specifična za sustave umjetne inteligencije. U nastavku smo nastojali utvrditi njihovu relevantnost posebno u kontekstu koji je povezan s umjetnom inteligencijom.

13

inteligenciju pošle su od temeljnih prava23. U EU-u je Europska skupina za etiku u znanosti i novim

tehnologijama predložila skup od devet osnovnih načela, na temelju temeljnih vrijednosti utvrđenih u

ugovorima EU-a i Povelji EU-a o temeljnim pravima24. Mi se nastavljamo na taj rad i priznajemo većinu načela

koja su dosad iznijele različite skupine, a ujedno i pojašnjavamo ciljeve koje sva načela nastoje poticati i

podržati. Ta etička načela mogu potaknuti izradu novih i posebnih regulatornih instrumenata, mogu pomoći u

tumačenju temeljnih prava koje prati razvoj naše socioekonomske okoline tijekom vremena i mogu

usmjeravati osnovu za razvoj, upotrebu i uvođenje sustava umjetne inteligencije, koja se dinamično

prilagođava razvoju društva.

(47) Sustavi umjetne inteligencije trebali bi poboljšati pojedinačnu i kolektivnu dobrobit. U ovom su odjeljku

navedena četiri etička načela, utemeljena na temeljnim pravima, koja se moraju poštovati kako bi se osiguralo

da se sustavi umjetne inteligencije razvijaju, uvode i upotrebljavaju na pouzdan način. Određena su kao etički

imperativi i stručnjaci za umjetnu inteligenciju uvijek trebali težiti njihovu poštovanju. Bez nametanja

hijerarhije, u nastavku navodimo načela redoslijedom koji odražava redoslijed kojim se u Povelji EU-a

navode temeljne prava na kojima se načela temelje25.

(48) To su načela:

(i) poštovanja ljudske autonomije;

(ii) sprečavanja nastanka štete;

(iii) pravednosti;

(iv) objašnjivosti.

(49) Mnoga od tih načela u velikoj se mjeri već odražavaju u postojećim pravnim zahtjevima koji se

moraju poštovati i stoga su obuhvaćena i „zakonitom umjetnom inteligencijom”, odnosno prvom

sastavnicom pouzdane umjetne inteligencije26. Međutim, kako je prethodno utvrđeno, iako mnoge

pravne obveze odražavaju etička načela, poštovanje etičkih načela nadilazi formalnu usklađenost s

postojećim zakonima27.

Načelo poštovanja ljudske autonomije

(50) Temeljna prava na kojima se temelji EU usmjerena su na osiguravanje poštovanja slobode i autonomije

ljudskih bića. Ljudi koji su u interakciji sa sustavima umjetne inteligencije moraju zadržati potpuno i

djelotvorno samoodređenje i moraju moći sudjelovati u demokratskom procesu. Sustavi umjetne inteligencije

ne bi trebali neopravdano podređivati, prisiljavati, zavaravati, uvjetovati i grupirati ljude ili manipulirati njima.

Umjesto toga, sustavi umjetne inteligencije trebali bi biti osmišljeni tako da povećavaju, nadopunjuju i

osnažuju ljudske kognitivne, socijalne i kulturne vještine. Raspodjela funkcija između ljudi i sustavâ umjetne

inteligencije trebala bi slijediti načela projektiranja usmjerenog na čovjeka i ostaviti smislenu priliku za ljudski

odabir. To znači osiguravanje ljudskog nadzora28 i kontrole nad radnim procesima sustavâ umjetne

23 Oslanjanje na temeljna prava pomaže i ograničiti regulatornu nesigurnost jer se temelji na desetljećima prakse u području temeljnih prava u EU-u, što pruža jasnoću, čitljivost i predvidljivost. 24 Nedavno je radna skupina foruma AI4People ispitala prethodno navedena načela Europske skupine za etiku u znanosti i novim tehnologijama i 36 drugih etičkih načela koja su dosad predložena te ih je podvela pod četiri opća načela: L. Floridi, J. Cowls, M. Beltrametti, R. Chatila, P. Chazerand, V. Dignum, C. Luetge, R. Madelin, U. Pagallo, F. Rossi, B. Schafer, P. Valcke, E. J. M. Vayena (2018.), „AI4People — An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations” (Umjetna inteligencija za ljude – etički okviri za dobro društvo s umjetnom inteligencijom: prilike, rizici, načela i preporuke), Minds and Machines, 28(4): 689.–707. 25 Poštovanje ljudske autonomije usko je povezano s pravima na ljudsko dostojanstvo i slobodu (koja su navedena u člancima 1. i 6. Povelje). Sprečavanje nastanka štete snažno je povezano sa zaštitom tjelesnog ili duhovnog integriteta (članak 3.). Pravednost je usko povezana s pravima na nediskriminaciju, solidarnost i pravdu (članak 21. i dalje). Objašnjivost i odgovornost usko su povezane s pravima koja se odnose na pravdu (članak 47.).

26 Sjetite se, na primjer, Opće uredbe o zaštiti podataka ili propisa EU-a o zaštiti potrošača. 27 Dodatne informacije o toj temi potražite u, na primjer: L. Floridi, „Soft Ethics and the Governance of the Digital”, Philosophy & Technology, ožujak 2018., svezak 31, broj 1, str. 1.–8. 28 Koncept ljudskog nadzora dodatno je razvijen u točki 65. u nastavku.

14

inteligencije. Sustavi umjetne inteligencije mogli bi i bitno promijeniti područje rada. Oni bi trebali pružati

podršku ljudima u radnoj okolini i nastojati stvarati smisleni rad.

Načelo sprečavanja nastanka štete

(51) Sustavi umjetne inteligencije ne bi trebali uzrokovati ni pogoršati štetu29 ili na drugi način negativno

utjecati na ljude30. To podrazumijeva zaštitu ljudskog dostojanstva te duhovnog i tjelesnog integriteta.

Sustavi umjetne inteligencije i okoline u kojima oni djeluju moraju biti sigurni i zaštićeni. Moraju biti tehnički

otporni i trebalo bi osigurati da ne budu izloženi zlonamjernoj upotrebi. Ranjivim osobama trebala bi se

posvetiti veća pažnja i trebalo bi ih uključiti u razvoj i uvođenje sustava umjetne inteligencije. Posebna pažnja

mora se posvetiti i situacijama u kojima sustavi umjetne inteligencije mogu uzrokovati ili pogoršati negativne

učinke zbog razlika u moći ili informiranosti, na primjer između poslodavaca i radnika, poduzeća i potrošača ili

država i građana. Sprečavanje štete podrazumijeva i razmatranje prirodnog okoliša i svih živih bića.

Načelo pravednosti

(52) Razvoj, uvođenje i upotreba sustava umjetne inteligencije moraju biti pravedni. Iako priznajemo da postoji

mnogo različitih tumačenja pravednosti, smatramo da ona ima i materijalnu i proceduralnu dimenziju.

Materijalna dimenzija podrazumijeva obvezu: osiguravanja ravnopravne i pravedne raspodjele i koristi i

troškova te osiguravanja da pojedinci i skupine ne budu pod utjecajem nepravedne pristranosti, diskriminacije

i stigmatizacije. Ako se mogu izbjeći nepravedne pristranosti, sustavi umjetne inteligencije mogli bi čak i

povećati pravednost društva. Trebalo bi poticati i jednake mogućnosti u smislu pristupa obrazovanju, robi,

uslugama i tehnologiji. Štoviše, upotreba sustava umjetne inteligencije nikada ne bi trebala dovesti do obmane

(krajnjih) korisnika ili do sprečavanja njihove slobode izbora. Usto, pravednost podrazumijeva da bi stručnjaci

za umjetnu inteligenciju trebali poštovati načelo proporcionalnosti sredstava i ciljeva te pažljivo razmotriti

kako uravnotežiti sukobljene interese i ciljeve31. Proceduralna dimenzija pravednosti uključuje mogućnost

osporavanja i traženja učinkovite pravne zaštite protiv odluka koje donesu sustavi umjetne inteligencije i ljudi

koji njima upravljaju32. Kako bi to bilo moguće, mora biti moguće identificirati subjekt odgovoran za odluku, a

proces odlučivanja trebao bi se moći objasniti.

Načelo objašnjivosti

(53) Objašnjivost je ključna za izgradnju povjerenja korisnika u sustave umjetne inteligencije i održavanje iste. To

znači da procesi trebaju biti transparentni, mogućnosti i svrha sustava umjetne inteligencije trebaju se

otvoreno priopćiti, a odluke se moraju moći objasniti, u mjeri u kojoj je to moguće, osobama na koje one

utječu izravno i neizravno. Bez tih informacija odluka se ne može osporiti na odgovarajući način. Nije uvijek

moguće objasniti zašto je model doveo do određenog rezultata ili odluke (i koja je kombinacija ulaznih

čimbenika pridonijela tome). Ti su slučajevi poznati kao algoritmi „crne kutije” i treba im posvetiti posebnu

pozornost. U tim okolnostima mogu biti potrebne druge mjere objašnjivosti (npr. sljedivost, provjerljivost i

transparentna komunikacija o mogućnostima sustava), pod uvjetom da sustav kao cjelina poštuje temeljna

29 Šteta može biti pojedinačna ili kolektivna i može uključivati nematerijalnu štetu nanesenu društvenim, kulturnim i političkim okolinama. 30 To obuhvaća i način života pojedinaca i društvenih skupina, na primjer izbjegavanje kulturne štete.

31 To se odnosi na načelo proporcionalnosti (koje se odražava u maksimi neupotrebe pretjeranih sredstava za ostvarenje cilja). Mjere koje se poduzimaju za ostvarivanje cilja (npr. mjere izvlačenje podataka koje se uvode za funkciju optimizacije umjetne inteligencije) trebalo bi strogo ograničiti na ono što je nužno. To podrazumijeva i da se u slučaju u kojem se nekoliko mjera natječe za ostvarenje određenog cilja prednost treba dati mjeri koja je najmanje suprotstavljena temeljnim pravima i etičkim normama (npr. razvojni programeri umjetne inteligencije prednost bi uvijek trebali dati podacima iz javnog sektora umjesto osobnim podacima). Može se uputiti i na proporcionalnost između korisnika i subjekta koji uvodi sustav, uzimajući u obzir prava poduzeća s jedne strane (uključujući intelektualno vlasništvo i povjerljivost) i prava korisnika s druge. 32 Među ostalim i upotrebom prava na udruživanje i pristupanje sindikatu u radnoj okolini, kako je utvrđeno u članku 12. Povelje EU-a o temeljnim pravima.

15

prava. Stupanj u kojem je potrebna objašnjivost u velikoj mjeri ovisi o kontekstu i ozbiljnosti posljedica ako je

taj rezultat pogrešan ili netočan na neki drugi način33.

2.3 Napetosti između načela

(54) Između prethodno navedenih načela mogu se javiti napetosti i ne postoji fiksno rješenje za njihovo

razrješavanje. U skladu s temeljnim zalaganjem EU-a za demokratski angažman, zakonito postupanje i

otvoreno političko sudjelovanje trebalo bi uspostaviti metode odgovornog razmatranja za razrješavanje takvih

napetosti. Na primjer, u različitim područjima primjene može doći do sukoba između načela sprečavanja

nastanka štete i načela ljudske autonomije. Razmislite o primjeru upotrebe sustava umjetne inteligencije za

„prognostički rad policije”, koji može pomoći smanjiti zločin, ali podrazumijeva aktivnosti nadzora koje zadiru u

slobodu i privatnost pojedinaca. Nadalje, ukupne koristi sustava umjetne inteligencije trebale bi biti znatno

veće od predvidivih pojedinačnih rizika. Iako ova načela zasigurno pružaju smjernice za dolazak do rješenja,

one su i dalje apstraktni etički propisi. Stoga se od stručnjaka za umjetnu inteligenciju ne može očekivati da

pronađu pravo rješenje na temelju prethodno navedenih načela, već bi etičkim dilemama i kompromisima

trebali pristupiti primjenom obrazloženog razmatranja koje se temelji na dokazima, a ne primjenom intuicije ili

nasumičnog odlučivanja. Međutim, moguće su situacije u kojima se ne mogu utvrditi nikakvi etički prihvatljivi

kompromisi. Određena temeljna prava i povezana načela apsolutna su i ne mogu se uravnotežiti (npr. ljudsko

dostojanstvo).

Ključne smjernice izvedene iz poglavlja I.

Razvijati, uvoditi i upotrebljavati sustave umjetne inteligencije na načine kojima se poštuju etička načela:

poštovanje ljudske autonomije, sprečavanje nastanka štete, pravednost i objašnjivost. Prepoznati i

razriješiti moguće napetosti među tim načelima.

Obratiti posebnu pozornost na situacije koje uključuju više ranjivih skupina kao što su djeca, osobe s

invaliditetom i ostale skupine koje su povijesno bile u nepovoljnom položaju ili im prijeti opasnost od

isključenosti i/ili na situacije za koje je karakteristična razlika u moći ili informiranosti, na primjer između

poslodavaca i radnika ili između poduzeća i potrošača34.

Prepoznati i imati na umu da iako sustavi umjetne inteligencije pojedincima i društvu mogu pružiti mnoge

znatne koristi, određene primjene umjetne inteligencije mogu imati i negativne učinke, među ostalim i

učinke koje može biti teško predvidjeti, utvrditi ili mjeriti (npr. na demokraciju, vladavinu prava i pravednu

raspodjelu ili na sam ljudski um). Prema potrebi donijeti odgovarajuće mjere za smanjenje tih rizika,

razmjerne veličini rizika.

II. Poglavlje II.: Ostvarenje pouzdane umjetne inteligencije

(55) U ovom se poglavlju pružaju smjernice za provedbu i ostvarenje pouzdane umjetne inteligencije putem popisa

od sedam zahtjeva koje bi trebalo ispuniti, a temelje se na načelima opisanima u poglavlju I. Osim toga, uvode

se i trenutačno dostupne tehničke i netehničke metode za provedbu tih zahtjeva tijekom cijelog životnog

ciklusa sustava umjetne inteligencije.

1. Zahtjevi za pouzdanu umjetnu inteligenciju

(56) Načela opisana u poglavlju I. moraju se pretvoriti u konkretne zahtjeve kako bi se postigla pouzdana umjetna

inteligencija. Ti su zahtjevi primjenjivi na različite dionike koji sudjeluju u životnom ciklusu sustava umjetne

inteligencije: razvojne programere, subjekte koji uvode sustav i krajnje korisnike te na šire društvo. Pod

33 Na primjer, netočne preporuke za kupnju koje daje sustav umjetne inteligencije ne dovode do ozbiljnih etičkih pitanja, za razliku od sustava umjetne inteligencije koji procjenjuju trebali li pojedinca osuđenog za kazneno djelo uvjetno otpustiti. 34 Vidjeti članke od 24. do 27. Povelje EU-a koji se bave pravima djeteta i starijih osoba te integracijom osoba s invaliditetom i pravima radnika. Vidjeti i članak 38. koji se bavi zaštitom potrošača.

16

razvojnim programerima mislimo na sve osobe koje istražuju, dizajniraju i/ili razvijaju sustave umjetne

inteligencije. Pod subjektima koji uvode sustav mislimo na javne ili privatne organizacije koje se koriste

sustavima umjetne inteligencije u svojim poslovnim procesima i za pružanje proizvoda i usluga drugima. Krajnji

korisnici osobe su koje izravno ili neizravno dolaze u kontakt sa sustavima umjetne inteligencije. Naposljetku,

šire društvo obuhvaća sve ostale subjekte na koje sustavi umjetne inteligencije izravno ili neizravno utječu.

(57) Različiti razredi dionika imaju različite uloge u osiguravanju ispunjavanja zahtjeva:

a. razvojni programeri trebali bi provoditi zahtjeve i primjenjivati ih na procese dizajniranja i razvoja;

b. subjekti koji uvode sustav trebali bi osigurati da upotrijebljeni sustavi te ponuđeni proizvodi i usluge

ispunjavaju zahtjeve;

c. krajnji korisnici i šire društvo trebali bi biti informirani o tim zahtjevima i trebali bi moći zahtijevati

njihovo poštovanje.

(58) Popis zahtjeva u nastavku nije iscrpan35. Uključuje sustavne, pojedinačne i društvene aspekte:

1 Ljudsko djelovanje i nadzor

uključujući temeljna prava, ljudsko djelovanje i ljudski nadzor

2 Tehnička otpornost i sigurnost

uključujući otpornost na napade i sigurnost, rezervni plan i opću sigurnost, točnost, pouzdanost i

ponovljivost

3 Privatnost i upravljanje podacima

uključujući poštovanje privatnosti, kvalitetu i cjelovitost podataka i pristup podacima

4 Transparentnost

uključujući sljedivost, objašnjivost i komunikaciju

5 Raznolikost, nediskriminacija i pravednost

uključujući izbjegavanje nepravedne pristranosti, dostupnost i univerzalni dizajn i sudjelovanje dionika

6 Dobrobit društva i okoliša

uključujući održivost i pogodnost za okoliš, društveni učinak, društvo i demokraciju

7 Odgovornost

uključujući provjerljivost, smanjenje negativnih učinaka i izvješćivanje o njima, kompromise i pravnu

zaštitu

35 Bez nametanja hijerarhije u nastavku navodimo načela redoslijedom koji odražava redoslijed kojim se u Povelji EU-a navode načela i prava na koja se ona odnose.

17

Slika 2.: Međusobni odnosi među sedam zahtjeva: svi su jednako važni, međusobno se podupiru i trebalo bi ih provesti

i procjenjivati tijekom cijelog životnog ciklusa sustava umjetne inteligencije

(59) Iako su svi zahtjevi jednako važni, kontekst i moguće napetosti među njima morat će se uzeti u obzir pri

njihovoj primjeni u različitim područjima i industrijama. Ti bi se zahtjevi trebali provoditi tijekom cijelog

životnog ciklusa sustava umjetne inteligencije, a provedba ovisi o specifičnoj primjeni. Dok se većina zahtjeva

primjenjuje na sve sustave umjetne inteligencije, posebna se pozornost posvećuje onima koji izravno ili

neizravno utječu na pojedince. Stoga mogu biti manje relevantni za neke primjene (na primjer u industrijskim

okruženjima).

(60) Prethodno navedeni zahtjevi uključuju elemente koji su u nekim slučajevima već prisutni u postojećim

zakonima. Ponavljamo da je – u skladu s prvom sastavnicom pouzdane umjetne inteligencije – odgovornost

razvojnih programera i subjekata koji uvode sustave umjetne inteligencije osigurati ispunjavanje svoje pravne

obveze, i to i u pogledu horizontalno primjenjivih pravila i u pogledu propisa specifičnih za određeno područje.

(61) U sljedećim se odjeljcima dodatno objašnjava svaki zahtjev.

1. Ljudsko djelovanje i nadzor

(62) Sustavi umjetne inteligencije trebali bi podržati ljudsku autonomiju i odlučivanje, kako je propisano načelom

poštovanja ljudske autonomije. To od sustava umjetne inteligencije zahtijeva da omoguće demokratsko,

napredno i pravedno društvo pružanjem potpore djelovanju korisnika i poticanjem temeljnih prava te da

omogućuju da ih nadziru ljudi.

18

(63) Temeljna prava. Kao i mnoge druge tehnologije, sustavi umjetne inteligencije u istoj mjeri mogu omogućavati i

otežavati temeljna prava. Mogu ljudima donijeti korist, na primjer tako da im pomognu pratiti njihove osobne

podatke ili povećanjem dostupnosti obrazovanja, čime se podržava pravo ljudi na obrazovanje. Međutim, s

obzirom na njihov doseg i kapacitet, sustavi umjetne inteligencije mogu i negativno utjecati na temeljna prava.

U situacijama u kojima postoje takvi rizici trebalo bi provesti procjenu učinka na temeljna prava. To bi trebalo

učiniti prije njihova razvoja i trebalo bi uključivati procjenu toga mogu li se ti rizici smanjiti ili prema potrebi

opravdati u demokratskom društvu kako bi se poštovala prava i slobode drugih. Nadalje, trebalo bi uspostaviti

mehanizme za primanje vanjskih povratnih informacija o sustavima umjetne inteligencije koji možda

narušavaju temeljna prava.

(64) Ljudsko djelovanje. Korisnici bi trebali moći donositi informirane i autonomne odluke o sustavima umjetne

inteligencije. Trebalo bi im se pružiti znanje i alati za zadovoljavajuće razumijevanje sustava umjetne

inteligencije te interakciju s njima i, ako je moguće, trebalo bi im se omogućiti da razumno samostalno

procjenjuju ili osporavaju sustav. Sustavi umjetne inteligencije trebali bi pojedincima pružati potporu u

donošenju boljih i informiranijih odabira u skladu s njihovim ciljevima. Sustavi umjetne inteligencije ponekad

se mogu uvoditi radi oblikovanja ljudskog ponašanja i utjecanja na njega putem mehanizama koje je teško

otkriti jer se mogu koristiti podsvjesnim procesima, uključujući različite oblike nepravedne manipulacije,

zavaravanja, grupiranja i uvjetovanja, a svi oni mogu ugroziti autonomiju pojedinca. Opće načelo autonomije

korisnika mora biti u središtu funkcija sustava. U tome je ključno pravo osobe da ne bude podložna odluci

koja se temelji isključivo na automatiziranoj obradi kada to dovodi do pravnih učinaka za korisnike ili na sličan

način znatno utječe na njih36.

(65) Ljudski nadzor. Ljudski nadzor pomaže pri osiguravanju da sustav umjetne inteligencije ne ugrozi ljudsku

autonomiju ili izazove druge negativne učinke. Nadzor se može postići mehanizmima upravljanja kao što je

ljudska intervencija (human-in-the-loop, HITL), ljudski nadzor (human-on-the-loop, HOTL) ili ljudsko odlučivanje

(human-in-command, HIC). HITL se odnosi na mogućnost ljudske intervencije u svakom ciklusu odlučivanja

sustava, što u mnogim slučajevima nije ni moguće ni poželjno. HOTL se odnosi na mogućnost ljudske

intervencije tijekom ciklusa projektiranja sustava i praćenje rada sustava. HIC se odnosi na mogućnost nadzora

ukupne aktivnosti sustava umjetne inteligencije (uključujući njegov širi gospodarski, društveni, pravni i etički

učinak) i mogućnost odlučivanja o vremenu i načinu upotrebe sustava u određenoj situaciji. To može

uključivati odluku da se sustav umjetne inteligencije ne upotrebljava u određenoj situaciji, da se utvrđuje

razina diskrecijskog odlučivanja ljudi tijekom upotrebe sustava ili da se osigura mogućnost poništenja odluke

koju je donio sustav. Nadalje, tijelima javne vlasti mora se osigurati mogućnost nadzora u skladu s njihovim

mandatom. Mehanizmi nadzora mogu biti potrebni u različitoj mjeri kako bi se pružila potpora drugim

sigurnosnim i kontrolnim mjerama, ovisno o području u kojem se sustav umjetne inteligencije primjenjuje te o

mogućem riziku. Ako su svi ostali čimbenici isti, što je manji nadzor ljudi nad sustavom umjetne inteligencije,

to je potrebnije opširnije ispitivanje i strože upravljanje.

2. Tehnička otpornost i sigurnost

(66) Tehnička otpornost ključna je sastavnica postizanja pouzdane umjetne inteligencije, a usko je povezana s

načelom sprečavanja nastanka štete. Tehnička otpornost zahtijeva razvoj sustava umjetne inteligencije

primjenom preventivnog pristupa rizicima na način da se oni ponašaju pouzdano na predviđeni način, uz

smanjenje nenamjerne i neočekivane štete i sprečavanje neprihvatljive štete. To bi se trebalo primjenjivati i na

moguće promjene u njihovu radnom okruženju ili prisutnost drugih agenata (ljudskih ili umjetnih) koji mogu

biti u kontradiktornoj interakciji sa sustavom. Usto, trebalo bi osigurati i tjelesni i duhovni integritet ljudi.

(67) Otpornost na napad i sigurnost. Sustavi umjetne inteligencije, kao i svi softverski sustavi, trebali bi biti

zaštićeni od ranjivosti zbog kojih ih protivnici mogu iskoristiti, npr. hakiranje. Napadi mogu biti usmjereni na

36 Može se uputiti na članak 22. Opće uredbe o zaštiti podataka u kojem je to pravo već utvrđeno.

19

podatke (onečišćenje podataka), na model (curenje iz modela) ili na temeljnu softversku i hardversku

infrastrukturu. Ako dođe do napada na sustav umjetne inteligencije, npr. zlonamjernih napada, mogu se

promijeniti podaci i ponašanje sustava, zbog čega sustav može donijeti drugačije odluke ili se može potpuno

isključiti. Sustavi i podaci mogu se oštetiti zlonamjernim djelovanjem ili izlaganjem neočekivanim situacijama.

Nedovoljni sigurnosni procesi isto mogu dovesti do pogrešnih odluka ili čak do fizičke štete. Da bi se sustavi

umjetne inteligencije smatrali sigurnima37, trebalo bi uzeti u obzir moguće nepredviđene primjene umjetne

inteligencije (npr. primjene s dvojnom namjenom) i mogućnost da zlonamjerni subjekti zloupotrijebe sustav

umjetne inteligencije. Trebalo bi poduzeti mjere da se to spriječi i ublaži.38

(68) Rezervni plan i opća sigurnost. Sustavi umjetne inteligencije trebali bi imati zaštitne mjere koje omogućuju

rezervni plan u slučaju problema. To može značiti da se sustavi umjetne inteligencije prebace sa statističkog

postupka na postupak koji se temelji na pravilima ili da traže ljudskog operatera prije nego što nastave s

radnjom.39 Mora se osigurati da sustav napravi ono što treba bez nanošenja štete živim bićima ili okolišu. To

uključuje smanjenje nepredviđenih posljedica i pogrešaka. Usto treba uspostaviti i procese za pojašnjenje i

procjenu mogućih rizika povezanih s upotrebom sustava umjetne inteligencije u različitim područjima

primjene. Potrebna razina sigurnosnih mjera ovisi o ozbiljnosti rizika koji sustav umjetne inteligencije

predstavlja, a ona ovisi o mogućnostima sustava. Ako se može predvidjeti da će razvojni proces ili sam sustav

biti povezani s velikim rizicima, ključno je proaktivno razviti i ispitati sigurnosne mjere.

(69) Točnost. Točnost se odnosi na sposobnost sustava umjetne inteligencije da donese točne prosudbe, na primjer

da točno klasificira informacije u pravilne kategorije, ili na njegovu sposobnost donošenja točnih predviđanja,

preporuka ili odluka na temelju podataka ili modela. Izričit i dobro oblikovan proces razvoja i procjene može

podržati, umanjiti i ispraviti nenamjerne rizike od netočnih predviđanja. Ako se povremena netočna

predviđanja ne mogu izbjeći, važno je da sustav može naznačiti vjerojatnost pojave tih pogrešaka. Visoka

razina točnosti posebno je važna u situacijama u kojima sustav umjetne inteligencije izravno utječe na živote

ljudi.

(70) Pouzdanost i ponovljivost Iznimno je važno da se rezultati sustava umjetne inteligencije mogu ponoviti i da su

pouzdani. Pouzdan sustav umjetne inteligencije sustav je koji pravilno radi s nizom ulaznih informacija i u nizu

situacija. To je potrebno radi preispitivanja sustava umjetne inteligencije i sprečavanja nenamjerne štete.

Ponovljivost opisuje ponaša li se test umjetne inteligencije na isti način kada se ponovi u istim uvjetima. To

znanstvenicima i tvorcima politika omogućuje da točno opišu što sustavi umjetne inteligencije rade. Spisi o

replikaciji40 mogu olakšati proces ispitivanja i ponavljanja ponašanja.

3. Privatnost i upravljanje podacima

(71) S načelom sprečavanja nastanka štete usko je povezana privatnost, temeljno pravo na koje sustavi umjetne

inteligencije osobito utječu. Sprečavanje narušavanja privatnosti zahtijeva i primjereno upravljanje podacima

koje obuhvaća kvalitetu i cjelovitost korištenih podataka, njegovu relevantnost u odnosu na područje u kojem

će se sustavi umjetne inteligencije uvoditi, pristupne protokole i sposobnost obrade podataka na način kojim

se štiti privatnost.

(72) Privatnost i zaštita podataka. Sustavi umjetne inteligencije moraju jamčiti privatnost i zaštitu podataka

37 Vidjeti, na primjer, razmatranja pod točkom 2.7. Koordiniranog plana Europske unije o umjetnoj inteligenciji. 38 Za postizanje sigurnosti sustava umjetne inteligencije možda će biti nužna mogućnost razvoja uspješnog kruga u istraživanju i razvoju, koji se sastoji od razumijevanja napada, razvoja primjerene zaštite i poboljšanja metodologija procjene. Da bi se to ostvarilo trebalo bi promicati konvergenciju zajednice za umjetnu inteligenciju i zajednice za sigurnost. Usto, svi uključeni subjekti odgovorni su za stvaranje zajedničkih prekograničnih normi za sigurnost i zaštitu te za stvaranje okruženja u kojem vlada uzajamno povjerenje, uz poticanje međunarodne suradnje. Moguće mjere potražiti u dokumentu „Malicious Use of AI” (Avin S., Brundage M. i dr., 2018.). 39 Trebalo bi uzeti u obzir i situacije u kojima ljudska intervencija ne bi bila neposredno moguća. 40 To se odnosi na spise kojima će se replicirati svi koraci procesa razvoja sustava umjetne inteligencije, od istraživanja i početnog prikupljanja podataka do rezultata.

20

tijekom cijelog životnog ciklusa sustava41. To uključuje informacije koje je korisnik izvorno dao i informacije

koje o korisniku nastanu tijekom njegove interakcije sa sustavom (npr. rezultati koje je sustav umjetne

inteligencije stvorio za specifične korisnike ili kako korisnici odgovaraju na određene preporuke). Digitalni

zapisi o ljudskom ponašanju mogu sustavima umjetne inteligencije omogućiti donošenje zaključaka ne samo o

sklonostima pojedinaca nego i o njihovoj spolnoj orijentaciji, dobi, spolu, vjerskim ili političkim stajalištima.

Kako bi se pojedincima omogućilo povjerenje u proces prikupljanja podataka, mora se osigurati da podaci koji

se o njima prikupe ne budu upotrebljavani da bi ih se nezakonito ili nepravedno diskriminiralo.

(73) Kvaliteta i cjelovitost podataka. Kvaliteta korištenih skupova podataka iznimno je važna za učinkovitost

sustava umjetne inteligencije. Kada se prikupe, podaci mogu sadržavati društveno konstruirane pristranosti,

netočnosti i pogreške. To pitanje treba riješiti prije bilo kakvog treninga s bilo kojim skupom podataka. Usto se

mora osigurati cjelovitost podataka. Unos zlonamjernih podataka u sustav umjetne inteligencije može

promijeniti njegovo ponašanje, osobito u slučaju samoučećih sustava. Procesi i skupovi podataka koji se

upotrebljavaju moraju se ispitati i evidentirati u svakom koraku, kao što su planiranje, trening, ispitivanje i

uvođenje. To bi se trebalo primjenjivati i na sustave umjetne inteligencije koji nisu razvijeni interno nego su

nabavljeni negdje drugdje.

(74) Pristup podacima. U svim bi organizacijama koje obrađuju podatke pojedinaca (neovisno o tome je li netko

korisnik sustava ili nije korisnik) trebalo uspostaviti protokole podataka za upravljanje pristupom podacima. U

tim bi protokolima trebalo biti opisano tko može pristupiti podacima i u kojim okolnostima. Pristup bi se

trebao odobriti samo kvalificiranom osoblju s kompetencijama kojem je pristup podacima pojedinaca

potreban.

4. Transparentnost

(75) Ovaj je zahtjev usko povezan s načelom objašnjivosti i obuhvaća transparentnost elemenata koji su relevantni

za sustav umjetne inteligencije: to su podaci, sustavi i poslovni modeli.

(76) Sljedivost. Skupove podataka i procese koji dovode do odluke sustava umjetne inteligencije, uključujući

prikupljanje podataka i označivanje podataka te korištene algoritme, trebalo bi evidentirati u skladu s

najboljim mogućim standardom kako bi se omogućila sljedivost i povećala transparentnost. To se primjenjuje i

na odluke koje sustav umjetne inteligencije donese. To omogućuje utvrđivanje razloga pogrešne odluke

umjetne inteligencije, što bi moglo pomoći u sprečavanju budućih pogrešaka. Sljedivost stoga olakšava

provjerljivost i objašnjivost.

(77) Objašnjivost. Objašnjivost se odnosi na sposobnost objašnjenja i tehničkih procesa sustava umjetne

inteligencije i povezanih ljudskih odluka (npr. područja primjene sustava umjetne inteligencije). Tehnička

objašnjivost zahtijeva da odluke koje donese sustav umjetne inteligencije budu razumljive za ljude i da se

mogu pratiti. Štoviše, možda će biti potrebni kompromisi između poboljšanja objašnjivosti sustava (što može

smanjiti njegovu točnost) i povećanja njegove točnosti (na trošak objašnjivosti). Ako sustav umjetne

inteligencije znatno utječe na živote ljudi, trebalo bi biti moguće zahtijevati primjereno objašnjenje procesa

odlučivanja sustava umjetne inteligencije. To bi objašnjenje trebalo biti pravovremeno i prilagođeno stručnom

znanju predmetnog dionika (npr. laik, zakonodavac ili istraživač). Nadalje, trebala bi biti dostupna objašnjenja

u kojoj mjeri sustav umjetne inteligencije utječe na postupak odlučivanja u organizaciji i oblikuje ga, na odabir

pri izradi sustava te na razlog za njegovo uvođenje (čime se osigurava transparentnost poslovnog modela).

(78) Komunikacija. Sustavi umjetne inteligencije korisnicima se ne bi trebali predstavljati kao ljudi; ljudi imaju

pravo da ih se obavijesti da komuniciraju sa sustavom umjetne inteligencije. To podrazumijeva da se sustavi

umjetne inteligencije moraju moći identificirati kao takvi. Usto, kako bi se osigurala usklađenost s temeljnim

41 Može se uputiti na postojeće zakone o privatnosti, kao što je Opća uredba o zaštiti podataka ili predstojeća Uredba o e-privatnosti.

21

pravima, prema potrebi bi se trebala pružiti mogućnost odbijanja takve interakcije i omogućiti interakcija s

drugom osobom. Osim toga, mogućnosti i ograničenja sustava umjetne inteligencije trebalo bi priopćiti

stručnjacima za umjetnu inteligenciju ili krajnjim korisnicima na način koji je primjeren konkretnom slučaju

upotrebe. To bi moglo obuhvaćati priopćavanje razine točnosti sustava umjetne inteligencije i njegovih

ograničenja.

5. Raznolikost, nediskriminacija i pravednost

(79) Kako bi se postigla pouzdana umjetna inteligencija, moramo omogućiti uključenost i raznolikost tijekom cijelog

životnog ciklusa umjetne inteligencije. Osim uzimanja u obzir i uključivanja svih relevantnih dionika tijekom

cijelog procesa, to podrazumijeva i osiguravanje ravnopravnog pristupa putem procesa uključivog dizajna i

jednakog postupanja. Taj je zahtjev usko povezan s načelom pravednosti.

(80) Izbjegavanje nepravedne pristranosti. Skupovi podataka koji se upotrebljavaju u sustavima umjetne

inteligencije (za trening i rad) mogu uključivati nenamjerne naslijeđene pristranosti, mogu biti nepotpuni i

uključivati loše modele upravljanja. Daljnje prenošenje takvih pristranosti moglo bi dovesti do nenamjernih

(ne)izravnih predrasuda i diskriminacije42 protiv određenih skupina ili ljudi, čime se mogu pogoršati predrasude

i marginalizacija. Šteta može nastati i namjernim iskorištavanjem pristranosti (potrošača) ili zbog nepoštenog

tržišnog natjecanja, kao što je homogenizacija cijena prikrivenim dogovaranjem ili netransparentnim

tržištem.43 Ako je moguće, iz faze prikupljanja trebalo bi ukloniti diskriminirajuće pristranosti koje se mogu

identificirati. I način na koji se sustavi umjetne inteligencije razvijaju (npr. programiranje algoritama) može biti

pod utjecajem nepravedne pristranosti. To bi se moglo suzbiti uspostavom procesa nadzora za analizu i

utvrđivanje svrhe, ograničenja, zahtjeva i odluka sustava na jasan i transparentan način. Štoviše, zapošljavanje

osoba iz različitih područja, kultura i disciplina moglo bi osigurati raznolikost mišljenja i trebalo bi ga poticati.

(81) Dostupnost i univerzalni dizajn. Osobito u područjima interakcije poduzeća i potrošača sustavi bi trebali biti

usmjereni na korisnika i dizajnirani tako da svim ljudima omoguće upotrebu proizvoda ili usluga umjetne

inteligencije, neovisno o njihovoj dobi, spolu, sposobnostima ili karakteristikama. Posebno je važno da toj

tehnologiji mogu pristupiti osobe s invaliditetom, koje postoje u svim društvenim skupinama. Sustavi umjetne

inteligencije ne bi trebali imati pristup u kojem jedno rješenje odgovara svima te bi trebali uzimati u obzir

načela univerzalnog dizajna44 koja obuhvaćaju najširi mogući raspon korisnika te poštovati relevantne norme o

pristupačnosti45. To će omogućiti pravedan pristup i aktivno sudjelovanje svih ljudi u postojećim i novim

ljudskim aktivnostima kojima posreduju računala. To se odnosi i na pomoćne tehnologije.46

(82) Sudjelovanje dionika. Kako bi se razvili sustavi umjetne inteligencije koji su pouzdani, preporučuje se

savjetovanje s dionicima na koje sustav može izravno ili neizravno utjecati tijekom njegova cijelog životnog

ciklusa. Korisno je tražiti redovite povratne informacije čak i nakon uvođenja i uspostave dugoročnijih

mehanizama za sudjelovanje dionika, na primjer osiguravanjem informiranja, savjetovanja i sudjelovanja

radnika tijekom cijelog procesa uvođenja sustava umjetne inteligencije u organizacije.

6. Dobrobit društva i okoliša

(83) U skladu s načelima pravednosti i sprečavanja nastanka štete šire društvo, druga čuvstvena bića i okoliš isto bi

42 Definiciju izravne i neizravne diskriminacije potražiti, na primjer, u članku 2. Direktive Vijeća 2000/78/EZ od 27. studenoga 2000. o uspostavi općeg okvira za jednako postupanje pri zapošljavanju i obavljanju zanimanja. Vidjeti i članak 21. Povelje EU-a o temeljnim pravima. 43 Vidjeti dokument Agencije Europske unije za temeljna prava:

„BigData: Discrimination in data-supported decision making” (Velika količina podataka: diskriminacija u odlučivanju koje se oslanja na podatke), (2018.), http://fra.europa.eu/en/publication/2018/big-data-discrimination. 44 U članku 42. Direktive o javnoj nabavi zahtijeva se da se u tehničkim specifikacijama uzmu u obzir dostupnost i dizajn za sve. 45 Na primjer EN 301 549. 46 Taj je zahtjev povezan s Konvencijom Ujedinjenih naroda o pravima osoba s invaliditetom.

22

trebalo smatrati dionicima tijekom cijelog životnog ciklusa umjetne inteligencije. Trebalo bi poticati održivost i

ekološku odgovornost sustava umjetne inteligencije te istraživanje rješenja za umjetnu inteligenciju koja se

bave globalnim pitanjima, kao što su na primjer ciljevi održivog razvoja. U idealnom bi slučaju umjetna

inteligencija trebala biti korisna svim ljudima, uključujući buduće generacije.

(84) Održiva i ekološki prihvatljiva umjetna inteligencija. Sustavi umjetne inteligencije imaju potencijala pridonijeti

rješavanju određenih hitnih društvenih pitanja, ali mora se osigurati da se to odvija na za okoliš najpogodniji

način. U tom bi smislu trebalo procijeniti proces razvoja, uvođenja i upotrebe sustava te cijeli njegov lanac

opskrbe, npr. kritičkim ispitivanjem upotrebe resursa i potrošnje energije tijekom treninga i odabirom manje

štetnih opcija. Trebalo bi poticati mjere kojima se osigurava pogodnost cijelog lanca opskrbe sustava umjetne

inteligencije za okoliš.

(85) Društveni učinak. Sveprisutna izloženost socijalnim sustavima umjetne inteligencije47 u svim područjima života

(bilo da je riječ o obrazovanju, radu, njezi ili zabavi) može promijeniti naše shvaćanje društvenog djelovanja ili

utjecati na naše društvene odnose i veze. Iako se sustavi umjetne inteligencije mogu upotrebljavati za

poboljšanje socijalnih vještina48, isto tako mogu pridonijeti i njihovu pogoršanju. To bi moglo utjecati i na

tjelesnu i duhovnu dobrobit ljudi. Učinci tih sustava stoga se moraju pažljivo pratiti i razmatrati.

(86) Društvo i demokracija. Osim procjene učinka razvoja, uvođenja i upotrebe sustava umjetne inteligencije na

pojedince, taj bi učinak trebalo procijeniti i iz socijalne perspektive, uzimajući u obzir učinak sustava umjetne

inteligencije na ustanove, demokraciju i društvo u cjelini. Upotrebu sustava umjetne inteligencije trebalo bi

pažljivo razmotriti, osobito u situacijama povezanima s demokratskim postupkom, uključujući ne samo

donošenje političkih odluka nego i izborne kontekste.

7. Odgovornost

(87) Zahtjev za odgovornošću dopunjuje prethodno navedene zahtjeve i usko je povezan s načelom pravednosti.

Zahtijeva uspostavu mehanizama za osiguravanje odgovornosti za sustave umjetne inteligencije i njihove

rezultate i prije i nakon njihova uvođenja.

(88) Provjerljivost. Provjerljivost podrazumijeva omogućivanje procjene algoritama, podataka i procesa dizajna. To

ne znači nužno da se informacijama o poslovnim modelima i intelektualnom vlasništvu koji su povezani sa

sustavom umjetne inteligencije uvijek mora moći otvoreno pristupiti. Procjena koju obavljaju interni i vanjski

revizori te dostupnost izvješća o procjeni mogu pridonijeti pouzdanosti tehnologije. U primjenama koje utječu

na temeljna prava, uključujući primjene ključne za sigurnost, sustavi umjetne inteligencije trebali bi se moći

neovisno revidirati.

(89) Smanjenje negativnih učinaka i izvješćivanje o njima. Mora se osigurati i mogućnost izvješćivanja o mjerama

ili odlukama koje pridonose određenom rezultatu sustava i mogućnost da se odgovori na posljedice tog

rezultata. Identificiranje, procjena, izvješćivanje i smanjenje mogućih negativnih učinaka sustava umjetne

inteligencije posebno su važni za one na koje sustavi (ne)izravno utječu. Mora biti dostupna odgovarajuća

zaštita za zviždače, nevladine organizacije, sindikate ili druge subjekte kada prijave opravdane zabrinutosti u

vezi sa sustavom koji se temelji na umjetnoj inteligenciji. Upotreba procjeni učinka (npr. penetracijsko

testiranje (engl. red teaming) ili algoritamska procjena učinka) prije i tijekom razvoja, uvođenja i upotrebe

sustava umjetne inteligencije može pomoći u smanjenju negativnog učinka. Te procjene moraju biti razmjerne

47 To se odnosi na sustave umjetne inteligencije koji komuniciraju i koji su u interakciji s ljudima simuliranjem društvenosti u interakciji između čovjeka i robota (utjelovljena umjetna inteligencija) ili kao avatari u virtualnoj stvarnosti. Time takvi sustavi mogu promijeniti naše sociokulturne prakse i okosnicu našeg društvenog života.

48 Vidjeti, na primjer, projekt koji se financira sredstvima EU-a i u kojem se razvija softver koji se temelji na umjetnoj inteligenciji te omogućuje robotima da učinkovitije komuniciraju s autističnom djecom na terapijama koje vode osobe. Na taj način softver pomaže poboljšati socijalne i komunikacijske vještine te djece: http://ec.europa.eu/research/infocentre/article_en.cfm?id=/research/headlines/news/article_19_03_12_en.html?infocentre&item=Infocentre&artid=49968

23

riziku koji sustav umjetne inteligencije predstavlja.

(90) Kompromisi. Pri provedbi prethodno navedenih zahtjeva među njima se mogu pojaviti napetosti koje mogu

dovesti do neizbježnih kompromisa. Te bi kompromise trebalo riješiti racionalno i metodološki na

najsuvremeniji način. To znači da treba identificirati relevantne interese i vrijednosti koje sustav umjetne

inteligencije implicira te da, u slučaju sukoba između njih, kompromise treba izričito navesti i procijeniti s

obzirom na rizik koji predstavljaju za etička načela, uključujući i temeljna prava. U situacijama u kojima se ne

mogu utvrditi etički prihvatljivi kompromisi ne bi se trebalo nastaviti s razvojem, uvođenjem i upotrebom

sustava umjetne inteligencije u tom obliku. Sve odluke o kompromisima trebalo bi obrazložiti i pravilno

evidentirati. Donositelj odluke mora biti odgovoran za način na koji se postiže odgovarajući kompromis i

trebao bi kontinuirano pregledavati primjerenost odluke koja je donesena kako bi se osiguralo da se po potrebi

mogu provesti promjene sustava. 49

(91) Pravna zaštita.Kada dođe do nepravednog negativnog učinka trebalo bi predvidjeti dostupne

mehanizme kojima se osigurava primjerena pravna zaštita50. Svijest o tome da je pravna zaštita moguća

kada nešto krene po zlu ključan je element osiguravanja povjerenja. Posebnu pažnju treba obratiti na ranjive

osobe ili skupine.

2. Tehničke i netehničke metode za ostvarenje pouzdane umjetne inteligencije

(92) Za provedbu prethodno navedenih zahtjeva mogu se upotrijebiti i tehničke i netehničke metode. One

obuhvaćaju sve faze životnog ciklusa sustava umjetne inteligencije. Procjena metoda koje se koriste za

provedbu zahtjeva te izvješćivanje o promjena procesa provedbe i njihovo opravdavanje51 trebali bi se

obavljati kontinuirano. Budući da se sustavi umjetne inteligencije stalno razvijaju i djeluju u dinamičnom

okruženju, ostvarenje pouzdane umjetne inteligencije stalan je proces, koji je prikazan na slici 3. u nastavku.

Slika 3.: Ostvarenje pouzdane umjetne inteligencije tijekom cijelog životnog ciklusa sustava

(93) Sljedeće se metode mogu smatrati međusobno komplementarnima ili alternativama jer za različite zahtjeve – i

različite senzibilitete – mogu biti potrebne različite metode provedbe. Svrha ovog pregleda nije da bude

sveobuhvatan ili iscrpan ni obvezan. Umjesto toga, svrha mu je ponuditi popis predloženih metoda koje mogu

pomoći u postizanju pouzdane umjetne inteligencije.

1. Tehničke metode

49 U tome mogu pomoći različiti modeli upravljanja. Na primjer, interni i/ili vanjski stručnjak ili odbor za etiku (specifičan za pojedine sektore) može biti koristan za isticanje područja mogućeg sukoba i predlaganje načina na koji bi se taj sukob mogao riješiti. Korisno je i konstruktivno savjetovanje i rasprava s dionicima, uključujući i one na koje bi sustav umjetne inteligencije mogao negativno utjecati. Europska sveučilišta trebala bi preuzeti vodeću ulogu u osposobljavanju potrebnih stručnjaka za etiku. 50 Vidjeti i mišljenje Agencije Europske unije za temeljna prava „Poboljšanje pristupa pravnim sredstvima u područja poslovanja i ljudskih prava na razini EU-a” (2017.), https://fra.europa.eu/en/opinion/2017/business-human-rights.

51 To obuhvaća, na primjer, opravdanje odabira u dizajnu, razvoju i uvođenju sustava kako bi se uključili prethodno navedeni zahtjevi.

24

(94) U ovom odjeljku opisuju se tehničke metode za osiguravanje pouzdane umjetne inteligencije koje se mogu

uključiti u faze dizajna, razvoja i upotrebe sustava umjetne inteligencije. Metode navedene u nastavku

razlikuju se u stupnju razvijenosti52.

▪ Arhitekture za pouzdanu umjetnu inteligenciju

(95) Zahtjeve za pouzdanu umjetnu inteligenciju trebalo bi pretvoriti u postupke i/ili ograničenja postupaka, koje

treba ugraditi u arhitekturu sustava umjetne inteligencije. To bi se moglo postići skupom pravila s „bijele liste”

(ponašanja ili stanja), koja bi sustav uvijek trebao poštovati, ograničenja s „crne liste”, koja se odnose na

ponašanja ili stanja koja sustav nikada ne bi trebao prekršiti te njihovim kombinacijama ili složenijim dokazivim

jamstvima u pogledu ponašanja sustava. Praćenje usklađenosti sustava s tim ograničenjima tijekom rada može

se ostvariti zasebnim procesom.

(96) Sustavi umjetne inteligencije s mogućnostima učenja koji mogu dinamično prilagoditi svoje ponašanje mogu se

razumjeti kao nedeterministički sustavi koji mogu pokazati neočekivano ponašanje. To se često promatra kroz

teorijski okvir ciklusa „osjeti – planiraj –djeluj” (engl. sense-plan-act). Prilagođavanje takve arhitekture na način

da se osigura pouzdana umjetna inteligencija zahtijeva integraciju zahtjeva u sva tri koraka ciklusa: i. u koraku

„osjeti” sustav bi trebalo razvijati tako da prepoznaje sve elemente okoliša potrebne za osiguravanje

poštovanja zahtjeva; ii. u koraku „planiraj” sustav bi trebao razmatrati samo planove koji su usklađeni sa

zahtjevima; iii. u koraku „djeluj” radnje sustava trebale bi biti ograničene na ponašanja kojima se ostvaruju ti

zahtjevi.

(97) Prethodni prikaz arhitekture općenit je i pruža samo nepotpun opis za većinu sustava umjetne inteligencije.

Ipak, daje polazne točke za ograničenja i politike koji se trebaju odražavati u specifičnim modulima kako bi

doveli do ukupnog sustava koji je pouzdan i koji se smatra pouzdanim.

▪ Etika i integrirana vladavina prava (integrirani X)

(98) Metode za osiguravanje integriranih vrijednosti pružaju precizne i izričite veze između apstraktnih načela koja

sustav mora poštovati i specifičnih provedbenih odluka. Za tu je metodu ključna ideja da se usklađenost s

normama može ugraditi u dizajn sustava umjetne inteligencije. Poduzeća su odgovorna za utvrđivanje učinka

svojih sustava umjetne inteligencije od samog početka, kao i za utvrđivanje normi koje bi sustav umjetne

inteligencije trebao poštovati kako bi se izbjegli negativni učinci. Različiti „integrirani” koncepti već se često

upotrebljavaju, npr. integrirana privatnost i integrirana sigurnost. Kako je prethodno navedeno, da bi zadobila

povjerenje umjetna inteligencija treba biti sigurna u svojim procesima, podacima i ishodima te bi je trebalo

dizajnirati tako da bude otporna na protivničke podatke i napade. Trebala bi imati mehanizam za isključivanje

u slučaju kvara i omogućiti nastavak rada nakon prisilnog isključivanja (npr. napad).

▪ Metode obrazloženja

(99) Da bi sustav bio pouzdan moramo moći razumjeti zašto se ponaša na određeni način i zašto je dao određeno

tumačenje. Cijelo područje istraživanja, objašnjiva umjetna inteligencija (XAI), nastoji odgovoriti na to pitanje

da bismo bolje razumjeli mehanizme na kojima se sustav temelji i pronašli rješenja. Trenutačno je to još uvijek

otvoreni izazov za sustave umjetne inteligencije koji se temelje na neuronskim mrežama. Procesi treninga s

neuronskim mrežama mogu dovesti do mrežnih parametara postavljenih na numeričke vrijednosti koje je

teško povezati s rezultatima. Nadalje, ponekad male promjene u vrijednostima podataka mogu dovesti do

velikih promjena u tumačenju, zbog čega sustav može, na primjer, zamijeniti školski autobus za noja. Ta se

ranjivost može iskoristiti i tijekom napada na sustav. Metode koje uključuju istraživanje objašnjive umjetne

inteligencije ključne su ne samo za objašnjavanje ponašanja sustava korisnicima nego i za uvođenje pouzdane

tehnologije.

52 Dok su neke od tih metoda već dostupne, za druge je potrebno dodatno istraživanje. Područja u kojima je potrebno daljnje istraživanje utjecat će i na drugi dokument koji AI HLEG treba isporučiti, tj. Preporuke za politiku i ulaganje.

25

▪ Ispitivanje i potvrda

(100) Zbog nedeterminističke i kontekstualne prirode sustava umjetne inteligencije uobičajeno ispitivanje nije

dovoljno. Neuspješnost koncepata i prikaza kojima se sustav koristi mogu se očitovati samo kada se program

primijeni na dovoljno realistične podatke. Kako bi se provjerila i potvrdila obrada podataka, temeljni se model

mora pažljivo pratiti u pogledu njegove stabilnosti, otpornosti i rada u okviru razumljivih i predvidljivih granica i

tijekom treninga i tijekom uvođenja. Mora se osigurati da ishod procesa planiranja bude dosljedan ulaznim

podacima i da se odluke donose na način koji omogućuje provjeru temeljnog procesa.

(101) Sustav bi se trebao ispitati i provjeriti što prije da bi se osiguralo da se ponaša na predviđeni način tijekom

njegova cijelog životnog ciklusa, a osobito nakon uvođenja. To bi trebalo uključivati sve sastavnice sustava

umjetne inteligencije, uključujući unaprijed trenirane modele, okoline i ponašanje sustava kao cjeline.

Ispitivanje i provjeru trebala bi osmisliti i provoditi što raznolikija skupina ljudi. Trebalo bi razviti višestruke

mjerne sustave kako bi se obuhvatile kategorije koje se ispituju iz različitih perspektiva. Može se razmisliti o

penetracijskom testiranju u koje su uključeni pouzdani i raznoliki „crveni timovi”, koji namjerno pokušavaju

„upasti” u sustav kako bi pronašli njegove slabosti te o nagrađivanju pronalaska pogrešaka (engl. bug

bounties), kojim se vanjske subjekte potiče da otkriju i odgovorno prijave pogreške i slabosti sustava.

Naposljetku, mora se osigurati da izlazne informacije ili radnje budu usklađene s rezultatima prethodnih

procesa, usporedbom s prethodno utvrđenim politikama, kako bi se osiguralo da ne budu prekršene.

▪ Pokazatelji kvalitete usluge

(102) Za sustave umjetne inteligencije mogu se definirati primjereni pokazatelji kvalitete usluge kako bi se osiguralo

osnovno razumijevanje toga jesu li sustavi ispitani i razvijeni uzimajući u obzir sigurnost i zaštitu. Ti bi

pokazatelji mogli uključivati mjere za procjenu ispitivanja i treninga algoritama te tradicionalne mjere softvera

– funkcionalnost, učinkovitost, uporabljivost, pouzdanost, sigurnost i mogućnost održavanja.

2. Netehničke metode

(103) U ovom su odjeljku opisane različite netehničke metode koje mogu imati važnu ulogu u osiguravanju i

održavanju pouzdane umjetne inteligencije. I njih bi trebalo kontinuirano procjenjivati.

▪ Propisi

(104) Kako je prethodno navedeno, već postoje propisi kojima se pouzdanost umjetne inteligencije podupire u

praksi, npr. zakonodavstvo o sigurnosti proizvoda i okviri za odgovornost. Ako budemo smatrali da propise

možda treba revidirati, prilagoditi ili uvesti, i kao zaštitnu mjeru i za pospješivanje, to ćemo navesti u našem

drugom dokumentu koji trebamo isporučiti – Preporukama za politiku i ulaganje u području umjetne

inteligencije.

▪ Kodeksi ponašanja

(105) Organizacije i dionici mogu prihvatiti Smjernice i prilagoditi svoju povelju o društveno odgovornom poslovanju,

ključne pokazatelje uspješnosti, kodekse ponašanja ili interne dokumente o politici kako bi uključili nastojanje

da se ostvari pouzdana umjetna inteligencija. Općenitije, organizacija koja radi na sustavu umjetne

inteligencije može evidentirati svoje namjere i osigurati ih normama za određene željene vrijednosti, kao što

su temeljna prava, transparentnost i izbjegavanje štete.

▪ Normizacija

(106) Norme, npr. za dizajnerske, proizvodne i poslovne prakse, mogu služiti kao sustav za upravljanje kvalitetom za

korisnike umjetne inteligencije, potrošače, organizacije, istraživačke institucije i vlade jer pružaju sposobnost

prepoznavanja i poticanja etičnog ponašanja kroz njihove odluke o nabavi. Uz uobičajene norme postoje i

koregulatorni pristupi: akreditacijski sustavi, profesionalni etički kodeksi ili norme za dizajn usklađen s

temeljnim pravima. Trenutačni primjeri uključuju, na primjer, norme ISO ili serije normi IEEE P7000, ali u

26

budućnosti mogla bi biti primjerena oznaka „pouzdane umjetne inteligencije”. Ona bi usporedbom s posebnim

tehničkim normama potvrđivala da je sustav usklađen, na primjer, sa zahtjevima za sigurnost, tehničku

otpornost i objašnjivost.

▪ Ovjeravanje

(107) Budući da se ne može očekivati da svi mogu potpuno razumjeti rad i učinke sustava umjetne

inteligencije, može se razmisliti o organizacijama koje široj javnosti mogu potvrditi je li sustav

umjetne inteligencije transparentan, odgovoran i pravedan53. U tom bi se ovjeravanju primjenjivale

norme razvijene za različita područja primjene i tehnike umjetne inteligencije koje su primjereno usklađene s

industrijskim i društvenim normama različitih konteksta. Međutim, ovjeravanje nikada ne može zamijeniti

odgovornost. Stoga bi ono trebalo biti dopunjeno okvirima odgovornosti, uključujući izjave o

odricanju od odgovornosti te mehanizme za preispitivanje i sanaciju54.

▪ Odgovornost putem upravljačkog okvira

(108) Organizacije bi trebale uspostaviti upravljačke okvire, i unutarnje i vanjske, kojima će osigurati odgovornost za

etičke dimenzije odluka povezanih s razvojem, uvođenjem i upotrebom umjetne inteligencije. To, na primjer,

može uključivati imenovanje osobe odgovorne za etička pitanja povezana s umjetnom inteligencijom ili

unutarnjeg/vanjskog etičkog odbora. Moguće uloge te osobe ili odbora mogu uključivati nadzor i savjetovanje.

Kako je prethodno utvrđeno, u tome ulogu mogu imati i specifikacije i/ili tijela za ovjeravanje. Trebalo bi

osigurati komunikacijske kanale s industrijskim i/ili javnim skupinama za nadzor kako bi se razmjenjivale

najbolje prakse, raspravljalo o dvoumicama ili prijavila nova etička pitanja. Ti mehanizmi mogu dopuniti, ali ne i

zamijeniti pravni nadzor (npr. u obliku imenovanja službenika za zaštitu podataka ili jednakovrijednih mjera

koje su zakonski obvezne na temelju prava o zaštiti podataka).

▪ Obrazovanje i svijest o poticanju etičnog načina razmišljanja

(109) Pouzdana umjetna inteligencija potiče informirano sudjelovanje svih dionika. Komunikacija, obrazovanje i

osposobljavanje imaju važnu ulogu i u osiguravanju raširenosti znanja o mogućem učinku sustava umjetne

inteligencije i u osvještavanju ljudi u o tome da mogu sudjelovati u oblikovanju društvenog razvoja. To

uključuje sve dionike, npr. one uključene u izradu proizvoda (dizajneri i razvojni programeri), korisnike

(poduzeća ili pojedinci) i druge skupine na koje sustav utječe (oni koji ne kupuju ili ne upotrebljavaju sustav

umjetne inteligencije, ali za koje sustav umjetne inteligencije donosi odluke te društvo u cjelini). U cijelom bi

društvu trebalo poticati osnovnu pismenost u području umjetne inteligencije. Preduvjet obrazovanja jest

javnosti osigurati odgovarajuće vještine i osposobiti stručnjake za etiku u tom području.

▪ Sudjelovanje dionika i socijalni dijalog

(110) Umjetna inteligencija pruža mnoge koristi i europsko društvo treba osigurati da one budu dostupne svima. Za

to je potrebna otvorena rasprava i uključenost socijalnih partnera, dionika i opće javnosti. Mnoge se

organizacije već oslanjaju na odbore dionika kako bi se raspravljalo o upotrebi sustava umjetne inteligencije i

analizi podataka. Ti odbori uključuju različite članove, kao što su pravni stručnjaci, tehnički stručnjaci, stručnjaci

za etiku, predstavnici potrošača i radnici. Aktivnim traženjem sudjelovanja i dijaloga o upotrebi i učinku sustava

umjetne inteligencije podupire se procjena rezultata i pristupa te ono može biti osobito korisno u složenim

slučajevima.

▪ Raznolikost i uključivi timovi za dizajn

53 Za to se zalaže npr. Inicijativa za etički usklađen dizajn IEEE-a: https://standards.ieee.org/industry-connections/ec/autonomous-

systems.html. 54 Više informacija o ograničenjima ovjeravanja potražiti na adresi: https://ainowinstitute.org/AI_Now_2018_Report.pdf.

27

(111) Raznolikost i uključivost imaju ključnu ulogu u razvoju sustava umjetne inteligencije koji će se upotrebljavati u

stvarnom svijetu. Od presudne je važnosti da se s povećanjem zadataka koje sustavi umjetne inteligencije

obavljaju sami osigura i to da timovi koji dizajniraju, razvijaju, ispituju, održavaju, uvode i/ili nabavljaju te

sustave odražavaju raznolikost korisnika i društva općenito. To pridonosi objektivnosti i razmatranju različitih

perspektiva, potreba i ciljeva. U idealnom slučaju timovi nisu raznoliki samo u smislu spola, kulture i dobi, već i

u smislu profesionalnog iskustva i skupova vještina.

Ključne smjernice izvedene iz poglavlja II.

Osigurati da sustav umjetne inteligencije tijekom cijelog životnog ciklusa ispunjava zahtjeve za pouzdanu

umjetnu inteligenciju: (1) ljudsko djelovanje i nadzor; (2) tehnička otpornost i sigurnost; (3) privatnost i

upravljanje podacima; (4) transparentnost; (5) raznolikost, nediskriminacija i pravednost; (6) dobrobit za

okoliš i društvo te (7) odgovornost.

Razmotriti tehničke i netehničke metode kako bi se osigurala provedba tih zahtjeva.

Poticati istraživanje i inovacije kako bi se pomoglo u procjeni sustava umjetne inteligencije i unaprijedilo

ostvarenje zahtjeva; distribuirati rezultate i otvorena pitanja široj javnosti i sustavno osposobljavati novu

generaciju stručnjaka za etiku umjetne inteligencije.

Dionicima na jasan i proaktivan način priopćavati informacije o sposobnostima i ograničenjima sustava

umjetne inteligencije, što omogućuje realistična očekivanja, te o načinu na koji se provode zahtjevi. Treba

biti transparentan oko činjenice da je riječ o sustavu umjetne inteligencije.

Olakšati sljedivost i provjerljivost sustava umjetne inteligencije, osobito u kritičnim uvjetima i situacijama.

Uključiti dionike u cijeli životni ciklus sustava umjetne inteligencije. Poticati osposobljavanje i obrazovanje

tako da svi dionici budu svjesni pouzdane umjetne inteligencije i osposobljeni za nju.

Biti svjestan da mogu postojati temeljne napetosti među različitim načelima i zahtjevima. Stalno

utvrđivati, procjenjivati, dokumentirati i priopćavati te kompromise i njihova rješenja.

III. Poglavlje III.: Procjena pouzdane umjetne inteligencije

(112) Na temelju ključnih zahtjeva iz poglavlja II. u ovom se poglavlju utvrđuje neiscrpan popis za procjenu

pouzdane umjetne inteligencije (pilot-verzija), kojim se operacionalizira pouzdana umjetna inteligencija.

Posebno je primjenjiv na sustave umjetne inteligencije koji su u izravnoj interakciji s korisnicima i

prvenstveno je namijenjen razvojnim programerima i subjektima koji uvode sustave umjetne inteligencije

(bilo da je riječ o samostalnom razvoju sustava ili nabavi sustava od trećih strana). Ovaj popis za procjenu

ne bavi se operacionalizacijom prve sastavnice pouzdane umjetne inteligencije (zakonitom umjetnom

inteligencijom). Usklađenost s popisom za procjenu nije dokaz o pravnoj usklađenosti niti je on predviđen

kao smjernica za osiguravanje usklađenosti s primjenjivim pravom. S obzirom na specifičnost sustava

umjetne inteligencije za određenu primjenu, popis za procjenu trebat će prilagoditi specifičnim

slučajevima upotrebe i kontekstima u kojima sustavi rade. Usto, u ovom se poglavlju daje opća preporuka

o tome kako upotrijebiti popis za procjenu pouzdane umjetne inteligencije putem upravljačke strukture

koja obuhvaća i operativnu i upravljačku razinu.

(113) Popis za procjenu i upravljačka struktura razvijat će se u uskoj suradnji s dionicima iz javnog i privatnog

sektora. Taj će se proces voditi kao pilot-proces koji omogućuje opširne povratne informacije iz dvaju

paralelnih procesa:

a. kvalitativnog procesa koji osigurava zastupljenost u kojem će se mali broj odabranih poduzeća,

organizacija i ustanova (iz različitih sektora i različite veličine) prijaviti za ispitivanje popisa za

procjenu i upravljačke strukture u praksi te dostaviti iscrpne povratne informacije;

28

b. kvantitativnog procesa u kojem se svi zainteresirani dionici mogu prijaviti za ispitivanje popisa za

procjenu i dostaviti povratne informacije u okviru otvorenog savjetovanja.

(114) Nakon pilot-faze uključit ćemo rezultate iz procesa prikupljanja povratnih informacija u popis za procjenu i

pripremiti revidiranu verziju početkom 2020. Cilj je dobiti okvir koji se može horizontalno upotrebljavati u

svim primjenama i tako ponuditi temelj za osiguravanje pouzdane umjetne inteligencije u svim

područjima. Nakon što se taj temelj uspostavi, mogao bi se razviti okvir specifičan za sektor ili primjenu.

Upravljanje

(115) Poduzeća, organizacije i institucije mogu razmisliti o tome kako upotrijebiti popis za procjenu pouzdane

umjetne inteligencije u svojoj organizaciji. To se može učiniti uključivanjem procesa procjene u postojeće

upravljačke mehanizme ili uvođenjem novih procesa. Taj će izbor ovisiti o unutarnjoj strukturi organizacije

te o njezinoj veličini i raspoloživim resursima.

(116) Istraživanje55 pokazuje da je za postizanje promjene ključna pozornost koja se upravljanju posvećuje na

najvišoj razini. Pokazuje i da uključivanje svih dionika u poduzeću, organizaciji ili instituciji potiče

prihvaćanje i relevantnost uvođenja svih novih procesa (tehnoloških ili drugih)56. Stoga predlažemo

uvođenje procesa koji obuhvaća uključivanje i operativne razine i najviše rukovodeće razine.

Razina Relevantne uloge (ovisno o organizaciji)

Rukovodstvo i upravni

odbor

Najviše rukovodstvo raspravlja o razvoju, uvođenju ili nabavi umjetne inteligencije i

služi kao eskalacijski odbor za procjenu svih inovacija i upotreba umjetne inteligencije

kada se otkriju posebno problematična pitanja. Uključuje osobe na koje moguće

uvođenje sustava umjetne inteligencije utječe (npr. radnike) i njihove predstavnike

putem postupaka informiranja, savjetovanja i sudjelovanja.

Odjel za

usklađenost/pravni

odjel/odjel za

društveno odgovorno

poslovanje

Odbor za odgovornost prati upotrebu popisa za procjenu i njegov razvoj koji je

potreban kako bi se odgovorilo na tehnološke ili regulatorne promjene. Ažurira norme

ili interne politike o sustavima umjetne inteligencije i osigurava da upotreba tih

sustava bude usklađena s trenutačnim pravnim i regulatornim okvirom i vrijednostima

organizacije.

Odjel za razvoj

proizvoda i usluga ili

slično

Odjel za razvoj proizvoda i usluga upotrebljava popis za procjenu kako bi procijenio

proizvode i usluge koji se temelje na umjetnoj inteligenciji te evidentira sve rezultate.

O tim se rezultatima raspravlja na rukovodećoj razini, koja naposljetku odobrava nove

ili revidirane primjene koje se temelje na umjetnoj inteligenciji.

Osiguranje kvalitete Odjel za osiguranje kvalitete (ili jednakovrijedan odjel) osigurava i provjerava rezultate

popisa za procjenu i poduzima mjere za slanje pitanja višoj razini ako rezultat nije

zadovoljavajući ili ako uoči nepredviđene rezultate.

Ljudski resursi Odjel za ljudske resurse osigurava pravilnu kombinaciju kompetencija i raznolikost

profila razvojnih programera za sustave umjetne inteligencije. Osigurava odgovarajuću

razinu osposobljavanja o pouzdanoj umjetnoj inteligenciji u organizaciji.

55 https://www.mckinsey.com/business-functions/operations/our-insights/secrets-of-successful-change-implementation

56 Vidjeti, na primjer, Bryson, A., Barth, E. i Dale-Olsen, H., The Effects of Organisational change on worker well-being and the moderating role of trade unions, ILRReview, 66(4), srpanj 2013.; Jirjahn, U. i Smith, S.C. (2006.), What Factors Lead Management to Support or Oppose Employee Participation—With and Without Works Councils? Hypotheses and Evidence from Germany’s Industrial Relations, 45(4), 650.–680.; Michie, J. i Sheehan, M. (2003.), Labour market deregulation, “flexibility” and innovation, Cambridge Journal of Economics, 27(1), 123.–143.

29

Nabava Odjel za nabavu osigurava da u proces nabave proizvoda ili usluga koji se temelje na

umjetnoj inteligenciji bude uključena provjera pouzdane umjetne inteligencije.

Svakodnevni rad Razvojni programeri i voditelji projekata uključuju popis za procjenu u svoj

svakodnevni rad i evidentiraju rezultate i ishode procjene.

Upotreba popisa za procjenu pouzdane umjetne inteligencije

(117) Kod upotrebe popisa za procjenu u praksi preporučujemo da pozornost posvetite ne samo područjima u

kojima postoje problemi nego i pitanjima na koja ne možete (lako) odgovoriti. Potencijalan bi problem

mogao biti manjak raznolikosti u vještinama i kompetencijama tima koji razvija i ispituje sustav umjetne

inteligencije, stoga će možda biti potrebno uključiti druge dionike unutar ili izvan organizacije. Preporučuje

se da se evidentiraju svi rezultati i u tehničkom smislu i u smislu upravljanja, kako bi se osiguralo da

rješavanje problema bude razumljivo na svim razinama upravljačke strukture.

(118) Svrha je popisa za procjenu usmjeravati stručnjake za umjetnu inteligenciju u razvoju, uvođenju i upotrebi

pouzdane umjetne inteligencije. Procjena bi se trebala razmjerno prilagoditi specifičnom slučaju upotrebe.

Tijekom pilot-faze mogu se otkriti specifična osjetljiva područja i u sljedećem će se koraku procijeniti

potreba za daljnjim specifikacijama u tim slučajevima. Iako ovaj popis za procjenu ne pruža konkretne

odgovore na postavljena pitanja, on potiče na razmišljanje o koracima koji mogu pomoći osigurati

pouzdanost sustava umjetne inteligencije i o mogućim koracima koje bi trebalo poduzeti u tom pogledu.

Odnos s postojećim pravom i procesima

(119) Važno je i da osobe koje su uključene u razvoj, uvođenje i upotrebu umjetne inteligencije prepoznaju da

postoje različiti zakoni kojima se zahtijevaju određeni procesi i zabranjuju određeni ishodi. Oni se mogu

preklapati i podudarati s nekim mjerama navedenima na popisu za procjenu. Na primjer, pravom o zaštiti

podataka utvrđuje se niz pravnih zahtjeva koje moraju ispuniti osobe uključene u prikupljanje i obradu

osobnih podataka. Ipak, budući da i pouzdana umjetna inteligencija zahtijeva etično postupanje s

podacima, interni postupci i politike usmjereni na osiguravanje usklađenosti sa zakonima o zaštiti

podataka isto bi mogli pomoći u olakšavanju etičnog postupanja s podacima i stoga mogu dopuniti

postojeće pravne procese. Međutim, usklađenost s popisom za procjenu nije dokaz o pravnoj usklađenosti

niti je on predviđen kao smjernica za osiguravanje usklađenosti s primjenjivim zakonima. Umjesto toga, cilj

je popisa za procjenu ponuditi skup specifičnih pitanja adresatima koji nastoje osigurati da njihov pristup

razvoju i uvođenju umjetne inteligencije bude usmjeren na pouzdanu umjetnu inteligenciju i da je nastoji

ostvariti.

(120) Slično tome, mnogi stručnjaci za umjetnu inteligenciju već imaju alate za procjenu i procese za razvoj

softvera kako bi osigurali usklađenost i sa standardima koji nisu pravno obvezujući. Procjenu prikazanu u

nastavku ne bi nužno trebalo provoditi kao samostalan postupak, ona se može uključiti u slične postojeće

prakse.

POPIS ZA PROCJENU POUZDANE UMJETNE INTELIGENCIJE (PILOT-VERZIJA)

1. Ljudsko djelovanje i nadzor

Temeljna prava:

Jeste li proveli procjenu učinka na temeljna prava u slučajevima upotrebe u kojima se može pojaviti

30

negativan učinak na temeljna prava? Jeste li utvrdili i evidentirali moguće kompromise između

različitih načela i prava?

Je li sustav umjetne inteligencije u interakciji s donošenjem odluka ljudskih krajnjih korisnika (npr.

preporučena djelovanja ili odluke koje treba donijeti, predstavljanje opcija)?

Postoji li u tim slučajevima rizik od toga da sustav umjetne inteligencije utječe na ljudsku

autonomiju ometanjem procesa odlučivanja krajnjeg korisnika na nepredviđeni način?

Jeste li razmislili o tome bi li sustav umjetne inteligencije korisnicima trebao priopćiti da je

odluka, sadržaj, savjet ili ishod rezultat algoritamske odluke?

Ako sustav umjetne inteligencije ima chatbot ili sustav za razgovor, obavještava li se ljudske

krajnje korisnike o tome da nisu u interakciji s ljudskim agentom?

Ljudsko djelovanje:

Ako se sustav umjetne inteligencije uvodi u radne procese, jeste li razmislili o raspodjeli zadaća

između sustava umjetne inteligencije i ljudskih radnika kako biste osigurali smislene interakcije i

primjeren ljudski nadzor i kontrolu?

Poboljšava li ili proširuje sustav umjetne inteligencije ljudske sposobnosti?

Jeste li poduzeli zaštitne mjere kako biste spriječili preveliko povjerenje u sustav umjetne

inteligencije ili preveliko oslanjanje na njega u radnim procesima?

Ljudski nadzor:

Jeste li razmotrili koja bi razina ljudske kontrole bila primjerena za određeni sustav umjetne

inteligencije i određeni slučaj upotrebe?

Možete li opisati razinu ljudske kontrole ili uključenosti ako je to primjenjivo? Tko je „osoba koja

ima kontrolu” i koji su trenuci ili alati za ljudsku intervenciju?

Jeste li uspostavili mehanizme i mjere kojima se osigurava ta moguća ljudska kontrola ili nadzor ili

kojima se osigurava da za donošenje odluka u cijelosti budu odgovorni ljudi?

Jeste li poduzeli neke mjere kako biste omogućili reviziju i riješili probleme povezane s

upravljanjem autonomijom umjetne inteligencije?

U slučaju samoučećih ili autonomnih sustava umjetne inteligencije ili slučaja upotrebe takvih sustava,

jeste li uspostavili preciznije mehanizme kontrole i nadzora?

Koju ste vrstu mehanizama za otkrivanje i odgovor uspostavili da biste procijenili može li nešto

poći po zlu?

Jeste li osigurali „gumb za isključivanje” ili postupak za sigurno zaustavljanje radnje kada je to

potrebno? Hoće li taj postupak prekinuti proces potpuno ili djelomično ili će kontrolu prepustiti

čovjeku?

31

2. Tehnička otpornost i sigurnost

Otpornost na napad i sigurnost:

Jeste li procijenili moguće oblike napada na koje bi sustav umjetne inteligencije mogao biti ranjiv?

Točnije, jeste li razmislili o različitim vrstama i tipovima ranjivosti, kao što su kontaminacija

podataka, fizička infrastruktura, kibernapadi?

Jeste li uspostavili mjere ili sustave za osiguravanje integriteta sustava umjetne inteligencije i njegove

otpornosti na moguće napade?

Jeste li procijenili kako se vaš sustav ponaša u neočekivanim situacijama i okolinama?

Jeste li razmotrili može li vaš sustav imati dvojnu namjenu i u kojoj mjeri? Ako može, jeste li poduzeli

preventivne mjere protiv toga (tako da, na primjer, ne objavite istraživanje ili ne uvedete sustav)?

Rezervni plan i opća sigurnost:

Jeste li osigurali primjeren rezervni plan za sustav ako dođe do zlonamjernih napada ili drugih

neočekivanih situacija (npr. postoje postupci tehničkog prebacivanja ili sustav traži ljudskog operatera

prije nego što nastavi s radom)?

Jeste li razmislili o razini rizika koju sustav umjetne inteligencije predstavlja u tom specifičnom slučaju

upotrebe?

Jeste li uspostavili neki proces za mjerenje i procjenu rizika i sigurnosti?

Jeste li pružili potrebne informacije u slučaju rizika za tjelesni integritet ljudi?

Jeste li razmislili o polici osiguranja kako biste se nosili s mogućom štetom koju bi uzrokovao

sustav umjetne inteligencije?

Jeste li utvrdili moguće sigurnosne rizike (drugih) predvidljivih upotreba tehnologije, uključujući

njezinu slučajnu ili zlonamjernu pogrešnu upotrebu? Postoji li plan za ublažavanje tih rizika ili

upravljanje njima?

Jeste li procijenili postoji li izgledna mogućnost da sustav umjetne inteligencije nanese štetu ili ozljedu

korisnicima ili trećim stranama? Ako jeste, jeste li procijenili vjerojatnost, moguću štetu, pogođene

subjekte i ozbiljnost?

Ako postoji rizik od toga da sustav umjetne inteligencije uzrokuje štetu, jeste li razmotrili pravila o

odgovornosti i zaštiti potrošača i kako ste ih uzeli u obzir?

Jeste li razmotrili mogući učinak na okoliš ili životinje ili sigurnosni rizik za njih?

Jeste li u analizi rizika razmotrili predstavljaju li sigurnosni ili mrežni problemi (na primjer,

opasnosti za kibernetičku sigurnost) sigurnosne rizike ili rizike od štete zbog nepredviđenog

ponašanja sustava umjetne inteligencije?

Jeste li procijenili vjerojatni učinak neispravnosti sustava umjetne inteligencije koji bi doveo do

pogrešnih rezultata, nedostupnosti sustava ili dobivanja društveno neprihvatljivih rezultata (npr.

diskriminirajuće prakse)?

Jeste li odredili pragove i upravljanje za prethodno navedene scenarije koji će aktivirati

32

alternativne/rezervne planove?

Jeste li utvrdili i ispitali rezervne planove?

Točnost

Jeste li procijenili koja bi razina i definicija točnosti bile potrebne u kontekstu sustava umjetne

inteligencije i slučaja upotrebe?

Jeste li procijenili kako se mjeri i osigurava točnost?

Jeste li uspostavili mjere kojima se osigurava da podaci koji se upotrebljavaju budu sveobuhvatni i

ažurirani?

Jeste li uspostavili mjere kojima se procjenjuje jesu li potrebni dodatni podaci, na primjer, kako bi

se poboljšala točnost ili uklonila pristranost?

Jeste li procijenili štetu do koje bi došlo u slučaju netočnih predviđanja sustava umjetne inteligencije?

Jeste li uspostavili načine mjerenja dolazi li u vašem sustavu do neprihvatljivog broja netočnih

predviđanja?

Ako dolazi do netočnih predviđanja, jeste li uspostavili niz koraka za rješavanje tog problema?

Pouzdanost i ponovljivost:

Jeste li uspostavili strategiju za praćenje i ispitivanje ispunjava li sustav umjetne inteligencije ciljeve,

svrhe i namijenjene primjene?

Jeste li ispitali treba li uzeti u obzir neke posebne kontekste ili određene uvjete kako bi se

osigurala ponovljivost?

Jeste li uspostavili procese ili metode za provjeru kako biste mjerili i osigurali različite aspekte

pouzdanosti i ponovljivosti?

Jeste li uspostavili procese za opisivanje slučajeva u kojima sustav umjetne inteligencije podbaci u

nekim vrstama okruženja?

Jeste li jasno evidentirali i operacionalizirali te procese za ispitivanje i provjeru pouzdanosti

sustava umjetne inteligencije?

Jeste li uspostavili mehanizme ili komunikaciju kako biste (krajnje) korisnike uvjerili u pouzdanost

sustava umjetne inteligencije?

3. Privatnost i upravljanje podacima

Poštovanje privatnosti i zaštita podataka:

Ovisno o slučaju upotrebe, jeste li uspostavili mehanizme koji drugima omogućuju da istaknu pitanja

povezana s privatnosti i zaštitom podataka u vezi s procesima prikupljanja podataka (za trening i rad)

ili obrade podataka u sustavu umjetne inteligencije?

Jeste li procijenili vrstu i opseg podataka u svojim skupovima podataka (npr. sadržavaju li osobne

podatke)?

33

Jeste li razmotrili načine za razvoj sustava umjetne inteligencije ili treninga modela bez upotrebe ili uz

minimalnu upotrebu potencijalno osjetljivih ili osobnih podataka?

Jeste li ugradili mehanizme za obavješćivanje o osobnim podacima i kontrolu nad njima ovisno o

slučaju upotrebe (kao što su valjana suglasnost i mogućnost opoziva ako je primjenjivo)?

Jeste li poduzeli mjere za poboljšanje privatnosti, na primjer šifriranjem, anonimizacijom i

agregacijom?

Ako postoji službenik za zaštitu podataka, jeste li uključili tu osobu u ranoj fazi procesa?

Kvaliteta i cjelovitost podataka:

Jeste li uskladiti svoj sustav s mogućim relevantnim normama (npr. ISO, IEEE) ili uvelike prihvaćenim

protokolima za svakodnevno upravljanje podacima?

Jeste li uspostavili mehanizme nadzora za prikupljanje, spremanje, obradu i upotrebu podataka?

Jeste li procijenili u kojoj mjeri kontrolirate kvalitetu vanjskih izvora podataka koje upotrebljavate?

Jeste li uspostavili procese za osiguravanje kvalitete i cjelovitosti podataka? Jeste li razmotrili druge

procese? Kako provjeravate jesu li vaši skupovi podataka kompromitirani ili hakirani?

Pristup podacima:

Koje ste protokole, procese i postupke slijedili kako biste upravljali podacima i osigurali pravilno

upravljanje podacima?

Jeste li procijenili tko može pristupiti podacima o korisnicima i u kojim okolnostima?

Jeste li osigurali da te osobe budu kvalificirane i da im je potreban pristup podacima te da imaju

kompetencije potrebne za razumijevanje pojedinosti politike zaštite podataka?

Jeste li osigurali mehanizam nadzora koji evidentira kada je, gdje, kako, tko i u koju svrhu

pristupio podacima?

4. Transparentnost

Sljedivost:

Jeste li uspostavili mjere kojima se može osigurati sljedivost? To bi moglo obuhvaćati evidentiranje:

metoda koje se koriste za dizajniranje i razvoj algoritamskog sustava:

o u slučaju sustava umjetne inteligencije koji se temelji na pravilima trebalo bi evidentirati

metodu programiranja ili način izrade modela,

o u slučaju sustava umjetne inteligencije koji se temelji na učenju trebalo bi evidentirati

metodu treninga algoritma, među ostalim i koji su ulazni podaci prikupljeni i odabrani i

kako je došlo do toga,

metoda koje se koriste za ispitivanje i potvrdu algoritamskog sustava:

o u slučaju sustava umjetne inteligencije koji se temelji na pravilima trebalo bi evidentirati

34

scenarije ili slučajeve korištene za ispitivanje i potvrdu,

o u slučaju modela koji se temelji na učenju trebalo bi evidentirati informacije o podacima

korištenima za ispitivanje i potvrdu,

ishoda algoritamskog sustava:

o trebalo bi evidentirati ishode algoritma ili odluke koje on donese te druge moguće

odluke do kojih bi došlo u drugačijim slučajevima (npr. za druge podskupine korisnika).

Objašnjivost:

Jeste li procijenili mjeru u kojoj se mogu razumjeti odluke, a time i ishodi sustava umjetne

inteligencije?

Jeste li osigurali da se razlog zbog kojeg je sustav donio određenu odluku, a koja je dovela do

određenog ishoda, može objasniti svim korisnicima koji možda žele objašnjenje?

Jeste li procijenili u kojoj mjeri odluka sustava utječe na procese odlučivanja organizacije?

Jeste li procijenili zašto je upravo taj sustav uveden upravo u tom području?

Jeste li procijenili poslovni model u vezi sa sustavom (npr. kako stvara vrijednost za organizaciju)?

Jeste li tijekom dizajniranja sustava umjetne inteligencije od početka imali na umu objašnjivost?

Jeste li istražili i pokušali upotrijebiti najjednostavniji model i model koji se najlakše tumači, a koji

je moguć za predmetnu primjenu?

Jeste li procijenili možete li analizirati svoje podatke o treningu i ispitivanju? Možete li to s

vremenom promijeniti i ažurirati?

Jeste li procijenili imate li ikakve opcije za ispitivanje objašnjivosti nakon treninga i razvoja

modela te imate li pristup internom tijeku rada modela?

Komunikacija:

Jeste li s pomoću izjave o odricanju od odgovornosti ili na neki drugi način (krajnjim) korisnicima

priopćili da su u interakciji sa sustavom umjetne inteligencije, a ne s osobom? Jeste li svoj sustav

umjetne inteligencije označili kao takav?

Jeste li uspostavili mehanizme za obavješćivanje korisnika o razlozima i kriterijima na kojima se

temelje ishodi sustava umjetne inteligencije?

Jeste li to prenijeli predviđenim korisnicima na jasan i razumljiv način?

Jeste li uspostavili procese koji u obzir uzimaju povratne informacije korisnika i upotrebljavaju ih

za prilagodbu sustava?

Jeste li i priopćili moguće ili primijećene rizike kao što je pristranost?

Ovisno o slučaju upotrebe, jeste li razmotrili i komunikaciju i transparentnost u odnosu na drugu

publiku, treće strane ili opću javnost?

Jeste li objasnili svrhu sustava umjetne inteligencije i tko ili što može imati koristi od

proizvoda/usluge?

35

Jesu li utvrđeni i jasno priopćeni scenariji upotrebe za proizvod, uzimajući u obzir i alternativne

oblike komunikacije, kako bi se osiguralo da budu razumljivi predviđenom korisniku i primjereni

za njega?

Ovisno o slučaju upotrebe, jeste li razmislili o ljudskoj psihologiji i mogućim ograničenjima, kao

što je rizik od zabune, sklonost potvrdi ili kognitivni umor?

Jeste li jasno priopćili svojstva, ograničenja i moguće nedostatke sustava umjetne inteligencije:

u slučaju razvoja: onima koji ga uvode u svoj proizvod ili uslugu?

u slučaju uvođenja: krajnjem korisniku ili potrošaču?

5. Raznolikost, nediskriminacija i pravednost

Izbjegavanje nepravedne pristranosti:

Jeste li osigurali strategiju ili skup postupaka za izbjegavanje nastanka ili povećanja nepravedne

pristranosti u sustavu umjetne inteligencije, i u pogledu upotrebe ulaznih podataka i dizajna

algoritma?

Jeste li procijenili i priznali moguća ograničenja koja proizlaze iz sastava korištenih skupova

podataka?

Jeste li razmotrili raznolikost i reprezentativnost korisnika u podacima? Jeste li ispitali specifične

populacije ili problematične slučajeve upotrebe?

Jeste li istražili i upotrijebili dostupne tehničke alate da biste poboljšali razumijevanje podataka,

modela i učinkovitosti?

Jeste li uspostavili procese za ispitivanje i praćenje mogućih pristranosti tijekom faze razvoja,

uvođenja i upotrebe sustava?

Ovisno o slučaju upotrebe, jeste li osigurali mehanizam koji drugima omogućuje da istaknu pitanja

povezana s pristranosti, diskriminacijom ili slabom učinkovitošću sustava umjetne inteligencije?

Jeste li razmotrili jasne korake i načine komunikacije o tome kako se i kome ta pitanja mogu

postaviti?

Jeste li uzeli u obzir ne samo (krajnje) korisnike nego i druge osobe na koje sustav umjetne

inteligencije može neizravno utjecati?

Jeste li procijenili može li u istim uvjetima doći do različitih odluka?

Ako može, jeste li razmislili o mogućim uzrocima?

Ako postoji varijabilnost, jeste li uspostavili mehanizam za mjerenje ili procjenu mogućeg učinka

te varijabilnosti na temeljna prava?

Jeste li osigurali primjerenu radnu definiciju „pravednosti” koju primjenjujete u dizajniranju sustava

umjetne inteligencije?

Upotrebljava li se ta definicija često? Jeste li razmotrili druge definicije prije nego što ste odabrali

36

tu definiciju?

Jeste li osigurali kvantitativnu analizu ili mjerni sustav za mjerenje i ispitivanje primijenjene

definicije pravednosti?

Jeste li uspostavili mehanizme za osiguravanje pravednosti u svojim sustavima umjetne

inteligencije? Jeste li razmotrili druge moguće mehanizme?

Dostupnost i univerzalni dizajn:

Jeste li osigurali mogućnost da se sustav umjetne inteligencije prilagodi nizu individualnih sklonosti i

sposobnosti?

Jeste li procijenili mogu li sustav umjetne inteligencije upotrebljavati osobe s posebnim

potrebama ili invaliditetom ili osobe kojima prijeti opasnost od isključenosti? Kako je to uključeno

u dizajn sustava i kako se provjerava?

Jeste li osigurali da informacije o sustavu umjetne inteligencije budu dostupne i korisnicima

pomoćnih tehnologija?

Jeste li uključili tu zajednicu ili se savjetovali s njom tijekom faze razvoja sustava umjetne

inteligencije?

Jeste li uzeli u obzir učinak sustava umjetne inteligencije na moguće korisnike?

Predstavlja li tim uključen u izradu sustava umjetne inteligencije ciljne korisnike? Predstavlja li

širu populaciju, uzimajući u obzir i druge skupine na koje možda utječe površno?

Jeste li procijenili postoje li možda osobe ili skupine na koje negativne posljedice nerazmjerno

utječu?

Jeste li dobili povratne informacije od drugih timova ili skupina s različitom pozadinom i

iskustvom?

Sudjelovanje dionika:

Jeste li razmotrili mehanizam za uključivanje sudjelovanja različitih dionika u razvoju i upotrebi

sustava umjetne inteligencije?

Jeste li omogućili uvođenje sustava umjetne inteligencije u organizaciju tako da ste unaprijed

informirali i uključili radnike na koje on utječe i njihove predstavnike?

6. Dobrobit društva i okoliša

Održiva i ekološki prihvatljiva umjetna inteligencija:

Jeste li uspostavili mehanizme za mjerenje utjecaja razvoja, uvođenja i upotrebe sustava umjetne

inteligencije na okoliš (npr. energija koju troši podatkovni centar, vrsta energije koju upotrebljavaju

podatkovni centri itd.)?

Jeste li osigurali mjere za smanjenje utjecaja životnog ciklusa sustava umjetne inteligencije na okoliš?

Društveni učinak:

37

Ako je sustav umjetne inteligencije u izravnoj interakciji s ljudima:

Jeste li procijenili potiče li sustav umjetne inteligencije ljude da razviju privrženost sustavu i

empatiju prema njemu?

Jeste li osigurali da sustav umjetne inteligencije jasno naznačava da je njegova društvena

interakcija simulirana te da on nema sposobnost „razumjeti” i „osjećati”?

Jeste li osigurali dobro razumijevanje društvenih učinaka sustava umjetne inteligencije? Na primjer,

jeste li procijenili postoji li rizik od gubitka radnih mjesta ili gubitka kvalifikacija radnika? Koje ste

korake poduzeli da biste spriječili te rizike?

Društvo i demokracija:

Jeste li procijenili širi društveni učinak upotrebe sustava umjetne inteligencije dalje od pojedinačnog

(krajnjeg) korisnika, na primjer dionike na koje sustav možda neizravno utječe?

7. Odgovornost

Provjerljivost:

Jeste li uspostavili mehanizme koji internim i/ili neovisnim subjektima olakšavaju provjerljivost

sustava, na primjer osiguravanje sljedivosti i evidentiranje procesa i ishoda sustava umjetne

inteligencije?

Smanjenje negativnih učinaka i izvješćivanje o njima:

Jeste li proveli procjenu rizika ili učinka sustava umjetne inteligencije u kojoj se u obzir uzimaju različiti

dionici na koje sustav utječe izravno ili neizravno?

Jeste li uspostavili okvire za osposobljavanje i obrazovanje za razvoj praksi odgovornosti?

Koji su radnici ili grane tima uključeni? Nadilazi li se faza razvoja?

Uključuje li to osposobljavanje i učenje o mogućem pravnom okviru primjenjivom na sustav

umjetne inteligencije?

Jeste li razmislili o uspostavi „odbora za preispitivanje etične umjetne inteligencije” ili sličnog

mehanizma za raspravu o ukupnim praksama odgovornosti i etike, uključujući siva područja koja

možda nisu jasna?

Uz interne inicijative ili okvire za nadzor etike i odgovornosti, postoji li neka vrsta vanjskih smjernica ili

su možda uspostavljeni i procesi revizije?

Jesu li uspostavljeni nekakvi procesi za treće strane (npr. dobavljače, potrošače,

distributere/prodavatelje) ili radnike putem kojih mogu prijaviti moguće ranjivosti, rizike ili

pristranosti u sustavu/primjeni umjetne inteligencije?

Evidentiranje kompromisa:

Jeste li uspostavili mehanizam za identifikaciju relevantnih interesa i vrijednosti povezanih sa

sustavom umjetne inteligencije te moguće kompromise među njima?

Kojim se procesom koristite da biste odlučili o tim kompromisima? Jeste li osigurali da odluka o

38

kompromisu bude evidentirana?

Mogućnost pravne zaštite:

Jeste li uspostavili primjereni skup mehanizama koji omogućuje pravnu zaštitu ako dođe do nekakve

štete ili negativnog učinka?

Jeste li uspostavili mehanizme kojima se (krajnjim) korisnicima/trećim stranama daju informacije o

prilikama za pravnu zaštitu?

Pozivamo sve dionike da ispitaju ovaj popis za procjenu u praksi i da dostave povratne informacije o

mogućnosti njegove provedbe, njegovoj potpunosti, relevantnosti za određene primjene ili područja

umjetne inteligencije te o preklapanjima ili komplementarnosti s postojećim procesima za usklađivanje ili

procjenu. Na temelju tih povratnih informacija Komisiji će se početkom 2020. predložiti revidirana verzija

popisa za procjenu pouzdane umjetne inteligencije.

Ključne smjernice izvedene iz poglavlja III.

Upotrebljavatipopis za procjenu pouzdane umjetne inteligencije pri razvoju, uvođenju i upotrebi umjetne

inteligencije i prilagoditi ga specifičnom slučaju upotrebe u kojem se sustav upotrebljava.

Imati na umu da takav popis za procjenu nikada nije iscrpan. Kod osiguravanja pouzdane umjetne

inteligencije nije riječ o ispunjavanju formalnih zahtjeva, nego o kontinuiranom identificiranju zahtjeva,

vrednovanju rješenja i osiguravanju boljih ishoda kroz cijeli životni ciklus sustava umjetne inteligencije te

uključivanju dionika u taj proces.

C. PRIMJERI PRILIKA I POSEBNO PROBLEMATIČNIH PODRUČJA KOJA SE JAVLJAJU U VEZI S UMJETNOM

INTELIGENCIJOM

(121) U sljedećem odjeljku navodimo primjere razvoja i upotrebe umjetne inteligencije koje bi trebalo poticati te

primjere slučajeva u kojima razvoj, uvođenje ili upotreba umjetne inteligencije može biti u suprotnosti s našim

vrijednostima i dovesti do specifičnih dvojbi. Mora se postići ravnoteža između onoga što bi se trebalo i što se

može učiniti s umjetnom inteligencijom te se mora posvetiti dužna pažnja onome što se ne bi trebalo raditi s

umjetnom inteligencijom.

1. Primjeri prilika za pouzdanu umjetnu inteligenciju

(122) Pouzdana umjetna inteligencija može biti velika prilika za ublažavanje hitnih izazova s kojima se društvo

suočava, kao što su starenje stanovništva, sve veća društvena nejednakost i onečišćenje okoliša. Taj

potencijal odražava se i na globalnoj razini, na primjer u UN-ovim ciljevima održivog razvoja57. U

sljedećem odjeljku razmatra se kako poticati europsku strategiju za umjetnu inteligenciju kojom se nastoji

odgovoriti na neke od tih izazova.

a. Klimatska politika i održiva infrastruktura

(123) Rješavanje problema koji su povezani s klimatskim promjenama trebalo bi biti prioritet za oblikovatelje politika

u cijelom svijetu, a digitalna transformacija i pouzdana umjetna inteligencija imaju veliki potencijal za

57 https://sustainabledevelopment.un.org/?menu=1300

39

smanjenje čovjekova utjecaja na okoliš te omogućuju učinkovitu i djelotvornu upotrebu energije i prirodnih

resursa58. Pouzdana umjetna inteligencija može se, na primjer, povezati s velikom količinom podataka

kako bi se točnije utvrdile potrebe za energijom, što bi dovelo do učinkovitije energetske

infrastrukture i potrošnje59.

(124) Ako pogledamo sektore kao što je javni prijevoz, sustavi umjetne inteligencije za pametne prijevozne sustave60

mogu se upotrijebiti za smanjenje kolona, optimizaciju ruta, povećanje neovisnosti slijepih i slabovidnih

osoba61, optimizaciju energetski učinkovitih motora i time poboljšanje napora koji se ulaže u dekarbonizaciju i

smanjenje ekološkog otiska radi postizanja zelenijeg društva. Trenutačno u svijetu u automobilskim

nesrećama umre jedna osoba svake 23 sekunde62. Sustavi umjetne inteligencije mogli bi pomoći da

se znatno smanji broj smrtnih slučajeva, na primjer, kraćim vremenom reakcije i boljim poštovanjem

pravila63.

b. Zdravlje i dobrobit

(125) Tehnologije pouzdane umjetne inteligencije mogu se upotrebljavati, i već se upotrebljavaju, za

pametnije i usmjerenije liječenje te kao pomoć u sprečavanju bolesti opasnih po život64. Liječnici i

zdravstveno osoblje mogli bi provoditi točnije i sveobuhvatnije analize složenih podataka o zdravlju

pacijenta čak i prije nego što se ljudi razbole te bi mogli pružiti prilagođeno preventivno liječenje65. U

kontekstu starenja europskog stanovništva, umjetna inteligencija i robotika mogu biti vrijedni alati za

pomoć pružateljima skrbi i za potporu u skrbi za starije osobe66. S pomoću njih može se i pratiti

58 Niz projekata EU-a usmjeren je na razvoj pametnih mreža i pohrane energije, koji mogu pridonijeti uspješnoj digitalno potpomognutoj energetskoj tranziciji, među ostalim i s pomoću rješenja koja se temelje na umjetnoj inteligenciji i drugih digitalnih rješenja. Kako bi se dopunio rad tih pojedinačnih projekata Komisija je pokrenula inicijativu BRIDGE, koja aktualnim projektima za pametne mreže i pohranu energije u okviru Obzora 2020. omogućuje stvaranje zajedničkog stajališta o međusektorskim pitanjima: https://www.h2020-bridge.eu/. 59 Vidjeti, na primjer, projekt Encompass: http://www.encompass-project.eu/.

60 Nova rješenja koja se temelje na umjetnoj inteligenciji pomažu pripremiti gradove za budućnost mobilnosti. Vidjeti, na

primjer, projekt Fabulos koji se financira sredstvima EU-a: https://fabulos.eu/. 61 Vidjeti, na primjer, projekt PRO4VIP, koji je dio europske strategije Vision 2020 za suzbijanje sljepoće koja se može spriječiti, osobito sljepoće koja je posljedica starenja. Mobilnost i orijentacija bile su neka od prioritetnih područja projekta. 62 https://www.who.int/news-room/fact-sheets/detail/road-traffic-injuries.

63 Na primjer, u europskom projektu UP-Drive nastoje se riješiti opisani izazovi u vezi s prijevozom tako što se pridonosi omogućivanju postupne automatizacije vozila i suradnje među njima, što olakšava sigurniji, više uključiv i jeftiniji prijevozni sustav. https://up-drive.eu/.

64 Vidjeti, na primjer, projekt REVOLVER (Repeated Evolution of Cancer; ponovljena evolucija raka): https://www.healtheuropa.eu/personalised-cancer-treatment/87958/ ili projekt Murab u kojem se obavljaju preciznije biopsije i kojim se nastoji brže dijagnosticirati rak i druge bolesti: https://ec.europa.eu/digital-single-market/en/news/murab-eu-funded-project-success-story. 65 Vidjeti, na primjer, projekt Live INCITE: www.karolinska.se/en/live-incite. Taj konzorcij naručitelja zdravstvene zaštite pred industriju je stavio izazov razvoja pametne umjetne inteligencije i drugih rješenja IKT-a koja omogućuju intervencije u životnom stilu u okviru perioperativnog procesa. Cilj se odnosi na inovativna rješenja eZdravlja koja mogu personalizirano utjecati na pacijente kako bi oni poduzeli potrebne mjere u svom životnom stilu prije i nakon operacije, što će poboljšati zdravstveni rezultat.

66 Projekt CARESSES, koji se financira sredstvima EU-a, bavi se robotima za skrb za starije osobe, koji su usmjereni na njihovu kulturnu osjetljivost: roboti prilagođavaju svoje ponašanje i način govora kako bi odgovarali kulturi i navikama starijih osoba kojima pomažu: http://caressesrobot.org/en/project/. Vidjeti i aplikaciju umjetne inteligencije Alfred, virtualnog pomoćnika koji starijim osobama pomaže da ostanu aktivne: https://ec.europa.eu/digital-single-market/en/news/alfred-virtual-assistant-helping-older-people-stay-active. Nadalje, u projektu EMPATTICS (EMpowering PAtients for a BeTTer Information and improvement of the Communication Systems; osnaživanje pacijenata za bolju informiranost i poboljšanje komunikacijskih sustava) istraživat će se i definirati kako zdravstveni djelatnici i pacijenti upotrebljavaju tehnologije IKT-a, uključujući i sustave umjetne inteligencije, za planiranje intervencija s pacijentima i praćenje napredovanja njihova tjelesnog i duhovnog stanja: www.empattics.eu.

40

stanje pacijenata u stvarnom vremenu, što pomaže u spašavanju života67.

(126) Pouzdana umjetna inteligencija može pomoći i u širem opsegu. Na primjer, može ispitati i utvrditi opća

kretanja u sektoru zdravstvene zaštite i liječenja68, što bi dovelo do ranijeg otkrivanja bolesti, učinkovitijeg

razvoja lijekova, preciznijeg liječenja69 i naposljetku više spašenih života.

c. Kvalitetno obrazovanje i digitalna transformacija

(127) Nove tehnološke, ekonomske i ekološke promjene znače da društvo mora postati proaktivnije. Vlade,

predvodnici industrije, obrazovne institucije i sindikati odgovorni su za uvođenje građana u novo digitalno

doba osiguravajući da oni steknu odgovarajuće vještine za popunjavanje radnih mjesta u budućnosti. Pouzdane

tehnologije umjetne inteligencije mogle bi pomoći u točnijem predviđanju radnih mjesta i profesija koje će

tehnologija poremetiti, novih uloga koje će nastati i vještina koje će biti potrebne. To bi moglo pomoći

vladama, sindikatima i industriji u planiranju (pre)kvalifikacije radnika. Građanima koji možda strahuju od

otpuštanja moglo bi pružiti perspektivu za razvoj u novoj ulozi.

(128) Usto, umjetna inteligencija može biti odličan alat za borbu protiv obrazovne nejednakosti i stvaranje

personaliziranih i prilagodljivih obrazovnih programa koji bi svima mogli pomoći da steknu nove

kvalifikacije, vještine i kompetencije u skladu s njihovom sposobnošću učenja70. Mogla bi povećati i

brzinu učenja i kvalitetu obrazovanja, od osnovnih škola do sveučilišta.

2. Primjeri posebno problematičnih područja koja se javljaju u vezi s umjetnom inteligencijom

(129) Posebno problematično pitanje u vezi s umjetnom inteligencijom pojavljuje se ako se prekrši jedna od

sastavnica pouzdane umjetne inteligencije. Mnoga od problematičnih pitanja navedenih u nastavku već su

obuhvaćena postojećim pravnim zahtjevima, koji su obvezni i stoga se moraju ispuniti. Međutim, čak i u

okolnostima u kojima je dokazana usklađenost s pravnim zahtjevima, oni možda ne obuhvaćaju cijeli raspon

etičkih pitanja koja se mogu pojaviti. Budući da se naše shvaćanje primjerenosti pravila i etičkih načela

neizbježno razvija te se s vremenom može promijeniti, sljedeći neiscrpni popis problematičnih pitanja u

budućnosti se može skratiti, produljiti, urediti ili ažurirati.

a. Identifikacija i praćenje pojedinaca primjenom umjetne inteligencije

(130) Umjetna inteligencija javnim i privatnim subjektima omogućuje još učinkovitiju identifikaciju pojedinaca.

Primjeri nadogradive tehnologije umjetne inteligencije za identifikaciju koji se mogu istaknuti uključuju

prepoznavanje lica i druge prisilne metode identifikacije upotrebom biometrijskih podataka (tj. otkrivanje laži,

procjena osobnosti putem mikroizraza i automatsko prepoznavanje glasa). Identifikacija pojedinaca ponekad je

poželjan ishod usklađen s etičkim načelima (na primjer, u otkrivanju prijevara, pranja novca ili financiranja

terorizma). Međutim, automatska identifikacija izaziva zabrinutost i pravne i etičke prirode jer može imati

67 Vidjeti, na primjer MyHealth Avatar (www.myhealthavatar.eu), koji pruža digitalan prikaz zdravstvenog stanja pacijenta. U okviru istraživačkog projekta pokrenute su aplikacija i internetska platforma koji prikupljaju digitalne informacije o dugoročnom zdravstvenom stanju osobe i daju joj pristup tim informacijama. To se odvija u obliku cjeloživotnog savjetnika za zdravlje („avatar”). MyHealthAvatar ujedno i predviđa rizik od moždanog udara, dijabetesa, kardiovaskularnih bolesti i povišenog krvnog tlaka.

68 Vidjeti, na primjer, projekt ENRICHME (www.enrichme.eu), koji se bavi progresivnim smanjenjem kognitivnog kapaciteta stanovništva koje stari. Integrirana platforma za život potpomognut okolinom (AAL) i pokretni robot za usluge za dugoročno praćenje i interakciju pomoći će starijim osobama da dulje ostanu neovisne i aktivne. 69 Vidjeti, na primjer, upotrebu umjetne inteligencije u poduzeću Sophia Genetics, koje iskorištava statističko zaključivanje, prepoznavanje uzoraka i strojno učenje kako bi se povećala vrijednost podataka iz genomike i radiomske analize: https://www.sophiagenetics.com/home.html. 70 Vidjeti, na primjer, projekt MaTHiSiS, kojim se nastoji dati rješenje za afektivno učenje u ugodnom okruženju, koje sadržava vrhunske tehnološke uređaje i algoritme: (http://mathisis-project.eu/). Vidjeti i IBM-ovu platformu Watson Classroom ili platformu Century Tech.

41

nepredviđeni učinak na mnogim psihološkim i sociokulturnim razinama. Razmjerna upotreba tehnika kontrole

umjetne inteligencije potrebna je za poštovanje autonomije europskih građana. Jasno utvrđivanje toga može li

se, kada i kako umjetna inteligencija upotrijebiti za automatiziranu identifikaciju pojedinaca te razlikovanje

identifikacije pojedinca od pronalaženja i praćenja pojedinca i ciljanog nadzora od masovnog nadzora bit će

presudno za ostvarenje pouzdane umjetne inteligencije. Primjena tih tehnologija mora biti jasno

opravdana u postojećem pravu71. Ako je pravna osnova za tu aktivnost „pristanak”, moraju se razviti

praktična sredstva72 koja omogućuju davanje suvislog i provjerenog pristanka na automatsku identifikaciju

umjetnom inteligencijom ili jednakovrijednim tehnologijama. To se primjenjuje i na upotrebu „anonimnih”

osobnih podataka koji se mogu ponovno personalizirati.

b. Prikriveni sustavi umjetne inteligencije

(131) Ljudi bi uvijek trebali znati jesu li u izravnoj interakciji s drugim čovjekom ili strojem, a stručnjaci za umjetnu

inteligenciju su ti koji su odgovorni da se to ostvari na pouzdan način. Stručnjaci za umjetnu inteligenciju stoga

bi trebali osigurati da ljudi budu svjesni da su u interakciji sa sustavom umjetne inteligencije ili da mogu

zatražiti i potvrditi činjenicu da su u takvoj interakciji (na primjer, davanjem jasnih i transparentnih izjava o

odricanju od odgovornosti). Napominjemo da postoje granični slučajevi koji otežavaju situaciju (npr. glas osobe

koji se filtrira umjetnom inteligencijom). Trebalo bi imati na umu da bi zbunjenost oko toga je li riječ o ljudima

ili strojevima mogla imati višestruke posljedice poput privrženosti, utjecaja ili smanjenje vrijednosti ljudi73.

Razvoj humanoidnih robota74 stoga bi trebalo pažljivo procijeniti iz etičke perspektive.

c. Vrednovanje građana omogućeno umjetnom inteligencijom kojim se krše temeljna prava

(132) Društva bi trebala težiti zaštiti slobode i autonomije svih građana. Bilo koji oblik vrednovanja građana može

dovesti do gubitka autonomije i ugroziti načelo nediskriminacije. Vrednovanje bi se trebalo upotrebljavati

samo ako postoji jasno opravdanje i ako su mjere razmjerne i pravedne. Normativno vrednovanje građana

(opća procjena „moralne osobnosti” ili „etičkog integriteta”) u svim aspektima i u velikim razmjerima, koje

obavljaju javna tijela ili privatni subjekti, ugrožava te vrijednosti, osobito ako se ne upotrebljava u skladu s

temeljnim pravima i ako se upotrebljava nerazmjerno i bez utvrđene i priopćene zakonite svrhe.

(133) Vrednovanje građana (u većim ili manjim razmjerima) već se sada često koristi za isključivo opisne ocjene i

ocjene specifične za određeno područje (npr. školski sustavi, e-učenje i vozačke dozvole). Čak i kod tih užih

primjena, građanima bi trebao biti dostupan potpuno transparentan postupak, uključujući informacije o

procesu, svrsi i metodologiji vrednovanja. Napominjemo da transparentnost ne može spriječiti diskriminaciju ili

osigurati pravednost te da ona nije rješenje za sve probleme vrednovanja. U idealnom bi se slučaju, ako je to

moguće, trebala pružiti mogućnost da se ne sudjeluje u mehanizmu vrednovanja bez štetnih posljedica. U

suprotnom se moraju osigurati mehanizmi za osporavanje i ispravak ocjena. To je posebno važno u situacijama

u kojima postoji razlika u moći između strana. Te mogućnosti nesudjelovanja trebalo bi osigurati tijekom

dizajniranja tehnologije u okolnostima u kojima je to potrebno kako bi se osigurala usklađenost s temeljnim

pravima i one su neophodne u demokratskom društvu.

d. Sustavi smrtonosnog autonomnog oružja (LAWS)

(134) Trenutačno nepoznat broj zemalja i industrija istražuje i razvija sustave smrtonosnog autonomnog oružja, koji

se kreću od projektila s mogućnošću selektivnog ciljanja do strojeva za učenje s kognitivnim vještinama, koje

im omogućuju da bez ljudske intervencije odluče s kim će se boriti, kada i gdje. To dovodi do temeljnih etičkih

71 Kad je riječ o tome, može se podsjetiti na članak 6. Opće uredbe o zaštiti podataka kojim se, među ostalim, predviđa da je obrada podataka zakonita samo ako postoji valjana pravna osnova. 72 Kao što pokazuju postojeći mehanizmi za davanje informiranog pristanka na internetu, potrošači obično daju pristanak bez pravog razmatranja. Stoga se oni ne mogu smatrati praktičnima. 73 Madary i Metzinger (2016.). Real Virtuality: A Code of Ethical Conduct. Recommendations for Good Scientific Practice and the Consumers of VR-Technology. Frontiers in Robotics and AI, 3(3).

74 To vrijedi i za avatare koji se temelje na umjetnoj inteligenciji.

42

pitanja, kao što je činjenica da bi moglo dovesti do utrke u naoružanju na dosad neviđenoj razini i koju nije

moguće kontrolirati te do vojnog konteksta u kojem je gotovo potpuno isključena ljudska kontrola i nije

riješeno pitanje rizika od nepravilnosti u radu. Europski parlament pozvao je na hitan razvoj zajedničkog,

pravno obvezujućeg stajališta o etičkim i pravnim pitanjima ljudske kontrole, nadzora, odgovornosti i provedbe

međunarodnog prava o ljudskim pravima, međunarodnog humanitarnog prava i vojnih strategija75.

Podsjećajući na cilj Europske unije da promiče mir, kako je utvrđeno u članku 3. Ugovora o Europskoj uniji,

stojimo uz rezoluciju Parlamenta od 12. rujna 2018. i uz sva povezana nastojanja u pogledu sustava

smrtonosnog autonomnog oružja te ih nastojimo podržati.

e. Moguća dugoročna problematična pitanja

(135) Razvoj umjetne inteligencije još je uvijek specifičan za pojedino područje i zahtijeva dobro osposobljene

ljudske znanstvenike i inženjere za precizno utvrđivanje njezinih ciljeva. Međutim, dugoročnijim

ekstrapoliranjem u budućnost mogu se pretpostaviti određena dugoročna posebno problematična

pitanja76. Pristup koji se temelji na riziku nalaže da bi ta problematična pitanja trebalo uzeti u obzir zbog

mogućih nepoznatih nepoznanica i takozvanih „crnih labuda”77. Snažan učinak tih pitanja u kombinaciji s

trenutačnim nesigurnostima u vezi s odgovarajućim kretanjima zahtijeva redovite procjene tih tema.

D. ZAKLJUČAK

(136) Ovaj dokument utvrđuje Etičke smjernice za umjetnu inteligenciju koje je izradila Stručna skupina na visokoj

razini o umjetnoj inteligenciji (AI HLEG).

(137) Prepoznajemo pozitivan učinak koji sustavi umjetne inteligencije već imaju i koje će imati u budućnosti, i u

komercijalnom i socijalnom smislu. Međutim, jednako smo posvećeni tome da osiguramo odgovarajuće i

razmjerno postupanje u pogledu rizika i drugih negativnih učinaka s kojima su te tehnologije povezane u

kontekstu primjene umjetne inteligencije. Umjetna je inteligencija tehnologija koja je i transformativna i koja

može uzrokovati poremećaje, a njezin su razvoj u posljednjih nekoliko godina olakšali dostupnost iznimno

velike količine digitalnih podataka, veliki tehnološki napredak u računalnoj snazi i memorijskom kapacitetu te

značajne znanstvene i inženjerske inovacije u metodama i alatima umjetne inteligencije. Sustavi umjetne

inteligencije nastavit će utjecati na društvo i građane na načine koje još ne možemo zamisliti.

(138) U tom kontekstu, važno je izgraditi sustave umjetne inteligencije koji zaslužuju povjerenje jer će ljudi njihove

prednosti sa sigurnošću i u cijelosti moći iskoristiti samo ako su tehnologija te procesi i ljudi iza te tehnologije

pouzdani. Stoga je pri izradi ovih Smjernica pouzdana umjetna inteligencija bila naša osnovna ambicija.

(139) Pouzdana umjetna inteligencija ima tri sastavnice: (1) trebala bi biti zakonita i osigurati poštovanje svih

primjenjivih zakona i propisa; (2) trebala bi biti etična i osigurati poštovanje etičkih načela i vrijednosti i (3)

trebala bi biti otporna i iz tehničke i iz socijalne perspektive jer sustavi umjetne inteligencije, čak i s dobrim

namjerama, mogu uzrokovati nenamjernu štetu. Svaka je sastavnica nužna, ali nije dovoljna za postizanje

pouzdane umjetne inteligencije. U idealnom su slučaju sve tri sastavnice usklađene i preklapaju se u svojem

djelovanju. Ako se pojave napetosti, trebali bismo ih nastojati uskladiti.

(140) U poglavlju I. naveli smo temeljna prava i odgovarajući skup etičkih načela ključnih u kontekstu umjetne

inteligencije. U poglavlju II. naveli smo sedam ključnih zahtjeva koje bi sustavi umjetne inteligencije trebali

ispuniti kako bi se ostvarila pouzdana umjetna inteligencija. Predložili smo tehničke i netehničke metode koje

75 Rezolucija Europskog parlamenta 2018/2752(RSP). 76 Dok neki smatraju da primjeri tih dugoročnih problematičnih pitanja (koja trenutačno ne postoje) uključuju opću umjetnu inteligenciju, umjetnu svijest, umjetne moralne agente, superinteligenciju i transformativnu umjetnu inteligenciju, mnogi drugi smatraju da to nije realno. 77 Crni labud vrlo je rijedak, ali snažan događaj – toliko rijedak da možda ni nije opažen. Stoga se vjerojatnost pojave obično može procijeniti samo s visokom stopom nesigurnosti.

43

mogu biti pomoć pri njihovoj provedbi. Naposljetku, u poglavlju III. naveli smo popis za procjenu pouzdane

umjetne inteligencije, koji može pomoći u operacionalizaciji sedam zahtjeva. U završnom odjeljku naveli smo

primjere korisnih prilika i posebno problematičnih područja koja se javljaju u vezi sa sustavima umjetne

inteligencije. Nadamo se da ćemo potaknuti daljnju raspravu o njima.

(141) Europa ima jedinstvenu prednost koja se temelji na njezinoj usmjerenosti na stavljanje građana u središte

svojih nastojanja. Ta je usmjerenost utkana u samu srž Europske unije kroz ugovore na kojima je ona

utemeljena. Ovaj je dokument dio vizije kojom se promiče pouzdana umjetna inteligencija, za koju smatramo

da bi trebala biti temelj na kojem će Europa graditi svoje predvodništvo u inovativnim, vrhunskim sustavima

umjetne inteligencije. Ta ambiciozna vizija pomoći će osigurati ljudski razvoj europskih građana, i individualno i

kolektivno. Naš je cilj stvoriti kulturu „pouzdane umjetne inteligencije za Europu”, u kojoj svi mogu iskoristiti

koristi umjetne inteligencije na način kojim se osigurava poštovanje naših temeljnih vrijednosti: temeljnih

prava, demokracije i vladavine prava.

44

POJMOVNIK

(142) Ovaj pojmovnik dio je Smjernica i trebao bi pomoći u razumijevanju pojmova koji se upotrebljavaju u ovom

dokumentu.

Umjetna inteligencija ili sustavi umjetne inteligencije

(143) Sustavi umjetne inteligencije jesu softver (a može biti i hardver) koji su dizajnirali ljudi78 i koji, s obzirom na

složeni cilj, djeluje u fizičkoj ili digitalnoj dimenziji putem zapažanja okruženja kroz stjecanje podataka,

tumačenja prikupljenih strukturiranih ili nestrukturiranih podataka, zaključivanja o znanju ili obrade

informacija izvedenih iz tih podataka i odlučivanja o najboljoj radnji (ili radnjama) koju treba poduzeti kako bi

se ostvario određeni cilj. Sustavi umjetne inteligencije mogu se koristiti simboličkim pravilima ili naučiti

numerički model te mogu i prilagoditi svoje ponašanje analiziranjem načina na koji su svojim prethodnim

radnjama utjecali na okruženje.

(144) Umjetna inteligencija kao znanstvena disciplina uključuje nekoliko pristupa i tehnika, kao što su strojno učenje

(specifični su primjeri duboko učenje i pojačano učenje), strojno zaključivanje (koje uključuje planiranje,

raspoređivanje zadataka, reprezentaciju znanja i zaključivanje, pretraživanje i optimizaciju) i robotika (koja

uključuje kontrolu, opažanje, senzore i aktuatore te integraciju svih ostalih tehnika u kibernetičko-fizičke

sustave).

(145) Usporedno se objavljuje zaseban dokument koji je pripremio AI HLEG u kojem se pobliže objašnjava definicija

sustava umjetne inteligencije, koja se upotrebljava za potrebe ovog dokumenta – „Definicija umjetne

inteligencije: glavne mogućnosti i znanstvene discipline”.

Stručnjaci za umjetnu inteligenciju

(146) U stručnjake za umjetnu inteligenciju ubrajamo sve pojedince ili organizacije koje razvijaju (uključujući

istraživanje, dizajniranje ili pružanje podataka), uvode ili upotrebljavaju sustave umjetne inteligencije,

isključujući one koji upotrebljavaju sustave umjetne inteligencije kao krajnji korisnici ili potrošači.

Životni ciklus sustava umjetne inteligencije

(147) Životni ciklus sustava umjetne inteligencije obuhvaća njegove faze razvoja (uključujući istraživanje, dizajn,

pružanje podataka i ograničena testiranja), uvođenja i upotrebe.

Provjerljivost

(148) Provjerljivost se odnosi na mogućnost podvrgavanja sustava umjetne inteligencije procjeni algoritama,

podataka i procesa dizajniranja sustava. Ona je jedan od sedam zahtjeva koje bi sustav pouzdane umjetne

inteligencije trebao ispuniti. To ne znači nužno da se informacijama o poslovnim modelima i intelektualnom

vlasništvu koji su povezani sa sustavom umjetne inteligencije uvijek mora moći otvoreno pristupiti.

Osiguravanje mehanizama sljedivosti i evidentiranja od faze ranog dizajniranja sustava umjetne inteligencije

može pomoći pri omogućivanju provjerljivosti sustava.

Pristranost

(149) Pristranost je sklonost predrasudi u korist ili protiv osobe, stvari ili stava. Pristranost se u sustavima umjetne

inteligencije može javiti na različite načine. Na primjer, u sustavima umjetne inteligencije koji se temelje na

podacima, kao što su oni koji nastaju strojnim učenjem, pristranost u prikupljanju podataka i treningu može

dovesti do toga da sustav umjetne inteligencije pokazuje pristranost. Kod logičke umjetne inteligencije, kao što

su sustavi koji se temelje na pravilima, pristranost se može javiti zbog načina na koji inženjer znanja može

shvaćati pravila koja se primjenjuju u određenom kontekstu. Do pristranosti može doći i zbog učenja na

internetu i prilagodbe putem interakcije. Do nje može doći i zbog personalizacije kod koje se korisnicima

78 Ljudi izravno dizajniraju sustave umjetne inteligencije, ali mogu se koristiti i tehnikama umjetne inteligencije kako bi poboljšali dizajn.

45

prikazuju preporuke ili informacije koje su prilagođene ukusima korisnika. To se ne odnosi nužno na ljudsku

pristranost ili prikupljanje podataka koje pokreću ljudi. Može se javiti, na primjer, kroz ograničene kontekste u

kojima se sustav upotrebljava, a u tom slučaju nema prilike da se ona proširi na druge kontekste. Pristranost

može biti dobra ili loša, namjerna ili nenamjerna. U određenim slučajevima pristranost može dovesti do

diskriminirajućih i/ili nepravednih ishoda, a za to se u ovom dokumentu upotrebljava pojam nepravedna

pristranost.

Etika

(150) Etika je akademska disciplina koja je potpodručje filozofije. Općenito se bavi pitanjima kao što su: Što je dobro

djelovanje?, Koja je vrijednost ljudskog života?, Što je pravda? i Što je dobar život? U akademskoj etici postoje

četiri glavna područja istraživanja: i. metaetika, koja se uglavnom bavi značenjem i referencom normativnih

iskaza i pitanjem načina utvrđivanja njihovih istinosnih vrijednosti (ako ih imaju); ii. normativna etika, odnosno

praktični načini utvrđivanja moralnog načina djelovanja ispitivanjem normi za ispravno i neispravno djelovanje

i dodjeljivanjem vrijednosti specifičnim radnjama; iii. deskriptivna etika, koja nastoji empirijski istražiti moralno

ponašanje i uvjerenja ljudi i iv. primijenjena etika, koja se bavi onime što smo obvezni (ili što nam je

dopušteno) činiti u specifičnoj (često novoj) situaciji ili određenom području (često dosad neviđenih)

mogućnosti za djelovanje. Primijenjena etika bavi se situacijama iz stvarnog života, u kojima se odluke moraju

donijeti pod vremenskim pritiskom i često uz ograničenu racionalnost. Etika umjetne inteligencije obično se

smatra primjerom primijenjene etike i usmjerena je na normativna pitanja koja se javljaju u vezi s dizajnom,

razvojem, uvođenjem i upotrebom umjetne inteligencije.

(151) U etičkim raspravama često se koriste pojmovi „moralno” i „etično”. Pojam „moralno” odnosi se na konkretne,

činjenične uzorke ponašanja, običaje i konvencije koji su prisutni kod određenih kultura, skupina i pojedinaca u

određeno vrijeme. Pojam „etično” odnosi se na evaluacijske procjene tih konkretnih radnji i ponašanja iz

sustavne, akademske perspektive.

Etična umjetna inteligencija

(152) U ovom se dokumentu pojam etična umjetna inteligencija upotrebljava za označivanje razvoja, uvođenja i

upotrebe umjetne inteligencije koja osigurava usklađenost s etičkim normama, uključujući temeljna prava kao

što su moralna prava, etička načela i povezane temeljne vrijednosti. Ona je druga od triju temeljnih elemenata

potrebnih za ostvarenje pouzdane umjetne inteligencije.

Umjetna inteligencija usmjerena na čovjeka

(153) Pristup umjetnoj inteligenciji usmjeren na čovjeka nastoji osigurati da ljudske vrijednosti budu u središnjem

položaju u načinu na koji se sustavi umjetne inteligencije razvijaju, uvode, upotrebljavaju i prate, tako da se

osigura poštovanje temeljnih prava, među ostalim i onih utvrđenih u ugovorima Europske unije i Povelji

Europske unije o temeljnim pravima. Sva su ta prava ujedinjena upućivanjem na zajedničku osnovu utemeljenu

u poštovanju ljudskog dostojanstva, u kojoj ljudi imaju jedinstven i neotuđiv moralni status. To uključuje i

uzimanje u obzir prirodnog okoliša i drugih živih bića koja su dio ljudskog ekosustava te održivi pristup

omogućivanju razvoja budućih generacija.

Penetracijsko testiranje (red teaming)

(154) Penetracijsko testiranje praksa je u kojoj „crveni tim” ili neovisna skupina izaziva organizaciju kako bi

poboljšala njezinu učinkovitost zauzimanjem protivničke uloge ili stajališta. Osobito se koristi za pomoć u

identificiranju i rješavanju mogućih sigurnosnih slabosti.

Ponovljivost

(155) Ponovljivost opisuje ponaša li se test umjetne inteligencije na isti način kada se ponovi u istim uvjetima.

Otporna umjetna inteligencija

(156) Otpornost sustava umjetne inteligencije obuhvaća i njegovu tehničku otpornost (primjeren za određeni

46

kontekst, kao što je područje primjene ili faza životnog ciklusa) i njegovu otpornost iz socijalne perspektive

(osiguravanje da sustav umjetne inteligencije primjereno uzima u obzir kontekst i okolinu u kojima radi). To je

ključno da bi se osiguralo da čak i uz dobre namjere ne dođe do nenamjerne štete. Otpornost je treća od triju

sastavnica potrebnih za ostvarenje pouzdane umjetne inteligencije.

Dionici

(157) U dionike ubrajamo sve one koji istražuju, razvijaju, dizajniraju, uvode ili upotrebljavaju umjetnu inteligenciju

te one na koje ona (izravno ili neizravno) utječe, uključujući, među ostalim, poduzeća, organizacije, istraživače,

javne službe, institucije, organizacije civilnog društva, vlade, regulatore, socijalne partnere, pojedince, građane,

radnike i potrošače.

Sljedivost

(158) Sljedivost sustava umjetne inteligencije odnosi se na mogućnost praćenja podataka sustava te procesa njegova

razvoja i uvođenja, obično putem evidentirane identifikacije.

Povjerenje

(159) Preuzimamo sljedeću definiciju iz literature: „Povjerenje se smatra: (1) skupom specifičnih uvjerenja o

dobronamjernosti, kompetentnosti, integritetu i predvidljivosti (uvjerenja puna povjerenja); (2) spremnošću

jedne strane da ovisi o drugoj u rizičnoj situaciji (namjera puna povjerenja) ili (3) kombinacijom tih

elemenata”79. Iako „povjerenje” obično nije svojstvo koje se pripisuje strojevima, cilj je ovog dokumenta

istaknuti važnost mogućnosti povjerenja ne samo u činjenicu da su sustavi umjetne inteligencije pravno

usklađeni, etični i otporni, već i u to da se to povjerenje može pripisati svim ljudima i procesima uključenima u

životni ciklus sustava umjetne inteligencije.

Pouzdana umjetna inteligencija

(160) Pouzdana umjetna inteligencija ima tri sastavnice: (1) trebala bi biti zakonita i osigurati poštovanje svih

primjenjivih zakona i propisa; (2) trebala bi biti etična i pokazati i osigurati poštovanje etičkih načela i

vrijednosti i (3) trebala bi biti otporna i iz tehničke i iz socijalne perspektive jer sustavi umjetne inteligencije,

čak i uz dobre namjere, mogu uzrokovati nenamjernu štetu. Pouzdana umjetna inteligencija ne odnosi se samo

na pouzdanost samog sustava umjetne inteligencije, već obuhvaća i pouzdanost svih procesa i sudionika koji su

dio životnog ciklusa sustava.

Ranjive osobe i skupine

(161) Ne postoji općeprihvaćena ili usuglašena pravna definicija ranjivih osoba. Uzrok je tome njihova raznovrsnost.

Što čini ranjivu osobu ili skupinu često ovisi o kontekstu. Ulogu u tome mogu imati privremena razdoblja u

životu (na primjer, djetinjstvo ili bolest), tržišni čimbenici (kao što je nejednakost u informiranosti ili tržišnoj

snazi), ekonomski čimbenici (kao što je siromaštvo), čimbenici povezani s identitetom (kao što je spol, religija

ili kultura) ili drugi čimbenici. Članak 21. o nediskriminaciji iz Povelje EU-a o temeljnim pravima obuhvaća

sljedeće osnove koje, među ostalim, mogu biti referentna točka: spol, rasa, boja kože, etničko ili socijalno

podrijetlo, genetske osobine, jezik, religija ili uvjerenje, političko ili bilo kakvo drugo mišljenje, pripadnost

nacionalnoj manjini, imovina, rođenje, invaliditet, dob i spolna orijentacija. Drugi se članci zakona bave

pravima specifičnih skupina povrh prethodno navedenih. Bilo koji takav popis nije iscrpan i s vremenom se

može promijeniti. Ranjivu skupinu čini skupina osoba kojima je zajednička jedna značajka ranjivosti ili njih više.

79 Siau, K., Wang, W. (2018.), Building Trust in Artificial Intelligence, Machine Learning, and Robotics, CUTTER BUSINESS TECHNOLOGY JOURNAL (31), S. 47.–53.

47

Ovaj dokument pripremili su članovi Stručne skupine na visokoj razini o umjetnoj

inteligenciji.

U nastavku su navedeni abecednim redom.

Pekka Ala-Pietilä, predsjednik AI HLEG-a AI Finland, Huhtamaki, Sanoma

Pierre Lucas Orgalim – europske tehnološke industrije

Wilhelm Bauer Fraunhofer

Ieva Martinkenaite Telenor

Urs Bergmann – suizvjestitelj Zalando

Thomas Metzinger – suizvjestitelj JGU Mainz i Udruga europskih sveučilišta

Mária Bieliková Slovačko tehnološko sveučilište u Bratislavi

Catelijne Muller ALLAI Netherlands i EGSO

Cecilia Bonefeld-Dahl – suizvjestiteljica DigitalEurope

Markus Noga SAP

Yann Bonnet ANSSI

Barry O’Sullivan, potpredsjednik AI HLEG-a University College u Corku

Loubna Bouarfa OKRA

Ursula Pachl BEUC

Stéphan Brunessaux Airbus

Nicolas Petit – suizvjestitelj Sveučilište u Liègeu

Raja Chatila Inicijativa IEEE-a o etici autonomnih i inteligentnih sustava i

Sveučilište u Sorboni

Christoph Peylo Bosch

Mark Coeckelbergh Sveučilište u Beču

Iris Plöger BDI

Virginia Dignum – suizvjestiteljica Sveučilište u Umei

Stefano Quintarelli Garden Ventures

Luciano Floridi Sveučilište u Oxfordu

Andrea Renda Osoblje Europskog koledža i Centar za studije europskih

politika Jean-Francois Gagné – suizvjestitelj Element AI

Francesca Rossi IBM

Chiara Giovannini ANEC

Cristina San José Europsko udruženje banaka

Joanna Goodey Agencija za temeljna prava

George Sharkov Savez za digitalna mala i srednja poduzeća

Sami Haddadin Minhenska škola za robotiku i strojnu inteligenciju (MSRM)

Philipp Slusallek Njemački istraživački centar za umjetnu inteligenciju (DFKI)

Gry Hasselbalch Thinkdotank DataEthics i Sveučilište u Kopenhagenu

Françoise Soulié Fogelman Savjetnica za umjetnu inteligenciju

Fredrik Heintz Sveučilište u Linköpingu

Saskia Steinacker – suizvjestiteljica Bayer

Fanny Hidvegi Access Now

Jaan Tallinn Ambient Sound Investment

Eric Hilgendorf Sveučilište u Würzburgu

Thierry Tingaud STMicroelectronics

Klaus Höckner Hilfsgemeinschaft der Blinden und Sehschwachen

Jakob Uszkoreit Google

Mari-Noëlle Jégo-Laveissière Orange

Aimee Van Wynsberghe – suizvjestiteljica TU Delft

Leo Kärkkäinen Nokia Bell Labs

Thiébaut Weber ETUC

Sabine Theresia Köszegi Tehničko sveučilište u Beču

Cecile Wendling AXA

Robert Kroplewski Odvjetnik i savjetnik poljske vlade

Karen Yeung – suizvjestiteljica Sveučilište u Birminghamu

Elisabeth Ling RELX

Urs Bergmann, Cecilia Bonefeld-Dahl, Virginia Dignum, Jean-François Gagné, Thomas Metzinger, Nicolas Petit, Saskia Steinacker, Aimee Van Wynsberghe i Karen Yeung djelovali su kao izvjestitelji za ovaj dokument.

Pekka Ala-Pietilä predsjedava AI HLEG-om. Barry O’Sullivan potpredsjednik je AI HLEG-a i koordinira drugi dokument koji ta skupina

48

mora isporučiti. Nozha Boujemaa bila je potpredsjednica do 1. veljače 2019. i koordinirala je prvi dokument koji je skupina morala isporučiti, a pridonijela je i sadržaju ovog dokumenta.

Nathalie Smuha pružila je uredničku podršku.