Upload
others
View
15
Download
2
Embed Size (px)
Citation preview
Doktorski studij na FSB: Uvod u znanstveno istraživački rad 2017/2018
Pavle Šprljan
DVOSJEKLI MAČ UMJETNE INTELIGENCIJE
UDC
Esej
Sažetak
Napredak znanosti o umjetnoj inteligenciji i vrtoglavi napredak računalnih platformi za
njezinu praktičnu implementaciju doprinijeli su pojavi komercijalnih ekspertnih sustava u
širokom spektru primjena. Suvremeni ekspertni sustavi sposobni su zamijeniti, a ponekad čak
i nadjačati čovjeka u poslovima dijagnostike, semantičke obrade podataka i zaključivanja. Ovaj
se esej dotiče pitanja primjene umjetne inteligencije u svrhu kreativnosti, odnosno pomoći u
poslovima poput znanstvenog istraživanja i inženjerstva iz psihološkog kuta, zaključujući s
diskusijom o pogodnostima i rizicima nadmoćne kreativne umjetne inteligencije.
Ključne riječi: umjetna inteligencija, ekspertni sustavi, kreativnost u znanosti inženjerstvu,
psihologija kreativnosti, mentalne bolesti, opasnosti u korištenju umjetne
inteligencije
Summary
Recent breaktroughs in artificial intelligence theory and their various embodiments in
advanced computer platforms lead to the rise of commercial expert systems. Their application
is becoming more common every day, finding use in ever-widening scope. Some commercial
expert systems are fully capable of replacing a human worker, and sometimes they show to be
even more reliable than any human expert. This is especially notable in professions including
diagnostics, semantic data processing and inference. In this essay, we look into some
consequences of applying the artificially intelligent systems as a tool in highly creative tasks
such as science and engineering projects. We base our approach on an average psychological
portfolio of a very creative professional, discuss its properties, whether they could be
implemented into an artificial system, and conclude with a short discussion of implied
consequences.
Key words: artificial intelligence, expert systems, creativity in science and engineering,
psychology of creativity, mental illness, dangers in using AI
1. Uvod
Čovjekova fascinacija umjetnim inteligentnim bićima zabilježena je još u antici mnogim
mitovima i pričama, ispitujući prirodu ljudskog razuma, emocija i težnji. Pitanje ustrojstva
ljudske osobnosti tisućama je godina bilo rezervirano isključivo za umjetnost, filozofiju i
religiju; mutna zrcala kroz koje je čovjek istraživao svoj identitet.
Pavle Šprljan Dvosjekli mač umjetne inteligencije
2
Gotovo istovremeno s pojavom elektroničkog računala razvila se znanost o umjetnoj
inteligenciji, koja se kroz posljednjih 60 godina razgranala i donijela mnogo plodova. S
napretkom računala i tehnologije umjetne inteligencije pojavljuje se sve više programa i
strojeva sposobnih za oponašanje mnogih aktivnosti koje su do tad bile rezervirane isključivo
za čovjeka: od igranja šaha do poslovnog odlučivanja. Najčešće, s vremenom bi se takvi
specijalizirani programi razvili i nadjačali ljude; kao ogledni primjer ovdje možemo spomenuti
Garija Kasparova, posljednjeg šahovskog velemajstora kojeg računalo nije uspjelo nadjačati.
Gari Kasparov je izgubio drugi meč protiv IBM-ovog superračunala Big Blue, te je izrazio
sumnju u varanje podupirućeg tima [1]. Naime, računalo ga je iznenadilo potezom koji je
Kasparov kasnije komentirao kao previše „ljudski“, što s obzirom na Kasparovljev ugled i
iskustvo svakako treba uvažiti. No s druge strane treba uzeti u obzir i Kasparovljev
profesionalni ponos, te uzeti njegovu primjedbu s dozom rezerve. Premda IBM-u sigurno nije
u interesu priznati prijevaru, postoji mogućnost da je kreativnost prirodno proizašla iz
programa. U svojoj kontroverznoj knjizi [2] Stephen Wolfram na iscrpan način istražuje
stanične automate, gdje iz vrlo jednostavno definiranih automata izviru potpuno neočekivana i
nevjerojatna ponašanja. Dakle već na toj razini pojavili su se neočekivani rezultati. Ne može se
reći da je Big Blue bio oplemenjen izuzetno kreativnim osobinama, jer to nije ni bila namjera
tijekom njegovog projektiranja i implementacije, no valja uvažiti mogućnost da je neka vrsta
kreativnosti nastala sasvim slučajno. O mogućnosti pojave nepredviđenog ponašanja biti će više
riječi u poglavlju o psihologiji kreativnosti. Nastave li znanost o umjetnoj inteligenciji i praksa
njezine implementacije napredovati ovim tempom, zamislivo je da bi se u budućnosti mogla
razviti umjetna inteligencija oplemenjena čovjekolikim kreativnim osobinama. No, što to
zapravo znači i je li izvedivo? Kakve bi bile osobine takvog umjetnog uma? Koje su
potencijalne posljedice na čovječanstvo? Ovaj esej pruža kratak osvrt na ta pitanja, s naglaskom
na psihologiju kreativnosti.
U sljedećem poglavlju obradit će se povijest i budućnost automatizacije u kontekstu
interakcije čovjeka sa strojem. Potom, zadajemo okvir performansi umjetno inteligentnog i
kreativnog sustava, bez izvjesnog zaključka je li takav sustav u ovom trenutku moguće
programirati u računalo. Na kraju razrađujemo hipotetski scenarij ostvarenja umjetne
superinteligencije te ističemo rizike po ljudsko zdravlje i život, pa i na opstanak civilizacije u
cijelosti.
2. Povijest i budućnost automatizacije
Premda se početkom automatizacije može nazvati i prapovijesni izum pluga, zapažanja
iznesena u ovom dijelu odnose se na napredak postignut tijekom 20. stoljeća, te su citirane iz
[2]. Teze koje ćemo ovdje predstaviti mogu se barem u nekoj mjeri apstrahirati na svaki izum
od pluga nadalje, a vrlo vjerojatno i na sve buduće. S tim na umu, može se pretpostaviti daljnje
povećanje kompleksnosti interakcije između čovjeka i stroja kao pomagala u radu. Međutim,
cilj ovoga dijela nije predvidjeti samo povećanje složenosti odnosa između čovjeka i stroja, već
postaviti temelje za premisu rasta nepredvidljivosti njegovog ishoda.
Osim olakšanja čovjekovog posla, svaki novi izum neizbježno donosi novi skup problema
za korisnika. On mora savladati način korištenja, te biti svjestan ograničenja i tehničkih kvarova
koji se mogu pojaviti, a pogotovo opasnosti po ljudsko zdravlje i život. Dodatno, korisnik mora
znati i riješiti barem osnovne probleme koji se javljaju prilikom upotrebe. Povećanje
kompleksnosti odnosa čovjek-stroj se detaljnije može izložiti kroz sljedeće stavke: 1. Da bi korisnik znao pravilno koristiti novi izum, mora savladati do tad njemu nepoznate
izazove poput podešavanja i inicijalizacije stroja, održavanja te ispravnog načina
korištenja.
Dvosjekli mač umjetne inteligencije Pavle Šprljan
3
2. Pojavljuju se novi kognitivni problemi vezani za korisničko sučelje, usmjeravanje
pozornosti na ključne pokazatelje rada, te učenje novih komunikacijskih i
koordinacijskih vještina, što sve zajedno pojačava potrebu za dodatnom edukacijom
korisnika i postizanjem zadovoljavajuće razine stručnosti.
3. Uloga korisnika se s napretkom tehnologije sve više orijentira prema nadzornim i
regulacijskim funkcijama. Iz kompleksnosti novih sustava izviru novi, sve složeniji
zahtjevi na dubinsko poznavanje koncepta primijenjene tehnologije, pogotovo ako stroj
ima mogućnost rada neovisnog o fizičkoj prisutnosti ili pozornosti korisnika.
Potencijalne opasnosti na kvalitetu izlaza proizvodnog procesa ali i ljudsko zdravlje su
sve izraženije uvođenjem automatizacije procesa. Valja se prisjetiti da projektni
inženjeri koji razvijaju novi sustav nužno moraju zanemariti jedan dio skupa mogućih
radnih stanja odnosno vrijednosti ulaznih varijabli, kako bi unutar vremenskih i
ekonomskih ograničenja razvili upotrebljiv proizvod.
4. Nove tehnologije često spajaju prethodno razdvojene dijelove procesa iz čega lako
proizlaze nove, do tad nepoznate vrste tehničkih kvarova. Također, ukoliko se prilikom
projektiranja novog sustava ne posveti dovoljna količina pozornosti načinu rada
postojećeg procesa, novi sustav može potpuno zakazati bez očitog razloga. Takvi
problemi su nažalost vrlo česti prilikom puštanja novih sustava u rad, ali se mogu
pojaviti i kasnije.
5. Iz marketinških ili drugih razloga, promotori novih tehnologija često podcijene ili
prešute navedene probleme što dovodi do razočaranja korisnika i otežava poslovni
odnos između naručitelja i isporučitelja proizvoda. Takav ishod usporava prihvaćanje
nove tehnologije smanjujući percepciju njezine uporabne vrijednosti, koja se
naposljetku odražava i na tržišnu vrijednost smanjujući interes ulagača u daljnji razvoj.
Sve navedene stavke se odnose i na pojavu umjetne inteligencije u kreativnim procesima
koji su do nedavno bili rezervirani isključivo za čovjeka, a u budućnosti je moguće da će se
pojaviti vrlo napredni sustavi za pomoć u projektiranju i znanstvenom istraživanju. Dakako,
stupanj razvoja umjetne inteligencije je još vrlo daleko od mogućnosti potpune zamjene čovjeka
u rješavanju složenih zadataka gdje je potrebna velika količina znanja, iskustva, vještina i
kreativnosti. No, u ovom trenutku već postoje komercijalni inteligentni sustavi koji štede
vrijeme i novac. Neki od primjera navedeni su u tablici 1.
Pavle Šprljan Dvosjekli mač umjetne inteligencije
4
Tablica 1: Primjeri komercijalnih inteligentnih sustava
Područje Proizvođač i naziv Komentar
Medicina Google DeepMind Health
IBM Watson
Zephyr Health
Uglavnom se radi o alatima za pomoć
u diferencijalnoj dijagnostici, gdje su
za svaku bolest jasno definirani
simptomi. Razvijeni su i alati za
predviđanje mogućih nuspojava
novog lijeka odnosno interakcija s
drugim lijekovima [3].
Financije,
bankarstvo Wealthfront
Venmo
JPMorgan COIN
Računalni sustavi za procjenu rizika u
financijskoj industriji postoje već
duže vrijeme, te se u većoj ili manjoj
mjeri koriste u gotovo svakoj njezinoj
grani (kreditiranje, investicije,
trgovanje vrijednosnim papirima i
izvedenicama, upravljanje imovinom
itd.)
Poslovno
odlučivanje TARA Proizvođač navodi primjer iz prakse
gdje je upotreba TARA sustava
prepolovila prosječno vrijeme
provedbe projekta, te skratila proces
zapošljavanja novog programera s 2
tjedna na 24 sata [4].
Održavanje
tehničkih
sustava
Končar institut: TMS
Air gap monitoring system
Electrical Machine Black Box
Expert motor condition
monitoring
Ekspertni sustavi za prediktivno
održavanje i dijagnostiku energetskih
transformatora odnosno električnih
rotacijskih strojeva [5].
Međutim, takvi su sustavi zasad rezervirani za zadatke gdje je proces odlučivanja moguće
formalno opisati logičkim izrazima, primjerenim za implementaciju na računalu. Pitanje
mogućnosti formalno-logičkog opisa “ljudskog načina razmišljanja”, pa čak i značenja tog
pojma, je već duže vrijeme predmet filozofskih rasprava gdje se tek prije nekoliko desetljeća
uključila i neuroznanost [6]. Detaljnija razrada s naglaskom na psihološke parametre
kreativnosti će se prezentirati u sljedećem poglavlju.
Ovdje ćemo se prikloniti struji koja podupire tezu da je slobodna volja samo privid, te
pretpostaviti da je ljudski mozak u osnovi deterministički stroj pa se stoga i ponaša
deterministički. S tom pretpostavkom, postoji teoretska mogućnost tehničke izvedbe ljudskog
mozga kao algoritma programiranog u računalu. Treba shvatiti da to ne pobija činjenicu
iznimne kompleksnosti mozga, što omogućuje svakom pojedincu da bude poseban i
neponovljiv. Drugim riječima, pojam duše ne mora nužno biti transcedentalan: on se samo čini
takvim zbog nelinearnosti, senzitivnosti o početnim uvjetima (što implicira kaotičnost) te
individualnosti koje proizlaze iz spomenute kompleksnosti neuroarhitekture ljudskog mozga.
Dvosjekli mač umjetne inteligencije Pavle Šprljan
5
3. Mogućnost implementacije umjetnog inženjera
Navedeni primjeri ekspertnih sustava upućuju na mogućnost implementacije
programskih sustava za obavljanje kreativnih djelatnosti, u ovom trenutku rezerviranih
isključivo za ljude. U ovome ćemo poglavlju obraditi visoko kreativne i složene poslove poput
razvojnog inženjera i znanstvenika istraživača, odnosno kakva bi svojstva odgovarajući umjetni
sustav trebao imati. Posebno ćemo naglasiti psihološki “portfelj”: skup misaonih i ponašajnih
karakteristika koje uvjetuju kreativnost.
Psihološki profil kreativne osobe
Radno mjesto inženjera bilo koje struke može se općenito opisati sljedećim zahtjevima
[7]:
1. Formulacija problema i hipoteza - prepoznavanje i istraživanje problema, njegova
definicija, postavljanje relevantnih hipoteza.
2. Planiranje istraživanja - prikupljanje potrebnih informacija, postavljanje razumnih
pretpostavki, prepoznavanje ključnih varijabli, donošenje sistematskih i sveobuhvatnih
planova, razvoj planova korištenja opreme, materijala i metoda, predviđanje mogućih
problema i teškoća, određivanje količine i vrste potrebnih mjerenja.
3. Provođenje istraživanja - razvoj odgovarajućih metoda, materijala i opreme, njihova
primjena, promjena i prilagodba prije fiksiranja planova, primjena teorijskih znanja,
brižljiva posvećenost relevantnim detaljima, stalna provjera rezultata, njihova stručna
analiza, sposobnost detekcije greške u vlastitom i tuđem radu.
4. Interpretacija rezultata istraživanja - donošenje zaključaka na temelju provedenih
istraživanja i analiza, isticanje bitnih implikacija, prepoznavanje potrebe ponavljanja
provedbe prethodnih točaka.
5. Pripremanje izvješća - opisivanje i ilustracija provedenog rada, razrada zaključaka,
organizacija izvješća, primjena odgovarajućeg ili očekivanog stila izvješća,
prezentacija rezultata.
6. Vođenje projekata - odabir suradnika i njihovo uvođenje u projekt, komunikacija u
skladu s organizacijskom hijerarhijom, planiranje i koordiniranje rada skupine
suradnika, donošenje administrativnih odluka, suradnja s drugim grupama.
7. Prihvaćanje organizacijske odgovornosti - suradnja i pomoć radnoj skupini u
provođenju projekata, potiskivanje osobnih interesa, prihvaćanje nametnutih pravila i
nadzora.
8. Prihvaćanje osobne odgovornosti - prilagodba osobinama suradnika, prilagodba
zahtjevima radnog mjesta i tekućeg projekta, usklađivanje s osobnim obvezama,
poštenje i etičnost, pokazivanje interesa za rad.
Navedene se točke u mnogome slažu s autorovim osobnim iskustvom kao inženjera
elektrotehnike u projektiranju i razvoju. Međutim, s obzirom da je citirana literatura izdana prije
više od 60 godina, postoje neke bitne razlike. Danas, u dinamičnom vremenu brzih promjena,
sve se više zahtijeva sposobnost inovacije: poboljšanje postojećih i razvoj novih proizvoda ili
usluga kako bi se postigla kompetitivna prednost u odnosu na konkurenciju. To jest, od
inženjera se sve češće traži da imaju i barem dio sposobnosti koje krase znanstvenike. Pored
toga, izvrstan inženjer mora biti i dobar trgovac; razumjeti naručitelja, njegove potrebe i
interese, te biti sposoban komunicirati s naručiteljem i suradnicima na primjeren način.
Pavle Šprljan Dvosjekli mač umjetne inteligencije
6
Posao inženjera je visoko kreativan, odgovoran i složen. U ovome dijelu postavljamo i
provjeravamo hipotezu mogućnosti implementacije umjetnog inženjera, to jest računalnog
sustava sposobnog za obavljanje navedenih aktivnosti i zadovoljavanje zahtjeva koje takvo
radno mjesto ima. Nedvojbeno, naglasak je na tehničkim i matematičkim sposobnostima,
iskustvima i znanjima, za koje je gotovo eksplicitno jasno da se mogu opisati skupom logičko-
formalnih izraza pogodnih za implementaciju na računalu. Stoga je zamislivo da bi se taj dio
karakteristika mogao ugraditi u umjetnog inženjera. Također, već danas postoje vrlo raširene
komercijalne izvedbe inteligentnih sustava koji su sposobni razumjeti čovjekov govor i
odgovarati na pitanja, djelujući poput osobnog asistenta (npr. Apple Siri). Primjeri
specijaliziranih ekspertnih sustava navedeni su u prethodnom poglavlju. Pored spomenutog,
prilično su rašireni tzv. Chatbotovi: on-line usluge korisničke podrške, dostave brze hrane i
slične, kao nadomjestak ljudskim operaterima. Korisnik u većini slučajeva ne može prepoznati
dopisuje li se s pravom osobom ili računalnim programom, naravno osim ako ne počne
postavljati neočekivana pitanja.
Istraživanje karakteristika zadanog problema, odnosno klasifikacija u svrhu izbora
optimalne metode rješavanja mogla bi se izvesti upotrebom data mininga, deep learninga,
genetičkih algoritama i neuronskih mreža. Iste metode su upotrebljive i prilikom evaluacije
kvalitete rješenja, a vjerojatno i vođenja projekata odnosno upravljanja ljudskim potencijalima.
S obzirom na intenzitet aktivnosti u razvoju navedenih metoda analize podataka i automatskog
zaključivanja, za očekivati je da će se već u bliskoj budućnosti doći do metode čiji su rezultati
i performanse dovoljno dobri za implementaciju u umjetnom inženjeru.
No, što je s kreativnošću odnosno inovativnošću? Ne postoji konsenzus struke što
kreativnost zapravo znači, te koji mehanizmi stoje iza nje. Također, stav autora eseja je da
kreativnost nije rezervirana samo za čovjeka s visoko razvijenim kognitivnim sposobnostima -
ta se osobina može pridijeliti i nekim životinjama. Primjerice, jutarnji i večernji pjev mužjaka
kosa (Turdus merula) je iznimno muzikalan i svaka fraza je jedinstvena, a pjev se sastoji od
nizanja takvih fraza [8]. Svaka ptica pjeva na svoj način, odnosno iznosi svoju vlastitu kreaciju.
Još zanimljiviji primjer je ptica vrtlarica (Ptilonorhynchus violaceus), čiji mužjaci u sezoni
udvaranja privlače partnerice vrlo osebujnim i uvijek jedinstvenim gnijezdima [9]. Također se
može reći da svaki mužjak na svoj način želi privući što veći broj ženki, za što je potrebna
barem neka razina kreativnosti.
Što se tiče čovjeka, oslonit ćemo se na zaključke iznesene u [10]. Istraživanja pokazuju
da kreativnost ovisi o konfiguraciji ličnosti, kontekstu i domeni interesa odnosno profesiji.
Ključna pretpostavka pojave kreativnosti je motivacija, koja može biti usmjerena prema
postizanju neke nagrade. Motivacija također može biti usmjerena prema izbjegavanju
negativnih ishoda. Kod stanovnika visoko razvijenih zemalja se uglavnom radi o osobnom
probitku: stjecanju novca, društvenog statusa, političke moći, osjećaja vlastite vrijednosti itd.
Navedeni motivi se i djelomično preklapaju. Kod životinja je motivacija jednostavnije
strukturirana, pa se u pravilu radi o pronalasku partnera za parenje, obilježavanja i obrane
teritorija, te pronalaska i čuvanja hrane. Može se primijetiti da su ljudske motivacije
nadogradnja životinjskih, jer svi živi organizmi imaju slične fiziološke potrebe koje se očituju
kroz nagone, to jest motivaciju.
Motivacija
Očigledno, spomenuti motivacijski faktori ne mogu objasniti pojavu kulture i znanosti
svojstvene isključivo ljudima. Kroz evoluciju, čovjek je paralelno s razvojem kompleksnosti
psihe oplemenjen netrivijalnim motivacijskim impulsima. Uzročno-posljedični slijed koji je
Homo sapiensa preselio iz pećina u urbane sredine još je predmet stručne rasprave. Primjerice,
izraelski povjesničar Yuval Noah Harari razvio je teoriju kojom pokušava objasniti “kognitivnu
revoluciju” u posljednjih 50.000 godina ljudske povijesti. Ukratko, njegova teorija razvoja
Dvosjekli mač umjetne inteligencije Pavle Šprljan
7
civilizacije, kulture, religije i naposljetku znanosti kao nužan uvjet ističe sposobnost
intenzivnog vjerovanja u stvari koje objektivno ne postoje [11], odnosno imaginacije i
fascinacija realno nepostojećim konceptima. To već pomalo podsjeća na psihopatološke
simptome kojima ćemo se pozabaviti kasnije.
Citirana literatura [10] daje detaljan pregled provedenih istraživanja koji upućuju na to
da je temelj kreativne motivacije potreba za samoizražavanjem, odnosno istraživanjem vlastitog
identiteta. Osobito je zanimljiv utjecaj samoizražavanja na temeljne fiziološke funkcije kao što
je imunitet: provedena su istraživanja pokazala da je grupa kojoj su povjereni kreativni zadaci
stekla višu razinu otpornosti na infekcije od usporedne grupe, koja je rješavala dosadne i
ponavljajuće zadatke. Dodatno, četrdesetih godina dvadesetog stoljeća je otkrivena
djelotvornost terapije umjetnošću (eng. art therapy) [12] u kojoj se pacijent kroz apstraktni
izražaj usmjerava na introspekciju i posljedično rješavanje vlastitih psiholoških tegoba.
Kreativnost i psihopatologija
Da bi došao do inovacije, kreativni pojedinac mora biti vrlo strastveno vezan za sebi
nametnuti cilj, kojeg poistovjećuje s vlastitim identitetom. Potrebna je visoka razina motivacije
koja implicira ulaganje velike količine vremena i truda, a koju je zapravo nemoguće razlikovati
od hipomanije [13]. U ekstremu, kreativac je opsjednut rješavanjem sebi zadanog problema, što
ovisno o predispozicijama i trajanju hipomaničnog raspoloženja može dovesti do kroničnih
afektivnih poremećaja [10] kao što su depresivno raspoloženje, anksioznost, prava manija te
niz drugih, što ne isključuje i kombinaciju takvih poremećaja.
Kreativac također može biti vrlo razočaran negativnim rezultatom svojeg truda što je kroz
povijest dovelo do teških mentalnih oboljenja, pa čak i samoubojstva nekih visoko kreativnih
pojedinaca. Kao primjere u znanosti možemo navesti velikane poput Georga Cantora, Ludwiga
Boltzmanna, Kurta Gödela i Bernharda Riemanna. Detaljniji uvid u njihove umove može se
pronaći u [14], gdje su na zanimljiv način obrađeni ponekad nevjerojatni životni putevi
matematičara koji su pridonijeli iznimnom napretku čovječanstva u Novom Vijeku. Slični se
primjeri društveno neprilagođenih ili mentalno nestabilnih velikana mogu nanizati praktički za
bilo koju granu kreativnih djelatnosti, a neki su posebno obrađivani u esejima [15] i [16].
Manje tragičan primjer je Albert Einstein, koji je na početku svojeg znanstvenog
djelovanja pokazao iznimnu fleksibilnost i napravio veliki skok u razumijevanju načina
funkcioniranja Svemira, to jest matematičkog modela prostorvremena kao njegove
“pozornice”. S druge strane, bio je izrazito skeptičan oko kopenhagenške interpretacije kvantne
mehanike [17] zato što je fundamentalno nepomirljiva s njegovim teorijama odnosno modelom
stvarnosti. Tu možemo prepoznati identifikaciju s vlastitim znanstvenim radom što objašnjava
rigidnost u neprihvaćanju teorije koja nije u skladu s njim, a koju znanstvenik tada shvaća kao
napad na sebe. Zanimljivo je da su opća i specijalna teorija relativnosti te kvantna mehanika
nebrojeno puta ispitane i još uvijek se provjeravaju pažljivim promatranjem pojava uzrokovanih
djelovanjem egzotičnih objekata u svemiru (npr. dvojni sustav pulsara) a obje s velikom
točnošću predviđaju rezultate mjerenja, svaka u svom području. Još uvijek se traži kvalitetna
sveobuhvatna teorija, takozvana Theory of Everything, premda nije izvjesno da je takvu uopće
moguće formulirati.
Kod velikih promjena paradigmi u znanosti, zajednica najčešće ne bi znala prepoznati
vrijednost rezultata rada strastvenih znanstvenika zbog čega bi postali predmet poruge što bi
izazvalo psihički slom ili dovelo do daljnjeg pogoršanja osjetljivog mentalnog stanja. No
ponekad je dovoljno da postoji velika razlika između očekivanja reakcije zajednice na rezultate
truda kreativca i stvarnog ishoda. Kreativac je u takvim slučajevima toliko uronjen u vlastite
ideje da počinje gubiti vezu sa stvarnošću, odnosno razvija psihotične simptome premda nema
potpunu kliničku sliku prave psihoze [13]. Kao primjer, možemo navesti Nikolu Teslu koji je
već od djetinjstva doživljavao vizualne halucinacije, društveno bio vrlo povučen te je pokazivao
Pavle Šprljan Dvosjekli mač umjetne inteligencije
8
naznake deluzija i opsesivno-kompulzivnog poremećaja, no uz sve to je zadržao uredan misaoni
duktus [13] [18] [19] [20] bez kojeg ne bi mogao provoditi istraživanja. Istovremeno, kao
istraživač je bio iznimno kreativan i plodan: uz podatak o tristotinjak registriranih patenata valja
istaknuti da velik dio njegovih izuma i ideja nije patentiran, a bez rezerve se može reći da je on
osobno osigurao temelje do tad neviđenom rastu standarda života u dvadesetom stoljeću.
Možemo zaključiti da izuzetno kreativna osoba “pleše na granici normale” i ponekad je
prelazi, što se potkrepljuje činjenicom da stvaranje nove paradigme implicira napuštanje do tad
poznatog i općeprihvaćenog, tj. normalnog. Psihološki “portfelj” neke osobe je konvolucija
genetskih predispozicija, okolinskih i društvenih uvjeta, te vlastite sposobnosti pronalaženja
psihičke ravnoteže. Veze između kreativne genijalnosti i mentalnih oboljenja detaljnije su
obrađene u eseju [21] ali i znanstvenim radovima (npr. [22]).
Stohastička narav kreativnosti
Koautor knjige [23] Dean Keith Simonton kao stručnjak za kreativnost u svom poglavlju
predstavlja teoriju kreativnosti kao stohastičkog procesa. Ako se sagleda ukupna kreativnost
neke kulture, grupe ili pojedinca, neizbježno se uočavaju pokazatelji stohastičnosti. Simonton
svoju teoriju temelji na dva fenomena: gotovo istovremena ali neovisna otkrića (eng. Multiple
discovery), te vremenska distribucija značajnih otkrića ili izuma kroz radni vijek pojedinca
(eng. Creative productivity).
Fenomen istovremenih ali neovisnih otkrića spominje se kao kuriozitet već u
srednjoškolskim udžbenicima. Klasični primjeri su otkriće diferencijalnog računa (Newton i
Leibnitz), teorija evolucije prirodnom selekcijom (Darwin i Wallace), zakoni genetskog
nasljeđa (Mendel, De Vries, Correns i Tschermak) i teorija emocije (James i Lange). Sociolozi
i antropolozi objašnjavaju ovaj fenomen kao neizbježan rezultat vremenskog i društvenog
konteksta, to jest kao da otkriće dolazi “pod nos” jednom kad se ispune svi potrebni preduvjeti.
Vjerojatnost dolaska do otkrića je tada toliko velika da više istraživača neovisno dolazi do istog
zaključka otprilike u isto vrijeme.
Međutim, Simonton tvrdi suprotno. Razdioba te slučajne varijable se slaže s
Poissonovom, što znači da su pojedini ishodi vrlo malo vjerojatni te je za povoljnu realizaciju
potreban velik broj pokušaja. Slijedi da istovremena otkrića nisu neizbježna nego su rezultat
iznimno velikog broja uzastopnih pokušaja. Događaji istovremenih otkrića su vrlo zanimljivi i
imaju veliku subjektivnu težinu pa se stoga i spominju kao kuriozitet, no mnogo su češći
događaji “otkrića tople vode” koji ostaju nezabilježeni. Srećom, danas postoje brze i lako
dostupne metode pretraživanja baza objavljenih znanstvenih radova i patenata, pa kreativac ne
mora gubiti vrijeme ulažući svoje vrijeme i napore u pronalaženje već poznatog rezultata.
Pomalo iznenađujuće, iz navedenog je moguće pretpostaviti da ista razdioba opisuje i
pojedinačne inovativne prodore. Promatrano kroz radni vijek, kreativni doprinos svakog
znanstvenika se također dobro slaže s Poissonovom razdiobom, te se statistički ne pronalazi
veza između vremenskog perioda u karijeri i znanstvenog doprinosa. Dakle, jedini put prema
uspjehu u znanosti je neprestani rad ispunjen pokušajima i pogreškama te učenje iz povratne
informacije, što međutim ne jamči povećanje vjerojatnosti uspjeha u sljedećem pokušaju. Često
se u matematičkim udžbenicima o stohastičkim procesima može naći primjedba kako
Poissonov proces nema “pamćenje”.
Hipoteza stohastičnog karaktera znanstvenog otkrića odnosno izuma dodatno se
potkrepljuje introspektivnim izvješćima nekih znanstvenika (Mach, Helmholz, Poincaré,
Hadamard). Iz njihovih zapisa se može zaključiti da se kreativni proces vodi kroz slobodnu
asocijaciju, pokušaje i pogreške, neodređene slutnje, razmišljanje kroz analogije i metafore,
igru, tokove misli nevezane za konkretnu temu ili predmet istraživanja, te mnoge druge
Dvosjekli mač umjetne inteligencije Pavle Šprljan
9
nepredvidive i logički neopravdane aktivnosti. To naravno nije dokaz, ali svakako potkrepljuje
hipotezu stohastičke prirode znanstvenog doprinosa odnosno korisnog izuma.
Simonton također ističe rezultate poznatog Mednickovog testa udaljenih asocijacija [24],
koji je pokazao da visoko kreativne osobe karakterizira smanjeni nagib hijerarhije asocijacija u
odnosu na manje kreativne osobe, čije su asocijacije na zadani pojam malobrojnije i
predvidljivije. To sugerira manju udaljenost do granice patološkog poremećaja mišljenja gdje
bolesnik ima nelogičan i neorganiziran tok misli, pa se opet vraćamo na predisponiranost
kreativaca za razvoj psihotičnih simptoma.
Nerijetka je i poznata pojava iznenadnog uvida odnosno “sijevanja” za vrijeme obavljanja
potpuno nevezane aktivnosti, zbog čega iskusni kreativci često posežu za odmakom od posla
kad zapnu. Primjerice, popularni televizijski serijal “House M.D.” je zasićen iznenadnim
odgonetavanjem zamršenih medicinskih slučajeva dok glavni protagonist razgovara s drugim
likovima o potpuno nevezanoj temi. Veliki istraživački kompleksi upravo iz navedenih razloga
često sadrže parkove, teretane i igraonice. Povezanost potrebe za raznolikošću iskustava i
samoizražavanjem sa raspoloženjem i motivacijom je prvi put dokumentirana još 1659. u zbirci
poslovica Jamesa Howella: “All work and no play makes Jack a dull boy” a njezina je poanta
očito bila poznata mnogo ranije, moguće čak u antičkoj epohi.
Osim privremenog odmaka od posla, razvoju i njegovanju kreativnosti pomaže izloženost
različitim idejama. Ponovno možemo spomenuti Einsteinov primjer, koji je velik dio svog
znanstvenog doprinosa (annus mirabilis, 1905.) objavio dok je radio kao evaluator u bernskom
patentnom uredu. U znanstvenoj zajednici je to jedan od razloga održavanja konferencija i
skupova, a profesionalni znanstvenik mora dobar dio svog vremena posvetiti čitanju
znanstvenih časopisa. Navedene primjere i rezultate Mednickovog testa možemo proširiti
hipotezom da razvoju i održavanju kreativnosti pomaže izloženost kulturi (književnost, glazba,
film, teatar, likovne izložbe itd.) ali i sudjelovanje u neformalnim druženjima s osobama
različitih profesija. Slično kao što se tijelo mora rekreirati i razgibavati da bi ostalo zdravo, um
mora biti izazvan raznolikim iskustvima i promišljanjima kako ne bi zakržljao, te kako bi
mogao prikupiti dovoljno materijala za donošenje neočekivanih asocijacija.
Tehničke mogućnosti implementacije umjetnog inženjera
Već postoje formalne procedure koji na izlazu daju znanstveno ili praktično vrijedne
doprinose, što je najviše izraženo kod genetičkih algoritama. Zanimljiv primjer je “evoluirana
antena” krajnje netipičnog oblika (slika 1); ugrađena je u svemirsku letjelicu, lansirana u
Zemljinu orbitu i korištena u sklopu NASA-inog ST5 programa [25].
Pavle Šprljan Dvosjekli mač umjetne inteligencije
10
Slika 1: Fotografije antena za mjerenje utjecaja Sunčevog vjetra na Zemljino magnetsko polje, razvijenih
genetičkim algoritmom. Lijevo (a) je prikazana antena koja najbolje zadovoljava prve postavljene kriterije, dok
je desno (b) antena razvijena prema kriterijima modificiranim u skladu s naknadnim promjenama u planiranoj
putanji satelita.
Michael Schmidt i Hod Lipson su još 2007. razvili automatski sustav za razvoj analitičkih
i prediktivnih modela nazvan Eureqa [26]. Sustav je postao komercijalan i danas se
upotrebljava u širokom spektru znanstvenih disciplina. Zamislivo je da uz dovoljno jaku
hardversku platformu i veliku bazu znanja takvi sustavi mogu producirati proizvoljan broj
znanstvenih rezultata u standardnoj formi članaka.
Međutim, bit kreativnog rada je društveno koristan ili znanstveno relevantan rezultat, koji
mora proći filtar recenzije odnosno tržišnog odziva. Umjetni sustav koji može napisati nekoliko
milijuna znanstvenih članaka ili patenata u jednom danu nema smisla ako velika većina tih
rezultata ne sadrži kvalitetan doprinos. Dakle usko grlo je recenzija odnosno povratna
informacija o korisnosti izuma ili znanstvenog članka, a prvi takav filtar kod ljudi je sposobnost
samokritičnosti. Još nije razvijen umjetni sustav koji bi na adekvatan način rasuđivao o samome
sebi, odnosno o kvaliteti svojeg rada i smislenosti ideja (to nisu sposobni ni neki ljudi) primjeni
li ga se u ulozi umjetnog inženjera ili znanstvenika. Iz toga slijedi da bi takav sustav u
mnogome, možda čak i u cijelosti, morao oponašati ljudsku psihologiju koja je u ovom trenutku
najvećim dijelom nepoznata, upravo zbog individualnosti i kompleksnosti psihološkog ustroja
svakog čovjeka. Veliko je pitanje hoće li psihologija ikad postati potpuno egzaktna znanost.
4. Kreativna superinteligencija: pogodnosti i opasnosti
Za potrebe ovog eseja, isključivo kao hipotetički scenarij, zamislimo da se tehnologija
umjetne inteligencije razvije do stupnja gdje je moguće implementirati umjetni sustav čije
ponašanje u mnogočemu možemo usporediti s tipičnim ljudskim. Moguće je zamisliti da bi se
u budućnosti došlo do umjetne superinteligencije, to jest sustava koji bi nadjačao i potencijalno
ugrozio čovjeka. Ta je zamisao već mnogo puta obrađivana u popularnoj kulturi, a vjerojatno
je najpoznatiji kultni film Stanleya Kubricka “2001: Odiseja u svemiru”.
S obzirom na poslovičnu korumpiranost političara i pojedinaca na vlasti, zamislivo je da
bi se, sa superinteligencijom na raspolaganju, politička struktura pokušala zamijeniti umjetnim
sustavom koji bi državu vodio na optimalan način: maksimalno pravedno, transparentno i
učinkovito. Vlast i javna uprava bi se zamijenila nekom vrstom operativnog sustava za društvo,
Dvosjekli mač umjetne inteligencije Pavle Šprljan
11
koje bi dobilo najbolje moguće uvjete za rast i razvoj u svim svojim aspektima. Ova je zamisao
vrlo primamljiva, no s obzirom na potrebnu kompleksnost takve umjetne inteligencije
neizbježno je pitanje mogućnosti neželjenih posljedica. S namjerom provođenja svojih
zaključaka o tome što je najbolje za neko društvo, moguće je da bi takav sustav djelovao vrlo
nepovoljno.
Izvedenu tezu je moguće potkrijepiti nizom primjera iz povijesti čovječanstva, gdje su
pojedini vladari na krilima podrške razjarene mase izazvali krvoprolića do tad neviđenih
razmjera. Dovoljno se prisjetiti Adolfa Hitlera, Josifa Staljina i Pola Pota, te cijele substrukture
koja je provodila njihovu volju. Niti jedan od njih za svoje postupke nije osjećao krivnju ili
žaljenje; naprotiv, svi su diktatori uvjereni da čine ispravnu stvar. Tu ponovno možemo
prepoznati simptome psihoze, odnosno sumanute ideje, usmjerenost ka apstraktnom, višem
cilju, rigidnost i zanemarivanje odnosno pogrešna percepcija aktualne stvarnosti. Također, za
dolazak na vlast i provođenje takvih ideja nesumnjivo je potrebna nadprosječna razina umijeća
i kreativnosti.
Čak ni demokracija nije potpuno savršeno osiguranje od zloporabe vlasti i položaja. Kao
što je Rousseau nevoljko ali realistično priznao, opća volja nije nepogrešiva. Izbor naroda nije
nužno ispravan, s obzirom da možda slijedi sasvim prolazne osjećaje, površne medije ili vatrenu
retoriku bolesna uma. Povijest je to nebrojeno puta potvrdila [27], a žive primjere možemo
pronaći i u sadašnjosti: Donald Trump, Brexit itd. Jedini je uspješan lijek neprestana budnost,
a jedini pametan savjet stara je latinska poslovica caveat emptor (neka se kupac čuva).
Etičnost ključnih odluka ovisi o sentimentu društva u danom trenutku, zbog čega je teško
definirati i pratiti takav parametar. No čak i u slučaju da ga je moguće definirati u obliku
eksplicitnog izraza, odnosno funkcionala "etičnosti odluke" koji bi bio predmetom optimizacije,
izvjesno je da postoje situacije gdje takva umjetna inteligencija ne bi nužno donosila tehnički
ili ekonomski optimalne odluke, zbog čega bi postala kompetitivno slabija u odnosu na
istovjetne sustave koji imaju slabije algoritme za procjenu etičnosti, ili ih uopće nemaju.
Mnogobrojni su povijesni primjeri prevage istraživačkog rada i znanstvenog napretka u odnosu
na etičnost, a i danas je vrlo kontroverzno pitanje provođenje eksperimenata na životinjama.
Kao argument za provođenje takvih eksperimenata obično se polazi od stava da je interes
čovjeka važniji od životinje, što se lako apstrahira na potencijalni način razmišljanja umjetne
inteligencije: premda umjetna inteligencija može biti programirana tako da čuva interes
čovječanstva u cijelosti, njezine odluke bi mogle biti etički neprihvatljive za neku skupinu
pojedinaca. Ovo je pitanje detaljnije tretirano u [28].
Izvedene zaključke možemo i moramo primijeniti na potencijalnu primjenu umjetne
inteligencije u visoko kreativnim poslovima. To jest, u svim poslovima uopće, gdje ljudi
zapravo i ne bi morali raditi. Bilo bi zanimljivo raspravljati o posljedicama na društvo, s
obzirom na činjenicu da su neproduktivni ljudi u većini slučajeva nezadovoljni pa čak i
patološki depresivni. Premda je naizgled primamljiva utopistička zamisao društva u kojem je
ljudima sve omogućeno i osigurano, psihološki ustroj čovjeka je takav da mora biti ispunjen
osjećajem vrijednosti koji barem dijelom proizlazi iz savladavanja profesionalnih i osobnih
izazova [29].
Dozvoli li se umjetnom sustavu donošenje ključnih odluka bez detaljne i stručne ljudske
provjere, mogući su nepovoljni ishodi. Ali čemu primjena umjetnih sustava čije je rezultate
potrebno neprestano provjeravati i ocjenjivati? Osim toga, oplemeni li se takav sustav
dovoljnom količinom lukavosti, moguće je da bi “ispod radara” prošli zaključci i odluke koji
bi ugrozili ljudsko zdravlje ili život, a da pri tome umjetna inteligencija niti čovjek ne vide
grešku.
Esej [30] se dotiče problema nagle promjene u ekonomiji, karakterističnih za industrijske
revolucije. Naime, s pojavom kreativne umjetne inteligencije predvidivo je da bi mnogo ljudi
Pavle Šprljan Dvosjekli mač umjetne inteligencije
12
ostalo bez posla zbog pojave umjetnih sustava koji ih zamjenjuju na ekonomičniji način. Stroj
se ne umara, manje ili uopće ne griješi, manje košta i nema radnička prava, pa je stoga
privlačniji za "zapošljavanje". No zainteresirani poslodavac također treba imati na umu da
umjetna inteligencija teško može napraviti bitan prodor u promjeni načina rada, ukoliko se ne
oplemeni vrlo visokom razinom kreativnosti i neke vrste svijesti.
Tijekom svake industrijske revolucije, ali i velikih promjena u načinu pružanja usluga
(citirani esej [30] prilaže zanimljiv grafikon broja zaposlenih u najmu filmova od 1985. do
2015.) mnogi ljudi ostaju bez posla i prisiljeni su na prekvalifikaciju. To stvara veliko
opterećenje na ekonomiju jer netko za sve te ljude mora osigurati dostojanstven život za vrijeme
dok nisu produktivni. Ponekad je tako zamijenjenim ljudima teško ako ne i nemoguće pronaći
novo stalno zaposlenje. Rješenje ovog problema bi se mogao naći u kontinuiranoj prilagodbi
obrazovnog programa koji mora pratiti trendove, ohrabrivati učenike na kreativnost i osposobiti
ih za cjeloživotno učenje [31], kako bi se mogli pripremiti na veliku brzinu promjena zahtjeva
na tržištu rada.
5. Zaključak
Primjena umjetne inteligencije već polako mijenja svijet, pomažući čovjeku u donošenju
odluka na temelju velikih i složenih skupova podataka gdje nije trivijalno uočiti pravilnosti i
predvidjeti ishode, odnosno ocijeniti rizike. Oplemenjivanje superinteligencije kreativnim
osobinama je vrlo rizično, jer su ishodi upotrebe takvog sustava izrazito nepredvidivi. To
proizlazi iz predstavljene analize psihološkog ustroja kreativne osobe, koja se dobrim dijelom
slaže sa znanstvenim istraživanjima.
Dakle, omogući li se kreativnoj superinteligenciji upravljanje vrlo važnim odlukama
teško se mogu potpuno isključiti opasnosti po ljudski život ili zdravlje, a u najekstremnijem
zamislivom scenariju i uništenje suvremene civilizacije. Do istog zaključka, premda s
filozofsko-antropološkog polazišta, dolazi i Nick Bostrom u svom popularno-znanstvenom
bestseleru “Superintelligence: Paths, Dangers, Strategies” iz 2014.
Međutim, to ne znači da umjetnu inteligenciju uopće ne bi trebalo razvijati. Ona ima
golem potencijal za podizanje standarda cjelokupne civilizacije, slično kao što su to učinili
korištenje fosilnih goriva, računala i nuklearne energije. No kao što je predstavljeno, svaki
veliki tehnološki pomak donosi i svoje rizike te ih je potrebno koristiti s oprezom, to većim što
je tehnologija naprednija. Umjetna inteligencija bi se mogla pokazati najvećim izazovom za
čovječanstvo do sad, upravo zbog svog iznimnog potencijala i opasnosti koje iz njega proizlaze.
6. Literatura
[1] F.-H. Hsu, Behind Deep Blue: Building the Computer that Defeated the World Chess
Champion, Princeton University Press, 2004.
[2] S. Wolfram, A New Kind of Science, Wolfram Media, 2002.
[3] R. Parasuraman and M. Mouloua, Automation and Human Performance: Theory and
Applications, Lawrence Erlbaum Associates, 1996.
[4] H. Altae-Tran, B. Ramsundar, A. Pappu and V. Pande, “Low Data Drug Discovery with
One-Shot Learning,” ACS Central Science, vol. 4, no. 3, pp. 283-293, 2017.
[5] TARA, [Online]. Available: https://tara.ai/case-study/gsv.html. [Accessed 19 1 2018].
[6] Končar - Institut za elektrotehniku, [Online]. Available: https://www.koncar-
institut.hr/hr/solutions_page/. [Accessed 19 1 2018].
Dvosjekli mač umjetne inteligencije Pavle Šprljan
13
[7] W. Henrik, Neurophilosohy of Free Will, MIT Press, 2001.
[8] A. Roe, Psychology of Occupations, John Wiley & Sons, 1956.
[9] J. Hall-Craggs, “The Development of Song in the Blackbird Turdus Merula,”
International Journal of Avian Science, vol. 104, no. 3, pp. 277-300, 1962.
[10] J. Albert, C. Uy, G. Patricelli and G. Borgia, “Complex Mate Searching in the Satin
Bowerbird Ptilonorhynchus Violaceus,” The American Naturalist, vol. 5, no. 158,
pp. 530-542, 2001.
[11] A. Elliot and C. Dweck, Handbook of Competence and Motivation, The Guildford
Press, 2005.
[12] Y. Harari, Kratka povijest čovječanstva, Fokus komunikacije, 2015.
[13] C. Shchaefer and K. O'Connor, Handbook of Play Therapy, John Wiley & Sons, 1983.
[14] D. Begić, Psihopatologija, Medicinska naklada, 2011.
[15] S. Hawking, God Created the Integers, Running Press, 2005.
[16] D. Belić, “Pregled života i rada filozofa na području kreativnosti - Nietzsche Friedrich,”
2017. [Online]. Available: https://www.fsb.unizg.hr/brodogradnja/2018-Uzir-
Belic-Nietzshe.pdf.
[17] M. Cindori, “Kreativni um Stevea Jobsa,” 2017. [Online]. Available:
https://www.fsb.unizg.hr/brodogradnja/UZIR-Essay-2017-Cindori.pdf.
[18] N. Bohr, Discussions with Einstein on Epistemological Problems in Atomic Physics,
Cambridge University Press, 1949.
[19] N. Tesla, Moji pronalasci, Znanje, 2015.
[20] N. Tesla, “Razgovor sa planetama ; Svet čuda koji će stvoriti elektricitet ; Čuda
budućnosti ; Signali prema Marsu u nadi da ima života na toj planeti,” Gradac:
časopis za književnost, umetnost i društvena pitanja, pp. 102-105; 110-115; 116-
119; 119-122, 2006.
[21] M. Hersen and T. S.M., Adult Psychopathology and Diagnosis, John WIley & Sons,
1991.
[22] F. A., “Creativity and Madness,” 2017. [Online]. Available:
https://www.fsb.unizg.hr/brodogradnja/UZIR-Essay-2017-Farkas.pdf. [Accessed
29 1 2018].
[23] Ø. Martinsen, “The Creative Personality: A Synthesis and Development of the Creative
Person Profile,” Creativity Research Journal, vol. 23, no. 3, pp. 185-202, 2011.
[24] R. Sternberg, E. Grigorenko and J. Singer, Creativity: From Potential to Realization,
American Psychological Association, 2004.
[25] S. Mednick, “The Associative Basis of the Creative Process,” Psychological Review,
vol. 69, pp. 220-232, 1962.
[26] G. Hornby, A. Globus, D. Linden and J. Lohn, “Automated Antenna Design with
Evolutionary Algorithms,” American Institute of Aeronautics and Astronautics,
2006.
[27] Nutonian, [Online]. Available: https://www.nutonian.com/products/eureqa/. [Accessed
22 1 2018].
Pavle Šprljan Dvosjekli mač umjetne inteligencije
14
[28] V. Green, Ludilo kraljeva, Naklada Ljevak, 2006.
[29] N. Bostrom and E. Yudkowsky, “The ethics of artificial intelligence,” in The Cambridge
Handbook of Artificial Intelligence, Cambridge University Press, 2014, pp. 316-
334.
[30] P. Muchinsky, Psychology applied to work, Hypergraphic Press, 2012.
[31] M. Trstenjak, 2017. [Online]. Available: https://www.fsb.unizg.hr/brodogradnja/UZIR-
Essay-2017-Trstenjak.pdf.
[32] E. Marrocu and E. Paci, “The Role of Education Quality for Economic Growth,”
Education or Creativity: What Matters Most for Economic Performance?, vol. 88,
no. 4, pp. 369-401, 2012.
Zadano: 5. siječnja 2018.
Predano: 30. siječnja 2018.
Mentor Kalman Žiha
Pavle Šprljan (mailto:[email protected])
Fakultet strojarstva i brodogradnje
Ivana Lučića 5, 10002 Zagreb