STATISTIČKI PRISTUP FORMIRANJU KOMPOZITNIH · PDF fileuniverzitet u beogradu fakultet organizacionih nauka marina p. dobrota statistiČki pristup formiranju kompozitnih indikatora

UNIVERZITET U BEOGRADU

FAKULTET ORGANIZACIONIH NAUKA

Marina P. Dobrota

STATISTIČKI PRISTUP FORMIRANJU

KOMPOZITNIH INDIKATORA ZASNOVAN NA

IVANOVIĆEVOM ODSTOJANJU

doktorska disertacija

Beograd, 2015

i

UNIVERSITY OF BELGRADE

FACULTY OF ORGANIZATIONAL SCIENCES

Marina P. Dobrota

A STATISTICAL APPROACH

TO COMPOSITE INDICATORS CONSTRUCTION

BASED ON IVANOVIĆ DISTANCE

Doctoral Dissertation

Belgrade, 2015

ii

Mentor:

____________________________________________ Prof. dr Milica Bulajić, redovni profesor

Univerziteta u Beogradu, Fakulteta organizacionih nauka

Članovi komisije:

____________________________________________ Prof. dr Milan Martić, redovni profesor


____________________________________________ Prof. dr Zoran Radojičić, vanredni profesor


____________________________________________ Doc. dr Veljko Jeremić, docent


____________________________________________ Prof. dr Srđan Bogosavljević, redovni profesor

Univerziteta u Beogradu, Ekonomskog fakulteta

Datum odbrane:

__________________

iii

STATISTIČKI PRISTUP FORMIRANJU KOMPOZITNIH

INDIKATORA ZASNOVAN NA IVANOVIĆEVOM ODSTOJANJU

Rezime:

Indikator ili pokazatelj predstavlja kvantitativnu ili kvalitativnu meru, koja

potiče iz niza činjenica, i može otkriti relativne informacije o entitetima, kao i

njihove pozicije u posmatranoj oblasti, što omogućuje njihovu međusobnu

komparaciju i rangiranje. Problem rangiranja entiteta je jedna od veoma

popularnih tema, i sreće se veoma često u raznim sferama društvenog delovanja,

bilo da se radi o obrazovnoj, zdravstvenoj, socio-ekonomskoj, tehnološkoj

razvijenosti. Kada su fenomeni složeni i višeslojni, rangiranje se često vrši

pomoću kompozitnih indikatora. Na taj način, entiteti koji se rangiraju, mogu se

porediti prema više kriterijuma a na osnovu zbirne skalarne vrednosti koja se

dobija kao rezultat kompozitnog indikatora.

Kompozitni indikator predstavlja agregirani indeks, koji sadrži

pojedinačne pokazatelje i njima odgovarajuće težinske koeficijente. On meri

višedimenzionalne koncepte koji ne mogu da se obuhvate jednim pokazateljem.

Sistem formiranja težinskih koeficijenata može biti zasnovan na različitim

metodama: analiza glavnih komponenata, faktorska analiza, analiza obavijanja

podataka (DEA), a svakako je najzastupljenija subjektivna metoda dodeljivanja

težinskih koeficijenta. U ovoj doktorskoj disertaciji predlaže se metoda za

formiranje kompozitnih indikatora koja se bazira na metodi Ivanovićevog

odstojanja (I-odstojanja), i koja je nazvana Kompozitni indikator baziran na

I-odstojanju (Composite I-distance Indicator (CIDI)).

Upotreba ove metode može kao rezultat dati preciznije težinske

koeficijente, koji se ne zasnivaju na subjektivnom doživljaju eksperta o

iv

pokazateljima iz kojih se sastoji kompozitni indikator, već se njihove vrednosti

dobijaju pomoću ove metode na jedan objektivan i transparentan način.

Vrednosti težinskih koeficijenata se računaju kao odgovarajući udeo svakog

pojedinačnog indikatora u odnosu na vrednosti I-odstojanja, i to na osnovu

Pirsonovih koeficijenata korelacije, koji govore o tome koliko je svaki pojedinačni

indikator značajan za evaluaciju performansi entiteta.

Bez obzira na model kreiranja, kompozitne indikatore karakteriše određeni

stepen nestabilnosti, koji se ogleda u promeni rezultata merenja i rangiranja, pri

promeni vrednosti težinskih koeficijenata. Budući da kvalitet modela zavisi od

ispravnosti pretpostavki, praksa dobrog modelovanja zahteva da se definiše nivo

poverenja u model, tako što će se oceniti neizvesnosti vezane za proces

modeliranja. Merenje stabilnosti kompozitnih indikatora vrši se pomoću analize

neizvesnosti i analize osetljivosti. Analiza osetljivosti je studija o tome kako se

može rasporediti varijabilitet na izlazu u odnosu na različite izvore varijabiliteta

u pretpostavkama. Analiza neizvesnosti ima za cilj da se kvantifikuje ukupna

neizvesnost u rangiranju, koja dolazi kao rezultat neizvesnosti u ulazima modela.

Kombinacija analize neizvesnosti i osetljivosti omogućava da se izmeri robusnost

kompozitnih indikatora i poveća njihova transparentnost. Analize neizvesnosti i

osetljivosti se sprovode pomoću Monte Karlo simulacije.

Prednosti CIDI indikatora u odnosu na druge kompozitne indikatore,

kreirane pomoću linearne agregacije, sa dodeljivanjem težinskih koeficijenata od

strane eksperata, upravo je u tome što su CIDI težinski koeficijenti objektivni, i

zasnivaju se na metodi I-odstojanja koja rešava problem subjektivnog

dodeljivanja pondera. Prednost CIDI indikatora u odnosu na samo I-odstojanje

je u tome što je CIDI indikator kreiran pomoću metode agregacije, uz dodeljivanje

težinskih koeficijenta kreiranih na gore pomenut način. Ovo čini njegove

vrednosti direktno uporedivim sa indikatorom koji se nastoji poboljšati.

Analize će biti primenjene na postojeće kompozitne indikatore u oblasti

rangiranja IKT sistema i rangiranja univerziteta, prema QS i ARWU metodologiji,

v

pa radi poređenja, na predložene CIDI indikatore. Rezultati su u istraživanju

simulirani 10 000 puta kako bi se dobili što verodostojniji zaključci. U disertaciji

će biti prikazano da je CIDI metodologijom moguće kreirati stabilnije

kompozitne indikatore, sa manjim stepenom neizvesnosti u modelu. Veća

stabilnost CIDI indikatora biće pokazana pomoću Mann-Whitney testa.

U uvodnom poglavlju su opisani predmet i cilj istraživanja u doktorskoj

disertaciji, date su polazne hipoteze i metode istraživanja, i navedeni su sadržaj i

opis doktorske disertacije. Predstavljeni su i ključni problemi na čije će rešavanje

disertacija biti fokusirana. Drugo poglavlje je posvećeno konceptu kompozitnih

indikatora, načinima za formiranje istih, kao i aspektima o kojima je pri tome

neophodno voditi računa. U trećem i četvrtom poglavlju pažnja se posvećuje

multivarijacionoj statističkoj analizi i definisanju I-odstojanja kao baznog aspekta

metode predložene u disertaciji. U petom poglavlju opisani su glavni aspekti

analiza neizvesnosti i osetljivosti.

U šestom poglavlju dat je predlog metode Kompozitnog indikatora baziranog

na I-odstojanju (CIDI). Detaljno je opisan način kreiranja indikatora i navedene su

prednosti i poboljšanja koje se mogu ostvariti CIDI metodom. Opisan je i način

merenja neizvesnosti i osetljivosti CIDI indikatora, i predložena Mann-Whitney

metoda za testiranje razlika u osetljivosti CIDI u odnosu na originalne indikatore.

Sedmo poglavlje predstavlja širok spektar mogućnosti primene CIDI

metode. U okviru doktorske disertacija CIDI je primenjen na IDI, QS i ARWU

metode, a moguće je primeniti ga na sve indekse koji su slične višekriterijumske

prirode. Na kraju je dat zaključak sa odgovorom na pitanja u vezi sa postavljenim

ciljem i hipotezama, i pregled naučnih doprinosa koji su proistekli iz rada na

doktorskoj disertaciji. U prilogu je predstavljeno softversko rešenje za analize

neizvesnosti i osetljivosti, koje u velikoj meri olakšava istraživanje, vršenje

eksperimenata i simulaciju rezultata.

vi

Ključne reči:

kompozitni indikatori, multivarijaciona statistička analiza, Ivanovićevo

odstojanje, analiza neizvesnosti, analiza osetljivosti

Naučna oblast:

Tehničke nauke

Uža naučna oblast:

Računarska statistika

UDK broj:

_________________

vii

A STATISTICAL APPROACH TO COMPOSITE INDICATORS

CONSTRUCTION BASED ON IVANOVIĆ DISTANCE

Abstract:

An indicator or index represents a quantitative or qualitative measure that comes

from a series of facts, and is able to reveal relative information about the entities

and their positions in the area of interest, allowing for their mutual comparison

and ranking. Ranking of entities is a very popular topic, often pervading various

spheres of social activity: education, health, socio-economic and technological

development. When phenomena are complex and multivariate, ranking is often

performed with a tool of a composite indicator. This allows the comparison of

entities to be ranked by a number of criteria based on a cumulative scalar value

which is obtained as a result of a composite indicator.

The composite indicator is an aggregated index, consisting of individual

indicators and corresponding weighs. It can measure multidimensional concepts

that cannot be captured by a single indicator. The process of assigning weights

can be based on different methods: principal component analysis (PAC), factor

analysis (FA), data envelopment analysis (DEA), but the most common is a

biased method of assigning weight values. This doctoral dissertation proposes a

new method for creating a composite indicator based on the Ivanović distance

(I-distance). It is called the Composite I-distance Indicator (CIDI).

The use of this method typically results in more accurate weights not based

on the biased experience that experts have on indicators that constitute one

composite indicator. Their values are obtained using the CIDI method in an

objective and transparent manner. The values of the weights are calculated as the

respective share of each indicator in relation to the value of the I-distance. Shares

are based on the sum of Pearson correlation coefficients that can show the

importance of each indicator in the process of evaluation of entities performance.

viii

Regardless of the model of construction, composite indicators are

characterized by a certain degree of instability, reflected in the change of results

and rankings when the values of weights change. Since the quality of a model

depends on the validity of the modeling assumptions, good modeling practice

requires the specification of the level of confidence in a model in order to assess

the uncertainty related to the modeling process. Measuring the stability of a

composite indicator is performed by using uncertainty and sensitivity analyses.

Sensitivity analysis is the study on how the variance in output can be deployed

in regard to different sources of variance in model assumptions. Uncertainty

analysis quantifies the overall uncertainty in rankings, which comes as a result of

the uncertainty in the model inputs. The combination of uncertainty and

sensitivity analyses allows measuring of robustness of composite indicators and

increases their transparency. Uncertainty and sensitivity analyses are carried out

using Monte Carlo simulation.

Benefits of the CIDI indicator compared against other composite indicators

formed by linear aggregation method and weights assigned by experts lie in

impartiality of CIDI weights and the fact that it is based on an objective I-distance

method. The advantage of the CIDI indicator compared to I-distance is in that the

CIDI indicator is created by the method of linear aggregation with the assignment

of the aforementioned weights. This makes its values directly comparable to the

original indicator that one wants to improve.

The analyses will be applied to existing composite indicators in the field of

ICT development and ranking of universities according to the QS and ARWU

methodology. The results will be compared with the proposed CIDI indicator.

The survey was simulated 10 000 times in order to obtain reliable conclusions.

The dissertation shows that the CIDI methodology can create a stable composite

indicator, with a lower degree of uncertainty in the model. Greater stability of the

CIDI indicators will be demonstrated by the Mann-Whitney test.

ix

The first chapter describes the object and the purpose of the research in

doctoral dissertation, giving the initial hypotheses and research methods, and

listing the contents and description of the doctoral dissertation. Key problems

that are in the focus of the dissertation are presented in this section. The second

chapter is dedicated to the concept of composite indicators, methods for their

construction, and aspects that are necessary to be taken into account. The third

and fourth sections highlight multivariate statistical analysis and define I-

distance as a basic aspect of the method proposed in the dissertation. Fifth

chapter summarizes the main aspects of uncertainty and sensitivity analyses.

The sixth chapter proposes the Composite I-distance Indicator (CIDI). It

gives a detailed description of the method for creating a composite indicator, as

well as advantages and improvements that can be achieved using the CIDI. It

also describes the process of measuring uncertainty and sensitivity of CIDI

indicators, and suggests the Mann-Whitney method for testing differences in the

uncertainty of CIDI compared to the original indicator.

Chapter seven presents a wide range of application possibilities of CIDI

methodology. As the part of the doctoral dissertation, the CIDI is applied to the

IDI, QS, and ARWU methods; yet, it is possible to apply CIDI to each similar

multi-criteria index. Finally, a conclusion is given, answering questions related

to the course objectives and hypotheses, as well as the review of scientific

contributions that have emerged from this doctoral dissertation. The enclosure

presents the software for the uncertainty and sensitivity analyses that greatly

facilitates research, conducting experiments, and simulating results.

x

Keywords:

Composite indicators, multivariate statistical analysis, Ivanović distance,

uncertainty analysis, sensitivity analysis

Scientific Area:

Technical Sciences

Specific Scientific Area:

Computational Statistics

UDK Number:

_________________

xi

SADRŽAJ

1 UVOD ............................................................................................................................................... 1

1.1 PОLАZNЕ HIPОTЕZЕ ....................................................................................................................... 6

1.2 МЕTОDЕ ISTRАŽIVАNJА ................................................................................................................. 7

2 KOMPOZITNI INDIKATORI ..................................................................................................... 8

2.1 TEORIJSKI OKVIR .......................................................................................................................... 15

2.2 IZBOR INDIKATORA ...................................................................................................................... 17

2.3 OBRADA NEDOSTAJUĆIH PODATAKA .......................................................................................... 18

2.4 NORMALIZACIJA .......................................................................................................................... 19

2.5 TEŽINSKI KOEFICIJENTI ................................................................................................................ 25

2.6 METODE AGREGACIJE .................................................................................................................. 27

3 MULTIVARIJACIONA ANALIZA ........................................................................................... 31

3.1 ANALIZA GLAVNIH KOMPONENATA .......................................................................................... 36

3.2 FAKTORSKA ANALIZA.................................................................................................................. 40

3.2.1 Određivanje broja faktora ................................................................................................... 42

3.2.2 Faza rotacije ........................................................................................................................ 44

3.3 KLASTER ANALIZA....................................................................................................................... 45

3.3.1 Mere sličnosti i razlike između entiteta .............................................................................. 48

3.3.2 Mere sličnosti i razlike između grupa ................................................................................ 50

3.3.3 Određivanje broja grupa (klastera) ..................................................................................... 53

3.4 ANALIZA OBAVIJANJA PODATAKA (DEA) .................................................................................. 54

3.4.1 Merenje efikasnosti pomoću analize obavijanja podataka ................................................... 55

3.4.2 Osnovni DEA modeli ......................................................................................................... 57

4 IVANOVIĆEVO ODSTOJANJE ................................................................................................ 64

4.1 KVADRATNO I-ODSTOJANJE ........................................................................................................ 70

4.2 RANGIRANJE POMOĆU I-ODSTOJANJA ........................................................................................ 71

4.3 REDOSLED UKLJUČIVANJA VARIJABLI U OBRAZAC I-ODSTOJANJA ............................................. 73

5 ANALIZA NEIZVESNOSTI I ANALIZA OSETLЈIVOSTI .................................................. 75

5.1 OPŠTI OKVIR ANALIZA NEIZVESNOSTI I OSETLJIVOSTI ................................................................ 77

5.2 ANALIZA NEIZVESNOSTI ............................................................................................................. 79

xii

5.3 ANALIZA OSETLJIVOSTI ............................................................................................................... 83

5.4 PRIMENA ANALIZA NEIZVESNOSTI I OSETLJIVOSTI ..................................................................... 85

6 KOMPOZITNI INDIKATOR BAZIRAN NA I-ODSTOJANJU (COMPOSITE I-

DISTANCE INDICATOR (CIDI)) ...................................................................................................... 87

6.1 KREIRANJE TEŽINSKIH KOEFICIJENATA ....................................................................................... 89

6.2 PREDNOSTI CIDI INDIKATORA .................................................................................................... 91

6.3 ANALIZE NEIZVESNOSTI I OSETLJIVOSTI CIDI INDIKATORA....................................................... 91

6.4 TESTIRANJE ZNAČAJNOSTI RAZLIKE DEVIJACIJE RANGOVA ........................................................ 92

7 PRIMENA KOMPOZITNIH INDIKATORA BAZIRANIH NA I-ODSTOJANJU .......... 94

7.1 PRIMENA CIDI NA RANGIRANJE IKT SISTEMA – IDI INDEKS ..................................................... 95

7.1.1 IDI metodologija ................................................................................................................. 97

7.1.2 Kompozitni IDI indikator baziran na I-odstojanju ........................................................... 100

7.1.3 Neizvesnost i osetljivost rangiranja prema zvaničnoj IDI i CIDI metodologiji ............... 105

7.2 PRIMENA CIDI NA RANGIRANJE UNIVERZITETA - QS RANGIRANJE ........................................ 112

7.2.1 Metodologija QS rangiranja ............................................................................................. 115

7.2.2 Kompozitni QS indikator baziran na I-odstojanju ........................................................... 117

7.2.3 Neizvesnost i osetljivost rangiranja prema zvaničnoj QS i CIDI metodologiji ................ 122

7.3 ARWU RANG LISTA, ALTERNATIVNA RANG LISTA I CIDI ...................................................... 131

7.3.1 Metodologija ARWU rangiranja (6 indikatora) ............................................................... 132

7.3.2 Metodologija Alternativnog rangiranja (4 indikatora) .................................................... 134

7.3.3 Kompozitni Alternativni ARWU indikator baziran na I-odstojanju ............................... 135

7.3.4 Neizvesnost i osetljivost rangiranja prema ARWU metodologiji, Alternativnom

rangiranju i CIDI metodologiji ....................................................................................................... 138

8 ZAKLЈUČAK ............................................................................................................................... 150

8.1 DOPRINOSI DOKTORSKE DISERTACIJE ........................................................................................ 153

9 LITERATURA .............................................................................................................................. 155

PRILOG A - SOFTVERSKO REŠENJE ZA CIDI INDIKATORE I ANALIZE NEIZVESNOSTI

I OSETLJIVOSTI .................................................................................................................................. 174

PRILOG B – TABELE SA CIDI REZULTATIMA .......................................................................... 187

BIOGRAFIJA ......................................................................................................................................... 204

1

1 UVOD

Merenje performansi entiteta, sa ciljem evaluacije, poređenja i rangiranja, je

veoma važan cilj. "Čovek ima potrebu da pravi poređenja... Ova poređenja su

važna jer pozicija u rangiranju utiče na uverenja pojedinca o sebi i svojim

sposobnostima" (Murphy & Weinhardt, 2013, p. 2). Ovakav stav može da se

projektuje sa pojedinaca i na druge entitete, kao što su organizacije, preduzeća,

privredni subjekti, sportske ekipe, univerziteti i/ili države. Poređenje i rangiranje

predstavljaju važan izazov za entitete koji se analiziraju, jer će oni uvek nastojati

da poboljšaju svoje pozicije i učine ih jačim i boljim.

U opštem smislu, indikator ili pokazatelj predstavlja kvantitativnu ili

kvalitativnu meru, koja potiče iz niza činjenica, i može otkriti relativne

informacije o entitetima, kao i njihove pozicije u posmatranoj oblasti. Indikator

kao mera, može da ukaže na pravac promena u nekoj oblasti, ili vezanih za neki

fenomen, u različitim jedinicama kroz vreme. Indikatori su veoma korisni za

identifikovanje trendova i usmeravanje pažnje na određena pitanja od interesa.

Kompozitni indikator predstavlja agregirani indeks, koji sadrži

pojedinačne pokazatelje i njima odgovarajuće težinske koeficijente, koji obično

predstavljaju relativnu važnost svakog pokazatelja. On se formira kada se

pojedinačni pokazatelji integrišu u jedinstveni indeks. Kompozitni indikator

meri višedimenzionalne koncepte koji ne mogu da se obuhvate jednim

pokazateljem, na primer konkurentnost, industrijalizacija, održivost, tržišna

integracija, društvo bazirano na znanju, itd.

Najjednostavniji primer formiranja kompozitnog indikatora predstavlja

suma (linearna kombinacija) od k promenljivih, ponderisanih odgovarajućim

težinskim koeficijentima (Paruolo, Saisana, & Saltelli, 2013). Promenljive koje

čine linearnu kombinaciju moraju biti normalizovane. Najčešći pristup za

normalizaciju originalne promenljive je po Min-Max metodi normalizacije

(Bandura, 2008), kada će sve vrednosti varirati u intervalu [0,1].

2

Bitno je primetiti da normalizacija podrazumeva fiksnu skalu pojedinačnih

pokazatelja, što može biti korisno za poređenje sličnih indikatora. Međutim,

ovakva normalizacija ne podrazumeva standardizaciju različitih promenljivih,

koje u opštem slučaju imaju različite srednje vrednosti iµ i standardna

odstupanja iσ . Zbog toga je popularna alternativa Min-Max normalizacije

upravo standardizacija. Nakon standardizacije, sve vrednosti ijx imaju istu

srednju vrednost 0µ = i standardno odstupanje 1σ = , uklanjajući izvor

heterogenosti među varijablama. Obe transformacije su invarijantne u odnosu na

izbor jedinice merenja (Hand, 2009).

Sistem formiranja težinskih koeficijenata može biti zasnovan na različitim

metodama. Analiza glavnih komponenata, a posebno faktorska analiza, grupišu

pojedinačne indikatore koji su kolinearni, kako bi se formirao kompozitni

indikator koji teži da obuhvati što više informacija zajedničkih pojedinačnim

indikatorima. Svaki faktor (koji se obično procenjuje koristeći analizu glavnih

komponenata) otkriva skup indikatora sa kojima ima najbolju asocijaciju. Ideja

analize glavnih komponenata i faktorske analize je da se pokrije najveći mogući

varijabilitet skupa indikatora, koristeći najmanji mogući broj faktora. Kompozitni

indikatori kreirani na taj način, ne zavise od dimenzija skupa podataka, već se

zasnivaju na "statističkim" dimenzijama podataka. Prema ovim analizama,

težinski koeficijenti služe samo da isprave preklapanje informacija između dva

ili više korelisanih indikatora i nisu mera teorijskog znanja o pridruženim

indikatorima. Ako ne postoji korelacija između pokazatelja, onda se težinski

koeficijenti ne mogu proceniti ovom metodom.

Kompozitni indikatori se takođe mogu formirati na osnovu analize

obavijanja podataka (DEA) (Cherchye et al., 2007; Filippetti & Peyrache, 2011;

Lauer, Knox Lovell, Murray, & Evans, 2004; Mizobuchi, 2014), koja pomoću

linearnog programiranja procenjuje granicu efikasnosti, koja bi se koristila kao

referentna za merenje relativnih performansi posmatranih entiteta. To zahteva

3

formiranje referentnog entiteta (granice) i merenje rastojanja između entiteta u

multidimenzionalnom okviru. Skup težinskih koeficijenata za svaki entitet zavisi

od njegove pozicije u odnosu na granicu, a referentni entitet odgovara idealnoj

poziciji sa sličnom "kombinacijom" indikatora (Martić, 1999). Referentni entitet

može odrediti i donosilac odluke (Korhonen, Tainio, & Wallenius, 2001), koji će

locirati cilj na granici efikasnosti sa najpoželjnijom kombinacijom pojedinačnih

indikatora.

Pri kreiranju kompozitnih indikatora, DEA pomaže da se prevaziđu neka

ključna ograničenja, kao što su neželjena zavisnost rezultata od prethodne

normalizacije indikatora ili subjektivne prirode formiranja težinskih koeficijenata

(Cherchye et al., 2007; Cherchye, Moesen, Rogge, & Van Puyenbroeck, 2011).

Imperativ je da kompozitni indikatori ne proizvode samo rang liste, već

proizvode i zadovoljavajuće mere za određeni višedimenzionalni fenomen, ili

problem od interesa. Izgradnja kompozitnih indikatora može se opisati u

sledećih nekoliko koraka (Nardo et al., 2008):

1. Cilj: Šta treba meriti?

2. Da li već postoji mera za tu svrhu? Ako ne postoji, potrebno je definisati

skup skalarnih indikatora koji opisuju cilj.

3. Kako izabrati indikatore koji će predstavljati osnovu za izgradnju

kompozitnog indikatora?

4. Ako je početni skup indikatora veliki, pogodno ih je, kao privremeni korak,

grupisati po sličnosti.

4

5. Pošto su težinski koeficijenti često predmet istraživanja i polemike, dobra

praksa je da se testira robusnost1 i osetljivost kompozitnih indikatora u

odnosu na različite vrednosti težinskih koeficijenata.

Postoji veliki broj modela za formiranje kompozitnih indikatora. Predmet

istraživanja u doktorskoj disertaciji je pregledna analiza postojećih kompozitnih

indikatora, kao i metoda kojima se formiraju kompozitni indikatori za merenje

određenih karakteristika posmatranih entiteta. Poseban akcenat biće stavljen na

predlog modela za formiranje kompozitnih indikatora koji se bazira na metodi

Ivanovićevog odstojanja (I-odstojanja). Pregled metode I-odstojanja, kao osnove

za formiranje kompozitnih indikatora, biće posebno istaknut u doktorskoj

disertaciji. Upotreba metode, koja će biti predložena, može kao rezultat dati

preciznije težinske koeficijente, koji se ne zasnivaju na subjektivnom doživljaju

eksperta o pokazateljima iz kojih se sastoji kompozitni indikator, već se njihove

vrednosti dobijaju pomoću ove metode na jedan objektivan i transparentan

način.

Bez obzira na model kreiranja, kompozitne indikatore karakteriše određeni

stepen nestabilnosti, koji se ogleda u promeni rezultata merenja i rangiranja, pri

promeni vrednosti težinskih koeficijenata. Zbog toga će, u doktorskoj disertaciji,

velika pažnja biti usmerena na merenje stabilnosti i osetljivosti predloženih

kompozitnih indikatora. Merenje stabilnosti i entropije sistema vršiće se pomoću

analize neizvesnosti i analize osetljivosti.

Analiza osetljivosti se smatra neophodnom u ekonometrijskoj praksi

(Kennedy, 2003). Razvoj kompozitnih indikatora podrazumeva faze u kojima

moraju da se donesu subjektivne procene: izbor pojedinačnih indikatora, obrada

1 Jasnost, sveobuhvatnost

5

nedostajućih vrednosti, izbor modela agregacije, određivanje težinskih

koeficijenata koji stoje uz indikatore, itd. Svi ovi subjektivni izbori su osnova

kompozitnog indikatora i zajedno sa samim vrednostima indikatora, oblikuju

meru kompozitnog indikatora. Budući da kvalitet modela, takođe zavisi od

ispravnosti pretpostavki, praksa dobrog modelovanja zahteva da se definiše nivo

poverenja u model, tako što će se oceniti neizvesnosti vezane za proces

modeliranja i proceniti kvalitet subjektivnih izbora i odluka. To je upravo ono što

radi analiza osetljivosti: proučava odnose između ulaznih i izlaznih parametara

modela. Analiza osetljivosti se može definisati kao studija o tome kako se može

rasporediti varijabilitet na izlazu iz modela, kvalitativno ili kvantitativno, u

odnosu na različite izvore varijabiliteta u pretpostavkama modela, kao i o tome

kako kompozitni indikator zavisi od informacija iz kojih se sastoji (Nardo et al.,

2008). Analiza osetljivosti je usko povezana sa analizom neizvesnosti, čiji je cilj

da se kvantifikuje ukupna neizvesnost u rangiranju, koja dolazi kao rezultat

neizvesnosti u ulazima modela. Kombinacija analize neizvesnosti i osetljivosti

može da pomogne da se izmeri robusnost kompozitnih indikatora, da se poveća

transparentnost samog indikatora, da se identifikuje koji entiteti su favorizovani

ili oštećeni pod određenim pretpostavkama, kao i da pojasni određene nejasnoće

i polemike vezane za kompozitne indikatore.

U radu će biti opisano na koji način se analize neizvesnosti i osetljivosti

mogu primeniti na kompozitne indikatore. Ove analize biće primenjene na

postojeće kompozitne indikatore, i, radi poređenja, na predloženu metodu

kreiranja kompozitnog indikatora, koji se formiraju na osnovu I-odstojanja.

Sinergijska upotreba analiza neizvesnosti i osetljivosti, i ranije je korišćena za

procenu robusnosti kompozitnih indikatora (Saisana, Nardo, & Saltelli, 2005;

Saltelli et al., 2008), i pokazala se korisnom u razjašnjenju nekih polemika koje se

javljaju, vezanih za upotrebu kompozitnih indikatora, kao što je slučaj kod

Indeksa održivosti životne sredine (Saisana, Saltelli, & Tarantola, 2005), ili kod

rangiranja univerziteta (Saisana, D’Hombres, & Saltelli, 2011; Saisana &

D’Hombres, 2008).

6

Analize neizvesnosti i osetljivosti se sprovode pomoću Monte Karlo

simulacije, tako što se utiče na izvor neizvesnosti kako bi se uočili efekti sinergije

ulaznih faktora pod uticajem neizvesnosti. To podrazumeva analizu neizvesnosti

ulaznih faktora, da bi se definisalo koji sistem agregacije i koju šemu ponderacije

(kreiranja težinskih koeficijenata) bi bilo najbolje usvojiti.

1.1 Pоlаznе hipоtеzе

Osnovne hipoteze u ovoj doktorskoj disertaciji su sledeće:

• Metoda Ivanovićevo odstojanje može biti osnova za definisanje nove

metodologije formiranja kompozitnih indikatora.

• Većina ustanovljenih kompozitnih indikatora formiraju se tako što se

pojedinačnim indikatorima dodeljuju težinski koeficijenti na subjektivan

način. Primenom metode koja će biti predložena, moguće je uvesti

objektivnost u formiranje kompozitnog indikatora i određivanje težinskih

koeficijenata.

• Kompozitni indikatori formirani na osnovu Ivanovićevog odstojanja su

stabilniji od klasično ponderisanih indikatora. Formiranjem kompozitnih

indikatora na osnovu Ivanovićevog odstojanja može znatno biti smanjena

entropija sistema.

• Moguće je formirati takav kompozitni indikator na osnovu Ivanovićevog

odstojanja, čije vrednosti su normalizovane i koje, za razliku od samog I-

odstojanja, mogu biti uporedive po godinama posmatranja.

• Predloženi model se može primeniti na različite vrste organizacionih

jedinica i za rešavanje različitih vrsta problema.

7

1.2 Меtоdе istrаživаnjа

Osnovni metod istraživanja u doktorskoj disertaciji je sakupljanje i proučavanje

dostupne literature, njena analiza i sistematizacija, a sve to s ciljem da se pokaže

opravdanost i korisnost razvoja metodologije formiranja kompozitnih indikatora

koja se zasniva na Ivanovićevom odstojanju. Disertacija će se zasnivati na

primeni:

• Deskriptivnih metoda za analizu podataka (deskriptivne mere, mere

odstojanja, analiza ekstremnih vrednosti),

• Metoda i tehnika eksploratorne analize podataka,

• Metoda za statističku analizu i obradu podataka (korelaciona analiza,

parametarski i neparametarski testovi, analiza varijanse),

• Multivarijacionih statističkih analiza (faktorska analiza, analiza glavnih

komponenata, analiza grupisanja),

• Metode Ivanovićevog odstojanja,

• Metoda komparativne analize,

• Monte Karlo simulacije.

Disertacija će sadržati detaljnu analizu postojećih kompozitnih indikatora,

i njihovu komparaciju sa predloženim modelom. U okviru istraživanja, biće

sprovedeno pretraživanje i analiza relevantne literature u oblasti od interesa.

Doktorska disertacija će obuhvatati:

• Analizu i definisanje koncepta i strukture kompozitnih indikatora,

• Analizu postojećih metoda u oblasti kreiranja kompozitnih indikatora,

• Analizu postojećih kompozitnih indikatora u različitim oblastima i

komparaciju sa predloženim rešenjem,

• Analizu stabilnosti, neizvesnosti i osetljivosti predloženog rešenja.

8

2 KOMPOZITNI INDIKATORI

Problem rangiranja entiteta je jedna od veoma popularnih tema, i sreće se veoma

često u raznim sferama društvenog delovanja, bilo da se radi o obrazovnoj,

zdravstvenoj, socio-ekonomskoj, tehnološkoj razvijenosti, i slično (Langville &

Meyer, 2012; Pääkkönen & Seppälä, 2014; Scaratti & Calvo, 2012). Benini ih je čak

koristio za evaluaciju katastrofa (Benini, 2012). Rangiranje složenih, višeslojnih

fenomena često se vrši pomoću kompozitnih indikatora. Na taj način, entiteti koji

se rangiraju, mogu se porediti prema više kriterijuma a na osnovu zbirne skalarne

vrednosti koja se dobija kao rezultat kompozitnog indikatora (Bas Cerda, 2014;

Benito & Romera, 2011; Hudrlikova, Kramulova, & Zeman, 2013).

Kompozitni indikatori se sve više prepoznaju kao korisno sredstvo za

merenje i evaluaciju (Angelini, Bernini, & Guizzardi, 2013; Benini, 2012;

Castellano & Rocca, 2014; Salvati & Carlucci, 2014). Bandura (Bandura, 2008) u

svom preglednom radu navodi više od 160 različitih upotreba kompozitnih

indikatora. Oni pružaju jednostavna poređenja koja se mogu koristiti kao

ilustracija složenih i ponekad neuhvatljivih pitanja iz širokih domena, kao što su

zaštita životne sredine, ekonomija, društvo, tehnološki razvoj, itd. Interesovanje

za kompozitne indikatore poraslo je u poslednjih desetak godina, "možda kao još

jedan rezultat globalizacije, jer je brojeve lakše i jeftinije prevesti nego tekst, a

svakako mnogo lakše sakupiti.." (Benini, 2012, p. 10).

Za javnost je uglavnom lakše da tumači kompozitne indikatore nego da

identifikuje i prati zajedničke trendove u više zasebnih pokazatelja (Saltelli,

2007). Međutim, kompozitni indikatori mogu da stvore pogrešnu sliku o

fenomenu koji se istražuje, ako su loše konstruisani ili loše protumačeni. Njihovi

rezultati, koji daju "zbirnu sliku" fenomena, mogu dovesti do toga da korisnici

izvuku pojednostavljene analitičke zaključke (Bollen & Bauldry, 2011). Zato

njihovu relevantnost treba meriti u odnosu na problem ili fenomen koji je

9

predmet istraživanja. Glavne prednosti i mane korišćenja kompozitnih

indikatora su sledeće (Saisana & Tarantola, 2002):

Tabela 2.1 Prednosti i nedostaci kompozitnih indikatora

Prednosti

– Mogu da rezimiraju kompleksna, višedimenzionalna stanja u cilju podrške donosiocu

odluka.

– Imaju lakšu interpretaciju od skupa velikog broja pojedinačnih indikatora.

– Omogućavaju procenu napretka tokom vremena.

– Smanjuju obim podataka, bez gubitka informacija.

– Moguće je uključiti više informacija, a da se pri tome ne poveća obim podataka.

– Olakšavaju komunikaciju sa javnošću.

– Pojednostavljuju objašnjenje problema za širi auditorijum.

– Omogućavaju korisnicima da efikasno porede složene dimenzije.

Nedostaci

– Mogu da stvore pogrešnu sliku ako su loše formirani ili pogrešno protumačeni.

– Mogu dovesti do pojednostavljenih zaključaka.

– Mogu biti zloupotrebljeni ako proces formiranja nije transparentan i/ili se ne zasniva na

objektivnim principima.

– Izbor indikatora i težinskih koeficijenata može biti predmet polemike.

– Mogu da prikriju ozbiljne nedostatke u nekim dimenzijama i povećaju poteškoće

identifikacije odgovarajućih korektivnih mera, ako proces formiranja nije transparentan.

– Mogu da dovedu do neodgovarajućih zaključaka i akcija ako se ignorišu dimenzije

performansi koje je teško izmeriti.

Formiranje kompozitnih indikatora više zavisi od karakteristika

višedimenzionalne pojave koju treba izmeriti, nego od univerzalno prihvaćenih

naučnih pravila za njihovo formiranje (European Commission, 2004; Floridi et

al., 2011). Kompozitni indikatori su opšte prihvaćeni, jer veoma dobro služe

10

predviđenoj nameni (Rosen, 1991), a to je da pojednostave višedimenzionalnu

sliku posmatranog fenomena. Kao odgovor na polemiku oko toga da li su

kompozitni indikatori kao način merenja dobri ili loši, neki autori su primetili:

"Kada se govori o merenju određenih višedimenzionalnih pojava, pristalice

agregacije pri formiranju kompozitnih indikatora veruju da postoji

prednost u kombinovanju individualnih pokazatelja na određeni način,

kako bi se izvukla odgovarajuća suština pojave. Oni smatraju da takva

sumarna statistika može da prikaže realnost, a time i da skrene pažnju na

problem od interesa. Protivnici agregacije veruju da je dovoljno definisati

odgovarajući skup pojedinačnih indikatora koji mere neku problematiku, i

da ih ne treba kombinovati u kompozitni indikator. Njihov ključni prigovor

na agregaciju je subjektivnost u procesu formiranja težinskih koeficijenata"

(Sharpe, 2004, p. 5).

"[...] teško je zamisliti da će polemika o upotrebi kompozitnih indikatora

ikada biti rešena [...] neki autori se suprotstavljaju formiranju kompozitnih

indikatora, jer je po njima mnogo informacija "izgubljeno" ili "skriveno" iza

određenog načina uređivanja podataka. S druge strane, mogućnost da se

kompleksni i ponekad neuhvatljivi višekriterijumski procesi (npr.

održivost, ekonomsko tržište, itd.) rezimiraju u jednu formu, je veoma

primamljiva" (Saisana, Saltelli, et al., 2005, p. 308).

Autori Paruolo, Saisana i Saltelli (Paruolo et al., 2013) smatraju da

kompozitni indikatori agregiraju pojedinačne varijable sa ciljem da obuhvate

određene relevantne, a ipak možda latentne, dimenzije stvarnosti. Kompozitni

indikatori se primenjuju i formiraju veoma često (Brüggemann & Patil, 2011), i

usvojeni su od strane mnogih institucija, kako za specifične namene, tako i za

pružanje mere za evaluaciju pitanja od interesa. Saltelli i drugi (Saltelli et al.,

2008) karakterišu pitanje kompozitnih indikatora na sledeći način: "Kompozitni

indikatori imaju tendenciju da se nalaze negde između propagiranja (kada se

11

koriste da skrenu pažnju na određeni problem) i analize (kada se koriste da

obuhvate i objasne složeni višedimenzionalni fenomen)". Rezultati i vrednosti

kompozitnih indikatora značajno zavise od težinskih koeficijenata indikatora, a

samim tim su često predmet polemike (Davino & Romano, 2013; Paruolo et al.,

2013; Saltelli, 2007).

Mnogi autori naglašavaju potrebu za eksplicitnim konceptualnim okvirom

za formiranje kompozitnog indikatora, i korisnost multivarijacione analize, pre

agregacije pojedinačnih indikatora (Saisana & D’Hombres, 2008).

Benini tvrdi da ukoliko je neophodno da se konstruiše kompozitni

indikator, 4 kriterijuma moraju biti ispunjena (Benini, 2012, p. 9):

1. Mera služi unapred definisanoj svrsi.

2. Kompozitni indikator izražava jedan relevantan koncept na dosledan

način.

3. Konstruisanje kompozitnog indikatora je izvodljivo u pogledu

prikupljanja podataka i analize.

4. Mera je prihvatljiva za stejkholdere2.

Prema grupi autora3 koji se bave formiranjem kompozitnih indikatora

(Nardo et al., 2008), "idealna" sekvenca za formiranje kompozitnih indikatora

sastoji se iz deset koraka, od razvoja teorijskog okvira za njihovo formiranje, do

prezentacije i propagiranja kompozitnih indikatora. Svaki korak je zasebno

izuzetno važan, ali je važna i koherentnost u čitavom procesu formiranja. Izbori

2 Zainteresovane strane – grupe ili pojedinci 3 Najvažniji izvor iz ove oblasti je "Handbook on constructing composite indicators: methodology and user guide", autora Nardo i drugi (Nardo et al., 2008).

12

koji se čine u jednom koraku mogu značajno uticati na druge korake: tako pri

formiranju kompozitnih indikatora, ne samo da moraju da se prave najprikladniji

metodološki izbori u svakom koraku, već i da se utvrdi da li se oni zajedno dobro

uklapaju (Nardo et al., 2008).

Analitičari koji konstruišu kompozitne indikatore suočavaju se sa

opravdanim stepenom skepticizma od strane statističara, ekonomista i drugih

eksperata, delimično zbog nedostatka transparentnosti nekih postojećih

indikatora, a naročito što se tiče metodologije i osnovnih podataka. Da bi se

izbegli ovakvi rizici, može se staviti poseban naglasak na dokumentaciju i

metapodatake pri kreiranju kompozitnih indikatora. Autori Nardo i drugi

(Nardo et al., 2008), preporučuju pripremu relevantne dokumentacije na kraju

svake faze, kako bi se obezbedila koherentnost celog procesa i pripremile

metodološke napomene koje će biti distribuirane zajedno sa numeričkim

rezultatima.

U nastavku je dat pregled koraka pri izgradnji kompozitnih indikatora

(Nardo et al., 2008):

1. Teorijski okvir. Obezbeđuje osnovu za izbor i kombinovanje varijabli u

smislen kompozitni indikator prema principu pogodnost-za-svrhu (fitness-

for-purpose). U ovom koraku je predviđeno uključivanje eksperata i

zainteresovanih strana. Svrha:

• Da se postigne razumevanje i jasna definicija višedimenzionalnog

fenomena koji se meri.

• Da se, ukoliko je potrebno, struktuiraju različite podgrupe fenomena.

• Da se sastavi spisak kriterijuma za izbor osnovnih indikatora, npr. ulaz,

izlaz, proces.

2. Izbor podataka. Treba da se zasniva na analitičkoj ispravnosti, merlјivosti,

relevantnosti indikatora za fenomen koji se meri, kao i njihovim

međusobnim odnosima. U ovom koraku je takođe predviđeno uključivanje

eksperata i zainteresovanih strana. Svrha:

13

• Da se proveri kvalitet dostupnih pokazatelja.

• Da se razmotre prednosti i slabosti svakog izabranog indikatora.

• Da se kreira sumarna tabela o karakteristikama, kao što su dostupnost

(za različite entitete ili tokom vremena), izvor, tip

(kvantitativni/kvalitativni ili ulaz/izlaz/proces).

3. Obrada nedostajućih podataka. Obezbeđuje da skup podataka bude

kompletan. Svrha:

• Da odredi procenjene vrednosti za nedostajuće podatke.

• Da obezbedi meru pouzdanosti svake unete vrednosti, kako bi se

procenio uticaj ulaza na rezultate kompozitnih indikatora.

• Da se ispita prisustvo nestandardnih opservacija u podacima.

4. Multivarijaciona analiza. Potrebna je kako bi se proučila celokupna struktura

podataka, procenila njihova podobnost, i usmerili neki naredni

metodološki izbori (npr., ponderisanje, objedinjavanje). Svrha:

• Da se proveri osnovna struktura podataka prema dve glavne dimenzije:

pojedinačni indikatori i entiteti (pomoću odgovarajućih

multivarijacionih metoda, npr. analiza glavnih komponenata, klaster

analiza).

• Da se identifikuju grupe pokazatelja ili grupe entiteta koje su statistički

"slične" i da se obezbedi tumačenje rezultata.

• Da se uporedi statistički određena struktura podataka sa teorijskim

okvirom, i da se utvrde eventualne razlike.

5. Normalizacija. Pomoću nje se obezbeđuje uporedivost podataka. Svrha:

• Da se odabere odgovarajuća procedura normalizacije koja je u skladu i

sa teorijskim okvirom i sa svojstvima podataka.

• Da se razmotri prisustvo nestandardnih opservacija u podacima.

Moguće je da nestandardne opservacije neopravdano postanu merni

reperi.

14

• Da se, ukoliko je potrebno, podese merne skale.

• Da se, ukoliko je potrebno, transformišu veoma asimetrični indikatori.

6. Dodeljivanje težinskih koeficijenata i agregacija. Vrši se na osnovu teorijskog

okvira. Svrha:

• Da se izaberu odgovarajući težinski koeficijenti i procedura agregacije,

i da se pri tome poštuju teorijski okvir i svojstva podataka.

• Da se utvrdi da li treba voditi računa o korelacijama među

pokazateljima.

• Da se utvrdi da li se mogu dozvoliti kompenzacije među pokazateljima.

7. Analiza neizvesnosti i analiza osetljivosti. Procenjuju robusnost kompozitnog

indikatora u smislu: mehanizma za uključivanje ili isključivanje indikatora,

šeme normalizacije, rešavanja nedostajućih podataka, izbora težinskih

koeficijenata, ili načina agregiranja. Svrha:

• Da se razmotri pristup višedimenzionalnog modelovanja pri

formiranju kompozitnih indikatora, kao i izbor alternativnih

pojedinačnih indikatora.

• Da se identifikuju svi mogući izvori neizvesnosti pri formiranju

kompozitnih indikatora, i da se rezultati i kompozitni skorovi usklade

sa granicama neizvesnosti.

• Da se sprovede analiza osetljivosti na zaključak (pretpostavke) i da se

odredi koji izvori neizvesnosti najviše utiču na skorove i/ili rangove.

8. Povratak na podatke. Otkriva glavne razloge za finalni rezultat (koji može

biti dobar ili loš). Transparentnost je osnovna osobina dobre analize. Svrha:

• Da se profilišu performanse entiteta na nivou indikatora kako bi se

ustanovilo šta uzrokuje vrednosti kompozitnog indikatora.

• Da se provere korelacije i kauzalnosti (ako je moguće).

15

• Da se proveri da li postoje dominantni pojedinačni pokazatelji, koji

utiču na rezultate kompozitnog indikatora, i da se objasni relativni

značaj podkomponenata kompozitnog indikatora.

9. Povezanost sa drugim pokazateljima. Ispituje se korelacija kompozitnog

indikatora (ili njegove dimenzije) sa postojećim (jednostavnim ili

kompozitnim) indikatorima, i identifikuju se veze. Svrha:

• Da se kompozitni indikator korelira sa drugim relevantnim merama,

uzimajući u obzir rezultate analize osetljivosti.

10. Vizualizacija rezultata. Ovoj fazi treba posvetiti posebnu pažnju, s obzirom

da vizualizacija može da utiče na interpretaciju (ili pomogne da se ona

poboljša). Svrha:

• Da se identifikuje koherentan skup prezentacionih alata za korisnike.

• Da se izabere ona tehnika vizualizacije kojim se prenosi najviše

informacija.

• Da se rezultati kompozitnih indikatora predstave na jasan i precizan

način.

2.1 Teorijski okvir

Dobro definisan teorijski okvir je polazna tačka pri formiranju kompozitnih

indikatora. Okvir treba jasno da definiše fenomen koji se meri i njegove

podkomponente, pri tom birajući pojedinačne indikatore i težinske koeficijente

koji odražavaju relativnu važnost indikatora. Ovaj proces bi idealno trebalo da

se zasniva na tome šta je poželjno meriti, a ne na tome koji indikatori su dostupni

(Nardo et al., 2008).

Na primer, bruto domaći proizvod (BDP) meri ukupnu vrednost robe i

usluga proizvedenih u nekoj zemlji, gde se težinski koeficijenti procenjuju na

osnovu ekonomske teorije i odražavaju relativnu cenu robe i usluga. Teorijski i

statistički okviri za merenje BDP razvijali su se tokom poslednjih 50 godina.

16

Međutim, nemaju svi višedimenzionalni koncepti tako čvrste teorijske i

empirijske temelje. Kompozitni indikatori u novonastalim oblastima, kao što su

npr. konkurentnost, održivi razvoj, e-poslovanje, itd., mogu biti veoma

subjektivni, jer se u ovim oblastima ekonomska istraživanja još uvek razvijaju.

Transparentnost je zato od suštinskog značaja pri formiranju verodostojnih

kompozitnih pokazatelja. To podrazumeva:

• Definisanje koncepta. Treba da pruži jasan uvid u to šta se meri

kompozitnim indikatorom. Koncept bi trebalo da se odnosi na teorijski

okvir i na povezivanje različitih podgrupa pokazatelja sa osnovnim

pokazateljem. Neke složene koncepte je teško definisati i meriti precizno.

Krajnji korisnici kompozitnih indikatora su oni koji treba da procene

njihov kvalitet i relevantnost.

• Određivanje podgrupa. Višedimenzionalni koncepti se mogu podeliti u

nekoliko podgrupa. Ove podgrupe ne moraju biti statistički nezavisne, a

postojeće veze treba da budu teorijski ili empirijski što bolje opisane.

Takva struktura korisniku olakšava razumevanje kompozitnog

indikatora, a može i olakšati određivanje relativnih težinskih koeficijenata

za različite faktore. U ovom koraku treba, što je više moguće, uključiti

stručnjake i zainteresovane strane, kako bi se uzelo u obzir više stanovišta

i povećala robusnost konceptualnog okvira i skupa indikatora.

• Identifikacija kriterijuma za izbor pojedinačnih indikatora. Kriterijumi za izbor

bi trebalo da budu vodič koji definiše da li pojedinačni indikatori treba da

budu uključeni u formiranje kompozitnog indikatora ili ne. Treba da budu

što precizniji i da opišu fenomen koji se meri, odnosno ulaz, izlaz ili

proces. Kompozitni indikatori često uključuju i ulazne i izlazne mere.

17

2.2 Izbor indikatora

Snage, ali i potencijalne slabosti kompozitnih indikatora uglavnom proističu iz

kvaliteta pojedinačnih indikatora (promenljivih) od kojih se sastoje. U idealnom

slučaju, promenljive treba da budu izabrane na osnovu njihovog značaja,

analitičke ispravnosti, blagovremenosti, dostupnosti, itd. Dok izbor promenljivih

mora biti vođen teorijskim okvirom za formiranje kompozitnih indikatora,

proces selekcije podataka može biti prilično subjektivan, jer ne mora postojati

nijedan definitivan skup indikatora. Nedostatak relevantnih podataka može

takođe ograničiti sposobnost analitičara da gradi čvrste kompozitne indikatore.

S obzirom na nedostatak međunarodno uporedivih kvantitativnih podataka,

kompozitni indikatori često uključuju kvalitativne podatke iz anketa (Nardo et

al., 2008).

Ukoliko su podaci, potrebni za formiranje kompozitnog indikatora

nedostupni, ili kada na osnovu njih nije moguće porediti različite entitete,

moguće je kao zamenu koristiti neke druge indikatore. Kao i u slučaju

kvalitativnih podataka, indikatore za zamenu treba pažljivo koristiti. Njihovu

tačnost je potrebno proveriti korišćenjem korelacija i analize osetljivosti.

Analitičar takođe treba da obrati pažnju da li indikator zavisi od npr. BDP-a,

broja stanovnika ili drugih faktora veličine. Da bi se npr. obezbedilo objektivno

poređenje malih i velikih zemalja, neophodno je skaliranje varijabli

odgovarajućim merama veličine, kao što su populacija, prihod, obim trgovine,

površina naseljenog zemljišta, itd. Osim toga, vrsta odabranih indikatora - ulazni,

izlazni ili procesni indikatori - mora da odgovara definiciji kompozitnog

indikatora.

Kvalitet i tačnost kompozitnih indikatora treba da se razvija paralelno sa

poboljšanjima u prikupljanju podataka i razvoju indikatora. Sadašnji trend

izgradnje kompozitnih indikatora, npr. kao pokazatelja performansi neke zemlje,

za čitav niz raznih oblasti od interesa, može obezbediti dalji podsticaj za

poboljšanja u prikupljanju podataka, za identifikaciju novih izvora podataka i

18

poboljšanje međunarodne statističke uporedivosti. Treba imati u vidu da

korišćenje onoga što je na raspolaganju nije nužno dovoljno. Prema principu

garbage in – garbage out, loši podaci će proizvesti i slabe rezultate. Ipak, sa

pragmatične tačke gledišta, potrebno je izvršiti određene kompromise pri

formiranu kompozitnih indikatora. Prema autorima Nardo i dr. (Nardo et al.,

2008), ono što se smatra suštinskim jeste transparentnost tih kompromisa.

2.3 Obrada nedostajućih podataka

Nedostajući podaci često imaju negativan uticaj na robusnost kompozitnih

indikatora. Obrasci nedostajućih podataka mogu biti (Nardo et al., 2008):

• Potpuno nasumično (Missing completely at random - MCAR). Nedostajuće

vrednosti ne zavise od promenljivih, niti od bilo kojih varijabli u skupu

podataka. Na primer, nedostajuće vrednosti u promenljivoj prihod bi bile

tipa MCAR ako (i) oni koji ne prijavljuju svoje prihode imaju, u proseku,

iste prihode kao i oni koji ih prijavljuju; i ako (ii) sve druge promenljive su

u proseku iste, za one koji ne prijavljuju svoje prihode i one koji ih

prijavljuju.

• Nasumično (Missing at random - MAR). Nedostajuće vrednosti ne zavise

od promenljivih, ali su uslovljene drugim varijablama u skupu podataka.

Na primer, nedostajuće vrednosti kod promenljive prihod bi bile tipa MAR

ukoliko verovatnoća da podaci o prihodima nedostaju zavisi od bračnog

statusa, ali, u okviru svake kategorije bračnog statusa, verovatnoća

nedostajućeg prihoda nije u vezi sa vrednostima prihoda.

• Ne-nasumično (Not missing at random - NMAR). Nedostajuće vrednosti

zavise od samih vrednosti. Na primer, domaćinstva sa visokim prihodima

će manje verovatno da prijave svoje prihode.

19

Većina metoda koje obrađuju nedostajuće vrednosti zahtevaju slučajan

mehanizam, odnosno MCAR ili MAR. Ukoliko postoje razlozi da se pretpostavi

ne-nasumični obrazac nedostajućih podataka NMAR, obrazac mora biti

eksplicitno modeliran i uključen u analizu. Ovo bi moglo biti veoma teško i

moglo bi implicirati ad hoc pretpostavke koje će verovatno uticati na celokupan

rezultat.

Jedna od metoda za obradu nedostajućih podataka je brisanje slučajeva:

nedostajući podaci se jednostavno izostave iz analize. Ovaj pristup ignoriše

moguće sistematske razlike između potpunih i nepotpunih uzoraka i proizvodi

pouzdane procene samo ako su izbrisani entiteti slučajni poduzorci originalnog

uzorka (MCAR pretpostavka). Pored toga, standardne greške će biti veće u

smanjenom uzorku, obzirom da se koristi manje informacija. Prema pravilu, ako

promenljiva ima više od 5% vrednosti koje nedostaju, slučajevi se ne brišu (Little

& Rubin, 2002). Druga mogućnost obrade nedostajućih podataka je njihova

zamena prosečnim vrednostima (srednja vrednost/medijana/modus, regresiona

analiza). Na ovaj način je moguće minimizirati pristrasnost, ali se ovim načinom

često utiče na rezultate (Dempster & Rubin, 1983).

2.4 Normalizacija

Normalizacija je obavezan korak pri svakoj agregaciji podataka, jer pojedinačni

indikatori često imaju različite merne jedinice. Postoji veliki broj metoda

normalizacije (Freudenberg, 2003; Jacobs, Smith, & Goddard, 2004):

1. Rangiranje je najjednostavnija tehnika normalizacije. Uticaj nestandardnih

opservacija na ovaj metod nije značajan i omogućava da se performanse

entiteta prate tokom vremena, u vidu njihovog relativnog položaja (ranga).

Ipak, nije moguće oceniti performanse entiteta u apsolutnom smislu, zbog

prilično velikog gubitka informacija. Neki primeri koji koriste rangiranje za

normalizaciju podataka su: Indeks informaciono komunikacionih

20

tehnologija (Information and Communications Technology Index)

(Fagerberg, 2002) i Medicinska studija o zdravstvenim performansama

(Medicare Study on Healthcare Performance) SAD (Jencks, Huff, &

Cuerdon, 2003). Rang se može predstaviti na sledeći način:

( )t tij ijI Rang x=

gde je tijx vrednost i-tog indikatora, za j-ti entitet u trenutku t.

2. Standardizacija (z – skorovi) prevodi indikatore na zajedničku skalu sa

srednjom vrednošću nula i standardnom devijacijom jedan. U ovom slučaju

indikatori sa ekstremnim vrednostima će imati veći uticaj na kompozitni

indikator. Ovo možda nije poželjno ukoliko je namera da se nagrade

izuzetne vrednosti, odnosno, ako se izuzetno dobar rezultat kod nekoliko

pokazatelja smatra boljim nego prosečna ocena. Ovaj efekat se može

korigovati u metodologiji agregacije, npr. isključivanjem najboljih i najgorih

pojedinačnih skorova indikatora iz indeksa ili dodeljivanjem diferencijalnih

težinskih koeficijenata zasnovanih na "poželjnosti" pojedinačnih rezultata

indikatora. Standardizovani indikator se može predstaviti na sledeći način:

t tij ct

ij tc

x xI

σ−

=

gde je tijx vrednost i-tog indikatora, za j-ti entitet u trenutku t,

c predstavlja referentni entitet, a tcx i t

cσ vrednost i standardno

odstupanje referentnog entiteta.

3. Min-Max metoda normalizuje pokazatelje tako da imaju identičan raspon

[0,1], oduzimanjem minimalne vrednosti i deljenjem sa vrednošću raspona

indikatora. Međutim, ekstremne vrednosti ili nestandardne opservacije bi

mogle bitno da utiču na transformisani indikator. S druge strane, Min-Max

21

normalizacija može da poveća efekat indikatora koji leže u malom

intervalu, jer povećava njihov efekat na kompozitni indikator više nego

standardizacija. Standardizovani indikator u ovom slučaju je:

( )( ) ( )

min

max min

t tij it

ij t ti i

x xI

x x

−=

−

gde je tijx vrednost i-tog indikatora, za j-ti entitet u trenutku t, a

( )min/ max tix minimalna odnosno maksimalna vrednost i-tog indikatora.

4. Udaljenost od referentne vrednosti meri relativni položaj datog indikatora u

odnosu na referentnu tačku. Referentna vrednost može biti i neki entitet

kao spoljni reper. Na primer, SAD i Japan se često koriste kao reperi za

izgradnju kompozitnih indikatora u okviru EU. Alternativno, referentni

entitet mogao bi biti i prosečan entitet, i može mu se dodeliti vrednost 1,

dok će ostali entiteti dobijati rezultate u zavisnosti od njihove udaljenosti

od proseka. Dakle, normalizovani indikator koji je veći od 1 ukazuje na

entitet sa natprosečnim performansama. Referentni entitet takođe može da

bude i "vođa" grupe, u kojoj vodeći entitet uzima vrednost 1, a ostalima se

daju procenti udaljenosti od lidera. Ovakav pristup se, međutim, zasniva

na ekstremnim vrednostima koje mogu biti nepouzdane. Indikator se

dobija sledećim izrazom:

0

0 0 ili

tt tij ij ct t

ij ijt tc c

x x xI I

x x

−= =

gde je tijx vrednost i-tog indikatora, za j-ti entitet u trenutku t, a c

predstavlja referentni entitet.

5. Kategorijska skala dodeljuje skor za svaki indikator. Kategorije mogu biti

numeričke, kao što su jedan, dva ili tri, ili kvalitativne, kao što su

22

"potpuno", "delimično" ili "nimalo". Često se rezultati zasnivaju na

percentilima raspodele indikatora kod entiteta. Na primer, prvih 5%

dobijaju skor 100, entiteti između 85. i 95. percentila dobijaju skor 80,

entiteti između 65. i 85. percentila dobijaju skor 60, i tako sve do 0 bodova,

čime se nagrađuju najbolji entiteti i kažnjavaju najgori. Pošto se ista

transformacija putem percentila koristi za različite godine, bilo koja

promena u definiciji indikatora tokom vremena neće uticati na

transformaciju promenljivih. Međutim, na taj način je teško pratiti

poboljšanja tokom vremena. Kategorijske skale gube velike količine

informacija o varijabilitetu transformisanih pokazatelja. Osim toga, kada

postoji malo varijabiliteta u originalnim podacima, granice percentila

iziskuju kategorizaciju podataka, bez obzira na distribuciju. Moguće

rešenje je podesiti granice percentila kod pojedinačnih indikatora u cilju

dobijanja transformisane kategorijske promenljive sa približno normalnom

raspodelom. Na primer:

15

15 25

25 65

65 85

85 95

95

0

20

40

60

80

100

tij

tijtijt

ij tijtij

tij

ako x P

ako P x P

ako P x PI

ako P x P

ako P x P

ako P x

< ≤ < ≤ <= ≤ < ≤ <

≤

gde je tijx vrednost i-tog indikatora, za j-ti entitet u trenutku t, Pl je l-ti

percentil distribucije indikatora tijx .

Poseban slučaj kategorijske skale je da pokazatelji iznad ili ispod srednje

vrednosti mogu biti transformisani tako da vrednosti oko srednje dobiju

skor 0, dok one iznad/ispod određenog praga dobijaju skor 1 i -1

respektivno. Ovaj metod je jednostavan i na njega ne utiču nestandardne

opservacije (autlajeri), ali se često kritikuje zbog proizvoljnosti nivoa praga

23

i gubitka informacija. Na primer, sa pragom 20% od sredine, ako je

vrednost datog indikatora za jednu zemlju 3 puta (300%) iznad proseka, a

za drugu zemlju 25% iznad proseka, obe zemlje će se računati kao "iznad

proseka". Indikator se dobija sledećim izrazom:

( )( ) ( )

( )

1 1

0 1 1

1 1

tij

ako p w

I ako p w p

ako w p

+ <= − ≤ ≤ +− < −

gde je tijx vrednost i-tog indikatora, za j-ti entitet u trenutku t,

0ttij cw x x= , a p predstavlja proizvoljan prag oko srednje vrednosti.

6. Metode cikličnih indikatora. Rezultati istraživanja poslovnih tendencija se

obično kombinuju u kompozitne indikatore kako bi se smanjio rizik od

pogrešnih signala, i kako bi se bolje prognozirali ciklusi u privrednim

delatnostima (Nilsson, 2000). Ovaj metod implicitno dodeljuje manje

težinske koeficijente nepravilnijim serijama u cikličnom kretanju

kompozitnog indikatora, osim ako se ne vrši neki ad hoc metod

izravnavanja. Indikator se dobija sledećim izrazom:

( )t tij ijt

ij t tt ij ij

xI

E x

µµ

−=

−

gde je tijx vrednost i-tog indikatora, za j-ti entitet u trenutku t, a t

ijµ označava

očekivanu vrednost.

7. Slučajevi ravnoteže mišljenja. Ovde se od menadžera kompanija iz različitih

sektora i različitih veličina, traži da izraze svoje mišljenje o radu kompanije.

Indikator se dobija sledećim izrazom:

24

( )1100sgn

eNt t tij e ij ij

ee

I x xN

−= −∑

gde je tijx vrednost i-tog indikatora, za j-ti entitet u trenutku t, operator

sgne(x) predstavlja znak argumenta x:

( )1 0

sgn 0 0

1 0e

x

x x

x

>= =− <

a Ne je ukupan broj ispitanih eksperata.

8. Procenat godišnjih razlika tokom uzastopnih godina predstavlja procentualni

rast u odnosu na prethodnu godinu, umesto apsolutnog rasta.

Transformacija može da se koristi samo kada su indikatori dostupni za

nekoliko godina (Saltelli, Tarantola, Campolongo, & Ratto, 2004; Tarantola,

Saisana, Saltelli, Schmiedel, & Leapman, 2002). Indikator se dobija

sledećim izrazom:

1t tij ijt

ij tij

x xI

x

−−=

gde je tijx vrednost i-tog indikatora, za j-ti entitet u trenutku t.

Izbor odgovarajuće metode nije trivijalan i zaslužuje posebnu pažnju

prilikom prilagođavanja razmera (Ebert & Welsch, 2004) ili transformacije

indikatora. Prilikom izbora metode normalizacije, treba uzeti u obzir svojstva

podataka, kao i ciljeve kompozitnog indikatora. U nekim slučajevima je potrebno

proceniti uticaj metode normalizacije na rezultate, primenom testova robusnosti.

25

2.5 Težinski koeficijenti

Težinski koeficijenti značajno utiču na kompozitni indikator, i rangiranje koje

proističe iz formiranja kompozitnog indikatora. Postoji veliki broj tehnika

dodeljivanja težinskih koeficijenata (tabela 2.2). Neke su izvedene iz statističkih

modela, kao što su analiza glavnih komponenata - PCA i faktorska analiza - FA,

modeli neposmatranih komponenata (unobserved components models - UCM);

neke iz modela operacionih istraživanja, kao što je analiza obavijanja podataka -

DEA (Martić & Savić, 2001; Martić, 1999); a neke iz participativnih metoda, kao

što su analitički hijerarhijski procesi – AHP (R. W. Saaty, 1987; T. L. Saaty, 1980)

i conjoint analiza (CA).

Tabela 2.2 Metode dodeljivanja težinskih koeficijenata

Tehnike ponderiasanja Tehnike agregacije

Linearna Geometrijska

EW √ √

PCA/FA √ √

UCM √

AHP √ √

CA √ √

Veoma često je i subjektivno dodeljivanje težinskih koeficijenata (prema

subjektivnom mišljenu određenog eksperta). Bez obzira na to koji metod se

koristi, težinski koeficijenti zapravo predstavljaju procenu koliki je uticaj svakog

ulaznog indikatora na rezultat. Dok neki analitičari biraju težinske koeficijente

samo na osnovu statističkih metoda, drugi ih često biraju isključivo na osnovu

subjektivnih stavova, pa tako nagrađuju (ili kažnjavaju) ulazne indikatore koje

26

smatraju više (ili manje) uticajnim, u zavisnosti od njihovog stručnog mišljenja

(Nardo et al., 2008).

Većina kompozitnih indikatora se oslanja na ravnopravno ponderisanje

(equal weighting - EW), odnosno svim ulaznim indikatorima dodeljeni su

jednaki ponderi. To, u suštini, znači da sve promenljive u okviru kompozitnog

indikatora jednako "vrede". Međutim, ta metoda često prikriva odsustvo

statističke ili empirijske osnove dodeljivanja težinskih koeficijenata: na primer,

kada su uzročni odnosi nedovoljno poznati ili kada jednostavno ne postoji druga

alternativa. U svakom slučaju, jednako ponderisanje ne mora da znači da težinski

koeficijenti ne postoje, već implicitno podrazumeva da su oni međusobno

jednaki (Nardo et al., 2008). Štaviše, ako su varijable grupisane prema određenim

dimenzijama, pa se tako agregiraju u kompozitni indikator, onda primena

jednakih pondera može značiti nejednake pondere po dimenzijama (dimenzije

grupisanja većeg broja promenljivih će imati veće težinske koeficijente). To bi

moglo dovesti do neuravnotežene strukture kompozitnog indikatora (Nardo et

al., 2008).

Težinski koeficijenti takođe mogu biti izabrani tako da odražavaju

statističke kvalitete podataka. Veći težinski koeficijenti mogu biti dodeljeni

statistički pouzdanijim podacima. Međutim, ova metoda može biti pristrasna

prema lako dostupnim indikatorima, kažnjavajući informacije koje je statistički

problematično identifikovati i meriti.

Kada se dodeljuju jednaki ponderi, može se desiti da, kombinovanjem

indikatora sa visokim stepenom korelacije, element dupliciteta informacija bude

uveden u indeks: ako se dva kolinearna indikatora uključe u kompozitni

indikator sa težinama 1w i 2w jedinstvena dimenzija koju ta dva indikatora mere

u kompozitnom indikatoru ima težinu ( 1 2w w+ ). Rešenje problema može biti da

se za skup ulaznih indikatora prvo ispita korelacija, pa da se u kompozitni

indikator biraju samo indikatori koji pokazuju nizak stepen korelacije, ili da se

težinski koeficijenti podese na odgovarajući način, npr. da se visoko korelisanim

27

indikatorima dodele manji ponderi. Osim toga, minimiziranje broja indikatora u

kompozitnom indikatoru može biti poželjno po drugim osnovama, kao što je

transparentnost indikatora.

Treba imati na umu da će skoro uvek biti pozitivnih korelacija između

indikatora, pa bi trebalo definisati prag iznad kog je jaka korelacija simptom

dupliciteta informacija. Ako bi težinski koeficijenti idealno odražavali doprinos

svakog indikatora kompozitnom indikatoru, duplicitet informacija treba da se

utvrdi ne samo putem statističke analize, već i analizom samog indikatora u

odnosu na ostale indikatora i u odnosu na pojavu koja se meri.

Postojeća literatura nudi bogat pregled alternativnih metoda dodeljivanja

težinskih koeficijenata, i sve imaju određene prednosti i nedostatke. Statistički

modeli, kao što su analiza glavnih komponenti (PCA) ili faktorska analiza (FA),

mogu se koristiti za grupisanje pojedinačnih indikatora prema stepenu

korelacije. Težinski koeficijenti se, međutim, ne mogu definisati ovim metodama,

ako ne postoji korelacija između pokazatelja.

Alternativno, za dodeljivanje težinskih koeficijenata mogu se koristiti

participativne metode koje uključuju različite zainteresovane strane - stručnjake,

građane i političare. Ovaj pristup je moguć kada postoji dobro definisan osnov.

Za međunarodna poređenja, takve reference često nisu dostupne, ili su

kontradiktorne.

2.6 Metode agregacije

Osnovne metode koje se koriste u postupku agregacije, pri formiranju

kompozitnih indikatora, su aditivna (linearna) i geometrijska agregacija. Metod

linearne agregacije je koristan kada svi pojedinačni pokazatelji imaju istu mernu

jedinicu:

28

gde je jCI vrednost kompozitnog indikatora za entitet j, j=1,…M, ijI je vrednost

pojedinačnog i-tog indikatora, i=1,...N, za entitet j, a iw je odgovarajući težinski

koeficijent za i-ti indikator (Nardo et al., 2008). Ovaj metod agregacije je

jednostavan, a nestandardne opservacije na njega ne utiču mnogo. Međutim, iako

se često upotrebljava, ovaj metod agregacije ograničava prirodu pojedinačnih

indikatora. Konkretno, dobijanje korisnog kompozitnog indikatora zavisi od

kvaliteta osnovnih individualnih pokazatelja i njihovih jedinica merenja.

Geometrijska agregacija je pogodnija ako analitičar ne želi da ostavi

prostora za mogućnost kompenzacije između pojedinačnih indikatora ili

dimenzija:

( )1

iN w

j iji

CI I=

= ∏

Linearna agregacija nagrađuje osnovne indikatore srazmerno njihovim

ponderima, dok geometrijska agregacija nagrađuje entitete sa višim skorovima.

I kod linearne i kod geometrijske agregacije, težinski koeficijenti dopuštaju

kompromise između indikatora. Na taj način, deficit u jednoj dimenziji tako

može biti nadoknađen suficitom u drugoj. Ovo podrazumeva nedoslednost

između toga kako su težine zamišljene (obično mere značaj indikatora) i stvarnog

smisla, kada se geometrijska ili linearna agregacija i koriste. Kod linearne

agregacije, kompenzacija indikatora je konstantna, dok je kod geometrijske

agregacije niža za kompozitne indikatore sa niskim vrednostima. Dakle ako se

kod geometrijske agregacije vrši kompenzacija (kao npr. u slučaju čistih

ekonomskih indikatora), entitetima sa niskim vrednostima jednog indikatora

1

N

j i iji

CI w I=

=∑

29

trebaće mnogo viši skor kod drugih indikatora kako bi poboljšali svoje pozicije.

S druge strane, marginalna korisnost od povećanja u niskom apsolutnom skoru

će biti mnogo veća nego u visokom apsolutnom skoru. Shodno tome, veći će biti

podsticaj da se unaprede oni indikatori sa niskim skorovima ako je agregacija

geometrijska, jer su tako bolje šanse za poboljšanje pozicije u rangiranju (Munda,

2012).

Da bi se obezbedilo da težinski koeficijenti ostanu mera značajnosti

indikatora, trebalo bi da se koriste druge metode agregacije, posebno one metode

koje ne dozvoljavaju kompenzaciju. Štaviše, ako su različiti ciljevi podjednako

legitimni i važni, čak je i neophodno da ne bude kompenzacije. To je obično slučaj

kada su dimenzije koje se grupišu u kompozitni indikator veoma različite, npr. u

slučaju indeksa koji uključuju prirodne, društvene, ekološke i ekonomske

podatke.

Održavanje težinskih koeficijenata konstantnim tokom vremena može biti

opravdano, ako je analitičar spreman da analizira evoluciju određenog broja

promenljivih. Ako je cilj analize definisanje najbolje prakse ili postavljanje

prioriteta, onda bi težinske koeficijente trebalo obavezno menjati tokom

vremena.

Odsustvo "objektivnog" načina za utvrđivanje težinskih koeficijenata ili

metoda agregacije, ne mora nužno dovesti do odbacivanja validnosti

kompozitnih indikatora dok god je ceo proces formiranja transparentan. Ciljevi

analitičara treba od početka da budu jasni, pa izabrani model treba testirati kako

bi se utvrdilo u kojoj meri ispunjava te ciljeve.

Još jedan metod agregacije više pojedinačnih indikatora u jedan sinergetski

indikator obezbeđuje metoda Ivanovićevog odstojanja. Samo I-odstojanje

predstavlja kompozitni indikator koji se zasniva na merenju višedimenzionalnih

odstojanja između entiteta, na taj način da se izbegnu dupliciteti informacija koje

nosi niz srodnih indikatora. Konstrukcija I-odstojanja počinje integracijom

celokupnog diskriminacionog efekta indikatora koji sadrži najveću količinu

30

informacija o entitetima koji se rangiraju. Zatim se dodaje onaj deo

diskriminacionog efekta drugog (po rangu) indikatora koji nije bio već uključen

u diskriminacionom efektu prvog, itd. (Ivanović, 1977). Proces formiranja I-

odstojanja detaljno je opisan u poglavlju 4.

Jedna od kritika I-odstojanja je upravo što proces njegovog formiranja nije

sasvim transparentan, obzirom da se zasniva na sumi višedimenzionalnih

odstojanja entiteta.

U doktorskoj disertaciji biće razmatran linearni metod agregacije, zasnovan

na I-odstojanju, koji će povećati transparentnost procesa formiranja kompozitnih

indikatora. Analize i studije slučaja će se fokusirati na obradu i unapređenje

kompozitnih indikatora za merenje onih pojava, kojima odgovara ovakav princip

agregacije.

31

3 MULTIVARIJACIONA ANALIZA

Postoji veliki broj fenomena i pojava čija se evaluacija zasniva na većem broju

različitih promenljivih, i čije merenje uključuje više različitih indikatora (Bulajić,

2002). Da bi se predstavila višekriterijumska priroda takvih pojava, koristi se

multivarijaciona analiza (Bulajić, Jeremić, & Radojičić, 2012). Ona omogućava da

se višedimenzionalne pojave sagledaju iz aspekta svih dimenzija, koje su najčešće

različite, kao i poređenje entiteta koji se evaluiraju u okviru više dimenzija.

Pri ovoj vrsti analize postoje određena ograničenja: dešava se da su neki od

indikatora međusobno korelisani; nekada je neophodno objasniti komplikovane

međuodnose različitih varijabli nad istim entitetima. Zato se rezultati i adekvatna

analiza ne mogu postići bez korišćenja multivarijacione analize (Agresti & Finlay

Agresti, 1979; Bulajić, 1986, 2002; Delić & Kragulj, 2005; Jeremić, 2012; Milosevic,

Filipovic, Djuric, & Dobrota, 2014; Radojičić, 2007). Danas razvijene naučne

metodologije traže kompleksne i složene relacije između promenljivih, u

pokušaju da se obezbedi što sveobuhvatnija višedimenzionalna statistička

analiza (Bulajić, 2002; Jednak, Kragulj, Bulajic, & Pittman, 2009; Jeremić, 2012;

Radojičić, 2007).

Da bi se došlo do rezultata koji se mogu tumačiti, potrebno je koristiti

odgovarajući proces, što je u multivarijacionoj analizi iterativanog i stohastičkog

karaktera (Hawkes, 1971). Za analizu koja zahteva multivarijacionu statistiku,

formiraju se odgovarajući nizovi podataka, koji mogu biti organizovani kao

matrice podataka, korelacione matrice, matrice varijansi - kovarijansi, matrica

sume kvadrata, matrica unakrsnih proizvoda (cross product) ili niz reziduala

(Anderson, 1966).

Kada se analizira i objašnjava priroda kompleksnog fenomena, često je

teško da se priroda entiteta sagleda u potpunosti. Međutim, moguće je analizom

obuhvatiti različite karakteristike jedne višedimenzionalne pojave, koje

predstavljaju predmet merenja, i koje se nazivaju promenljive ili indikatori.

32

Multivarijaciona analiza pokušava da ispita prirodu entiteta tako što

istovremeno meri veći broj promenljivih na svakom entitetu, iz jednog ili više

skupova entiteta (Vuković & Bulajić, 2014; Vuković, 1977, 2000). Prema Kovačiću

(Kovačić, 1992), ona predstavlja skup statističkih metoda, koje analiziraju

višedimenzionalna merenja dobijena za svaki entitet iz posmatranog skupa.

Matrica podataka data je u tabeli 3.1, gde su po redovima dati entiteti koji

se ispituju a po kolonama promenljive koje ih opisuju. Pretpostavimo da postoji

n entiteta i m promenljivih (indikatora). U tom slučaju je Xij element koji

predstavlja vrednost j-te promenljive merene na i-tom entitetu. U matričnoj

notaciji ova matrica podataka označava se sa X, odnosno [Xij], i=1,2,...n; j=1,2,...m.

Tabela 3.1 Matrica podataka ei – entiteti Vj - promenljive

V1 V2 ... Vj ... Vm

e1 X11 X12 ... X1j ... X1m

e2 X21 X22 ... X2j ... X2m

... ... ... ... ...

ei Xi1 Xi2 ... Xij ... Xim

... ... ... ... ...

en Xn1 Xn2 ... Xnj ... Xnm

Dimenzije posmatrane matrice podataka su često veoma velike pa je

zaključivanje o međuzavisnosti promenljivih nekada teško. Da bi se olakšalo,

koriste se metode multivarijacione analize koje omogućavaju redukciju velike

količine podataka. Tako se u cilju lakše interpretacije može pojednostaviti

složena struktura posmatranog fenomena.

Metode multivarijacione analize koriste se i u procesu zaključivanja, za

ocenjivanje stepena međuzavisnosti promenljivih ili testiranje njihovih

statističkih značajnosti. Metode takođe mogu biti istraživačkog karaktera, tj.

33

koriste se, ne za testiranje a priori definisanih hipoteza, već za njihovo

generisanje.

Klasifikacija metoda multivarijacione analize zasniva se na različitim

kriterijumima (Bulajić, 2002; Jeremić, 2012; Radojičić, 2007). Prva klasifikacija je

prema tome da li su metode orjentisane ka ispitivanju međuzavisnosti

promenljivih ili međuzavisnosti entiteta. Ako je u pitanju međuzavisnost

promenljivih, osnovu čine kovarijaciona ili korelaciona matrica. Kod drugog

pristupa, definišu se mere bliskosti između dva entiteta, a osnovu čini matrica

odstojanja.

Druga klasifikacija deli metode u dve grupe: metode zavisnosti i metode

međuzavisnosti. Kod metoda zavisnosti, ispituje se zavisnost između dva skupa

promenljivih, gde se jedan skup odnosi na zavisne, a drugi objašnjavajuće

promenljive. S druge strane, ako nema teorijskog osnova za podelu svih

promenljivih na dva podskupa (zavisnih i objašnjavajućih), koriste se metode

međuzavisnosti. Dok metode zavisnosti teže da objasne ili predvide jednu ili više

zavisnih promenljivih na osnovu skupa objašnjavajućih, metode međuzavisnosti

nisu po svojoj prirodi prediktivne. Pomoću njih se analizira kompleksna

unutrašnja struktura podataka, prvenstveno kroz redukciju podataka (Kovačić,

1992).

Podela metoda multivarijacione analize na metode zavisnosti i

međuzavisnosti (Bulajić, 2002; Radojičić, Vuković, & Vukmirović, 2003):

Metode zavisnosti:

1. Multivarijaciona regresija je najpoznatija metoda multivarijacione analize.

Razlikuju se dva slučaja: višestruka regresija, gde se analizira zavisnost jedne

promenljive (zavisna) od skupa drugih promenljivih (objašnjavajuće); i opštiji

model, kada postoji više zavisnih i više objašnjavajućih promenljivih. Kod oba

34

modela zadatak je ocenjivanje ili predviđanje srednje vrednosti

zavisne/zavisnih na osnovu poznatih vrednosti objašnjavajućih promenljivih.

2. Kanonočka korelaciona analiza se može smatrati uopštenjem višestruke

regresione analize. Ona utvrđuje linearnu zavisnost između skupa nezavisnih

i skupa objašnjavajućih promenljivih. Kod računanja kanoničke korelacije

formiraju se dve linearne kombinacije, jedna za skup nezavisnih, a druga za

skup objašnjavajućih promenljivih. Njihovi koeficijenti se određuju tako da

koeficijent korelacije između njih bude najveći mogući.

3. Diskriminaciona analiza se bavi problemom razdvajanja grupa i alokacijom

entiteta u ranije definisane grupe. Prvo se identifikuje promenljiva koja je

najviše doprinela razdvajanju grupa, a zatim se predviđa verovatnoća da će

entitet pripasti jednoj od grupa, a na osnovu vrednosti objašnjavajućih

promenljivih.

4. Multivarijaciona analiza varijanse (MANOVA) je odgovarajuća metoda kada se

ispituje uticaj različitih nivoa jedne ili više "eksperimentalnih" promenljivih na

dve ili više zavisnih promenljivih. U tom smislu predstavlja uopštenje

jednodimenzionalne analize varijanse (ANOVA). Osnovni cilj je testiranje

hipoteze koja se odnosi na varijansu efekata grupa dve ili više zavisnih

promenljivih.

5. Logit analiza se koristi kada je u regresionom modelu zavisna promenljiva

dihotomnog tipa (npr. pol sa modalitetima: muško-žensko). Takav model se

naziva regresioni model sa kvalitativnom zavisnom promenljivom. Zavisna

promenljiva se dobija iz tzv. Logit funkcije - logaritam količnika verovatnoća da

će binarna zavisna promenljiva uzeti jednu od dve moguće vrednosti. Modeli

ovog tipa nazivaju se i modeli logističke regresione analize.

35

Metode međuzavisnosti:

1. Analiza glavnih komponenata koristi se za redukciju većeg broja promenljivih na

manji broj novih promenljivih (glavne komponente). Najčešće se manjim

brojem glavnih komponenata objašnjava veći deo varijabiliteta originalnih

promenljivih, što omogućava lakše razumevanje informacija sadržanih u

podacima. Osnovni zadatak je konstruisanje linearne kombinacije prvobitnih

promenljivih (glavnih komponenata) uz uslov da se obuhvati što je moguće

više varijabiliteta originalnog skupa promenljivih.

2. Faktorska analiza je slična metodi glavnih komponenata jer se koristi za

redukciju promenljivih. Međutim originalna promenljiva se ovde iskazuje kao

linearna kombinacija faktora uz dodatak greške modela, pa se celokupna

kovarijansa objašnjava zajedničkim faktorima, a neobjašnjeni deo greškom

(specifičan faktor). Za razliku od glavnih komponenata gde se objašnjava

varijabilitet, kod faktorske analize se objašnjava kovarijansa, odnosno onaj deo

ukupnog varijabiliteta koji promenljiva deli sa ostalim promenljivim iz

posmatranog skupa.

3. Analiza grupisanja je metoda za redukciju podataka orjentisana ka entitetima,

koja kombinuje entitete u relativno homogene grupe. Zadatak je identifikacija

manjeg broja grupa, tako da su entiteti koji pripadaju istoj grupi sličniji jedan

drugom, nego oni koji pripadaju različitim grupama.

4. Višedimenzionalno proporcionalno prikazivanje pripada klasi metoda koje su

orjentisane ka entitetima, a koristi mere sličnosti, odnosno razlika između

entiteta u cilju njihovog prostornog prikazivanja.

5. Loglinearni modeli omogućavaju ispitivanje međusobne zavisnosti

kvalitativnih promenljivih koje formiraju višedimenzionalnu tabelu

kontigencije. Ukoliko se jedna od promenljivih može smatrati zavisnom, tada

se na osnovu ocenjenih loglinearnih modela mogu izvesti logit modeli.

36

Pored ovih metoda multivarijacione analize koje su najčešće, u naučnim

istraživanjima pojavljuju se i druge metode i modeli (Dixon & Massey, 1983). U

nastavku poglavlja biće reči o nekim od najznačajnijih metoda multivarijacione

analize.

3.1 Analiza glavnih komponenata

Metoda glavnih komponenata se koristi za redukciju dimenzije podataka, uz

zadržavanje maksimalnog mogućeg varijabiliteta. Ovo može pojednostaviti

analizu, jer se veliki broj pokazatelja svodi na manji broj, a zadržava se dobar deo

informacija, sadržanih u prvobitnom skupu podataka. Na taj način, ne samo da

se smanjuje broj promenljivih u analizi, već se i olakšava razumevanje strukture

fenomena koji se izučava.

Osnovni zadatak metode glavnih komponenata je određivanje linearne

kombinacije originalnih promenljivih koja će imati maksimalan varijabilitet.

Drugi i opštiji zadatak je određivanje nekoliko linearnih kombinacija originalnih

promenljivih koje će, osim toga što imaju maksimalan varijabilitet, biti

međusobno nekorelisane, a pri tome će doći do što je moguće manjeg gubitka

informacija (Bulajić, 2002; Delić, 2003). Primenom ove metode, originalne

promenljive se transformišu u nove promenljive koje se nazivaju glavne

komponente (Rao, 1965).

Prva glavna komponenta se formira tako da obuhvata najveći deo

varijabiliteta originalnog skupa podataka, a naredne se formiraju tako da

obuhvate najveći deo onog varijabiliteta koji nije obuhvaćen prethodnim glavnim

komponentama (Kovačić, 1992). Realizacijom ovih zadataka se postižu dva cilja:

• Redukcija originalnog skupa podataka,

• Olakšavanje interpretacija.

37

Redukcija podataka se sastoji u tome da se višedimenzionalni skup

podataka sumira sa manjim brojem linearnih kombinacija (novih promenljivih).

Ovom redukcijom se postiže i drugi cilj – olakšava se interpretacija kovarijacione

strukture originalnog skupa promenljivih i to na osnovu manjeg broja

međusobno nekorelisanih glavnih komponenata (Bulajić, 2002; Jeremić, 2012).

Neka je X p-dimenzioni slučajan vektor sa kovarijacionom matricom Σ.

Neka je

1 11 1 12 2 1 1... Tp pY X X X Xα α α α= + + + =

linearna kombinacija elemenata vektora X, gde su 11 12 1, , ... pα α α koeficijenti

linearne kombinacije. Poznato je da je 1 1 1 1( ) ( )T TVar Y Var Xα α α= = ∑ . Treba odrediti

vektor koeficijenata 1α , tako da se maksimizira varijabilitet od Y1. Pošto se

Var(Y1) može uvećavati množenjem vektora 1α proizvoljnim skalarom, uvodi se

ograničenje da je vektor koeficijenata jedinične dužine, tj. 1 1 1Tα α = . Problem

maksimiziranja 1 1Tα α∑ pri ograničenju 1 1 1Tα α = se rešava korišćenjem

Lagranžovih množitelja tako što se maksimizira Lagranžova funkcija

1 1 1 1( 1)T Tα α λ α α− −∑ , gde je λ Lagranžov množitelj.

Diferenciranjem funkcije po koeficijentima 1α , i izjednačavanjem sa nulom,

dobija se 1 1 0α λα− =∑ ili ( ) 1 0Iλ α− =∑ , gde je I jedinična matrica dimenzija

pxp. Determinanta Iλ−∑ mora biti jednaka 0 da bi se za 1α dobilo netrivijalno

rešenje, što znači da λ mora biti jedan od karakterističnih korena kovarijacione

matrice Σ. Množenjem sa leve strane gornjeg izraza sa 1Tα dobija se

1 1 1 1 0T Tα α λα α− =∑ .

38

Pošto je 1 1 1 0Tα α − = , sledi da je ( )1 1 1T Var Yλ α α= =∑ . S obzirom da je cilj da

se maksimizira varijabilitet, za λ se uzima najveći karakteristični koren, na primer

λ1. Iz uslova ( ) 1 0Iλ α− =∑ sledi da je 1α odgovarajući karakteristični vektor

pridružen karakterističnom korenu λ1. Njegovim normiranjem ( 1 1 1Tα α = ) dobija

se traženi vektor 1α , a 1 11 1 12 2 1 1... Tp pY X X X Xα α α α= + + + = predstavlja

prvu glavnu komponentu (Bulajić, 2002; Radojičić, 2007).

Ukoliko treba odrediti više glavnih komponenti, postupak se ponavlja, uz

dodatni uslov da kovarijansa prve i druge glavne komponente bude jednaka nuli.

Dodatni uslov nekorelacije prve i druge komponente se svodi na uslov 2 1 1Tα α = .

Na ovaj način se mogu odrediti sve glavne komponente, a ima ih onoliko

koliko ima i različitih karakterističnih korena kovarijacione matrice. Ako su svi

karakteristični koreni matrice Σ međusobno različiti (λ1>λ2>….>λp>0), tada

postoji p glavnih komponenata 1 2, ,... pY Y Y ( , 1...Tj jY X j pα= = ). Vektori

koeficijenata 1 2, ,... pα α α su karakteristični vektori matrice Σ koji su pridruženi

karakterističnim korenima λj.

Iz definicije glavnih komponenata proizlaze sledeće osobine:

• Očekivana vrednost glavnih komponenata je ( ) 0jE Y = ;

• Varijansa ( )j jVar Y λ= ;

• Kovarijansa svakog para glavnih komponenti je jednaka nuli:

( ), 0i jCov Y Y = , i ≠ j;

• Var(Y1) ≥ Var(Y2) ≥….≥ Var(Yp) ≥ 0 (Kovačić, 1992).

Kovarijaciona matrica pruža informaciju o varijabilitetu i kovarijansi

promenljivih, ali na osnovu p(p+1)/2 elemenata. U cilju iskazivanja stepena

varijabiliteta pomoću jednog broja, u višedimenzionalnom slučaju, definiše se

39

sintetički pokazatelj - generalizovana varijansa. Postoje dve alternativne definicije

generalizovane varijanse (Kovačić, 1992). Prema prvoj, češće korišćenoj definiciji,

generalizovana varijansa je determinanta kovarijacione matrice, a prema drugoj,

trag kovarijacione matrice.

Bitno je imati u vidu iznos varijabiliteta originalnih promenljivih koji se

objašnjava zadržanim skupom glavnih komponenata. On pokazuje u kom

stepenu zadržane glavne komponente dobro aproksimiraju varijabilitet svake

originalne promenljive posebno. Na osnovu izraza ortogonalne dekompozicije

kovarijacione matrice ( 'A AΣ = Λ ) sledi da je varijabilitet k-te promenljive:

2 2

1

, 1,2...,p

kk i jkj

k pσ λ α=

= =∑

Doprinos svake glavne komponente varijabilitetu k-te promenljive, jednak

je kvadratu koeficijenata korelacije glavne komponente i te originalne

promenljive. Doprinos svih glavnih komponenata računa se kao suma kvadrata

elemenata u k-tom redu korelacione matrice. Količnik dobijene sume i

odgovarajuće varijanse originalne promenljive predstavlja proporciju varijanse

te promenljive, koja je objašnjena zadržanim glavnim komponentama. Ova

proporcija se naziva komunalitet promenljive. Ako se, umesto kovarijacione,

koristi korelaciona matricu, odmah se dobija proporcija varijanse originalne

promenljive, jer je, standardizacijom promenljivih, vrednost varijanse svedena na

jedinicu.

Moguće je izračunati onoliko glavnih komponenata koliko ima

promenljivih. Ako su u analizi zadržane sve glavne komponente, svaka

promenljiva će biti tačno predstavljena, ali neće doći do smanjenja obima skupa

podataka. U tom slučaju su komunaliteti za svaku promenljivu jednaki jedinici,

jer je glavnim komponentama obuhvaćen ukupan varijabilitet polaznog skupa

podataka. Sve izdvojene glavne komponente mogu biti zadržane u analizi onda

40

kad je potrebno da promenljive, tj. njihove linearne kombinacije, budu

međusobno nekorelisane (Bulajić, 2002; Jeremić, 2012).

3.2 Faktorska analiza

Faktorska analiza, slično kao analiza glavnih komponenata, služi za

identifikaciju relativno malog broja faktora, koji mogu opisati odnose između

grupa promenljivih kada su one međusobno povezane. Obe metode

omogućavaju da se identifikuju dimenzije posmatrane pojave, koje nisu direktno

vidljive. Osnovna razlika je način posmatranja podataka: kod faktorske analize u

razmatranje se uzimaju van-dijagonalni elementi disperzione matrice

(kovarijanse), dok se analiza glavnih komponenata zasniva na dijagonalnim

elementima (varijansama). Faktorska analiza i analiza glavnih komponenata

imaju iste ciljeve i postupak njihovog sprovođenja je sličan (Bulajić, 2002).

Prvi cilj faktorske analize je da zapažene korelacije u podacima, budu

objašnjene pomoću što manjeg broja faktora. Drugi važan cilj je da faktori imaju

neko smisleno značenje. Faktorska analiza, sprovodi se u četiri koraka:

1. Računanje kovarijacione matrice - promenljive koje nisu međusobno

povezane mogu se identifikovati iz matrice. Preko korelacione matrice

može biti ocenjena validnost faktorskog modela. Pošto je jedan od

osnovnih ciljeva da se pronađu oni faktori koji su isti, odnosno zajednički

za više promenljivih, promenljive moraju biti u korelaciji jedna sa drugom.

Ako su korelacije između promenljivih niske, vrlo je verovatno da imaju

malo zajedničkih faktora (Bulajić, 2002; Jeremić, 2012). Pokazatelj jačine

veza između promenljivih je parcijalni koeficijent korelacije. Ako

promenljive dele zajedničke faktore i kada se eliminišu linearni efekti

drugih promenljivih, vrednosti parcijalnih koeficijenata korelacije među

parovima promenljivih bi trebalo da budu male. Kada su pretpostavke

41

faktorske analize ispunjene, koeficijenti korelacije bi trebalo da budu

približni 0.

2. Ekstrakcija faktora - određuje se broj faktora neophodnih za predstavljanje

podataka, kao i metod za njihovu ekstrakciju. Neophodno je odrediti i

koliko kvalitetno izabrani model predstavlja originalne podatke.

3. Rotacija faktora - podrazumeva transformaciju faktora, kako bi se lakše

interpretirali.

4. Računanje faktorskih skorova - za svaku opservaciju i za svaki faktor. Ovi

skorovi se mogu koristiti kao podaci u drugim analizama (Radojičić, 2007).

Osnovna pretpostavka faktorske analize je da su zapažene korelacije

između promenljivih posledica postojanja faktora. Cilj faktorske analize je da

identifikuje faktore koji se ne mogu jednostavno uočiti na osnovu grupe

posmatranih promenljivih. Matematički model je sličan nizu jednačina

višestruke regresije: svaka promenljiva je predstavljena kao linearna kombinacija

faktora, a grupe promenljivih se izražavaju preko faktora. Zajednički faktori su

oni preko kojih se mogu izraziti sve promenljive, dok su jedinstveni oni koji služe

za opisivanje uticaja pojedinih promenljivih, koji nije obuhvaćen zajedničkim

faktorima (Kovačić, 1992).

Neka je X vektor od p promenljivih koje se direktno posmatraju. Model

faktorske analize pretpostavlja da se X može izraziti preko skupa od m zajedničkih

faktora, u oznaci F1,F2,...,Fm ( m<<p), i p specifičnih, u oznaci e1,e2,...,ep (koji se ne

posmatraju direktno). Model se može prikazati u matričnoj notaciji:

( ) ( ) ( ) ( ) ( )1 1 1 1p p p m m pX B F eµ× × × × ×− = +

42

Elementi matrice B, bij su faktorska opterećenja i-te promenljive na j-ti

faktor, a sama matrica naziva je matrica faktorskih opterećenja. Moguće je

definisati sledeće pretpostavke modela:

( ) ( ) ( )0, 'E F Cov F E FF= = = Φ (Razmatramo specifični slučaj Φ = I)

( ) ( ) ( )0, 'E e Cov e E ee= = = Ψ (Dijagonalna matrica)

( ) ( ), ' 0Cov e F E eF= =

Vezu između odstupanja promenljivih od njihove sredine i neopažljivih

faktora, zajedno sa navedenim pretpostavkama, nazivamo model faktorske analize

(Bulajić, 2002). Ovaj model omogućava sledeće razlaganje kovarijacione matrice TBBΣ = + Ψ , gde je Σ - kovarijaciona matrica, B - matrica faktorskih opterećenja,

Ψ - dijagonalna matrica specifičnih faktora.

Kako je ( , )Cov X F B= , znači da su elementi matrice faktorskih opterećenja

kovarijanse između originalnih promenljivih i faktora. Na osnovu razlaganja

matrice kovarijacione strukture, važi da je varijansa i-te promenljive

2

1

m

ijii ij

S B=

= +Ψ∑ , tj. podeljena je na dva dela, prvi 22

1

m

ijij

h B=

=∑ koji predstavlja

varijansu objašnjenu zajedničkim faktorima i naziva se zajednička varijansa ili

komunalitet, a drugi deo je specifična varijansa Ψi (Kovačić, 1992).

3.2.1 Određivanje broja faktora

Da bi se odredio broj faktora, potrebno je ispitati procenat ukupnog varijabiliteta

koji objašnjava svaki od faktora. Ukupna varijansa je suma varijansi svake

promenljive. Faktori su izraženi u standardizovanom obliku, sa srednjom

vrednošću 0 i standardnom devijacijom 1, što važi i za originalne promenljive.

43

Ako postoji n promenljivih, koje su standardizovane i čija je varijansa jednaka 1,

ukupna varijansa će biti n. Ukupna varijansa objašnjena svakim faktorom

predstavlja sopstvenu vrednost korelacione matrice za dati faktor. Za svaki

faktor određuje se procenat ukupnog varijabiliteta koji on obuhvata, kao i

kumulativni procenat objašnjenog varijabiliteta. Faktore su poređani po

opadajućem redosledu procenta objašnjene varijanse.

Jedan od kriterijuma za određivanje broja faktora predlaže uključivanje

onih faktora čija je varijansa veća od 1 (vrednost sopstvene vrednosti veća od 1).

Faktori čija je varijansa manja od jedan nisu bolji od pojedinačnih promenljivih,

pošto svaka promenljiva ima varijansu jednaku jedinici (Momirović & Fajgelj,

1994). Svaki red u matrici faktorskih opterećenja sadrži koeficijente koji se koriste

za izražavanje standardizovanih promenljivih preko faktora i oni ukazuju na to

koliki je stepen važnosti dodeljen svakom faktoru. Faktori sa velikim

koeficijentima (po apsolutnoj vrednosti) za promenljive su usko povezani sa

promenljivima. Kada procenjeni faktori nisu u korelaciji jedni sa drugima, tj.

kada su ortogonalni, faktorska opterećenja su koeficijenti korelacije između

faktora i promenljivih. Korelaciona matrica između promenljivih i faktora se

naziva i matrica strukture (Kovačić, 1992).

Komunalitet je deo ukupnog varijabiliteta promenljive, obuhvaćen

izdvojenim faktorima iz modela, i može da ima vrednosti iz skupa [0,1], gde 0

ukazuje da zajednički faktor ne objašnjava varijansu, a 1 da je ukupna varijansa

promenljive objašnjena zajedničkim faktorima. Varijansa koja nije objašnjena

zajedničkim faktorima odnosi se na jedinstveni faktor i specifična je za svaku

promenljivu.

Kako je pretpostavka faktorske analize je da korelacija između promenljivih

posledica deljenja zajedničkih faktora, procenjena korelacija između faktora i

promenljivih može se koristiti za procenu korelacija između samih promenljivih.

Generalno, ako su faktori ortogonalni, procenjeni koeficijenti korelacije

promenljivih Xi i Xj su:

44

1 1 2 21

...k

ij fi fj i j i j k i k jf

r r r r r r r r r=

= = + + +∑

gde je k broj zajedničkih faktora, rij su korelacije između j-tog faktora i i-te

promenljive (Kovačić, 1992). Proporcija ukupne varijanse objašnjene svakim

faktorom može se izračunati iz faktorske matrice. Proporcija ukupne varijanse

objašnjene Faktorom 1 se izračunava sumiranjem proporcija varijanse svake

promenljive koja je određena Faktorom 1.

3.2.2 Faza rotacije

Iako faktorska matrica, dobijena u fazi ekstrakcije, ukazuje na vezu između

faktora i individualnih promenljivih, obično je teško identifikovati značajne

faktore na osnovu matrice. Većina faktora su u korelaciji sa mnogim

promenljivama. Pošto je jedan od ciljeva da se identifikuju faktori koji su od

velikog značaja (u smislu da sumiraju grupe usko povezanih promenljivih), faza

rotacije faktorske analize nastoji da transformiše početnu matricu u neku koja se

lako interpretira.

Kod modela faktorske analize ne postoji jednoznačno rešenje. Postoji više

matrica faktorskih opterećenja koje generišu istu korelacionu matricu. U cilju

dobijanja takve matrice faktorskih opterećenja koja će olakšati interpretaciju

faktora primenjuje se postupak rotacije, sve dok se ne postigne "jednostavna

struktura". To znači da svaka promenljiva izuzetno visoko opterećuje jedan

faktor, a ima znatno manje opterećenje kod ostalih. Nije uvek lako dostići

potpuno ovakvu strukturu, ali je poželjno biti joj što bliže (Bulajić, 2002). Rotacija

ne utiče na kvalitet rešenja, što znači da iako se faktorska matrica menja,

vrednosti komunaliteta i procenat objašnjene varijanse ostaju isti, mada se

procenat objašnjene varijanse od svakog zasebnog faktora menja. Različite

rotacije mogu da rezultuju identifikovanjem različitih faktora (Radojičić, 2007).

45

Najčešće korišćene metode za ortogonalnu rotaciju faktora su:

• Varimax metoda - nastoji da minimizira broj faktora potrebnih za

objašnjenje promenljive, čime se olakšava interpretacija faktora.

• Quartimax metoda - stavlja akcenat na jednostavnost interpretacije

promenljivih, pošto rešenje minimizira broj faktora potrebnih za

objašnjenje promenljive. Quartimax rotacija često rezultira opštim

faktorima sa visokim i prosečnim vrednostima većine promenljivih.

• Equamax metoda - kombinacija varimax metode koja pojednostavljuje

faktore i quartimax metode koje pojednostavljuje promenljive (Bulajić,

2002; Jeremić, 2012).

Slika 3.1 Rotacija faktora

3.3 Klaster analiza

Klaster analiza (analiza grupisanja) je metoda koja se koristi za grupisanje

entiteta, tako da su entiteti unutar grupe međusobno slični, a između grupa

znatno različiti. Entiteti se grupišu u grupe na osnovu mera bliskosti koje se

definišu na osnovu njihovih karakteristika.

Ciljevi analize grupisanja su:

• Istraživanje podataka - ako ne znamo kako je skup entiteta strukturiran,

analizom grupisanja otkrivamo nepoznatu strukturu;

46

• Redukcija podataka;

• Generisanje hipoteza - a skup podataka nepoznate strukture, analizom

grupisanja formiraju se grupe čiji broj i sastav pomažu u definisanju

hipoteza o strukturi podataka;

• Predviđanje (Anderberg, 1973).

Zadatak klaster analize je vrlo sličan problemu diskriminacione analize, kao

sredstva za klasifikaciju entiteta. Razlika je sledeća: kod diskriminacione analize

grupe su već poznate, a kod klaster analize to nije slučaj.

Svi postupci grupisanja entiteta (Bogosavljević, 1988) mogu se podeliti u

dve grupe:

• Hijerarhijske metode grupisanja (aglomerativne, dividivne, preklapajuće,

fazi metode),

• Nehijerarhijske metode grupisanja (K-mean algoritam, Frogy algoritam, itd.).

Hijerarhijske metode se, u osnovi, sastoje iz iterativnog procesa u kome se

entiteti spajaju u grupe, a u narednoj iteraciji se prethodno formirane grupe

spajaju sa nerazvrstanim entitetima. Tako se jednom formirane grupe zapravo

samo proširuju novim entitetima, bez mogućnosti prelaska entiteta iz jedne

grupe u drugu (Bogosavljević, 1996), dok nehijerarhijske metode dozvoljavaju tu

mogućnost (Delić, Radojičić, & Martinović, 2004; Radojičić et al., 2003; Radojičić,

1994).

Hijerarhijske metode grupisanja se mogu podeliti u dve kategorije, u

odnosu na to da li su zasnovane na iterativnom spajanju (aglomerativne) ili

deljenju grupa i entiteta (dividivne). Aglomerativne metode polaze od

pojedinačnih entiteta koji se udružuju u grupe, a zatim se, u narednim

iteracijama, spajaju prethodno formirane grupe i pojedinačni entiteti. Jednom

formirane grupe ostaju iste, tj. nema mogućnosti prelaska entiteta iz jedne u

47

drugu grupu (Vukmirović, 1992). Metode, koje pripadaju ovoj grupi, nazivaju se

hijerarhijske metode udruživanja. Na početku postupka postoji n grupa sa po jednim

entitetom, a dalje se postupak odvija na sledeći način:

• Na osnovu matrice odstojanja, biraju se dve najbliže grupe i udružuju u

novu grupu (neka su r-ta i s-ta grupa udružene u novu grupu t);

• Određuje se odstojanje ostalih grupa i novoformirane grupe, i ponovo

računa matrica odstojanja;

• Prethodni koraci se ponavljaju n-1 puta, sve dok ne ostane jedna grupa.

Druga grupa metoda ide u suprotnom smeru: polazi se od jedne grupe, u

kojoj se nalaze svi entiteti, i iz nje se izdvajaju po jedan entitet ili grupa sve dok

se ne formira onoliko grupa koliko ima pojedinačnih entiteta. Ove metode se

nazivaju hijerarhijske metode deobe.

Najpopularnije metode grupisanja pripadaju hijerarhijskim metodama

udruživanja, a razlikuju se po tome na koji način određuju međusobnu bliskost

grupa (Vuković, 1987). Grupisanje entiteta zasnovano je na karakteristikama

svakog entiteta. Ako se, na primer, posmatraju dve karakteristike, za grafički

prikaz podataka u cilju određivanja grupa može se koristiti dijagram rasturanja.

Na osnovu njega, grupe se mogu definisati u dvodimenzionalnom prostoru, kao

oblasti sa velikom gustinom tačaka, koje su, oblastima sa malom gustinom

tačaka, razdvojene od drugih grupa. Kada se grupe definišu na osnovu

kriterijuma bliskosti, entiteti unutar grupe treba da budu bliži jedni drugima,

nego entitetima u drugim grupama.

Osim grafičkih metoda, postoje i analitički postupci koji, prema skupu

formalnih pravila, vrše grupisanje entiteta. U osnovi svih ovih metoda nalazi se

matrica podataka, tj. matrica sa n redova (entiteta) i p kolona (promenljivih). Na

osnovu nxp matrice podataka formira se nxn matrica bliskosti (P), čiji elementi

mere stepen sličnosti ili razlike između svih parova entiteta. Na primer, element

prs (r,s = 1,2,...,n) je mera bliskosti između r-tog i s-tog entiteta.

48

Kada se formira matrica bliskosti, bira se metoda grupisanja, koja najviše

odgovara posmatranom problemu (Vukmirović, Vuković, Marković, &

Radojičić, 1994). Kao što je već navedeno, najčešće se koriste hijerarhijske metode

grupisanja, koje daju hijerarhijsku strukturu datog skupa entiteta - hijerarhijsko

drvo ili dendrogram (Bulajić, 2002). Na slici 3.2. je prikazan jednostavan

dendrogram, gde su entiteti označeni brojevima 1,2..5.

Slika 3.2 Dendrogram

3.3.1 Mere sličnosti i razlike između entiteta

Ukoliko je cilj grupisanje entiteta, mera bliskosti iskazuje međusobne razlike i

sličnosti između dva entiteta. Na taj način se meri stepen međusobnog rastojanja

tj. kreira se mera odstojanja između entiteta. Mera bliskosti prs predstavlja meru

razlike entiteta r i s ako su ispunjeni sledeći uslovi:

• Uslov ne-negativnosti: prs > 0 ako se entiteti r i s razlikuju, a prs = 0 ako i

samo ako su entiteti r i s identični;

• Uslov simetričnosti: prs = psr;

• Uslov triangularnosti: prs ≤ prq + pqs, za sve r, s i q.

49

Mera bliskosti prs predstavlja meru sličnosti entiteta r i s ako su ispunjeni

sledeći uslovi:

• Uslov normiranosti: 0 ≤ prs ≤ 1 , za sve r i s;

• prs = 1, samo ako su entiteti identični;

• Uslov simetričnosti: prs = psr (Bulajić, 2002).

Najpoznatija mera razlike (odstojanja) je Euklidska mera odstojanja na bazi

kvantitativnih promenljivih. Na primer, ako su xr i xs r-ti i s-ti red matrice

podataka tada je kvadrat Euklidskog odstojanja:

( )22

1

p

rs rj sjj

d x x=

= −∑

Euklidsko odstojanje je specijalan slučaj odstojanja Minkowskog koje glasi:

1/

1

p

rj sjj

M x x

λλ

=

= − ∑

Odstojanje Minkowskog se, kada je λ = 2, svodi na Euklidsko odstojanje

(Kovačić, 1992). Na osnovu odstojanja Minkowskog se takođe može definisati i

"odstojanje tipa gradskog bloka" (City block) tj. Menhetn odstojanje koje se dobija

za λ = 1. U opštem slučaju, što je λ veće, to je mera odstojanja manje osetljiva na

prisustvo nestandardnih opservacija.

Mahalanobisovo odstojanje je odstojanje koje vodi računa i o kovarijacionoj

strukturi podataka. Naziva se i multivarijaciona mera odstojanja. Ono eliminiše

efekat korelisanosti promenljivih, pa ga ne treba koristiti kada je u analizi upravo

taj efekat bitan za razlikovanje entiteta (Hаdžigаlić, Bоgdаnоvić, Теnjоvić, &

Wоlf, 1994; Kovačić, 1992).

50

3.3.2 Mere sličnosti i razlike između grupa

Način merenja sličnosti ili razlike između grupa upravo je karakteristika po kojoj

se metode analize grupisanja razlikuju. Postoji veliki broj mera sličnosti i razlike,

a najpoznatije su sledeće:

• Jednostruko povezivanje;

• Potpuno povezivanje;

• Prosečno povezivanje;

• Metod centroida i

• Wardov metod (metod minimalne sume kvadrata).

Jednostruko povezivanje definiše odstojanje između dve grupe kao najmanje

odstojanje parova entiteta iz posmatranih grupa. Potpuno povezivanje definiše

odstojanje kao najveće odstojanje između parova entiteta, dok se prema

prosečnom povezivanju odstojanje između dve grupe određuje na osnovu

prosečnog odstojanja svih parova entiteta iz dve posmatrane grupe (Bulajić, 2002;

Jeremić, 2012).

Neka se posmatraju dve grupe entiteta (r i s) koje sadrže nr i ns entiteta, i

neka su opservacije p promenljivih za nr entiteta u r-toj grupi xrjm (j=1,2,...p;

m=1,2,...nr), a za ns entiteta u s-toj grupi xsjm. Ako se centroidi r-te grupe označe

sa x’r = [xr1*,xr2*,...xrp*] i centroidi s-te grupe sa x’s = [xs1*,xs2*,…xsp*], tada se prva

mera odstojanja između ove dve grupe može definisati kao:

2 2* *

1

( )p

rs rj sjj

d x x=

= −∑

Pošto postoji ukupno nrns odstojanja između dve grupe, druga mera

odstojanja definiše meru ukupnog odstojanja između dve grupe kao 2r s rsn n d , a

prosečno rastojanje je 2 / ( )r s rs r sn n d n n+ . Može se pokazati da je ova mera

51

odstojanja između grupa ekvivalentna promeni u sumi kvadrata unutar grupa

do koje je došlo zbog udruživanja r-te i s-te grupe (Bulajić, 2002; Jeremić, 2012).

Suma kvadrata odstupanja opservacija od svoje srednje vrednosti, tj. suma

kvadrata unutar grupe, za r-tu grupu definiše se kao:

( )2

*1 1

rn p

r rjm rjm j

SKW x x= =

= −∑∑

dok je za s-tu grupu:

( )2

*1 1

sn p

s sjm sjm j

SKW x c= =

= −∑∑

Kada se ove dve grupe udruže dobija se kombinovana grupa (na primer t).

Ako bi se posmatrala odstupanja opservacija grupe t od novog centroida x’t =

[xt1*,xt2*,...xtp*] dobija se nova suma kvadrata unutar grupe t:

( )2

*1 1

r sn n p

t tjm tjm j

SKW x x+

= =

= −∑∑

Pri udruživanju r-te i s-te grupe, povećava se ukupna suma kvadrata unutar

grupe, data izrazom SKWt – (SKWr + SKWs), i ekvivalentna je prosečnom

odstojanju između grupa (nrnsdrs2/(nr+ns)). Do ove relacije se dolazi ako se

uspostavi veza između analize varijanse i određivanja odstojanja između grupa

(Radojičić, 2007). Ukupna suma kvadrata unutar kombinovane grupe t (SKWt)

se, kao ukupna suma kvadrata u analizi varijanse, razlaže na dva dela: sumu

kvadrata unutar grupa (SKWr+SKWs) i sumu kvadrata između grupa (SKBt).

Suma kvadrata između grupa dobija se na sledeći način:

52

( ) ( )

( )

2 2

* * * *1

2

* *1

2

( )

( )

p

t r rj tj s sj tjj

pr s

t rj sjjr s

r st rs

r s

SKB n x x n x x

n nSKB x x

n n

n nSKB d

n n

=

=

= − + −

= −+

=+

∑

∑

Druga mera odstojanja je ekvivalentna sumi kvadrata između grupa, tj.

priraštaju u sumi kvadrata unutar grupa do koga je došlo udruživanjem r-te i

s-te grupe. Osnovu Wardove metode hijerarhijskog udruživanja predstavlja

upravo ova druga mera odstojanja (Radojičić, 2007).

Kada se formira nova grupa, potrebno je izračunati odstojanja između nje i

ostalih grupa:

2 2 2 2 2 2tu r ru s su rs ru sud d d d d dα α β γ= + + + −

gde je t novoformirana grupa, u jedna od ostalih grupa (različita od r i s), a

, , i r sα α β γ su koeficijenti koji zavise od toga koji se metod udruživanja koristi.

U gornjem izrazu korišćen je kvadrat Euklidskog odstojanja, što je obavezno

samo ako se koristi metod centroida ili Wardov metod (Radojičić, 2007). Za ostale

metode mogu se koristiti neke druge mere odstojanja između grupa.

Vrednosti koeficijenata , , i r sα α β γ , u zavisnosti od korišćene mere

odstojanja između grupa su (Bulajić, 2002):

• Jednostruko povezivanje: 1 1, 0,

2 2r sα α β γ= = = = −

• Potpuno povezivanje: 1 1, 0,

2 2r sα α β γ= = = =

• Prosečno povezivanje: , , 0srr s

r s r s

nn

n n n nα α β γ= = = =

+ +

53

• Metod centroida: 2, , , 0

( )s r sr

r sr s r s r s

n n nn

n n n n n nα α β γ= = = − =

+ + +

• Wardov metod: , , , 0r u s u ur s

t u t u t u

n n n n n

n n n n n nα α β γ+ += = = − =

+ + +

3.3.3 Određivanje broja grupa (klastera)

Na osnovu dendrograma moguće je formirati izvedenu matricu odstojanja, do čijih

elemenata se dolazi tako što se svim parovima entiteta iz dve različite grupe koje

se udružuju u jednu, pripisuje ista vrednost odstojanja, ona pri kojoj su udruženi

u dve grupe. Međusobnim poređenjem odgovarajućih elemenata originalne i

izvedene matrice odstojanja može se utvrditi u kom stepenu formirane grupe

predstavljaju dobro rešenje problema grupisanja (Bulajić, 2002; Jeremić, 2012;

Radojičić, 2007).

Slika 3.3 "Presek" dendrograma - podela na odgovarajući broj grupa

54

Kako bi se odredio broj grupa, grafički prikaz hijerarhijskog grupisanja

(dendrogram) može se "preseći" na određenoj visini, tako da se dobije željeni broj

grupa (slika 3.3). Problem izbora broja grupa se može rešiti praćenjem vrednosti

mere odstojanja pri kojoj se dve grupe udružuju. Krećući se od prvog ka n-1

koraku, vrednost mere odstojanja će rasti, i to u početku sporije, a kasnije brže tj.

eksponencijalno. Ako se u okolini očekivanog broja grupa zabeleži velika

promena vrednosti mere odstojanja, tada se broj grupa koji je prethodio

definisanom koraku proglašava optimalnim.

3.4 Analiza obavijanja podataka (DEA)

Analiza obavijanja podataka (Data Envelopment Analysis – DEA) je jedna od

najpoznatijih metoda za merenje efikasnosti entiteta (Martić, 1999; Savić, 2011).

Ona omogućava analizu efikasnosti posmatranih entiteta, uzimajući u obzir

kombinacije različitih ulaznih i izlaznih promenljivih (Charnes, Cooper, &

Rhodes, 1978). Posebno se ističe u problematici merenja efikasnosti entiteta koji

za kreiranje različitih tipova izlaza koriste različite tipove ulaza. DEA je danas

vodeća metoda za merenje performansi entiteta, koji se u okviru ove metode

nazivaju organizacione jedinice (Savić, 2011). U DEA metodi, organizacione

jedinice se definišu kao jedinice odlučivanja - DMU (Decision Making Unit).

DEA metoda je prvobitno razvijena za evaluaciju efikasnosti neprofitnih

organizacija. Za njih je bilo teško izmeriti izlaze, pa samim tim i definisati realnu

meru efikasnosti (Martić, 1999). Kada se procenjuju performanse organizacionih

jedinica, efikasnost se može meriti kroz odnos ostvarenih izlaza i ulaza

upotrebljenih za proizvodnju tih izlaza. Tako DEA, pri komparativnoj analizi

efikasnosti, uzima u obzir sve relevantne ulaze i izlaze iz sistema, bez obzira na

tehnologiju pretvaranja ulaza u izlaze (Jeremić, 2012). Kod DEA metode bitno je

da svaka DMU koristi ulaze iste vrste I transformiše ih u iste izlaze (Savić, 2011).

Nije neophodno da ulazi i izlazi budu istog tipa i mogu se koristiti raznorodni

55

ulazi i izlazi, ali je neophodno da sve posmatrane jedinice imaju iste ulaze i izlaze.

Zbog svoje fleksibilnosti, ova metoda je široko primenljiva, kako u profitnim,

tako i u neprofitnim organizacijama.

3.4.1 Merenje efikasnosti pomoću analize obavijanja podataka

Za ocenjivanje efikasnosti entiteta4, najčešće je neophodno razmatrati više ulaza

i izlaza koji se izražavaju u različitim mernim jedinicama. Zato je neophodno

definisati sumarni pokazatelj efikasnosti, koji će uzeti u obzir sve ulaze koji su

korišćeni za realizaciju odgovarajućih izlaza (Jeremić, 2012; Savić, 2011).

Osnovna formula za efikasnost ima sledeći oblik:

Težinska Suma IzlazaEfikasnost =

Težinska Suma Ulaza

Da bi se odredila efikasnost entiteta, neophodno je agregirati posmatrane

ulaze (izlaze) u jedan virtuelni ulaz (izlaz). Tokom ovog procesa javljaju se brojni

problemi:

• Skaliranje ulaznih i izlaznih podataka u opseg vrednosti koje su

međusobno uporedive (normalizacija);

• Određivanje relativnih važnosti pojedinih ulaza odnosno izlaza

(dodeljivanje težinskih koeficijenata - ponderisanje), itd.

Ukoliko se fiksira skup težinskih koeficijenata, moguće je, na jednostavan

način, izračunati efikasnost svakog od posmatranih entiteta/organizacionih

jedinica. Tako izračunate efikasnosti mogu se koristiti kao kriterijum za

4 Kod DEA metode, entiteti su uglavnom organizacije

56

određivanje redosleda jedinica. Redosled naravno zavisi od vrednosti ulaza i

izlaza entiteta koji se evaluiraju, ali takođe i od vrednosti pondera. U praksi je

često veoma teško jedinstveno vrednovati ulaze i izlaze, i doći do zajedničkog

skupa težinskih koeficijenata, jer pojedine jedinice daju različite stepene važnosti

svojim ulazima i izlazima. Charnes i drugi (Charnes et al., 1995) su pretpostavili

da pri oceni efikasnosti entiteta ne mora da postoji objektivan postupak za

određivanje vrednosti pondera. Međutim, koraci koji su neophodni su: definisati

koji su to ulazi i izlazi koje treba uzeti u obzir, i koje su minimalne dozvoljene

(minimalne fiksirane) vrednosti za pondere.

Kod DEA metode, svaka jedinica može da odredi vrednosti pondera na

način koji njoj najviše odgovara, sa ciljem da maksimizira svoju efikasnost

(Andersen & Petersen, 1993). Na osnovu podataka o ulazima i izlazima, DEA

metoda ocenjuje da li je neka DMU efikasna ili nije. DEA formira linearnu

aproksimaciju granice efikasnosti, bazirane na posmatranom skupu entiteta

(konstruiše se linija oko tačaka koja ih obavija – "obvojnica" (envelope)). Granica

efikasnosti pokazuje koliki je maksimum izlaza, koji svaki entitet može ostvariti

sa datim ulazima. Ona se ponaša kao obvojnica za neefikasne entitete.

DEA analizira svaku jedinicu posmatranja, i proverava da li je njene ulaze

moguće obavijati odozdo (dati izlaz moguće je postići sa manjom količinom

ulaza), ili je moguće njene izlaze obavijati odozgo (sa datim ulazom moguće je

proizvoditi veći izlaz). Ako je moguće jedinicu obavijati ona je relativno

neefikasna, a ako se ne obavija, ona onda učestvuje u formiranju granice

efikasnosti, koja ovde predstavlja ekvivalent za graničnu funkciju proizvodnje

(Amado, Santos, & Marques, 2012; Savić, 2011). DEA metoda tako svaku DMU

procenjuje kao relativno efikasnu ili relativno neefikasnu. Charnes i drugi

(Charnes et al., 1978) navode da se jedna DMU može okarakterisati kao efikasna

samo ako nisu ispunjena sledeća 2 uslova:

• Moguće je povećati joj bilo koji izlaz, bez povećanja bilo kog od ulaza i bez

smanjenja bilo kog drugog izlaza;

57

• Moguće je smanjiti joj bilo koji ulaz, bez smanjenja bilo kog od izlaza i bez

povećanja bilo kog drugog ulaza (Martić, Petrović, & Radojičić, 1997).

Nivo neefikasnosti određuje se poređenjem sa jednom referentnom DMU,

ili sa konveksnom kombinacijom drugih referentnih DMU koje se nalaze na

granici efikasnosti i koje koriste proporcionalno isti nivo ulaza, a proizvode

proporcionalno isti ili veći nivo izlaza (Athanassopoulos & Curram, 1996;

Jeremić, 2012). Osobine DEA metode koje se posebno ističu su:

• Određuje se pojedinačna mera za svaku DMU, na osnovu vrednosti

ulaznih faktora pri proizvodnji željenih izlaza;

• Fokus je na pojedinačnim opservacijama nasuprot populacionim

usrednjavanjima;

• Potpuno jednaki kriterijumi se primenjuju u ocenjivanju svake DMU;

• Ukazuje se na potrebne promene ulaza i/ili izlaza da bi DMU bio ispod

granice efikasnosti (Bulajić, Savić, & Savić, 2011; Martić, 1999; Savić, 2011).

3.4.2 Osnovni DEA modeli

Charnes i drugi (Charnes et al., 1978) razvili su osnovne DEA modele, koji su

tokom godina bili modifikovani i donekle prošireni. Pri selekciji DMU treba

voditi računa o sledećim pretpostavkama:

• Teži se smanjenju ulaza i povećanju izlaza – skor efikasnosti treba da

odražava ovaj princip;

• Podaci o ulazima i izlazima su raspoloživi za svaki ulaz i izlaz, i imaju

pozitivne vrednosti za svaku DMU;

• Ulazi i izlazi mogu biti izraženi u različitim mernim jedinicama (Martić,

1999).

58

Neka su poznati podaci o angažovanim ulazima i realizovanim izlazima za

svaku od n DMU, čiju efikasnost treba proceniti. Neka je ijx - iznos ulaza i-te vrste

za ( )0, 1,2,... , 1,2,...j ijDMU x i m j n> = = , a rjy - iznos izlaza r-te vrste za

( )0, 1,2,... , 1,2,...j rjDMU y r s j n> = = . Charnes i drugi (Charnes et al., 1978) su

predložili da se za svaku kDMU 1,2,...k n= reši optimizacioni zadatak (CCR racio

model):

CCR racio model

( ) 1

1

s

r rkr

k m

i iki

yMax h

x

µ

υ=

=

=∑

∑

p.o.

1

1

1

s

r rjr

m

i iji

y

x

µ

υ=

=

≤∑

∑ 1, 2,...j n=

0rµ ≥ 1, 2,...r s=

0iυ ≥ 1, 2,...i m=

gde su: hk - relativna efikasnost k-te DMU, n - broj DMU koje treba porediti,

m - broj ulaza, s - broj izlaza, µr - težinski koeficijent za izlaz r, υi - težinski

koeficijent za ulaz i (Martić & Savić, 2001).

Ponderi µr i υi pokazuju stepene važnosti svakog ulaza i izlaza. Svaka

jedinica određuje vrednosti pondera tako da bude što više efikasna. Jedinica se

smatra efikasnom ako ne postoji neka druga jedinica koja sa istim angažovanim

ulazima kreira veći izlaz. Osnovni cilj svake jedinice je, dakle, da kroz slobodno

59

izabrane pondere za ulaze i izlaze, maksimizira svoju efikasnost. Pri tome,

neophodno je zadovoljavati uslov da je za svaku organizacionu jedinicu odnos

težinske sume izlaza i težinske sume ulaza manji ili jednak 1 (CCR racio model).

Relativna efikasnost kh za kDMU je definisana kao odnos težinske sume

njenih izlaza (virtuelni izlaz) i težinske sume njenih ulaza (virtuelni ulaz). U

modelu se teži maksimizaciji vrednosti kh ; ovo se ostvaruje kroz subjektivno

dodeljivanje pondera upravljačkim promenljivim µr i υi (Jeremić, 2012; Martić,

1999; Savić, 2011). Jedna od osnovnih pretpostavki je konstantni prinos na obim,

odnosno da povećanje vrednosti angažovanih ulaza treba da rezultuje u

proporcionalnom povećanju ostvarenih izlaza (Guan & Chen, 2012). Pošto i za k-

tu DMU, za koju se traži maksimalna efikasnost, važi uslov 0iυ ≥ , 1, 2,...i m= ,

očigledno da važi 0 < kh ≤1. Ako je vrednost za kh u funkciji cilja jednaka 1, onda

je k-ta DMU relativno efikasna, a ako je manja od 1, kDMU je relativno neefikasna

i vrednost kh pokazuje za koliko procentualno ova jedinica treba da smanji svoje

ulaze (Savić, 2011). Uslov dat u relaciji 0iυ ≥ , 1, 2,...i m= , važi za sve DMU i

označava da svaka od njih leži na ili ispod granice efikasnosti. Sledeća

ograničenja označavaju da težinski koeficijenti mogu imati samo nenegativne

vrednosti:

rµ ε≥ 1, 2,...r s=

iυ ε≥ 1, 2,...i m=

gde je: ε – proizvoljno mala pozitivna vrednost.

Obzirom da je broj DMU koje se ocenjuju uglavnom dosta veći od ukupnog

broja ulaza i izlaza, u praksi se, najčešće rešava njegov dualni model. Dualni CCR

DEA model (Savić, 2011) je sledeći:

60

Dualni CCR DEA model

( )1 1

s m

k r ir i

Min Z s sε + −

= =

− + ∑ ∑

p.o.

1

n

j r j r r kj

y s yλ +

=

⋅ − =∑ 1, 2,...,r s=

1

0n

k ik j ij ij

Z x x sλ −

=

⋅ − − =∑ 1, 2, ...,i m=

, , 0j r is sλ + − ≥ 1, 2,...,j n= 1, 2,...,r s= 1, 2, ...,i m=

gde je kZ -neograničeno.

Funkcija cilja pokazuje sa kojom minimalnom vrednošću ulaza je moguće

ostvariti sadašnji izlaz posmatrane jedinice. Promenljiva kZ naziva se faktor

intenziteta. Osnovno je odrediti koji procentualni iznos smanjenja ulaza treba da

pretrpi posmatrana jedinica kako bi postala efikasna. Dualne promenljive rs+ i is−

pokazuju koliko je moguće da k-ta DMU pojedinačno smanji i-ti ulaz i poveća r-

ti izlaz da bi postala efikasna. U ovom modelu dualna promenljiva jλ predstavlja

dualni težinski koeficijent, koji pokazuje važnost koja je dodeljena

( )1, 2,...,jDMU j n= pri definisanju ulazno-izlaznog miksa hipotetičke

kompozitne jedinice sa kojom će se kDMU direktno porediti. Vrednosti za

promenljive ( )1, 2,...,j j nλ = se biraju tako da svaki od s izlaza hipotetičke

kompozitne jedinice 1

, 1,2,...,n

j rjj

y r sλ=

⋅ =

∑ ne bude manji od odgovarajućeg

stvarnog izlaza kDMU , a da svaki od ulaza kompozitne jedinice

61

1

, 1,2,...,n

j ijj

x i mλ=

=

∑ ne bude manji od odgovarajućeg stvarnog ulaza kDMU

(Savić, 2011). Ako od svih ( )1, 2,...,j j nλ = , samo kλ ima pozitivnu vrednost onda

je faktor intenziteta 1kZ = , što znači da je kDMU angažovala minimalnu količinu

ulaznih faktora i granična je tačka (u suprotnom, k-ta DMU je neefikasna).

Organizacione jedinice sa pozitivnom vrednošću jλ nazivaju se referentne za k-

tu DMU. Najkraće rastojanje između neefikasne DMU i granice efikasnosti je

upravo rastojanje do kompozitne jedinice. Dakle, ako je 1kZ < , onda je kDMU

relativno neefikasna i treba proporcionalno za ( )1 100kZ− ⋅ % da smanji sve ulaze

da bi postala efikasna sa postojećim nivoom izlaza. Za svaku ( )1, 2,...,jDMU j n=

uzetu kao kDMU se rešava odgovarajući problem linearnog programiranja, gde

je kDMU efikasna ako i samo ako su za optimalno rešenje ( )* **, , , *ks s Zλ + −

problema Dualni CCR DEA model ispunjeni uslovi:

* 1kZ =

* * 0s s+ −= =

tj. potreban uslov je da je faktor intenziteta te DMU jednak 1, a neophodno je i da

su sve dopunske promenljive jednake 0. Ako je faktor intenziteta 1, a neka od

dopunskih promenljivih pozitivna, kDMU nije efikasna granična tačka.

BCC model meri čistu tehničku efikasnost - daje meru efikasnosti koja

ignoriše uticaj obima poslovanja tako što se k-ta DMU poredi samo sa drugim

jedinicama sličnog obima. Efikasnost obima (scale efficiency), koja pokazuje da li

posmatrana jedinica posluje sa optimalnim obimom operacija, može se dobiti

kada se mera efikasnosti koju daje CCR model (ukupna tehnička efikasnost)

podeli sa merom efikasnosti koju daje BCC model (čista tehnička efikasnost). U

odnosu na primalni CCR model, primalni BCC model sadrži dodatnu

62

promenljivu u* koja definiše položaj pomoćne hiper-ravni koja leži na ili iznad

svake DMU uključene u analizu (Martić, 1999). Ovako definisan matematički

model proverava da li je k-ta DMU postigla željeni nivo izlaza sa minimalnim

angažovanjem ulaza, pa se od svih mogućih hiper-ravni koje prekrivaju sve

DMU, bira se ona kod koje je horizontalno rastojanje od posmatrane DMU do

hiper-ravni najmanje.

Ako je u* = 0, onda se BCC model svodi na CCR model. Primalni BCC DEA

model ima sledeći oblik:

Primalni BCC DEA model

( )1

*s

k r rkr

Max h y uµ=

= +∑

p.o.

1

1m

i i ki

xν=

=∑

1 1

* 0s m

r rj i ijr i

y x uµ ν= =

− + ≤∑ ∑ 1, 2,...,j n=

rµ ε≥ 1, 2,...,r s=

iν ε≥ 1, 2, ...,i m=

Ideja na kojoj se zasnivaju BCC modeli lakša je za razumevanje na dualnom

DEA modelu. Dualni BCC model se dobija ako se u dualni CCR model doda

ograničenje konveksnosti 1

1n

jj

λ=

=∑ .

Cilj razmatranih modela je da minimiziraju ulaze potrebne za proizvodnju

određene količine izlaza, i oni se najčešće nazivaju ulazno orijentisani modeli.

63

kDMU se smatra relativno neefikasnom ako joj je moguće smanjiti bilo koji ulaz

bez smanjenja bilo kog izlaza i bez uvećanja nekog od preostalih ulaza.

Neefikasna jedinica može postati efikasna ako smanji svoje ulaze, dok se njeni

izlazi ne menjaju (Thanassoulis, Kortelainen, & Allen, 2012). Nasuprot ulaznoj

orijentaciji, u izlazno orijentisanom modelu cilj je da se maksimizira izlaz pri

zadatom nivou ulaza. Neefikasna jedinica ovde postaje efikasna kroz povećanje

svojih izlaza. kDMU je relativno neefikasna ako joj je moguće povećati bilo koji

izlaz bez povećanja bilo kog ulaza i smanjenja nekog od preostalih izlaza.

Osim ove dve orijentacije modela postoje i neorijentisani ili kombinovani

modeli, gde se razmatra mogućnost simultanog smanjenja ulaza i povećanja

izlaza, da bi posmatrana jedinica postala efikasna.

64

4 IVANOVIĆEVO ODSTOJANJE

Ivanovićevo odstojanje (I-odstojanje) je kompozitni indikator, koji agregira više

pojedinačnih pokazatelja u jedan indikator, obezbeđujući na taj način merenje

višekriterijumskih pojava. Samo I-odstojanje se zasniva na merenju

višedimenzionalnih odstojanja između entiteta, na taj način da se izbegnu

dupliciteti informacija koje nosi niz srodnih indikatora.

Za merenje performansi entiteta i uspostavljanje međusobnih odnosa

između složenih pojava (sistema) mogu se koristiti različite promenljive, gde

svaka promenljiva delimično opisuje performanse entiteta (Bulajić, Savić, Savić,

Mihailović, & Matrić, 2011; Bulajić, 2002; Jeremic & Jovanovic Milenkovic, 2014;

Jeremić, 2012; Jovanovic Milenkovic, Jeremic, & Martic, 2014). Glavni problem je

da li se kombinovanjem tih promenljivih iz skupa X (promenljivih), može

formirati jedan potpuniji indeks za merenje performansi entiteta. Ako je faktor F

merljiva veličina i ako se njena vrednost izračunava preko skupa obeležja X,

moguće je odrediti rang listu elemenata skupa P u odnosu na F (Bogosavljević,

1997; Ivanović, 1972, 1977), tj. mogao bi da se uspostavi rang, a ujedno i

međusobni odnosi između entiteta.

Postoje brojne prepreke koje otežavaju formiranje jednog takvog indeksa.

Promenljive koje mere performanse entiteta, često su iskazane u različitim

jedinicama mere, pa se ne može jednostavno odrediti jedan sintetički broj koji bi

apsolutno iskazivao "veličinu". Zato bi se u skupu posmatranih entiteta mogao

odrediti jedan globalni indeks "veličine" jedino kao relativni odnos tog entiteta

prema ostalim entitetima posmatranog skupa (Bulajic, Jeremic, Knezevic, &

Zarkic Joksimovic, 2013; Dobrota, Petrovic, Cirovic, & Jeremic, 2013; Mihailovic,

Bulajic, & Savic, 2009; Radojičić, Janić, & Vukmirović, 1995).

Osim toga, neke promenljive sadrže veću, a neke manju količinu

informacija o veličini entiteta, što znači da nemanju sve isti značaj. Problem koji

se posmatra je na koji način izvršiti izbor promenljivih i kako ih ponderisati da

65

bi se izbeglo da neka od njih dobiju suviše veliki značaj. Takođe treba voditi

računa o varijabilitetu svake promenljive (Birch, 1964; 1965). Odstupanje između

dva entiteta, koje postoji u odnosu na jednu promenljivu, značajnije je ukoliko je

njegova varijansa u posmatranom skupu entiteta manja. Kako su promenljive u

određenoj meri zavisne, informacija koju pruža jedna promenljiva, biće

delimično sadržana i u ukupnoj informaciji koju pružaju ostale promenljive

(Bogosavljević, 1985).

I-odstojanje definisano je sa idejom da se izbegnu dupliciteti informacija

koje nosi niz srodnih promenljivih (Ivanović, 1977). Neka je X = x1, x2, ..., xk

izabrani skup promenljivih, a E = e1, e2, ..., en skup entiteta koji se upoređuju na

osnovu "veličine". Moguće je uočiti ma koja dva entiteta er i es i uporediti njihove

odgovarajuće vrednosti svih obeležja iz X. Ako su sve razlike tih vrednosti

jednake nuli, tada nema razlike u "veličini" ova dva entiteta. Ovo se može

promeniti ako se u skup X uvede još promenljivih. Ako prethodno navedeno važi

za ceo skup X, usvojiće se da su za svako xi (i∈{1,2,...k}⇒ xir = xis) entiteti er i es

iste "veličine". Ako je bar jedna od tih razlika različita od nule, ne može se tvrditi

da su entiteti jednake "veličine". Razlika di(r,s) = xir – xis, definiše diskriminacioni

efekat promenljive Xi u uređenom paru entiteta ⟨er,es⟩. Diskriminacioni efekat

skupa promenljivih X je vektor dx(r,s) = ⟨d1(r,s),...,dk(r,s)⟩, dok matrica:

0 (1,2) (1, )

(1,2) 0 (2, )( )

0

(1, ) (2, ) 0

x x

x xx

x x

d d n

d d nd P

d n d n

− = − −

L

L

M M M

L

predstavlja efekat diskriminacije od X u E.

Neke promenljive otežavaju problem rangiranja ili grupisanja prema

"veličini". Ako bi se za svaku posmatranu promenljivu poredile odgovarajuće

vrednosti za dva entiteta er i es, može se desiti da jedan posmatrani entitet bude

66

veći od drugog u odnosu na jednu, a manji u odnosu na druge promenljive

(Bulajić, Savić, & Savić, 2012; Radojičić, Stеfаnоvić, & Vukmirović, 1998).

Iako nije moguće jednostavno konstruisati globalni indeks koji bi apsolutno

predstavljao "veličinu" entiteta, moguće je odrediti relativni položaj jednog

entiteta u odnosu na ostale iz posmatranog skupa E. Tako se dolazi do pojma

"odstojanja" između dva entiteta u odnosu na njihovu "veličinu".

Ovako definisano odstojanje treba da zadovolji određene uslove. Neka je

D(r,s) odstojanje između elemenata er i es. Svaki entitet je moguće predstaviti

tačkom n-dimenzionalnog prostora. Da bi taj prostor bio merljiv, potrebno je da

odstojanje zadovoljava sledeće uslove (Bogosavljević, 1985; Bulajić, 2002; Jeremić,

2012; Radojičić, 2007):

• Nenegativnost - odstojanje je nenegativan realan broj, D(r,s)≥0 i D(r,r)=0;

• Komutativnost - odstojanje između еr i еs jednako je odstojanju između еs i

еr, D(r,s)=D(s,r);

• Triangularnost - za ma koja tri entiteta es, er i eq, mora da važi: D(r,s) + D(s,q)

≥ D(r,q);

• Uslov homogenosti - odstojanje između dva entiteta je homogena funkcija

razlika između odgovarajućih vrednosti izabranih promenljivih. Zato je

D(r,s) = 0 ako i samo ako su sve te razlike jednake nuli;

• Uslov rasta - odstojanje je neopadajuća funkcija svih razlika;

• Uslov varijabiliteta - razlike di(r,s), i∈{i,...k} treba da budu tako ponderisane

da je njihovo učešće u odstojanju D(r,s) obrnuto srazmerno standardnoj

devijaciji odgovarajućih promenljivih Xi, i∈{1,...k}. Razlike di(r,s)

pojavljivaće se u obliku:

2

2

( , )( , ) ili ii

i i

d r sd r s

σ σ

67

• Anuliranje dupliciteta u informaciji - odstojanje D(r,s) bi trebalo konstruisati

tako da ponavljanja budu isključena i da samo čist deo informacije svake

promenljive učestvuje u računanju ukupne vrednosti odstojanja.

• Uslov asimetrije - pošto nemaju sve promenljive isti značaj, potrebno je da

se odredi njihov redosled prema količini informacije koju one pružaju.

Odstojanje će se konstruisati tako da snižavanju ranga jedne promenljive

odgovara smanjenje njenog učešća u odstojanju i to za onu količinu

informacije koju daju promenljive višeg ranga.

• Uslov nezavisnosti - ako su sve promenljive među sobom nezavisne neće

doći do ponavljanja istih količina informacija. Zato bi tada izraz za

odstojanje trebalo da ima oblik:

22

21 1

ili k k

i i

i ii i

d (r,s) d (r,s)D(r,s) D (r,s)

σ σ= =

= =∑ ∑

• Uslov linearne zavisnosti - ako između svih promenljivih postoji linearna

zavisnost, izraz za odstojanje će se svesti na:

21 2 1

21 1

ili d (r,s) d (r,s)

D(r,s) D (r,s) σ σ

= =

• Uslov nezavisnih grupa - ako je jedna grupa od m promenljivih nezavisna

od preostalih k-m promenljivih, potrebno je da važi: Dk(r,s) = Dm(r,s) + Dk-

m(r,s). Ukoliko odstojanje između entiteta еr i еs ispunjava ovaj uslov,

moguće ga je izračunati nezavisno, jednom na osnovu prvih m

promenljivih, a jednom na osnovu preostalih k-m promenljivih.

Odstojanje, koje je bazirano na svih k promenljivih, biće jednako zbiru

prethodna dva.

• Nezavisnost od početka – moguće je konstruisati dva fiktivna entiteta e+ i e-

čije su odgovarajuće vrednosti promenljivih Xi+ i Xi- proizvoljno izabrane,

68

ali tako da je za svaki posmatrani entitet i svaku izabranu promenljivu

važi:

{ }1i ir iX X X i ,...k− +≤ ≤ ∈

• Tehnički uslov - ako je na osnovu k promenljivih, izračunato odstojanje

Dk(r,s) između entiteta еr i еs, i ako se naknadno doda još jedna

promenljiva, poželjno je da novo odstojanje Dk+1(r,s) bude jednako zbiru

prethodnog odstojanja i jedne dodatne veličine koja odgovara uticaju nove

promenljive Xk+1. Treba da važi Dk+1 = Dk + Zk+1, gde je Zk+1 dodatak koji

se odnosi na novu promenljivu. Za dobijanje vrednosti Dk+1, dovoljno je

izračunati samo Zk+1 i tome dodati već poznatu vrednost Dk.

Neka je izabrano k promenljivih i n entiteta opisanih tim promenljivim.

Preko elemenata korelacione matrice ijr = R između promenljivih, moguće je

izračunati parcijalne koeficijente korelacije (Bulajić, 2002):

( )( ).2 2

{ , } {1,... } { , }1 1

ij jt itji t

jt it

r r rr i j j i k t j i

r r

−= > ∈ ∉

− −

Iterativnim postupkom moguće je izračunati i sledeće parcijalne

koeficijente korelacije (Radojičić, 2007):

( )( )22...12.,1

22...12.,1

2...12.,12...12.,12...12.1...12.

11 −−−−

−−−−−−

−−

−=

jjjjij

jjjjijjjijji

rr

rrrr

Na taj način se formira matrica parcijalnih korelacija (Jeremić, 2012):

69

12 13 1

12 23.1 2 .1

. 13 23.1 3 .12

1 2 .1

1

1

1

1

1

k

k

k

k k

r r r

r r r

r r r

r r

=

R

L

L

L

M M M M

L L

Za određeni vektor promenljivih ( )1 2, ,...,TkX X X X= koje opisuju

posmatrane entitete, I-odstojanje između dva entiteta ( )1 2, ,...,r r r kre x x x= i

( )1 2, ,...,s s s kse x x x= se definiše kao:

( ) ( )1

.12... 11 1

,( , ) 1

iki

ji ji ji

d r sD r s r

σ

−

−= =

= −∑ ∏

gde je ( ),id r s odstojanje između vrednosti promenljivih iX entiteta re i se , tj.

diskriminacioni efekat:

( ),i ir isd r s x x= − , { }1,...i k∈

iσ je standardna devijacija od iX , a .12... 1ji jr − je parcijalni koeficijent korelacije

između iX i jX , ( )j i< , (Ivanovic, 1973).

I-odstojanje se formira postupno: počinje se integracijom celokupnog

diskriminacionog efekta promenljive X1, tj. promenljive koja sadrži najveću

količinu informacije o entitetu koji se rangira. Zatim se dodaje onaj deo

diskriminacionog efekta druge (po rangu) promenljive, koji nije bio uključen u

diskriminacionom efektu prve promenljive, pa onaj deo diskriminacionog efekta

treće promenljive koji nije bio uključen u diskriminacionom efektu prve dve

promenljive itd. (Ivanović, 1977). Postupak je sledeći:

70

1. Računa se vrednost diskriminacionog efekta za promenljivu 1X (najbitnija

promenljiva, koja pruža najveću količinu informacija o pojavi koja se

rangira);

2. Dodaje se vrednost diskriminacionog efekta promenljive 2X koji nije

pokriven sa 1X ;

3. Dodaje se vrednost diskriminacionog efekta promenljive 3X koji nije

pokriven sa 1X i 2X ;

4. Procedura se ponavlja za sve promenljive.

Ovako definisano I-odstojanje zadovoljava sve uslove, koje po Ivanoviću

jedno odstojanje treba da zadovoljava. Ključno je napomenuti da metoda I-

odstojanja zahteva standardizaciju podataka. Ovakav pristup se pokazao kao

izuzetno uspešan prilikom prevazilaženja problema nastalih usled činjenice da

su mnoge posmatrane promenljive različitih mernih jedinica.

4.1 Kvadratno I-odstojanje

Kvadratno I-odstojanje dato je izrazom:

( ) ( ) ( )∏∑−

=−

=

−=1

1

21...12.

12

22 1

,,

i

jjji

k

i i

i rsrd

srDσ

Kako važi (Croxton, Cowden, & Klein, 1967)

( ) 21...12.

1

1

21...12. 11 −

−

=− −=−∏ ii

i

jjji rr

kvadratno I-odstojanje je prikladnije izraziti u obliku:

71

( ) ( )( )21...12.

12

22 1

,, −

=−=∑ ii

k

i i

i rsrd

srDσ

U nekim slučajevima je pogodnije koristiti kvadratno I-odstojanje od

prethodno opisanog. Ukoliko je broj izabranih promenljivih veliki, u običnom

I-odstojanju se gubi uticaj jednog broja promenljivih nižeg ranga. Takođe se može

desiti da je nemoguće postići jednakosmernost svih promenljivih, pa se mogu

javiti negativni koeficijenti korelacije i negativni koeficijent parcijalne korelacije.

U takvim slučajevima se upotrebljava kvadratno, umesto običnog I-odstojanja.

Kvadratno I-odstojanje zahteva manji broj operacija, a time i manje

kompjuterskog vremena za računanje od običnog, što je takođe jedna od

prednosti kvadratnog I-odstojanja (Bogosavljević, 1985).

4.2 Rangiranje pomoću I-odstojanja

Veliki je broj višedimenzionalnih pojava, gde je željeni rezultat istraživanja

upravo rangiranje entiteta opisanih odgovarajućom pojavom: rangiranje

univerziteta, sportska takmičenja, medicinska istraživanja i slično (Bulajic,

Knezevic, Jeremic, & Zarkic Joksimovic, 2012; Bulajić, Savić, Savić, et al., 2011;

Ivanovic & Fanchette, 1973; Ivanovic, 1973; Jeremic & Radojicic, 2010; Seke et al.,

2013; Zornic, Markovic, & Jeremic, 2014). Ključan argument za korišćenje metode

I-odstojanja je sposobnost da se veliki broj promenljivih agregira u jednu

numeričku vrednost, koja bi bila zbirna mera performansi entiteta.

Da bi se entiteti, koji pripadaju posmatranom skupu, rangirali koristeći

metodu I-odstojanja, neophodno je fiksirati jedan entitet kao referentni.

Rangiranje entiteta se bazira na izračunatom odstojanju od takvog referentnog

entiteta. U praksi se obično za repernu tačku uzima fiktivni entitet, koji ima

minimalne vrednosti svih promenljivih u posmatranom skupu. Vrednost

fiktivnog baznog entiteta e- definisana je sa:

72

{ } { }1min , 1,2,...i irr n

x x i k−

≤ ≤= ∈

I-odstojanje između entiteta er i fiktivnog entiteta e- definiše "veličinu"

entiteta er. Obrazac za I-odstojanje sada se svodi na:

( )∏∑−

=−

=

−− −−=

1

11...12.

1

1i

jjji

k

i i

iirr r

xxD

σ

Na ovaj način se može odrediti odstojanje svakog elementa skupa E od

fiktivnog entiteta. Ukoliko se svi elementi rangiraju prema "veličini" tako

dobijenih I-odstojanja, dobiće se rang lista entiteta prema njihovoj udaljenosti od

minimalnog fiktivnog entiteta.

Za referentnu tačku može se uzeti i fiktivno najveći entitet e+ unutar skupa

E, tj. entitet sa najvećim vrednostima promenljivih:

{ } { }1max , 1,2,...i ir

r nx x i k+

≤ ≤= ∈

Odgovarajuće I-odstojanje bi bilo:

( )∏∑−

=−

=

++ −−=

1

11...12.

1

1i

jjji

k

i i

irir r

xxD

σ

U ovom slučaju, dobijeni redosled biće inverzan prethodnom. Za repernu

tačku može se uzeti i entitet koji će imati prosečne vrednosti obeležja

(Bogosavljević, 1985; Ivanović, 1977).

73

4.3 Redosled uključivanja varijabli u obrazac I-odstojanja

Redosled uključivanja promenljivih u obrazac za I-odstojanje treba da odgovara

količini informacije koju ta promenljiva sadrži. Za utvrđivanje redosleda

promenljivih do skoro su se koristile dve metode:

1. Subjektivna metoda - posle detaljne analize svake promenljive, poželjno bi

bilo da se svi stejkholderi slažu sa procenom koja je promenljiva u svakom

paru {Xi, Xj} ⊆ X značajnija u pogledu ocene "veličine" posmatranog

entiteta. Tada bi se mogao neposredno odrediti redosled svih promenljivih,

a izračunavanje I-odstojanja vršilo bi se prema tom redosledu. Međutim,

ne dešava se uvek da su svi stejkholderi saglasni sa tako formiranom rang

listom. Svaki od korisnika pri određivanju redosleda promenljivih koristi

svoja lična znanja i iskustva koja su subjektivne prirode i koja se razlikuju

od saznanja i iskustva drugih korisnika. Zato nije pogodno koristiti

subjektivnu metodu, već treba koristiti neku objektivnu metodu za

utvrđivanje redosleda obeležja.

2. Objektivna metoda - ako postoji potpuna linearna zavisnost između

promenljive Xi i dobijene "veličine" entiteta, rang liste entiteta prema

promenljivoj Xi i prema toj veličini biće identične. Tada će biti svejedno po

kom od ovih kriterijuma će se entiteti rangirati. Osnovna ideja za

objektivno rangiranje promenljivih, počiva na korelacijama između

efektivno korišćenih promenljivih i globalnog indeksa koji sadrži

maksimalnu količinu informacije.

Može se primetiti da, dosadašnjom definicijom, redosled uključivanja

promenljivih u obrazac za I-odstojanje nije precizno definisan. Naime, osnovna

ideja Ivanovićevog odstojanja je da kroz kreiranje jednog sumarnog indeksa

pokaže "veličinu" entiteta. Po svojoj ideji, I-odstojanje je slično faktorskoj analizi

zato što integriše veći broj varijabli u jedan zajednički sadržalac (razlikuje se od

74

faktorske analize jer ona pravi veći broj faktora/sadržalaca). Na taj način,

moguće je pokriti informacije od većeg broja promenljivih neophodnih za proces

rangiranja. Ideja Ivanovića je da se kroz iterativno-inkrementalni proces

uključivanja varijabli izbegne duplicitet informacija, i na taj način I-odstojanje

pruža objektivni pristup procesu rangiranja (Jeremić, 2012).

Redosled uključivanja varijabli u obrazac za Ivanovićevo odstojanje utiče

na: (i) smanjenje broja koraka, (ii) tačnost dobijenog rezultata. Prema Jeremiću

(Jeremić, 2012), početno rešenje je moguće zasnivati na ideji da ulazna varijabla

koja najbolje korelira sa ostalim varijablama treba da bude prva uvrštena u

obrazac za I-odstojanje. U skladu sa principima generalizovane varijanse, suma

apsolutnih korelacija je osnova za definisanje redosleda varijabli. Na taj način se

smanjuje broj iteracija metode. Dobijeno rešenje je takođe značajno preciznije.

Prema Jeremiću (Jeremić, 2012), za n ulaznih varijabli postoji n rešenja metode I-

odstojanja.

Rešenje koje se posebno ističe je ono koje se dobija primenom unapređenja

početnog redosleda, a to je rešenje gde je suma korelacija ulaznih varijabli sa

vrednošću I-odstojanja najveća. Ovakvo dobijeno rešenje najbolje pokriva

varijabilitet ulaznih promenljivih, što je i suština I-odstojanja (sumiranje velikog

broja varijabli u jednu vrednost, pri čemu se teži minimizaciji gubitka

informacija).

Jeremić je takođe empirijski dokazao da n! redosleda varijabli konvergira

ka n rešenja. Ukoliko se početni redosled varijabli izabere na predloženi način,

dobija se najbolje rešenje: ono koje minimizira gubitak informacija i obuhvata što

veći varijabilitet ulaznih obeležja, tj. koje ima najveću sumu korelacija sa ulaznim

varijablama (Jeremić, 2012).

75

5 ANALIZA NEIZVESNOSTI I ANALIZA OSETLЈIVOSTI

Svako merenje učinka i performansi, na osnovu više kriterijuma, formira se kao

određeni kompozitni indikator, a njegova stabilnost obezbeđuje meru sigurnosti

posmatranog sistema. Mnogi autori su prepoznali značaj obezbeđivanja

sigurnosti kompleksnih sistema, kako u industrijskim tako i u neindustrijskim

sektorima (Arndt, Acion, Caspers, & Blood, 2013; Becker, Paruolo, & Saltelli,

2014; Guttorp & Kim, 2013; Keung, Kocaguneli, & Menzies, 2013; Monferini et al.,

2013; Saisana et al., 2011; Wainwright, Finsterle, Zhou, & Birkholzer, 2013).

Ukoliko je cilj da se rezimira interakcija između pojedinačnih pokazatelja

uključenih u kompozitni indikator ili u sistem rangiranja, izbor odgovarajuće

metodologije je jedan od centralnih problema (Saisana & D’Hombres, 2008;

Saisana & Tarantola, 2002).

Analiza osetljivosti je studija o tome kako neizvesnost u izlazu modela

može biti povezana sa različitim izvorima neizvesnosti u ulazu modela (Saltelli

et al., 2004; Saltelli, 2002). Uz nju najčešće ide i analiza neizvesnosti, koja se

fokusira na kvantifikovanje neizvesnosti u izlazu modela. U idealnom slučaju,

analize neizvesnosti i osetljivosti treba da se vrše u tandemu (Cacuci, 2003).

Analiza osetljivosti je veoma korisna prilikom modelovanja (Saltelli et al., 2008).

Studije osetljivosti i neizvesnosti su od suštinskog značaja u proceni rizika, a u

tom kontekstu, analiza osetljivosti može da se koristi za izbor najvažnijih

parametara ili za smanjenje broja parametara koji treba da budu uključeni u

procenu rizika (Wainwright et al., 2013).

Mnogi autori su zaključili da razne definicije višekriterijumskih

metodologija često karakteriše sindrom nestabilnosti (Jovanovic, Jeremic, Savic,

Bulajic, & Martic, 2012; Keung et al., 2013), odnosno različiti istraživači nude

različita mišljenja o tome šta je "najbolje" (Myrtveit & Stensrud, 2011; Shepperd

& Kadoda, 2001). Prema Keung i drugima (Keung et al., 2013), ako postoje

različiti skupovi podataka, različiti su i skupovi najboljih metoda za rangiranje.

76

Prema tome, pre nego što se formira kompozitni indikator, potrebno je

doneti nekoliko odluka, kao što su izbor indikatora, normalizacija podataka,

dodeljivanje težinskih koeficijenata, metoda agregacije i slično. Robusnost

kompozitnih indikatora je veoma bitna karakteristika koja mora biti osigurana.

Kombinacija analize neizvesnosti i analize osetljivosti može pomoći da se proceni

robusnost kompozitnog indikatora i poboljša njegova transparentnost.

Analiza neizvesnosti se fokusira na to kako neizvesnost u ulaznim

faktorima utiče na strukturu i rezultate kompozitnog indikatora. Analiza

osetljivosti procenjuje doprinos individualnog izvora neizvesnosti ukupnom

varijabilitetu modela. Iako se analiza neizvesnosti češće koristi nego analiza

osetljivosti, njihova simultana upotreba u procesu formiranja kompozitnog

indikatora može da poboljša njegovu strukturu (Gall, 2007; Saisana, Saltelli, et al.,

2005; Tarantola, Jesinghaus, & Puolamaa, 2000). U idealnom slučaju, treba

obratiti pažnju na sve potencijalne izvore neizvesnosti: izbor indikatora, kvalitet

podataka, normalizacija, ponderisanje, metoda agregacije, itd. Procena

neizvesnosti može uključivati sledeće korake:

1. Uključivanje i isključivanje pojedinačnih indikatora.

2. Modeliranje grešaka u podacima na osnovu raspoloživih informacija o

proceni varijanse.

3. Korišćenje alternativnih načina za obradu nedostajućih vrednosti.

4. Korišćenje alternativnih metoda normalizacije (Min-Max, standardizacija, i

slično).

5. Korišćenje različitih metoda dodele težinskih koeficijenata (subjektivna

metoda, AHP, DEA).

6. Korišćenje različitih metoda agregacije (linearna, geometrijska).

7. Korišćenje različitih verodostojnih vrednosti za težinske koeficijente.

77

5.1 Opšti okvir analiza neizvesnosti i osetljivosti

Kao što je ranije napomenuto, formiranje kompozitnog indikatora podrazumeva

faze u kojima se moraju doneti određene subjektivne odluke: izbor pojedinačnih

indikatora, obrada nedostajućih vrednosti, izbor modela agregacije, dodeljivanje

težinskih koeficijenata pojedinačnim indikatorima, itd. Sve ove subjektivne

odluke predstavljaju osnov kompozitnog indikatora, i zajedno sa informacijama

koje nose same vrednosti indikatora, oblikuju poruku koju kompozitni indikator

saopštava (Nardo et al., 2008).

Pošto kvalitet modela takođe zavisi od ispravnosti pretpostavki modela,

dobra praksa modelovanja zahteva da analitičar obezbedi procenu poverenja i

procenu neizvesnosti modela, koje proizilaze iz procesa modeliranja i iz odluka

koje je pri tome potrebno doneti. To je upravo ono što radi analiza osetljivosti: do

detalja analizira model, proučavajući odnose između ulaznih i izlaznih

informacija. Formalnije rečeno, analiza osetljivosti ispituje kako se menja

proporcija varijabiliteta u izlazu, u odnosu na različite izvore varijacija u

pretpostavkama, i kako formirani kompozitni indikator zavisi od informacija od

kojih se sastoji. Analiza osetljivosti je usko povezana sa analizom neizvesnosti,

čiji je cilj da kvantifikuje ukupnu neizvesnost u rezultatima analize kompozitnih

indikatora i rangiranju entiteta, a koja je uzrokovana neizvesnošću u ulazima

modela. Kombinacija analize neizvesnosti i analize osetljivosti može da pomogne

da se izmeri robusnost kompozitnog indikatora, da se poveća transparentnost,

da se identifikuju entiteti koji su favorizovani ili oštećeni pod određenim

pretpostavkama modela, i da pruži debatni okvir oko samog indikatora.

U ovom poglavlju će biti opisan postupak primene analiza neizvesnosti i

osetljivosti na kompozitni indikator. Sinergetska upotreba ovih analiza za ocenu

robusnosti kompozitnih indikatora je poznata (Saisana, Nardo, et al., 2005;

Saisana, Saltelli, et al., 2005; Saltelli et al., 2008), i pokazala se korisnom u

otklanjanju mnogih polemika vezanih za kompozitne indikatore (Saisana,

Nardo, et al., 2005). Postavka ovih analiza u praksi zavisi od toga koji su izvori

78

neizvesnosti, kao i od pretpostavki koje analitičar smatra relevantnim za

određenu primenu indikatora. Pretpostavke ili izvori neizvesnosti mogu biti:

uključivanje/isključivanje pojedinih indikatora u/iz analize, obrada

nedostajućih podataka, različite metode normalizacije, različiti načini

dodeljivanja težinskih koeficijenata i različiti načini agregacije.

U doktorskoj disertaciji, analize neizvesnosti i osetljivosti se prvenstveno

fokusiraju na neizvesnost koja je uzrokovana različitim načinom dodeljivanja

težinskih koeficijenata, pa će takav izvor neizvesnosti detaljno biti obrađen u

okviru poglavlja o primeni ovih analiza.

Neka je CIj vrednost kompozitnog indikatora za entitet j, j=1,…M (Nardo

et al., 2008):

( )1 2 1 2, ,... , , ,...j rs j j Nj s s sNCI f I I I w w w=

U ovom slučaju rsf predstavlja model formiranja kompozitnog indikatora,

gde je r oznaka za sistem agregacije (npr. linearni, geometrijski) a s je oznaka za

šemu dodeljivanja težinskih koeficijenata (npr. subjektivna, DEA, AHP). Sam

kompozitni indikator sastoji se od N normalizovanih pojedinačnih indikatora ijI

, i=1,...N, za entitet j, i odgovarajućih težinskih koeficijenata siw , i=1,...N, za svaki

od pojedinačnih indikatora. Najčešće metode normalizacije su (1) Min-Max

metoda i (2) standardizacija:

( )( ) ( )

min

max minij i

iji i

x xI

x x

−=

− (1)

ij iij

i

xI

µσ−

= (2)

79

gde je ijI normalizovana, a ijx originalna vrednost pojedinačnog i-tog indikatora

za entitet j.

Rang koji kompozitni indikator dodeljuje j-tom entitetu, Rang(CIj), je izlaz

iz analize neizvesnosti/osetljivosti. Analiza ranga Rang(CIj) je suština analiza

neizvesnosti i osetljivosti (Nardo et al., 2008), koje se sprovode u okviru Monte

Karlo simulacije. Ispituju se svi izvori neizvesnosti istovremeno, kako bi se

obuhvatili svi mogući efekti njihove sinergije. Postupak uključuje korišćenje

faktora neizvesnosti, da bi se izabrao odgovarajući način agregacije ili

ponderisanja.

5.2 Analiza neizvesnosti

Proces izgradnje kompozitnih indikatora sastoji se iz više komponenata, koje

mogu uzrokovati neizvesnost u izlazu Rang(CIj). Na osnovu njih, analitičar

definiše izvore neizvesnosti koji će biti ispitani u analizi, kao i način analize.

Moguće je identifikovati 6 različitih faktora koji predstavljaju izvore neizvesnosti

u izlazu modela. Prvi faktor se odnosi na obradu nedostajućih podataka, drugi

na metod normalizacije, treći na eventualno isključivanje pojedinačnih indikatora

iz kompozitnog indikatora, četvrti i peti na metode agregacije i dodeljivanja

težinskih koeficijenata, a šesti na eventualni izbor eksperta za fenomen koji se

ispituje ili oblast od interesa (zahtevi različitih eksperata mogu uzrokovati

različite rezultate kompozitnih indikatora).

Faktori neizvesnosti se mogu izraziti numerički pomoću celobrojnih

vrednosti, i predstavljaju slučajne promenljive za koje je potrebno definisati

odgovarajuće raspodele verovatnoća. Rezultujući Rang(CIj) je nelinearna funkcija

neizvesnosti ulaznih faktora i funkcije raspodele verovatnoća. Analiza

neizvesnosti se zasniva na simulaciji koja se sprovodi na različitim alternativama

originalnog modela. Najčešći pristup za procenu neizvesnosti izlaza je Monte

Karlo pristup, koji se zasniva na višestrukim procenama rezultata modela sa k

80

nasumično odabranih ulaznih faktora. Postupak analize neizvesnosti se sastoji iz

nekoliko koraka:

Korak 1:

Dodeliti raspodelu verovatnoća svakom ulaznom faktoru neizvesnosti Xi,

i=1,…k. Prvi faktor neizvesnosti X1 odnosi se na izbor metode za obradu

nedostajućih podataka, a drugi X2 na izbor metode normalizacije (tabela 5.1).

Tabela 5.1 Faktori neizvesnosti 1 i 2

X

1 Obrada nedostajućih podataka X2 Metod normalizacije

1 Korišćenje linearne regresije 1 Min-Max

2 Nedostajućim vrednostima dodeliti vrednost 0 2 Standardizacija

3 Originalne vrednosti indikatora

Oba faktora X1 i X2 su diskretnog tipa. Oni se generišu na slučajan način,

npr. bira se slučajni broj ξ iz uniformne raspodele [0,1], pa se X1 dodeljuje

vrednost 1 ako je [ )0,0.5ξ ∈ , a vrednost 2 ako je [ ]0.5,1ξ∈ .

Dalje, faktor neizvesnosti X3 se generiše kako bi se utvrdilo koji

individualni indikator treba eventualno izostaviti iz posmatranja (tabela 5.2).

81

Tabela 5.2 Faktor neizvesnosti 3

ξ X3 Broj individualnih indikatora koje treba

isključiti

10,

1N

+ 0 Nijedan

1 2,

1 1N N

+ + 1 Jedan

... ... ...

,11

i

N +

i i

Ovo znači da se sa verovatnoćom 1

1N + ne isključuje nijedan, dok se sa

verovatnoćom 11

1N−

+ isključuje jedan od i individualnih indikatora (svaki sa

jednakom verovatnoćom). Treba imati u vidu da, kada se neki indikator isključi

iz posmatranja, težinski koeficijenti ostalih pojedinačnih indikatora moraju da se

skaliraju u jedinstvenu sumu, kako bi kompozitni indikator mogao biti uporediv

(Saltelli & Tarantola, 2002).

Faktor neizvesnosti X4 može se koristiti za selekciju načina agregacije, dok

se faktor X5 može koristiti za selekciju načina ponderisanja, kao što je npr. dato u

tabeli 5.3.

Tabela 5.3 Faktori neizvesnosti 4 i 5

X4 Metod agregacije X5 Metod ponderisanja

1 Linearna 1 Subjektivni

2 Geometrijska 2 AHP

3 DEA

82

Poslednji faktor neizvesnosti X6, koristi se za izbor eksperta. Kada se

odabere ekspert, težinski koeficijenti se dodeljuju baš od strane tog eksperta na

njemu odgovarajući način. Ovaj faktor neizvesnosti se može generisati u svakoj

pojedinačnoj Monte Karlo simulaciji.

Korak 2:

Generisati L random kombinacija nezavisnih faktora neizvesnosti lX ,

l=1,…L (skup 1 2, ,...l l l lkX X X=X faktora neizvesnosti je uzorak). Za svaki probni

uzorak lX može se izračunati izlaz iz modela, gde je izlaz neki skalar lY , pri čemu lY može biti Rang(CIj) – rang koji svakom entitetu dodeljuje kompozitni

indikator.

Korak 3:

Postupak se sprovodi u L iteracija. Po završetku postupka moguće je

analizirati rezultujući izlazni vektor lY , sa l=1,…L.

Generisanje uzoraka može se vršiti različitim procedurama, kao što su

princip slučajnog uzorka, stratifikovano uzorkovanje, sistematski uzorak ili

drugo (Saltelli et al., 2008, 2004). Sekvenca lY daje raspodelu verovatnoća izlaza

Y. Parametri raspodele verovatnoća, kao što su varijansa ili momenti, mogu biti

procenjeni sa proizvoljnim nivoom značajnosti, u vezi sa veličinom simulacije L.

Primer analize neizvesnosti, kada se rezultati simuliraju odgovarajući broj puta,

prikazan je na slici 5.1.

83

Slika 5.1 Analiza neizvesnosti za Technology Achievement Index TAI (Nardo et al., 2008)

5.3 Analiza osetljivosti

Neophodan korak pri analizi osetljivosti je da se identifikuju izlazne varijable od

interesa. U idealnom slučaju, ovo bi trebalo da bude relevantno za problem

definisan modelom. Ukoliko neizvesnost proističe iz više razloga istovremeno,

kompozitni indikator bi mogao da postane nelinearan, verovatno čak i neaditivni

model. Kao što smatraju mnogi autori (Chan, Tarantola, Saltelli, & Sobol, 2000;

Saltelli et al., 2008), ako su modeli nelinearni, treba koristiti robusne tehnike za

analizu osetljivosti. Analiza osetljivosti, koja koristi tehnike zasnovane na

varijansi, pogodna je iz sledećih razloga (Saltelli, Chan, & Scott, 2000):

• Omogućava istraživanje čitavog niza varijacija faktora neizvesnosti,

• Kvantitativna je,

• Lako se tumači i lako je objasniti,

• Omogućava analizu osetljivosti pri čemu se faktori neizvesnosti tretiraju

u grupama umesto pojedinačno,

• Može biti opravdana u pogledu strogih parametara za analizu osetljivosti.

84

Da bi se izračunala mera osetljivosti za određeni faktor neizvesnosti Xi,

kreće se od delimičnog doprinosa izlaznoj varijansi modela, tj. uslovnoj varijansi

od Y u odnosu na neizvesnost u Xi, gde Y može biti Rang(CIj) – rang koji svakom

entitetu dodeljuje kompozitni indikator.

( )( )i ii X X iV V E Y X=

Varijansa iV ima vrednost između 0 i ( )V Y , gde je ( )V Y bezuslovna

varijansa od Y, kada nijedan faktor osim Xi nema uticaja.

Analiza osetljivosti, dakle, ispituje koliko svaki pojedinačni izvor

neizvesnosti doprinosi varijabilitetu skora ili ranga kompozitnog indikatora

entiteta. Rezultati analize osetljivosti su obično prikazani u pogledu mera

osetljivosti za svaki ulazni izvor neizvesnosti. Ove mere pokazuju koliko bi se

neizvesnost u kompozitnom indikatoru smanjila, ako bi se uklonio određeni

izvor neizvesnosti. Rezultati analize osetljivosti se često prikazuju pomoću

dijagrama, sa vrednostima ili rangovima kompozitnog indikatora za entitete i

varijabilitetom na vertikalnoj osi.

Primer analize osetljivosti, kada se rezultati simuliraju odgovarajući broj

puta, prikazan je na slici 5.2.

85

Slika 5.2 Analiza osetljivosti za Technology Achievement Index TAI (Nardo et al., 2008)

5.4 Primena analiza neizvesnosti i osetljivosti

U okviru doktorske disertacije, u studijama slučaja, meriće se isključivo

neizvesnost i osetljivost kompozitnih indikatora koje proističu iz subjektivnosti

dodeljivanja težinskih koeficijenata pojedinačnim indikatorima iz kojih se

kompozitni indikator sastoji.

Da bi se izmerila stabilnost i postojanost nekog sistema rangiranja,

neizvesnost i osetljivost rezultata zasnivaće se na relativnom doprinosu svakog

pojedinačnog indikatora. Rezultati analize relativnog doprinosa indikatora za

svaki entitet, mogu da pruže korisne informacije o tome da li neki indikatori

dominiraju ukupnim skorovima (Saisana & D’Hombres, 2008).

Relativni doprinos se procenjuje kao udeo vrednosti indikatora u odnosu

na ukupni skor entiteta, pomnožen odgovarajućim težinskim koeficijentom. Ove

doprinose je moguće izračunati za celokupan vremenski period istraživanja, pa

je takođe moguće izračunati prosečne doprinose i njihove standardne devijacije.

86

Koristeći Monte Karlo metodu, u studijama slučaja, obrađenim u

doktorskoj disertaciji, vršeno je 10 000 simulacija rezultata. Prema metodologiji

analiza neizvesnosti i osetljivosti (Saisana & D’Hombres, 2008), za sve entitete je

određena raspodela rangova, koja može prikazati količinu neizvesnosti i

nesigurnosti rezultata rangiranja entiteta.

87

6 KOMPOZITNI INDIKATOR BAZIRAN NA I-ODSTOJANJU

(COMPOSITE I-DISTANCE INDICATOR (CIDI))

Jedan od vodećih razloga polemike oko problematike kreiranja kompozitnih

indikatora dao je Sharpe (Sharpe, 2004, p. 5):

"Kada se govori o merenju određenih višedimenzionalnih pojava, pristalice

agregacije pri formiranju kompozitnih indikatora veruju da postoji

prednost u kombinovanju individualnih pokazatelja na određeni način,

kako bi se izvukla odgovarajuća suština pojave. Oni smatraju da takva

sumarna statistika može da prikaže realnost, a time i da skrene pažnju na

problem od interesa. Protivnici agregacije veruju da je dovoljno definisati

odgovarajući skup pojedinačnih indikatora koji mere neku problematiku, i

da ih ne treba kombinovati u kompozitni indikator. Njihov ključni prigovor

na agregaciju je subjektivnost u procesu formiranja težinskih koeficijenata".

Autorka Jovičić je u Ekonomskim analima objavila (Jovičić, 2006):

"Postoji i bogata literatura o upozorenjima u vezi sa mogućim greškama pri

formiranju i primeni kompozitnih indikatora, ali se ta upozorenja

uglavnom odnose na probleme agregacije i ponderisanja".

Benini je opet definisao sledeće (Benini, 2012, p. 49):

"Da li su ponderi već u samim podacima? Postoje načini za analitičare da

izbegnu odgovornost dodeljivanja težinskih koeficijenata, da ih pravdaju ili

se suočavaju sa mogućim neslaganjima. Jedan je da se jednostavno dozvoli

da podaci govore sami za sebe".

88

Ovo su neki od glavnih razloga razmatranja poboljšanja problematike koja

se izučava u okviru doktorske disertacije: na koji način formirati takav

kompozitni indikator koji će omogućiti da se prevaziđe nedostatak subjektivnosti

prilikom dodeljivanja težinskih koeficijenata pojedinačnim indikatorima, i

obezbediti jednu objektivnu, robusnu i transparentnu meru za višekriterijumske

pojave.

Pristup formiranju kompozitnih indikatora detaljno je opisan u drugom

poglavlju. Radi podsećanja, biće dat kratak pregled faza (Nardo et al., 2008)

prilikom formiranja kompozitnih indikatora:

1. Teorijski okvir

2. Izbor podataka

3. Obrada nedostajućih podataka

4. Multivarijaciona analiza

5. Normalizacija

6. Dodeljivanje težinskih koeficijenata i agregacija

7. Analiza neizvesnosti i analiza osetljivosti

8. Povratak na podatke

9. Povezanost sa drugim pokazateljima

10. Vizualizacija i prezentacija rezultata

Glavni doprinos doktorske disertacije ogleda se u mogućnostima

poboljšanja koraka 6 i 7 ove liste. Osnovni koncept rada predložene metodologije

izračunava težinske koeficijente za pojedinačne indikatore, na osnovu skupa

podataka iz prethodnih godina. Težinski koeficijenti su zasnovani na

korelacijama između vrednosti Ivanovićevog odstojanja (I-odstojanja) i ulaznih

indikatora. U ovom poglavlju biće dati osnovni metodološki koncepti

istraživanja, kao i predlog poboljšanja i doprinosa predloženih metodoloških

instrumenata.

89

Značajan deo doktorske disertacije posvećen je analizi neizvesnosti i analizi

osetljivosti predloženog modela. U studijama slučaja, vršene su analize

neizvesnosti i osetljivosti predložene metodologije, i poređenjem sa postojećom,

uočena su značajna poboljšanja.

6.1 Kreiranje težinskih koeficijenata

Prvi doprinos doktorske disertacije predstavlja činjenica da se proces

dodeljivanja težinskih koeficijenata pojedinačnim indikatorima, iz kojih se

kompozitni indikator sastoji, bazira na statističkoj metodi, koja se zasniva na

I-odstojanju.

Osnovni koncept predložene metodologije podrazumeva računanje

korigovanih težinskih koeficijenata pojedinačnih indikatora. Težinski koeficijenti

su zasnovani na koeficijentima korelacije između vrednosti I-odstojanja i ulaznih

indikatora. Da bi se kreirao stabilniji metod rangiranja, težinski koeficijenti su

korigovani, tako da prikažu značaj pojedinačnih indikatora na najbolji mogući

način. Računaju se na osnovu celokupnog vremenskog perioda koje je

obuhvaćeno istraživanjem.

Predložena metodologija nazvana je Kompozitni indikator baziran na I-

odstojanju (Composite I-distance Indicator (CIDI)).

CIDI metodologija obuhvata nekoliko koraka:

• U prvom koraku računaju se vrednosti I-odstojanja za određeni broj

uzastopnih godina, a u zavisnosti od dostupnih podataka. Na osnovu ovih

vrednosti kreiraju se rangovi posmatranih entiteta. Značaj metode

I-odstojanja je elaboriran u velikom broju naučnih radova (Bulajic et al.,

2013; Dobrota, Jeremic, & Markovic, 2012; Dobrota, Stojilkovic, Poledica,

& Jeremic, 2014; Jeremic & Jovanovic Milenkovic, 2014; Jeremić,

Jovanović-Milenković, Radojičić, & Martić, 2013; Jeremic et al., 2012;

90

Jeremic, Bulajic, Martic, & Radojicic, 2011; Jovanovic et al., 2012; Jovanovic

Milenkovic et al., 2014; Zornic et al., 2014). CIDI se zasniva na metodi I-

odstojanja ugledom na postojeću literaturu, gde autori posebno ističu

objektivnost ove metode.

• U drugom koraku računaju se Pirsonovi koeficijenti korelacije između

vrednosti I-odstojanja i pojedinačnih ulaznih indikatora. Glavni razlog

korišćenja Pirsonovih koeficijenata korelacije u CIDI metodologiji je

posebna karakteristika I-odstojanja: moguće je da se utvrdi značaj ulaznih

indikatora za kreiranje rezultata merenja i rangiranja. Umesto definisanja

subjektivnih težinskih koeficijenata za ulazne indikatore (što u većini

slučajeva podrazumeva metodologija formiranja kompozitnih

indikatora), metoda I-odstojanja definiše koji su, od ulaznih indikatora,

najvažniji za proces rangiranja, stavljajući ih u određeni redosled prema

važnosti, a na osnovu ovih koeficijenata korelacije.

• Sledeći korak je računanje novih težinskih koeficijenata za svaki od

pojedinačnih indikatora iz kojih se kompozitni indikator sastoji. Težinski

koeficijenti se formiraju ponderisanjem empirijskih Pirsonovih

koeficijenata korelacije: vrednosti dobijenih korelacija se dele sa zbirom

korelacija. Konačna suma je jedinstvena i jednaka je 1, na taj način

formirajući novi odgovarajući sistem ponderisanja iw :

1

ii k

jj

rw

r=

=∑

gde je ir (i=1,…k) Pirsonov koeficijent korelacije između i-tog ulaznog

indikatora i vrednosti I-odstojanja. Ove pondere je moguće izračunati za

celokupan vremenski period istraživanja. Konačni težinski koeficijenti

predstavljaju sredine dobijenih vrednosti. Ovo je jedan od značajnih

doprinosa doktorske disertacije, jer, umesto subjektivnog definisanja

91

vrednosti težinskih koeficijenata, ovaj princip je zasnovan na

metodološkom i statističkom konceptu, koji se bazira na metodi

I-odstojanja.

6.2 Prednosti CIDI indikatora

Na gore predloženi način, moguće je značajno poboljšati različite metode

rangiranja i predložiti novi poboljšani kompozitni indikator baziran na

I-odstojanju (CIDI), koji može da meri određeni višekriterijumski fenomen od

interesa, i u skladu sa tim, performanse odgovarajućih entiteta.

Prednosti CIDI indikatora u odnosu na druge kompozitne indikatore,

kreirane načinom agregacije, sa dodeljivanjem težinskih koeficijenata od strane

eksperata, upravo je u tome što su CIDI težinski koeficijenti objektivni, i

zasnivaju se na metodi I-odstojanja.

Prednost CIDI indikatora u odnosu na samo I-odstojanje je u tome što je

CIDI indikator kreiran pomoću metode agregacije, uz dodeljivanje težinskih

koeficijenta kreiranih na gore pomenut način. Ovo čini njegove vrednosti

direktno uporedivim sa indikatorom koji se nastoji poboljšati.

6.3 Analize neizvesnosti i osetljivosti CIDI indikatora

Kako bi se izvršile odgovarajuće analize neizvesnosti i osetljivosti, potrebno je

vratiti se na težinske koeficijente koji su formirani na gore pomenut način. Naime,

težinski koeficijenti CIDI metodologije, stečeni su na osnovu vremenske serije

skupa ulaznih indikatora. Na osnovu ovih vrednosti, moguće je izračunati

srednje vrednosti i standardne devijacije težinskih koeficijenata, koji se mogu

koristiti kao ulazni parametri za Monte Karlo simulaciju.

92

Koristeći metod Monte Karlo simulacije, moguće je simulirati rezultate

odgovarajući broj puta. Slično kao što su autori Saisana i D’Hombres (Saisana &

D’Hombres, 2008) merili osetljivost originalnih rezultata (poglavlje 5), moguće je

odrediti raspodelu rangova za sve entitete, čime se zapravo može meriti količina

neizvesnosti i nesigurnosti predloženih rezultata. Raspodela rangova se takođe

može prikazati grafički.

6.4 Testiranje značajnosti razlike devijacije rangova

Da bi se detaljnije ispitala razlika u devijacijama rangova, osim određivanja

raspodele rangova i njihovog grafičkog prikaza, moguće je testirati devijacije

rangova, i to za svaki entitet koji se rangira posebno.

Razlike u stabilnosti, prikazane grafički, mogu biti veoma očigledne. Ipak,

kako bi se sa sigurnošću merile razlike u stabilnosti metoda rangiranja,

neophodno je vršiti i dodatne testove. Da bi se to postiglo, korišćen je Mann-

Whitney test za merenje razlike između odstupanja rangova od medijane ranga

(Freyer, 2014; Mann & Whitney, 1947). CIDI je poređen po svim pomeranjima

rangova pomoću Mann-Whitney testa, za svaki entitet posebno.

Test se sprovodi u nekoliko koraka:

• Računaju se medijane rangova za svaki od posmatranih entiteta.

• Računaju se apsolutna odstupanja rangova od medijane, za svaki entitet

koji se rangira.

• Pomoću Mann–Whitney testa, testiraju se razlike u ovim odstupanjima,

između originalne metode za kreiranje kompozitnih indikatora i

unapređene CIDI metode. Ovaj test se sprovodi za svaki od posmatranih

entiteta.

• Ukoliko su, za svaki entitet, odstupanja statistički značajno manja ili

barem jednaka za CIDI metodologiju u odnosu na originalnu metodu

rangiranja, CIDI metodologija je stabilnija.

93

Za ovu analizu koristi se Mann–Whitney test jer varijable, dobijene u

drugom koraku, predstavljaju razliku između rangova i medijane ranga, pa su

pogodne za neparametarski test.

U studijama slučaja, koje su analizirane u doktorskoj disertaciji

(poglavlje 7), CIDI metodologija se pokazala stabilnijom u od 85% do 100%

slučajeva.

94

7 PRIMENA KOMPOZITNIH INDIKATORA BAZIRANIH NA

I-ODSTOJANJU

CIDI metodologija, opisana u poglavlju 6, i razvoj kompozitnog indikatora

baziranog na I-odstojanju, fokusira se na poboljšanje određenih aspekata

postojećih kompozitnih indikatora. U ovom poglavlju će biti upoređeni rezultati

dobijeni primenom CIDI metodologije sa rezultatima zvaničnih metodologija

rangiranja za nekoliko poznatih primera.

Metodologije obuhvaćene istraživanjem su IDI metodologija (indeks

razvoja IKT - ICT Development Index - IDI) za merenje razvoja informatičkog

društva, i QS (Quacquarelli Symonds World University Rankings) i ARWU

(Academic Ranking of World Universities) metodologije za rangiranje

univerziteta. Kompozitni indikatori, koji se koriste u ovim zvaničnim

rangiranjima, agregirani su lineranom metodom, normalizacija je vršena u

zavisnosti od samih indikatora, a težinski koeficijenti su dodeljivani subjektivno.

Indikatori na kojima se baziraju ove rang liste su izabrani od strane

eksperata i zvanični su instrumenti za njihovo kreiranje. Radi poređenja rezultata

rangiranja, CIDI metodologija će biti primenjena na iste indikatore na kojima se

baziraju zvanične rang liste, ali će novi težinski koeficijenti biti određeni

primenom postupka opisanog u poglavlju 6.

U poglavlju će biti prikazani i rezultati analize neizvesnosti i osetljivosti za

CIDI indikatore, kao i poređenja rezultata ovih analiza sa rezultatima analiza

neizvesnosti i osetljivosti originalnih IDI, QS i ARWU metodologija.

95

7.1 Primena CIDI na rangiranje IKT sistema – IDI indeks

Informacione i komunikacione tehnologije (IKT), ne samo da su u današnje

vreme važne za razvoj modernog društva, već su postale njegov osnovni

strukturni deo (Dobrota, Jeremic, & Markovic, 2012). IKT imaju širok spektar

ekonomskih efekata i igraju veoma važnu ulogu u jačanju ekonomskog rasta i

podizanju socio - ekonomskog razvoja (Dimelis & Papaioannou, 2011). Opšte je

mišljenje da jače i bolje razvijene IKT dovode do razvoja društva (Cardona,

Kretschmer, & Strobel, 2013; Sassi & Goaied, 2013), kao i da nove IKT i dalje

prodiru u zemlje u svim regionima sveta, obzirom da se sve više ljudi pridružuje

globalnom informacionom društvu (MIS, 2013).

IKT sektor je jedan od ključnih instrumenata za razvoj privrede (García-

Muñiz & Vicente, 2014; Swar & Khan, 2014). Veoma je širok pregled literature

gde se ispituju doprinosi IKT ekonomskom rastu na nacionalnom nivou. Na

primer, prema Vu (Vu, 2013), izvanredan uspeh ekonomskog razvoja Singapura,

povezan je sa energičnim nastojanjima ove zemlje da prihvati IKT revoluciju

kako bi promovisala ekonomski rast. S tim u vezi, nastao je i termin informacione

i komunikacione tehnologije za razvoj (Information and Communication

Technologies for Development) (ICT4D, 2014), koji se odnosi na korišćenje IKT u

oblastima ekonomskog razvoja, međunarodnog razvoja, i ljudskih prava.

Projekti koji uključuju ICT4D koriste IKT kako bi poboljšale blagostanje u

okruženjima sa ograničenim resursima, kao što je to slučaj sa zemljama u razvoju

(Brewer et al., 2005; Ferguson, Soekijad, Huysman, & Vaast, 2013; Walton, 2013).

Prema tome, merenje razvoja u okviru sektora informacionih i komunikacionih

tehnologija je tema koja je uvek moderna i privlačna mnogim stejkholderima

(Arushanyan, Ekener-Petersen, & Finnveden, 2014).

Sassi i Goaied (Sassi & Goaied, 2013) su utvrdili da postoji pozitivna i

značajna veza između prodora IKT i finansijskog razvoja. Pored toga što je od

suštinskog značaja za makroekonomski rast, takođe je osnova za razvoj

preduzeća i mikroekonomije. IKT omogućava stvaranje bližih veza između

96

preduzeća, njihovih klijenata, dobavljača i kolaborativnih partnera; olakšava

stvaranje novih znanja i brže širenje znanja kroz efikasnije procese prenošenja

informacija, kako unutar tako i između firmi i sektora (García-Muñiz & Vicente,

2014; Kretschmer, 2012). Takođe utiče na industrijsku strukturu regiona i

doprinosi prosperitetu na mnogim nivoima (MIS, 2013), uključujući zdravstvo

(Adler-Milstein, Ronchi, Cohen, Winn, & Jha, 2014; Mahmud, Olander, Eriksén,

& Haglund, 2013) i obrazovanje (Horvat, Dobrota, Krsmanovic, & Cudanov,

2013; Voogt, Knezek, Cox, Knezek, & ten Brummelhuis, 2013). Pored toga,

efektivna difuzija IKT omogućila je brži socio-ekonomski razvoj u nerazvijenim

zemljama (Swar & Khan, 2014). Zemlje očito stalno nastoje da napreduju u

informacionom razvoju, sa ciljem izgradnje inkluzivnog informacionog društva

(Dobrota, Jeremic, & Markovic, 2012; Parker, 2011; Vicente & López, 2011).

Vremenom je došlo do potrebe da se stvori određeni metod za merenje

razvoja informacionog društva. Tako se IKT može posmatrati kao sredstvo da se

zemlje međusobno porede, pogotovo jer se ova tematika može svrstati u jedan

od Milenijumskih ciljeva razvoja Ujedinjenih nacija (MDG, 2014). Poboljšanjem

svoje pozicije i perspektive, zemlje mogu imati višestruke koristi, što je posebno

važno za evropske zemlje u razvoju: one traže razne načine za napredovanje i

ispunjavanje uslova za članstvo u EU.

Standardni instrument koji je nastao u cilju merenja razvoja informatičkog

društva je indeks razvoja IKT (ICT Development Index - IDI), objavljen od 2009.

godine, od strane Međunarodne unije za telekomunikacije (International

Telecommunication Union - ITU). Prvobitno je kreiran 2007. godine, kao IKT

indeks mogućnosti, a kasnije je unapređen u IDI. Ovaj indeks je benchmarking alat

koji se koristi za praćenje razvoja informacionog društva u svetu, kombinujući 11

indikatora u jedan kompozitni indeks (Dobrota, Jeremic, & Dobrota, 2012;

Dobrota, Martic, Bulajic, & Jeremic, n.d.; MIS, 2013). Osnovni cilj IDI je merenje:

nivoa razvoja IKT, napretka u razvoju IKT, razlika između zemalja, kao i

razvojnog potencijala IKT (Dobrota, Jeremic, & Dobrota, 2012; Dobrota, Jeremic,

97

& Markovic, 2012; Dobrota et al., 2014; MIS, 2013). IDI se sastoji iz tri dela i

uključuje indikatore koji se odnose na IKT pristup, upotrebu i veštine. Pri izboru

indikatora uzima se u obzir evolucija informacionog društva, pošto ona prolazi

kroz različite faze razvoja, koji se odnose na konvergenciju tehnologije i pojavu

novih tehnologija (MIS, 2013).

Kada se meri informaciona razvijenost zemalja, veoma je važno imati u

vidu da se ona sastoji iz više heterogenih pokazatelja. Da bi se merile

višekriterijumske performanse, merenje može biti kreirano kao određeni

kompozitni indikator, što IDI i jeste. Ipak, kao što je ranije navedeno, kompozitni

indikatori često mogu biti veoma nestabilni (Arndt et al., 2013; Dobrota, Bulajic,

Bornmann, & Jeremic, n.d.; Guttorp & Kim, 2013; Keung et al., 2013; Mahsuli &

Haukaas, 2013; Monferini et al., 2013; Saisana et al., 2011; Wainwright et al., 2013).

Kada se radi o informatičkoj razvijenosti zemalja, CIDI metodologija može razviti

takav kompozitni indikator koji je stabilniji od originalne IDI metodologije.

7.1.1 IDI metodologija

Indeks razvoja IKT (The ICT Development Index - IDI) je kompozitni indikator

koji kombinuje 11 indikatora, u jednu jedinstvenu meru za praćenje i poređenje

IKT razvoja u različitim zemljama. IDI je razvijen od strane ITU 2008. godine, a

kreiran je sa ciljem da se formira određeni IKT indeks koji će se objavljivati na

regularnoj osnovi (MIS, 2013). IDI indeks se sastoji iz tri dela:

• IKT pristup prikazuje nivo mrežne infrastrukture i pristup IKT-u.

Uključuje pet indikatora infrastrukture i pristupa: broj fiksnih telefonskih

linija na 100 stanovnika, broj mobilnih pretplata na 100 stanovnika,

međunarodni internet protok, domaćinstva sa računarima i domaćinstva

sa pristupom Internetu.

98

• IKT upotreba prikazuje stepen korišćenja IKT u društvu. Uključuje tri IKT

indikatora intenziteta i korišćenja: korisnici Interneta, fiksni i mobilni

pristup Internetu.

• IKT veštine prikazuju rezultat/ishod efikasnog i efektivnog korišćenja IKT,

posmatrajući ih kao neophodne ulazne indikatore. Uključuju tri

indikatora: pismenost odraslih, udeo studenata na sekundarnom i na

tercijarnom nivou obrazovanja.

Navedena tri aspekta IDI metodologije obuhvataju 11 indikatora, i skup

ovih pokazatelja je glavni izvor podataka korišćen u ovoj studiji slučaja. Prvih

pet indikatora se odnose na IKT pristup, sledeća tri na IKT upotrebu, a poslednja

tri na IKT veštine (MIS, 2013):

• Broj fiksnih telefonskih linija na 100 stanovnika - podrazumeva telefonske

linije koje povezuju pretplatnički terminal sa opremom za javnu

telefonsku mrežu, koja ima za to određeni priključak na centrali. Broj

ISDN kanala i pretplatnika fiksne i bežične telefonije uključen je u ovaj

indikator.

• Broj pretplata mobilne telefonije na 100 stanovnika - podrazumeva broj

pretplata za javni mobilni telefonski servis, koristeći mobilnu tehnologiju

za pristup javnoj telefonskoj mreži. Postpejd i pripejd korisnici su

uključeni u ovaj indeks, međutim ne pravi se razlika između pretplate i

pretplatnika (osoba). Pretplatnik može imati više pretplata (telefona), pa

je preporuka da se nekada u budućnosti dodatno razvrstaju broj mobilnih

pretplata i broj korisnika.

• Međunarodni Internet protok (bit/s) po Internet korisniku - kapacitet Internet

saobraćaja.

• Procenat domaćinstava sa računarom - računar, prema definiciji datog

indikatora, može biti desktop ili laptop računar. Ovde se ne uključuje

99

ostala oprema koja može imati ugrađene neke računarske sposobnosti,

kao što su mobilni telefoni, PDA uređaji ili televizori.

• Procenat domaćinstava sa pristupom Internetu - predstavlja bilo koji vid

pristupa Internetu - ne mora biti samo preko računara, može biti i preko

mobilnog telefona, konzole, digitalne TV, itd. Pristup može biti preko

fiksne ili mobilne mreže.

• Broj Internet korisnika na 100 stanovnika - povećanje korišćenja interneta

preko mobilnih uređaja ne odražava se nužno u ovim indeksu.

• Broj korisnika DSL pristupa Internetu na 100 stanovnika - broj korisnika koji

plaćaju brzi Internet (preko TCP/IP konekcije). U ovaj indeks nisu

uključeni pretplatnici koji koriste Internet ili drugi prenos podataka preko

mobilne mreže telefonije.

• Broj korisnika mobilnog pristupa sa brzim protokom na 100 stanovnika -

predstavlja broj pretplata na mobilnoj mreži za pristup prenosu podataka,

bez obzira na uređaj koji se koristi za pristup (desktop računar, laptop, ili

mobilni telefon). Ove usluge se obično nazivaju "3G" i "3.5G".

• Stopa pismenosti odraslih - procenat stanovništva starijeg od 15 godina, koji

mogu da čitaju i pišu, kao i da razumeju kratak jednostavan iskaz o

svakodnevnom životu.

• Procenat stanovništva u sekundarnom obrazovanju - procenat ukupnog

stanovništva upisanog u srednju školu bez obzira na godine.

• Procenat stanovništva u tercijarnom obrazovanju – procenat ukupnog

stanovništva upisanog na fakultet bez obzira na godine.

Kod IDI metodologije, ponderi za skup ulaznih kriterijuma su unapred

određeni na subjektivan način. IDI podrazumeva definisan obrazac za merenje

IKT strukture neke zemlje, gde su IKT pristup i upotreba uključeni sa po 40% a IKT

veštine sa 20% težine. Ponderi su prikazani u tabeli 7.1.

100

Tabela 7.1 IDI indeks, indikatori i ponderi

IKT pristup Ponderi (%)

Broj fiksnih telefonskih linija na 100 stanovnika 20

40

Broj pretplata mobilne telefonije na 100 stanovnika 20

Međunarodni Internet protok (bit/s) po Internet korisniku 20

Procenat domaćinstava sa računarom 20

Procenat domaćinstava sa pristupom Internetu 20

IKT upotreba Ponderi (%)

Broj Internet korisnika na 100 stanovnika 33

40 Broj korisnika DSL pristupa Internetu na 100 stanovnika 33

Broj korisnika mobilnog pristupa sa brzim protokom na 100 stanovnika 33

IKT veštine Ponderi (%)

Stopa pismenosti odraslih 33

20 Procenat stanovništva u sekundarnom obrazovanju 33

Procenat stanovništva u tercijarnom obrazovanju 33

Cilj kome se ovde teži je da se poboljša IDI metodologija, tako da bude

manje pristrasna i subjektivna. Pomoću CIDI metodologije, moguće je definisati

novi set težinskih koeficijenata za ovih 11 indikatora, što se može koristiti za

rangiranje zemalja prema njihovoj strukturi IKT razvoja. Rezultati su direktno

uporedivi sa zvaničnim IDI rezultatima. CIDI takođe može značajno doprineti

poboljšanju stabilnosti merenja informacionog razvoja zemalja.

7.1.2 Kompozitni IDI indikator baziran na I-odstojanju

U okviru istraživanja korišćeni su podaci za IDI indeks, za pet godina u periodu

od 2007. do 2012., s tim što 2009. godine IDI nije objavljen, pa ova godina nije

obuhvaćena analizom. Za ovih pet godina izračunate su vrednosti I-odstojanja i

Pirsonovi koeficijenti korelacije između vrednosti I-odstojanja i ulaznih

indikatora (Dobrota et al., 2015). Vrednosti koeficijenata su prikazani u tabeli 7.2.

101

Tabela 7.2 Pirsonovi koeficijenti korelacije između IDI indikatora i I-odstojanja

IDI indikatori 2007 2008 2010 2011 2012

Broj fiksnih telefonskih linija na 100 stanovnika 0.902 0.886 0.884 0.848 0.819

Broj pretplata mobilne telefonije na 100 stanovnika 0.78 0.787 0.714 0.74 0.728

Međunarodni Internet protok (bit/s) po Internet korisniku 0.805 0.833 0.836 0.813 0.809

Procenat domaćinstava sa računarom 0.94 0.938 0.94 0.912 0.915

Procenat domaćinstava sa pristupom Internetu 0.924 0.936 0.929 0.922 0.913

Broj Internet korisnika na 100 stanovnika 0.924 0.925 0.926 0.894 0.881

Broj korisnika DSL pristupa Internetu na 100 stanovnika 0.913 0.918 0.913 0.898 0.869

Broj korisnika mobilnog pristupa sa brzim protokom na 100

stanovnika 0.747 0.801 0.833 0.832 0.854

Stopa pismenosti odraslih 0.797 0.782 0.801 0.775 0.772

Procenat stanovništva u sekundarnom obrazovanju 0.76 0.748 0.774 0.773 0.754

Procenat stanovništva u tercijarnom obrazovanju 0.68 0.685 0.73 0.695 0.711

Novi težinski koeficijenti za svaki od indikatora od kojih se IDI sastoji,

izračunati su deljenjem odgovarajućeg koeficijenta korelacije sa sumom

koeficijenata korelacije, prema CIDI metodologiji (tabela 7.3).

Tabela 7.3 Težinski koeficijenti IDI indikatora zasnovani na CIDI metodologiji

IDI indikatori 2007 2008 2010 2011 2012 M SD

Broj fiksnih telefonskih linija na 100 stanovnika 0.098 0.096 0.095 0.093 0.091 0.095 0.002872

Broj pretplata mobilne telefonije na 100 stanovnika 0.085 0.085 0.077 0.081 0.081 0.082 0.003432

Međunarodni Internet protok (bit/s) po Internet

korisniku 0.088 0.090 0.090 0.089 0.090 0.089 0.000972

Procenat domaćinstava sa računarom 0.102 0.102 0.101 0.100 0.101 0.101 0.000814

Procenat domaćinstava sa pristupom Internetu 0.101 0.101 0.100 0.101 0.101 0.101 0.000511

Broj Internet korisnika na 100 stanovnika 0.101 0.100 0.100 0.098 0.098 0.099 0.001321

Broj korisnika DSL pristupa Internetu na 100 stanovnika 0.100 0.099 0.098 0.099 0.096 0.098 0.001299

Broj korisnika mobilnog pristupa sa brzim protokom na

100 stanovnika 0.081 0.087 0.090 0.091 0.095 0.089 0.005005

Stopa pismenosti odraslih 0.087 0.085 0.086 0.085 0.086 0.086 0.000902

Procenat stanovništva u sekundarnom obrazovanju 0.083 0.081 0.083 0.085 0.084 0.083 0.001436

Procenat stanovništva u tercijarnom obrazovanju 0.074 0.074 0.079 0.076 0.079 0.076 0.002292

102

Predloženi ponderi su srednje vrednosti pondera izračunatih za posmatrani

vremenski period. U tabeli 7.4 prikazane su razlike u težinskim koeficijentima za

originalnu IDI metodologiju i CIDI metodologiju.

Tabela 7.4 Razlike između originalnih IDI I predloženih CIDI težinskih koeficijenata

IDI indikatori IDI ponderi CIDI Ponderi

Broj fiksnih telefonskih linija na 100 stanovnika 8% 9.5%

Broj pretplata mobilne telefonije na 100 stanovnika 8% 8.2%

Međunarodni Internet protok (bit/s) po Internet korisniku 8% 8.9%

Procenat domaćinstava sa računarom 8% 10.1%

Procenat domaćinstava sa pristupom Internetu 8% 10.1%

Broj Internet korisnika na 100 stanovnika 13.3% 9.9%

Broj korisnika DSL pristupa Internetu na 100 stanovnika 13.3% 9.8%

Broj korisnika mobilnog pristupa sa brzim protokom na 100 stanovnika 13.3% 8.9%

Stopa pismenosti odraslih 6.7% 8.6%

Procenat stanovništva u sekundarnom obrazovanju 6.7% 8.3%

Procenat stanovništva u tercijarnom obrazovanju 6.7% 7.6%

Najveće razlike se vide kod indikatora Broj korisnika mobilnog pristupa sa

brzim protokom na 100 stanovnika, Broj Internet korisnika na 100 stanovnika i Broj

korisnika DSL pristupa Internetu na 100 stanovnika. Prema zvaničnoj IDI

metodologiji Broj korisnika mobilnog pristupa sa brzim protokom na 100 stanovnika je

ponderisan sa 13.3%, dok je prema CIDI udeo ovog pokazatelja 8.9%, i time mu

je dat manji značaj u ukupnom rezultatu rangiranja. Slično je i indikatorima Broj

Internet korisnika na 100 stanovnika i Broj korisnika DSL pristupa Internetu na 100

stanovnika, dat manji stepen značajnosti prema CIDI metodologiji. S druge strane,

Procenat domaćinstava sa računarom i Procenat domaćinstava sa pristupom Internetu

su indikatori kojima je CIDI metodologija pojačala značaj, sa 8% na 10.1% za oba

indikatora.

103

U tabeli 7.5 prikazane su vrednosti zvaničnog IDI indikatora, IDI rangovi,

kao i poređenje sa vrednostima CIDI rezultata i CIDI rangovima. Rezultati su

prikazani za 30 prvorangiranih zemalja, za 2012. godinu. Rezultati celokupnog

istraživanja za 2012. godinu, koje obuhvata 157 zemalja, dati su u prilogu B.

Tabela 7.5 IDI vrednosti, IDI rangovi, CIDI vrednosti i CIDI rangovi, za 2012 godinu (30

prvorangiranih zemalja)

Zemlja IDI vrednost IDI rang CIDI vrednost CIDI rang

Makao. Kina 7.65 14 9.81 1

Južna Koreja 8.57 1 8.79 2

Island 8.36 3 8.65 3

Danska 8.35 4 8.59 4

Švedska 8.45 2 8.53 5

Finska 8.24 5 8.40 6

Holandija 8 7 8.38 7

Hong Kong 7.92 10 8.35 8

Australija 7.9 11 8.30 9

Norveška 8.13 6 8.29 10

Luksemburg 7.93 9 8.24 11

UK 7.98 8 8.22 12

Švajcarska 7.78 13 8.08 13

Japan 7.82 12 8.05 14

Novi Zeland 7.64 16 8.04 15

Singapur 7.65 15 7.94 16

Francuska 7.53 18 7.93 17

Nemačka 7.46 19 7.85 18

SAD 7.53 17 7.72 19

Kanada 7.38 20 7.68 20

Irska 7.25 23 7.67 21

Austrija 7.36 21 7.63 22

Belgija 7.16 25 7.58 23

Malta 7.25 24 7.52 24

Estonija 7.28 22 7.49 25

Španija 6.89 27 7.43 26

Izrael 7.11 26 7.41 27

Slovenija 6.76 28 7.15 28

Barbados 6.65 29 7.04 29

Italija 6.57 30 6.90 30

104

Rangovi zemalja obuhvaćenih ovim istraživanjem se u velikoj meri

poklapaju, međutim, u tabeli 7.5 se mogu uočiti i razlike između IDI i CIDI

rezultata. Najznačajnija razlika u pozicijama javlja se za oblast Makao u Kini, koja

je, prema CIDI metodologiji, daleko najviše informatički razvijena oblast. Ipak,

prema zvaničnoj IDI metodologiji, pozicionirana je tek na 14. mestu. Razlozi se

mogu naći u vrednostima pojedinačnih indikatora. Prema vrednostima

indikatora, koji su po IDI dva od tri najjače ponderisana, oblast Makao u Kini je

veoma slabo pozicionirana: prema Broju korisnika DSL pristupa Internetu na 100

stanovnika nalazi se na 23. poziciji (64.3), a prema Broju Internet korisnika na 100

stanovnika na 41. poziciji (64.3). Ove vrednosti čine da prema IDI metodologiji,

oblast Makao u Kini bude "lažno" loše rangirana. Oblast je prvo-rangirana prema

vrednostima indikatora Broj pretplata mobilne telefonije na 100 stanovnika (284.3), i

Broj korisnika mobilnog pristupa sa brzim protokom na 100 stanovnika (283.3), koji je,

prema CIDI metodologiji, veoma dobro pozicioniraju.

Južna Koreja, Island, Danska, Švedska i Finska, koje su sledeće po

redosledu, najbolje su rangirane i prema IDI i prema CIDI metodologiji. Ove

zemlje ostaju slično rangirane po obe metode, sa malim promenama u

pozicijama.

Da bi se ocenila validnost CIDI indikatora, izračunat je Pirsonov koeficijent

korelacije između CIDI vrednosti i IDI vrednosti. Vrednost Pirsonovog

koeficijenta korelacije je r=0.996, što ukazuje na veoma visok stepen korelacije,

koja je statistički značajna (p<0.001). Obzirom na visoku korelaciju između CIDI

i IDI vrednosti, CIDI se može smatrati prihvatljivom merom za evaluaciju IKT

razvijenosti zemalja. Poređenjem CIDI i IDI rangova, rezultati pokazuju da je

Spirmanov koeficijent korelacije takođe veoma visok, i statistički značajan,

rs=0.999, p<0.001.

105

7.1.3 Neizvesnost i osetljivost rangiranja prema zvaničnoj IDI i CIDI

metodologiji

Radi merenja stabilnosti IDI indeksa i poređenja sa stabilnošću Kompozitnog IDI

indikatora zasnovanog na I-odstojanju (CIDI), vršene su analize neizvesnosti i

osetljivosti.

7.1.3.1 Neizvesnost i osetljivost zvanične IDI metodologije

Analize neizvesnosti i osetljivosti zasnovane su na relativnom doprinosu

indikatora, opisanom u poglavlju 5. Koristeći Monte Karlo metodu, rezultati su

simulirani 10 000 puta. Rezultati pokazuju da, u proseku, udeli IDI indikatora u

ukupnom rezultatu nisu u skladu sa odgovarajućim težinskim koeficijentima,

predloženim od strane IDI. Udeli su prikazani u tabeli 7.6.

Tabela 7.6 Relativni doprinos ulaznih IDI indikatora

IDI indikatori 2007 2008 2010 2011 2012 M SD

Broj fiksnih telefonskih linija na 100 stanovnika 0.062 0.058 0.054 0.052 0.047 0.054 0.005658

Broj pretplata mobilne telefonije na 100

stanovnika 0.102 0.105 0.121 0.116 0.115 0.112 0.008146

Međunarodni Internet protok (bit/s) po

Internet korisniku 0.201 0.200 0.180 0.178 0.167 0.185 0.015104

Procenat domaćinstava sa računarom 0.054 0.054 0.057 0.061 0.063 0.058 0.004088

Procenat domaćinstava sa pristupom Internetu 0.036 0.037 0.044 0.051 0.055 0.045 0.008340

Broj Internet korisnika na 100 stanovnika 0.079 0.087 0.103 0.109 0.114 0.098 0.014847

Broj korisnika DSL pristupa Internetu na 100

stanovnika 0.027 0.030 0.035 0.037 0.038 0.033 0.004969

Broj korisnika mobilnog pristupa sa brzim

protokom na 100 stanovnika 0.013 0.023 0.042 0.042 0.061 0.036 0.018831

Stopa pismenosti odraslih 0.162 0.157 0.140 0.137 0.135 0.146 0.012282

Procenat st. u sekundarnom obrazovanju 0.055 0.054 0.053 0.049 0.049 0.052 0.003116

Procenat st. u tercijarnom obrazovanju 0.210 0.196 0.170 0.168 0.158 0.180 0.021579

106

Na primer, indikator Procenat stanovništva u tercijarnom obrazovanju je prema

IDI metodologiji dobio težinski koeficijent 6.7%, ali relativno prosečno učešće

ovog pokazatelja u ukupnom rezultatu je mnogo veće (18%). Slična situacija je i

sa indikatorom Međunarodni Internet protok (bit/s) po Internet korisniku (8% na

18,5%). Sa druge strane, indikator Broj korisnika DSL pristupa Internetu na 100

stanovnika je prema IDI metodologiji dobio 13.3% težinski koeficijent, što je više

od 3.3% udela ovog indikatora. Prema ovim rezultatima, relativni doprinos

svakog indikatora za IDI rezultat ne ogleda se u potpunosti u ponderima

vezanim za te indikatore.

Matrica frekvencija rangova, za 20 prvorangiranih zemalja prema IDI

metodologiji, data je u tabeli 7.7.

Tabela 7.7 Neizvesnost i osetljivost IDI rangova (20 prvorangiranih zemalja)

Zemlja 1-5 6-10 11-15 16-20 21-25 26-30 31-35

Makao, Kina 9665 257 31 33 11 2 1

Finska 10000

Hong Kong 9905 95

Južna Koreja 9955 45

Island 9979 21

Švedska 142 9858

Danska 350 9650

Norveška 9998 2

Holandija 3 9814 183

Australija 8979 1008 13

Novi Zeland 206 9790 4

Velika Britanija 14 9970 16

SAD 195 8680 1125

Švajcarska 1 692 9036 271

Austrija 8181 1819

Luksemburg 167 2652 6687 470 23 1

Belgija 9 167 9560 264

Španija 12 8876 1112

Irska 9351 649

Slovenija 3 4647 4952 398

107

Makao Kina, Finska, Hong Kong, Južna Koreja i Island su u simulacijama

prosečno 5 najbolje rangiranih zemalja po originalnoj IDI metodologiji. Prema

Monte Karlo rezultatima simulacije, Finska je rangirana na pozicijama 1 do 5 u

svih 10 000 simulacija. Hong Kong, Južna Koreja i Island su se našle na 5 pozicija

u oko 99% slučajeva. Najinteresantnija je situacija vezana za Makao Kina. Iako je

ova zemlja najčešće prvorangirana, ona je zbirno rangirana na pozicijama od 1

do 5 u 96% slučajeva a u ostalim slučajevima se rangira čak do 35 pozicije, dok je

prema zvaničnoj IDI metodologiji tek na 14. mestu.

Pomerajući se dalje na rang listi, pozicije su još raspršenije. Na primer,

Luksemburg, koji je rangiran kao 9-ti prema IDI u 2012. godini, ima veoma

neizvesnu poziciju: može se naći bilo gde između 6-og i 35-og mesta. Na slici 7.1

prikazana je raspršenost rangova za celokupan skup zemalja.

Slika 7.1 Neizvesnost i osetljivost IDI rangova

108

Prema ovim rezultatima može se zaključiti da su zemlje srednje ili visoko

osetljive na metodološke pretpostavke IDI metodologije. Prema Saisana i

D'Hombres (Saisana & D’Hombres, 2008), uobičajeno za većinu "vrlo osetljivih"

entiteta jeste činjenica da oni nisu ni veoma dobri, ni veoma loši u većini ulaznih

indikatora, već negde na sredini.

7.1.3.2 Neizvesnost i osetljivost CIDI metodologije

Analize neizvesnosti i osetljivosti CIDI metodologije zasnovane su na dobijenim

težinskim koeficijentima (poglavlje 7.1.2). Koristeći metod Monte Karlo

simulacije, rezultat je simuliran 10 000 puta. Matrica frekvencija rangova zemalja

data je u tabeli 7.8.

Tabela 7.8 Neizvesnost i osetljivost CIDI rangova (20 prvorangiranih zemalja)

Zemlja 1-5 6-10 11-15 16-20 21-25 25-30 31-35

Makao, Kina 10000

Južna Koreja 10000

Island 10000

Danska 10000

Švedska 10000

Finska 10000

Holandija 10000

Hong Kong 10000

Australija 9954 46

Norveška 9969 31

Luksemburg 77 9923

Velika Britanija 10000

Švajcarska 9995 5

Japan 10000

Novi Zeland 9989 11

Singapur 16 9984

Francuska 10000

Nemačka 10000

SAD 10000

Kanada 6012 3988

109

Ovde je jasno da su rezultati Monte Karlo simulacije daleko stabilniji. Iz

tabele se vidi da Makao Kina, koji je na prvom mestu po CIDI, u svih 10 000

simulacija zauzima pozicije 1 do 5; čak prema CIDI rezultatima, nalazi se uvek

na prvom mestu. Koreja, Island, Danska i Švedska su takođe uzeli pozicije od 1

do 5 u svih 10 000 simulacija.

Pomerajući se ka 157. mestu na rang listi, jasno se može uočiti mnogo veća

stabilnost CIDI sistema rangiranja od zvaničnih IDI rezultata, kao što je

prikazano na slici 7.2. Sve zemlje imaju veoma nizak stepen osetljivosti na

metodološke pretpostavke CIDI. Dakle, CIDI jasno smanjuje entropiju sistema

rangiranja.

Slika 7.2 Neizvesnost i osetljivost CIDI rangova

110

7.1.3.3 Testiranje razlike odstupanja rangova primenom Mann–Whitney testa

Razlike u stabilnosti prikazane na slikama 7.1 i 7.2 su sasvim očigledne. Ipak, one

su dodatno ispitane pomoću Mann-Whitney testa (Freyer, 2014), kako bi razlike

bile i statistički dokazane. Obe grupe, IDI i CIDI, poređene su Mann-Whitney

testom po svim pomeranjima rangova.

U tu svrhu izračunate su medijane rangova i apsolutna odstupanja rangova

od medijane. Razlike za 10 prvorangiranih zemalja kvantitativno su prikazane

tabeli 7.9.

Tabela 7.9 Mann-Whitney test pomeranja rangova za CIDI i IDI rezultate (10 prvorangiranih

zemalja)

Zemlja CIDI IDI Prosečan rang

Nivo značajnosti

X0.25 Me X0.75 X0.25 Me X0.75 CIDI IDI

Makao, Kina 0 0 0 0 0 0 95 106 p=0.001**

Koreja 0 0 0 0 0 1 77 124 p<0.001**

Island 0 0 0 0 0 1 77 124 p<0.001**

Danska 0 0 0 0 0 1 90 111 p<0.001**

Švedska 0 0 0 0 0 0 91 110 p<0.001**

Finska 0 0 1 0 0 0 101.5 99.5 p=0.156

Holandija 0 0 1 0 1 1 89.79 111.2 p=0.003**

Hong Kong 0 0 0 0 1 1 75.35 125.7 p<0.001**

Australija 0 0 1 0 1 1 89.33 111.7 p=0.002**

Norveška 0 0 1 0 0 0 106.1 94.93 p=0.121

X0.25 – donji kvartil, X0.75 – gornji kvartil, Me - medijana

Poslednja kolona daje verovatnoću greške za Mann-Whitney test, pod

pretpostavkom da pomeranja rangiranja za obe grupe pripadaju različitim

populacijama. Kao rezultat, za sve navedene zemlje osim Finske i Norveške,

pomeranja rangova su manja za CIDI u odnosu na IDI, i te razlike su statistički

111

značajne. Za Finsku i Norvešku, pomeranja rangova su nešto veća za CIDI u

odnosu na IDI, ali ta razlika nije statistički značajna (p>0.05).

Rezultati testa, za sve posmatrane zemlje, pokazali su da su srednja

apsolutna odstupanja od medijane rangova u sledećim relacijama:

1. CIDI metodologija pokazuje statistički značajno stabilnije rezultate

(p<0.05),

2. CIDI metodologija pokazuje veću stabilnost, ali razlika nije statistički

značajna (p>0.05),

3. IDI metodologija pokazuje veću stabilnost, ali razlika nije statistički

značajna (p>0.05).

To pokazuje da su CIDI rangovi uvek ili stabilniji, pa je manja neizvesnost

rangova, ili jednako stabilni, pa je neizvesnost rangova jednaka.

Na osnovu ovih rezultata može se zaključiti da CIDI metodologija, za svih

157 zemalja, daje stabilnije ili jednako stabilne rangove u odnosu na IDI

metodologiju.

112

7.2 Primena CIDI na rangiranje univerziteta - QS Rangiranje

U uslovima globalizacije, konkurentnost je jedan od glavnih ciljeva koje

univerziteti nastoje da postignu. Zbog toga je bitno da se osigura kvalitet u

visokom obrazovanju i da se poboljša globalna konkurentnost (Tasiran, 2012).

Obzirom na činjenicu da sve više nacionalnih akreditacionih tela razvijaju sistem

evaluacije i rangiranja univerziteta, o ovoj temi se mnogo diskutovalo i mnogi od

tih sistema su kritikovani, kako bi se osigurao kvalitet ovog procesa, prvenstveno

zbog njihovih različitih ciljeva i pristupa (Jovanovic et al., 2012).

Šangajska lista (The Academic Ranking of World Universities)

(ARWU, 2014) je verovatno sve do danas najviše citirana rang lista, ali je blisko

prate THE lista (Times Higher Education World University Rankings) (THE,

2013) i QS lista (Quacquarelli Symonds World University Rankings) (QS, 2013).

U Tajvanu je 2007. godine objavljen koncept "Performance Ranking of Scientific

Papers for World Universities", takođe poznat kao NTU rangiranje (NTU

Ranking, 2013), dizajnirano da oceni akademske performanse istraživačkih

univerziteta, kako bi procenio njihova postignuća u naučnim istraživanjima. O

njihovom značaju se ipak često diskutovalo (Collyer, 2013; Hou, 2011; Huang,

2012; Jeremic et al., 2011; Pusser & Marginson, 2013; Safón, 2013; Williams & de

Rassenfosse, 2014). Altbach (Altbach, 2006), na primer, navodi da su rangovi

reperi izvrsnosti za javnost i pomažu prilikom utvrđivanja razlika između

akademskih institucija, što dovodi do diferenciranja ciljeva i misija u

akademskim sistemima. Ipak, on dovodi u pitanje podobnost rang listi,

ukazujući na to da se ponekad, prilikom formiranja rang listi, koriste

neadekvatne metrike.

Prema Altbach (Altbach, 2003), svako želi univerzitet svetske klase. Kako bi

se postigli ovi ciljevi, rang liste su povećale konkurentsku tenziju između

institucija i nacija. Pri tome, rang liste uzdižu poseban koncept "statusa",

stvarajući društvenu normu na osnovu koje se mere sve institucije (Hazelkorn,

2011). Granica između elitnih i ne-elitnih univerziteta nekada je bila poznata

113

samo malom broju ljudi. Međutim, to svakako više nije slučaj i danas se često

diskutuje o elitnim univerzitetima, posebno u kontekstu masovnog visokog

obrazovanja i ekonomije znanja, gde je takva sistematizacija postala trend i u

velikoj meri se vrednuje.

Chang (Chang, 2005) tvrdi da rang liste kreiraju moćne slike koje, kao i

reklame, nude jednostavne prikaze kroz koje korisnici - studenti i roditelji - mogu

da "vide" instituciju. Iako su visokoobrazovne ustanove uvek bile konkurentne,

rang liste nude eksplicitnu percepciju prestiža i kvaliteta. Obzirom na to da rang

liste daju prednost tradicionalnim akademskim rezultatima, one povećavaju

"reputacionu trku" tako što podržavaju "oponašanje" visoko rangiranih institucija

(van Vught, 2008). Rangiranje takođe pomaže u održavanju "statusnog sistema",

jer samo jedan univerzitet može biti broj 1; kako se pozicija jednog univerziteta

pomera na gore, pozicija nekog drugog se pomera na dole. Slično tome, svaka

visokoobrazovna ustanova ima ograničen broj studentskih mesta, što povećava

vrednost svakog mesta i pojačava konkurenciju (Hazelkorn, 2011).

Kreiranje ARWU, THE, QS i drugih globalnih rang lista, podiglo je

konkurentsku tenziju i povećalo pritisak na institucije i sisteme (Hazelkorn, 2011,

2013a, 2013b). Ističući reputacionu prednost, rang liste su uticale na sve

visokoobrazovne institucije.

Obzirom da visoko obrazovanje igra ključnu ulogu u stvaranju

konkurentske prednosti u tržišnom okruženju, performanse univerziteta zaista

jesu bitne (Hazelkorn, 2011). Performanse univerziteta su merljive sa različitih

aspekata obrazovanja. Quacquarelli Symonds (QS) rangiranje svetskih

univerziteta poredi 800 vrhunskih svetskih institucija na osnovu skupa oblasti

koje su za buduće studente od interesa: istraživanje, nastava, mogućnost

zaposlenja i internacionalizacija (QS, 2013), a koje se ogledaju kroz šest

kriterijuma: Akademska reputacija, Reputacija univerziteta u poslovnom svetu, Racio

nastavnika i studenata, Broj citata po fakultetu, Procenat inostranih nastavnika i

Procenat inostranih studenata. Svrha QS rangiranja je da predstavi univerzitete kao

114

svestrane organizacije, i da obezbedi globalno poređenje njihovog uspeha u

odnosu na idejnu misiju: da postanu ili ostanu univerziteti svetske klase. QS

nastoji da zadovolji potrebe raznih stejkholdera, uključujući studente, roditelje,

akademsku zajednicu, univerzitetsko osoblje, kao i poslodavce, pružajući:

(i) komparativni alat koji može da pomogne studentima da suze listu

potencijalnih univerziteta za koje su zainteresovani, i (ii) suštinsku mapu

međunarodnog visokog obrazovanja, koja se može koristiti kao komponenta u

institucionalnom i/ili vladinom strateškom odlučivanju (QS, 2013).

Uprkos neprekidnom sporu o validnosti izbora pokazatelja i/ili njihovim

ponderima, rang liste su stekle legitimnost jer su metodologije kreiranja na izgled

statistički rigorozne, i analitičari koji kreiraju rang liste rado sarađuju sa

kritičarima i povremeno prave odgovarajuće modifikacije (Hazelkorn, 2011).

Zbog svog globalnog karaktera i naučnog metodološkog pristupa, QS rangiranje

je jedno od najuticajnijih sistema rangiranja. Ipak, relativno visoki analitički

težinski koeficijent koji je dodeljen indikatoru Akademska reputacija (o čemu će biti

reči u nastavku poglavlja), doveo je do ozbiljnih kritika QS rangiranja tokom

godina (Huang, 2012), pa zbog toga ostaje veliko pitanje koliko su QS merenja

performansi zapravo verodostojna. Rang lista se formira na osnovu pristrasnih,

subjektivno dodeljenih težinskih koeficijenata, što pruža nepouzdan okvir

rangiranja, nestabilan pri različitim vrstama poremećaja (Hazelkorn, 2011,

2013b). Pitanje dodeljivanja težinskih koeficijenata se često razmatra. Huang

(Huang, 2012) je dao sveobuhvatnu diskusiju o indikatorima i njihovim

ponderima u okviru QS rangiranja. Na primer, ukoliko je u fokusu ocena

reputacije univerziteta od strane akademske zajednice (peer reviews), QS

posmatra indikator Akademska reputacija kao valjan pokazatelj performansi

univerziteta. Međutim, ukoliko je težinski koeficijent za ocenu reputacije visok,

rezultat će samo oslikavati ugled univerziteta, a ne njegove stvarne performanse,

pa će bolje rezultate imati međunarodno renomirani univerziteti (Huang, 2012).

115

Pitanja kojima se bavi ova rang lista od velikog su značaja (Abramo, Cicero,

& D’Angelo, 2013; Bornmann, Mutz, & Daniel, 2013; Tayyab & Boyce, 2013;

Waltman et al., 2012), a ipak je karakterišu navedeni nedostaci. Primenom

Kompozitnog indikatora baziranog na I-odstojanju (CIDI) predloženo je

poboljšanje metodologije QS rangiranja, u cilju prevazilaženja nekih od uočenih

nedostataka.

7.2.1 Metodologija QS rangiranja

Od kada je, 2004. godine, QS lista formirana, na rang listi se nalazi sve više

univerziteta. U 2013. godini rangirano je 800 univerziteta, a evaluirano je daleko

više (preko 2.000). Za 400 najboljih univerziteta dati su pojedinačni rangovi, dok

su ostali raspoređeni u grupe, počevši od 401-410, do 701+. Rang lista poredi 800

vrhunskih svetskih institucija, u oblastima koje su od interesa za stejkholdere:

istraživanje, nastava, mogućnost zaposlenja i međunarodni okvir. Ove oblasti se

ogledaju kroz šest kriterijuma, datih u tabeli 7.10 (QS, 2013).

Tabela 7.10 Indikatori na osnovu kojih se formira QS rang lista, i težinski koeficijenti (QS, 2013)

Indikatori QS rangiranja Ponderi QS

rangiranja

Akademska reputacija (Academic reputation - AR) 40%

Reputacija univerziteta u poslovnom svetu (Employer reputation - ER) 10%

Racio nastavnika i studenata (Student-to-faculty ratio - FS) 20%

Broj citata po fakultetu (Citations per faculty - CPF) 20%

Procenat inostranih nastavnika (International faculty ratio - IF) 5%

Procenat inostranih studenata (International student ratio - IS) 5%

QS rang lista se sastoji od reputacionih istraživanja (ocena akademskih

eksperata i ocena poslodavaca) i kvantitativnih pokazatelja (racio nastavnika i

studenata, broj citata po fakultetu, procenat inostranih nastavnika i procenat

116

inostranih studenata), koji imaju po 50% udela u ponderima. QS lista uključuje

pregled pet oblasti: umetnost i humanističke nauke, biomedicina, društvene

nauke, prirodne nauke i tehničke nauke. Rangovi za svaku od ovih oblasti su

određeni u okviru reputacionih istraživanja putem upitnika, koji su podeljeni na

ocene akademskih eksperata i ocene poslodavaca (Huang, 2012).

Akademska reputacija se meri kroz globalno istraživanje, gde je akademska

zajednica anketirana o radu univerziteta u njihovoj struci. U 2013. godini,

prikupljeno je više od 62.000 odgovora širom sveta. Traženo je da se izabere 30

univerziteta (izuzev sopstvenog univerziteta) za koje anketirane osobe smatraju

da su najbolji u njihovoj oblasti. Da bi se izbegle regionalne razlike, korišćeni su

regionalni ponderi.

Reputacija univerziteta u poslovnom svetu se takođe zasniva na globalnom

istraživanju, pri čemu je 2013. godine prikupljeno 27.900 odgovora. Istraživanje

zahteva od poslodavaca da identifikuju univerzitete koji, po njihovom mišljenju,

daju najbolje diplomce. Ovo istraživanje je jedinstveno pri formiranju poznatih

međunarodnih univerzitetskih rang listi, i daje bolji uvid u to kako su univerziteti

viđeni na tržištu rada (QS, 2013).

Racio nastavnika i studenata je broj akademskog osoblja zaposlen po svakom

upisanom studentu. Pošto međunarodni standard po kome se meri kvalitet

nastave ne postoji, ovaj indikator pruža uvid u to koji univerziteti su, i u kojoj

meri, u mogućnosti da obezbede male grupe studenata, kao i značajan stepen

individualnog rada.

Broj citata po fakultetu ima za cilj da proceni istraživački kapacitet

univerziteta. QS metodologija za prikupljanje ovih informacija koristi Scopus,

najveću svetsku bazu podataka naučnih radova i citata. Koriste se podaci za

poslednjih pet godina, a ukupan broj citata se daje u odnosu na broj akademaca

na fakultetima u okviru univerziteta.

Procenat inostranih nastavnika i Procenat inostranih studenata se fokusiraju na

procenu koliko je univerzitet "međunarodni", merenjem udela stranih studenata

117

i profesora u odnosu na ukupan broj. Iako strani student ili fakultetsko telo nije

samo po sebi merilo kvaliteta, postoji jasna pozitivna korelacija između

međunarodnog priliva na univerzitet i uspeha univerziteta u drugim oblastima,

kao što su akademski ugled i citiranost istraživača (QS, 2013).

U izboru indikatora i njihovih težinskih koeficijenata prema zvaničnoj QS

metodologiji, moguće je uočiti niz nedostataka. Pored već navedenih, može se

istaći da se indikator Akademska reputacija, ponderisan sa čak 40%, formira na

osnovu ankete, pa se može postaviti kritičko pitanje verodostojnosti ovih

podataka jer se on bazira na "mišljenju". Slično je sa indikatorom Reputacija

univerziteta u poslovnom svetu. Indikator Racio nastavnika i studenata, koji je

ponderisan sa 20%, bi mogao na primer da uzme u obzir i broj časova koji

nedeljno nastavnici održe, ili neki drugi kriterijum, kako bi se realnije sagledala

"veličina" grupe za slušanje nastave.

7.2.2 Kompozitni QS indikator baziran na I-odstojanju

Rezultati QS rangiranja najboljih univerziteta objavljuju se na godišnjem nivou.

Istraživanje u doktorskoj disertaciji bazirano je na podacima od 2008. do 2013.

godine (osim 2010. pošto te godine QS rangiranje nije objavljeno).

U prvom koraku istraživanja računaju se vrednosti I-odstojanja, na osnovu

vrednosti ulaznih indikatora koji su korišćeni za QS rangiranje (Dobrota et al.,

2015). Vrednosti I-odstojanja izračunate su na osnovu šest indikatora (videti

tabelu 7.10) za pet posmatranih godina. Nakon toga su izračunati Pirsonovi

koeficijenti korelacije između vrednosti I-odstojanja i ulaznih indikatora

(Dobrota, Jeremic, & Markovic, 2012; Jeremić, 2012), za sve obuhvaćene godine.

Vrednosti su date u tabeli 7.11.

118

Tabela 7.11 Pirsonovi koeficijenti korelacije između QS indikatora i I-odstojanja

I-odstojanje

Indikatori QS rangiranja 2008 2009 2011 2012 2013

Akademska reputacija 0.791 0.683 0.821 0.713 0.768

Reputacija univerziteta u poslovnom svetu 0.745 0.745 0.761 0.763 0.693

Racio nastavnika i studenata 0.607 0.54 0.645 0.502 0.506

Broj citata po fakultetu 0.575 0.435 0.616 0.485 0.536

Procenat inostranih nastavnika 0.542 0.49 0.556 0.463 0.47

Procenat inostranih studenata 0.627 0.596 0.649 0.606 0.585

Suma koeficijenta korelacije 3.887 3.489 4.048 3.532 3.558

Na osnovu dobijenih vrednosti koeficijenta korelacije, a prema CIDI

metodologiji, izračunati su novi težinski koeficijenti za svaki od indikatora od

kojih se QS metodologija sastoji. Predloženi ponderi su izračunati deljenjem

odgovarajućeg koeficijenata korelacije sumom koeficijenata korelacije, čime je

obezbeđeno da suma pondera bude jednaka 1. Dobijeni težinski koeficijenti za

ulazne indikatore predstavljeni su u tabeli 7.12. Konačni težinski koeficijenti su

određeni kao srednje vrednosti pondera izračunatih za pojedine godine

posmatranog vremenskog perioda (kolona M u tabeli 7.12) (Dobrota et al., 2015).

Tabela 7.12 Težinski koeficijenti QS indikatora zasnovani na CIDI metodologiji

Indikatori QS rangiranja 2008 2009 2011 2012 2013 M SD

Akademska reputacija 0.203 0.196 0.203 0.202 0.216 0.204 0.007324

Reputacija univerziteta u

poslovnom svetu 0.192 0.214 0.188 0.216 0.195 0.201 0.013015

Racio nastavnika i studenata 0.156 0.155 0.159 0.142 0.142 0.151 0.008158

Broj citata po fakultetu 0.148 0.125 0.152 0.137 0.151 0.142 0.011553

Procenat inostranih nastavnika 0.139 0.140 0.137 0.131 0.132 0.136 0.004264

Procenat inostranih studenata 0.161 0.171 0.160 0.172 0.164 0.166 0.005258

119

U tabeli 7.13 prikazani su težinski koeficijenti zvanične QS metodologije i

CIDI metodologije.

Tabela 7.13 Težinski koeficijenti zvanične QS metodologije i CIDI metodologije.

Indikatori QS rangiranja QS Ponderi CIDI Ponderi

Akademska reputacija 40% 20.4%

Reputacija univerziteta u poslovnom svetu 10% 20.1%

Racio nastavnika i studenata 20% 15.1%

Broj citata po fakultetu 20% 14.2%

Procenat inostranih nastavnika 5% 13.6%

Procenat inostranih studenata 5% 16.6%

Najveće razlike mogu se uočiti kod indikatora Akademska reputacija,

Reputacija univerziteta u poslovnom svetu i Procenat inostranih studenata. Prema

zvaničnom QS rangiranju, Akademska reputacija je ponderisana sa 40%, dok je

prema CIDI udeo ovog pokazatelja 20.4%, čime je ovom indikatoru dat manji

značaj u ukupnom rezultatu rangiranja. S druge strane, indikator Reputacija

univerziteta u poslovnom svetu je ponderisan sa 10% prema zvaničnom QS

rangiranju, dok je prema CIDI udeo ovog pokazatelja 20.1%, čime se pojačava

njegov značaj. Obzirom da se mere na sličan način putem ankete (poglavlje 7.2.1),

raspodela težinskih koeficijenata između ova dva indikatora, prema CIDI

metodologiji, može se okarakterisati ispravnijom. Slično, indikator Procenat

inostranih studenata je ponderisan sa 5% prema zvaničnom QS rangiranju, a 16.6%

prema CIDI metodologiji. Razlike postoje i u ponderima za preostale korišćene

indikatore.

U tabeli 7.14, predstavljeni su rezultati zvanične QS i CIDI metodologije u

rangiranju 50 prvoplasiranih univerziteta (prema CIDI metodologiji), za 2013.

godinu. Rezultati za 392 univerziteta, koji su obuhvaćeni istraživanjem, dati su

u prilogu B.

120

Tabela 7.14 QS vrednosti, QS rangovi, CIDI vrednosti i CIDI rangovi, za 2013 godinu (50

prvorangiranih univerziteta)

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

Massachusetts Institute of Technology (MIT) 100 1 99.02 1

Imperial College London 98.8 5 98.85 2

UCL (University College London) 98.9 4 98.45 3

University of Oxford 98.7 6 98.16 4

University of Cambridge 99 3 98.07 5

Harvard University 99.2 2 96.66 6

ETH Zurich (Swiss Federal Institute of Technology) 94.3 12 95.02 7

Yale University 96.5 8 93.12 8

Ecole Polytechnique Fédérale De Lausanne (EPFL) 90.9 19 92.67 9

Stanford University 96.8 7 91.86 10

University of Edinburgh 91.3 17 91.79 11

King's College London (KCL) 90.9 19 91.77 12

National University of Singapore (NUS) 89.4 24 91.68 13

University of Toronto 91.3 17 90.92 14

University of Chicago 96.2 9 90.9 15

California Institute of Technology (Caltech) 96.1 10 90.63 16

University of Hong Kong (HKU) 88.6 26 90.59 17

Princeton University 96.1 10 89.89 18

Australian National University (ANU) 88.5 27 89.67 19

Mcgill University 90.6 21 89.32 20

Cornell University 92.5 15 88.12 21

The Hong Kong University of Science And Technology

(HKUST) 84.4 34 87.72 22

University of California, Berkeley (UCB) 89 25 87.59 23

The University of Melbourne 86 31 87.07 24

The University of Manchester 85.2 33 86.93 25

University of Bristol 86.6 30 86.35 26

University of Pennsylvania 93.8 13 86.25 27

Nanyang Technological University (NTU) 81.1 41 85.74 28

The University of Sydney 82.9 38 85.3 29

Ecole Polytechnique Paristech 81.1 41 84.15 30

Columbia University 93.6 14 84.01 31

Johns Hopkins University 92.1 16 83.77 32

The University of New South Wales (UNSW) 78.8 52 83.75 33

The University of Queensland (UQ) 80.9 43 83.19 34

The Chinese University of Hong Kong (CUHK) 82.3 39 82.55 35

London School of Economics And Political Science (LSE) 73.9 68 81.52 36

The University of Warwick 74.5 64 80.92 37

University of Michigan 90.5 22 79.66 38

121

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

University of Glasgow 78.9 51 78.99 39

University of St Andrews 71.6 83 78.84 40

Ecole Normale Supérieure, Paris (ENS Paris) 87.8 28 78.55 41

The University of Nottingham 73.1 75 78.45 42

Monash University 73.7 69 78.44 43

Trinity College Dublin (TCD) 75.1 61 77.99 44

University of Birmingham 74.9 62 77.35 45

Seoul National University (SNU) 84.1 35 77.17 46

The University of Sheffield 73.3 71 77.07 47

Maastricht University 63.8 121 76.1 48

Durham University 70.4 90 76.02 49

Duke University 90.1 23 75.54 50

Kao što se može uočiti u datoj tabeli, postoje sličnosti i razlike između QS i

CIDI rezultata. Osnovni uzrok razlika je činjenica da su težinski koeficijenti

dobijeni primenom CIDI metodologije drugačiji od onih definisanih u okviru

zvanične QS metodologije. Ove razlike prouzrokovale su i razlike u rangovima

(tabele 7.13 i 7.14). Na primer, Ecole Polytechnique Fédérale De Lausanne (EPFL)

je rangiran kao 19. prema QS, a kao 9. prema CIDI metodologiji. Prema vrednosti

indikatora Akademska reputacija, koji nosi 40% prema QS metodologiji, EPFL je na

69. poziciji (87.9), što umnogome umanjuje njegov zvanični rang. Obzirom da je,

u CIDI metodologiji, uticaj ovog indikatora umanjen, njegova pozicija je realnije

sagledana i poboljšana za 10 mesta. S druge strane, Columbia University je prema

QS na poziciji 14, a prema CIDI metodologiji na tek 31. poziciji. Prema vrednosti

indikatora Akademska reputacija, on je na 1. poziciji (100), što mu omogućava

veoma dobar celokupan rezultat. Međutim prema vrednostima indikatora Racio

nastavnika i studenata, on je na tek 43. poziciji (95.9), Procenat inostranih studenata

na 87. poziciji (78.8), a prema vrednostima indikatora Procenat inostranih

nastavnika na "dalekoj" 307. poziciji (16.2), što umnogome umanjuje njegov rang

na CIDI listi.

122

Da bi se ocenila validnost CIDI indikatora, izračunat je Pirsonov koeficijent

korelacije između CIDI vrednosti i QS vrednosti. Vrednost Pirsonovog

koeficijenta korelacije je r=0.912, što ukazuje na veoma visok stepen korelacije,

koja je statistički značajna (p<0.001). Činjenica da CIDI visoko korelira sa QS

vrednostima, dokazuje da je jednako pogodan i povezan sa predmetom

istraživanja. To potvrđuje da je kompozitni indikator zasnovan na I-odstojanju

(CIDI) prihvatljiva mera za procenu performansi univerziteta. Poređenjem CIDI

i QS rangova, rezultati pokazuju da je Spirmanov koeficijent korelacije takođe

statistički značajan, rs=0.884, p<0.001.

Kao što je već naznačeno, CIDI metodologija daje težinske koeficijente koji

su i metodološki i statistički opravdani, jer su izvedeni iz koeficijenata korelacije,

izračunatih na osnovu podataka iz prethodnih perioda. Pored toga, ovaj metod

pruža drugačiju sliku o važnosti svakog pojedinačnog indikatora, i korekciju

težinskih koeficijenata za svaki od, u slučaju QS rangiranja, šest ulaznih

indikatora.

U nastavku ovog poglavlja će biti pokazano da CIDI metodologija (i) daje

preciznije rezultate, (ii) stabilnija je od zvanične QS metode rangiranja. Ako se

ulaznim indikatorima dodele težinski koeficijenti u skladu sa CIDI

metodologijom, dobijaju se mnogo stabilniji rezultati, čime se smanjuje entropija

sistema rangiranja. Prednosti CIDI nad zvaničnom QS metodologijom biće

potvrđene kroz analizu neizvesnosti i analizu osetljivosti.

7.2.3 Neizvesnost i osetljivost rangiranja prema zvaničnoj QS i CIDI

metodologiji

Da bi se izmerila stabilnost zvaničnog QS sistema rangiranja i uporedila sa

stabilnošću QS kompozitnog indikatora zasnovanog na I-odstojanju (CIDI), nad

podacima su vršene analize neizvesnosti i osetljivosti.

123

7.2.3.1 Neizvesnost i osetljivost zvanične QS metodologije

Osetljivost QS rangiranja zasniva se na relativnom doprinosu šest QS pokazatelja

u periodu istraživanja, od 2008. do 2013. godine, sa izuzetkom 2010. godine.

Analiza relativnog doprinosa indikatora može da pruži korisne informacije o

tome da li neki pokazatelji dominiraju u ukupnim skorovima univerziteta

(Saisana & D’Hombres, 2008).

Relativni doprinos se računa kao udeo rezultata indikatora u odnosu na

ukupan rezultat, pomnožen odgovarajućim težinskim koeficijentom. Doprinosi

su izračunati za ceo vremenski period istraživanja i pokazalo se da su oni

normalno distribuirani. Zatim su izračunati prosečni doprinosi i njihove

standardne devijacije. Rezultati pokazuju da udeli QS indikatora u ukupnom

rezultatu, prikazani u tabeli 7.15, nisu u potpunosti u skladu sa odgovarajućim

težinskim koeficijentima koje QS sistem rangiranja predlaže.

Tabela 7.15 Relativni doprinos ulaznih QS indikatora

Indikatori QS rangiranja 2008 2009 2011 2012 2013 M SD

Akademska reputacija 0.392 0.410 0.417 0.412 0.414 0.409 0.009655

Reputacija univerziteta u

poslovnom svetu 0.101 0.100 0.056 0.094 0.105 0.091 0.020283

Racio nastavnika i studenata 0.201 0.193 0.247 0.211 0.203 0.211 0.021136

Broj citata po fakultetu 0.203 0.197 0.172 0.184 0.184 0.188 0.012038

Procenat inostranih

nastavnika 0.051 0.049 0.052 0.050 0.048 0.050 0.001556

Procenat inostranih

studenata 0.051 0.050 0.056 0.049 0.046 0.051 0.003735

Na primer, indikatoru Broj citata po fakultetu dodeljen je težinski koeficijent

20%, dok je relativni prosečni udeo ovog indikatora u ukupnom rezultatu niži

124

(18.8%). Sa druge strane, indikator Racio nastavnika i studenata ima prosečan

doprinos 21.1%, što je više od 20% težine, dodeljene ovom pokazatelju.

Primenom Monte Karlo metode, izvršena je simulacija rezultata 10 000

puta. Prema metodologiji analiza neizvesnosti i osetljivosti (Saisana &

D’Hombres, 2008), na osnovu rezultata dobijenih simulacijom, određena je

raspodela rangova univerziteta. Matrica frekvencija rangova, za 20

prvorangiranih univerziteta, data je u tabeli 7.16.

Tabela 7.16 Neizvesnost i osetljivost QS rangova (20 prvorangiranih univerziteta)

Univerzitet 1-3 4-6 7-9 10-12 13-15 16-18 19-21 22-24 25-27

Massachusetts Institute of

Technology (MIT) 10000

Harvard University 9934 66

University of Cambridge 9980 20

Ucl (University College London) 79 9921

Imperial College London 7 9993

University of Oxford 9998 2

Stanford University 10000

Yale University 9754 246

California Institute of

Technology (Caltech) 2 5930 4067 1

University of Chicago 4313 5687

Princeton University 1 9999

Eth Zurich (Swiss Federal

Institute of Technology) 6233 3767

University of Pennsylvania 3726 6274

Columbia University 7 9992 1

Johns Hopkins University 35 5823 3907 216 18 1

Cornell University 4140 5850 10

University of Toronto 8668 1266 66

University of Edinburgh 6712 2689 597 2

King's College London (Kcl) 2304 7660 36

Ecole Polytechnique Fédérale De

Lausanne (Epfl) 2084 7057 859

Massachusetts Institute of Technology (MIT), Harvard University i

University of Cambridge su prosečno 3 najbolje rangirana univerziteta prema

125

oficijalnom QS rangiranju. Prema rezultatima, MIT se našao na pozicijama 1 do

3 u svih 10 000 simulacija. Harvard, koji je u 2013. godini rangiran kao drugi, u

99% slučajeva se našao na pozicijama 1 do 3. Pomeranjem ka srednje rangiranim

univerzitetima, nesigurnost pozicija univerziteta se povećava. Na primer,

California Institute of Technology (Caltech), koji je rangiran kao 11. prema QS

metodologiji, u 2013. godini, ima neizvesniju poziciju: mogao bi se naći rangiran

od 4. do 15. mesta; Johns Hopkins University, koji je rangiran kao 16., mogao bi

se naći rangiran od 10. do 27. mesta.

Pomeranjem ka niže rangiranim univerzitetima, rezultati su još šire

raspršeniji (slika 7.3).

Slika 7.3 Neizvesnost i osetljivost QS rangova

126

Prema ovim rezultatima, može se zaključiti da su rangovi univerziteta

srednje do visoko osetljivi na metodološke pretpostavke u QS rangiranju. Za

univerzitete koji su "veoma osetljivi", prostor zaključivanja o rangu je suviše širok

da bi se izveo validan zaključak o njihovim rangovima. Prema autorima Saisana

i D'Hombres (Saisana & D’Hombres, 2008), zajednička karakteristika za većinu

"veoma osetljivih" univerziteta je činjenica da po ulaznim pokazateljima nisu niti

veoma dobri niti veoma loši, već negde između.


Radi poređenja, opisane analize su vršene nad kompozitnim indikatorom

zasnovanim na I-odstojanju (CIDI).

U ovom slučaju, neizvesnost i osetljivost zasnivaju se na predloženim

težinama, dobijenim pomoću CIDI metodologije. Metodom Monte Karlo,

rezultat je simuliran 10 000 puta. Matrica frekvencija rangova univerziteta, za 20

prvorangiranih univerziteta, data je u tabeli 7.17.

Očigledno je da je Monte Karlo simulacija, primenjena na CIDI

metodologiju, dala znatno bolje rezultate. Massachusetts Institute of Technology

(MIT), koji je prvorangiran i po originalnim QS i po CIDI rezultatima, našao se

na pozicijama od 1 do 3 u svih 10 000 simulacija. Osim njega, Imperial College

London i UCL (University College London) se, takođe, u svih 10 000 simulacija

nalaze na pozicijama 1 do 3. Dalje, University of Oxford, University of

Cambridge i Harvard University nalaze se u svim simulacijama na pozicijama

4-6; ETH Zurich (Swiss Federal Institute of Technology) i Yale University nalaze

se u svim simulacijama na pozicijama 7-9.

127

Tabela 7.17 Neizvesnost i osetljivost CIDI rangova (20 prvorangiranih univerziteta)

Univerzitet 1-3 4-6 7-9 10-12 13-15 16-18 19-21 22-24 25-27



Imperial College London 10000

UCL (University College

London) 10000

University of Oxford 10000

University of Cambridge 10000

Harvard University 10000

ETH Zurich (Swiss Federal

Institute of Technology) 10000

Yale University 10000

Ecole Polytechnique Fédérale

De Lausanne (EPFL) 9908 92

Stanford University 22 7297 2681

University of Edinburgh 8605 1395

King's College London (KCL) 9133 867

National University of

Singapore (NUS) 70 4782 5089 59

University of Toronto 7610 2390

University of Chicago 7 6814 3179


Technology (Caltech) 69 2682 7179 70

University of Hong Kong

(HKU) 15 2861 7124

Princeton University 1 6915 3084

Australian National University

(ANU) 3140 6860

Mcgill University 14 9986

Kretanjem ka nižim pozicijama, može se uočiti značajno veća stabilnost

CIDI sistema rangiranja u odnosu na zvaničnu QS metodologiju. Na slici 7.4 su

grafički predstavljeni rezultati simulacije.

Svi rangovi univerziteta imaju nizak ili srednji stepen osetljivosti na

metodološke pretpostavke CIDI indikatora. Jasno je da je predložena CIDI

metodologija stabilnija od zvanične QS metodologije, i može značajno smanjiti

entropiju sistema rangiranja.

128


7.2.3.3 Testiranje razlike odstupanja rangova primenom Mann–Whitney testa

Uočena razlika u stabilnosti metodologija, i prednost CIDI nad zvaničnom QS

metodologijom, testirana je primenom Mann-Whitney testa. Za svaki posmatrani

univerzitet izračunate su medijane pomeranja rangova, kao i njihova apsolutna

odstupanja (poglavlje 6.4), u 10 000 simuliranih rangiranja. Na ovako dobijene

podatke primenjen je Mann-Whitney test, za sve univerzitete koji su rangirani.

U tabeli 7.18 prikazani su rezultati za 15 prvorangiranih univerziteta.

Rezultati su pokazali da su za neke posmatrane univerzitete pomeranja rangova

od medijane ranga statistički značajno manja za CIDI u odnosu na QS

metodologiju, ali za neke nisu. U tabeli se vidi da u slučaju KCL, NUS i Toronto,

CIDI daje rezultate koji su statistički značajno manje stabilni u odnosu na QS

129

metodologiju (3 slučaja), dok za Cambridge, Harvard, ETH Zurich, Yale, EPFL i

Caltech, daje rezultate koji su statistički značajno stabilniji u odnosu na QS (6

slučajeva).

Tabela 7.18 Mann-Whitney test pomeranja rangova za CIDI i QS rezultate (15 prvorangiranih

univerziteta)

Univerzitet

CIDI QS Prosečan rang Nivo

značajnosti X0.25 Me X0.75 X0.25 Me X0.75 CIDI QS

Massachusetts Institute of Technology (MIT) 0 0 0 0 0 0 102.5 98.5 p=0.054

Imperial College London 0 0 0 0 0 0 102 99 p=0.175

University of Cambridge 0 0 0 0 0 0 97 104 p=0.007**

UCL (University College London)

0 0 0 0 0 0 99 102 p=0.082

University of Oxford 0 0 0 0 0 0 100.5 100.5 p=1.000

Harvard University 0 0 0 0 0 0 97.5 103.5 p=0.013*

ETH Zurich (Swiss Federal Institute of Technology) 0 0 0 0 0 1 83 118 p<0.001**

Yale University 0 0 0 0 1 1 75.48 125.52 p<0.001**

Ecole Polytechnique Fédérale de Lausanne (EPFL)

0 0 0 0 1 2 68.73 132.28 p<0.001**

Stanford University 0 0 1 0 0 1 107.45 93.55 p=0.061

King's College London (KCL) 0 1 1 0 0 1 116.01 84.99 p<0.001**

National University of Singapore (NUS)

0.5 0.5 2.5 0 0 1 132.56 68.44 p<0.001**

University of Edinburgh 0 1 1 0 0.5 2 98.16 102.84 p=0.539

University of Toronto 0 1 1 0 0 1 114.49 86.51 p<0.001**

California Institute of Technology (Caltech) 0 1 1 1 2 2 85.38 115.62 p<0.001**


Kada se posmatraju svi rangirani univerziteti (392), QS metodologija je

pokazala značajno veću stabilnost u 14% slučajeva. Preostalih 86% univerziteta,

kod kojih se pokazalo da CIDI metodologija nije statistički manje stabilna od QS

metodologije, mogu se podeliti u sledeće 3 grupe:

130


(p<0.05),


značajna (p>0.05),

3. QS metodologija pokazuje veću stabilnost, ali razlika nije statistički

značajna (p>0.05).

Na osnovu navedenog, može se zaključiti da su rezultati CIDI metodologije

u 86% slučajeva stabilniji ili jednako stabilni, u odnosu na rezultate zvanične QS

metodologije.

131

7.3 ARWU rang lista, Alternativna rang lista i CIDI

ARWU (Academic Ranking of World Universities) lista je najpoznatija rang lista

za globalno rangiranje univerziteta. Formira se na osnovu vrednosti za šest

pokazatelja performansi univerziteta, i smatra se veoma konzistentnom i jednom

od najrigoroznijih (ARWU Newsletter, 2014). Indikatori su: Alumni - broj

alumnija i Award – broj akademskog osoblja, koji su osvojili Nobelove nagrade i

Fieldovu medalju, HiCi - broj istraživača koji su često citirani, N&S - broj članaka

objavljenih u časopisima "Nature" i "Science", PUB - broj radova na SCIe i SSCI

listi i PCP - učinak po zaposlenom, koji se koristi kao korektivni indikator.

Indikatori koji se ističu zbog svoje nedostižnosti su Alumni i Award. Ova

dva pokazatelja privukla su značajnu pažnju i podstakla veliku raspravu među

mnogim autorima (Docampo & Cram, 2014; Safón, 2013; Zornic et al., 2014).

Naime, značajna polemika se vodi oko toga koji su to dostižni indikatori, koji bi

univerzitetu mogli da omoguće da se nađe među prvih 500 na ARWU listi.

Zvaničnici mnogih univerziteta su zaključili da su Nobelove nagrade i Fieldove

medalje daleko od dostižnih po tom pitanju (Zornic et al., 2014). Kod mnogih

univerziteta ovi indikatori imaju vrednost 0, jer nema alumnija niti zaposlenih

koji su ostvarili Nobelove nagrade i Fieldovu medalju (Docampo & Cram, 2014).

Zbog toga se na univerzitetima diskutovalo o pouzdanosti ARWU metode

rangiranja, imajući u vidu da je veoma teško nositi se sa zahtevima dva pomenuta

indikatora. Osim toga, očigledno je da, zbog ova dva indikatora, univerziteti

mogu da se oslone na Nobelove nagrade i Fieldovu medalju koje su osvojene i

po više godina unazad, kako bi dominirali nad mnogim "rastućim"

univerzitetima, koji imaju veoma dobre performanse merene ostalim

indikatorima (ARWU Newsletter, 2014). Ocene ovih pokazatelja imaju izuzetno

široke vremenske granice (čak do 100 godina), što "starijim" univerzitetima daje

veliku prednost (Billaut, Bouyssou, & Vincke, 2010; Safón, 2013).

132

Nedavno je, ovim povodom, objavljeno saopštenje koje prikazuje

dizajniranje redukovane ARWU rang liste (ARWU Newsletter, 2014).

Izostavljanjem indikatora koji se odnose na Nobelove nagrade i Fieldove medalje,

predložena je Alternativna rang lista (The Alternative Ranking), koja se formira

na osnovu vrednosti četiri preostala indikatora (ARWU Newsletter, 2014).

Obzirom da se ARWU rangiranje, kao i formiranje Alternativne rang liste,

baziraju na kompozitnim indikatorima za koje su odgovarajući ponderi određeni

na subjektivan način, i izazivaju brojne polemike, u okviru ove disertacije će, kao

alternativno rešenje, biti predložena CIDI metodologija, i biće upoređena

stabilnost tako dobijenih rešenja u odnosu na zvanične ARWU rezultate.

Analize neizvesnosti i osetljivosti, koju su predložili Saltelli i drugi (Saltelli

et al., 2008, 2004), a koju su Saltelli (Saltelli, 2007), Saisana i drugi (Saisana et al.,

2011), i Paruolo i drugi (Paruolo et al., 2013) koristili da dovedu u pitanje

stabilnost univerzitetskih rang listi, biće sprovedene za obe ARWU liste, kao i za

listu baziranu na CIDI metodologiji (Dobrota & Dobrota, n.d.). Primenom Mann-

Whitney testa će, na kraju ovog poglavlja, biti testirane razlike u stabilnosti

rezultata Alternativne rang liste i rangiranja zasnovanog na CIDI metodologiji.

7.3.1 Metodologija ARWU rangiranja (6 indikatora)

Zvanična metodologija ARWU liste bazira se na šest ulaznih indikatora kojima

su različiti težinski koeficijenti dodeljeni na subjektivan način, u zavisnosti od

toga kakvu percepciju njihovog značaja imaju autori rang liste. Indikatori su dati

u tabeli 7.19.

133

Tabela 7.19 Indikatori ARWU metodologije za 2014. godinu (ARWU Methodology, 2014)

Indikator Ponder

Alumni 10%

Awards 20%

HiCi 20%

N&S 20%

PUB 20%

PCP 10%

Alumni predstavlja faktor koji obuhvata sve alumnije5 univerziteta koji su

osvojili Nobelovu nagradu ili Fieldovu medalju iz oblasti matematike. U

zavisnosti od perioda završetka studija dodeljuju se različite težine. Ponder od

100% dodeljuje se alumnijima koji su završili studije posle 2001. godine, 90% za

završetak studija od 1991. do 2000., 80% za period od 1981. do 1990. i tako dalje,

10% se dodeljuje onima koji su završili studije u periodu od 1911. do 1920. Ako

je osoba završila nekoliko nivoa studija na istom univerzitetu, univerzitet se

samo jednom računa (ARWU Methodology, 2014; ARWU, 2014; Jeremić, 2012).

Awards je indikator koji predstavlja ukupan broj zaposlenih na univerzitetu

koji su osvojili Nobelovu nagradu iz oblasti fizike, hemije, medicine i ekonomije

ili Fieldovu medalju iz oblasti matematike. Različite težine se dodeljuju u odnosu

na period kada je osvojena nagrada. Ponder od 100% se dodeljuje onima koji su

osvojili nagradu posle 2011, 90% za one koji su to učinili u periodu od 2001. do

2010., 80% za period od 1991. do 2000., i tako dalje, a 10% se dodeljuje za osvajanje

u periodu od 1921. do 1930. Ako je osoba zaposlena na više univerziteta, svakom

se dodeljuje određeni procenat u zavisnosti od broja univerziteta. Ukoliko je

5 Svi oni koji su završili osnovne, master ili doktorske studije na posmatranom univerzitetu

134

jedna Nobelova nagrada dodeljena većem broju osoba, dodeljuje se vrednost

prema udelu učešća u nagradi.

HiCi je pokazatelj kojim se računa ukupan broj istraživača koji se često

citiraju (highly cited) u 21 kategoriji. Ove osobe se najviše citiraju u kategorijama

koje autori ARWU liste smatraju ključnim (ARWU Methodology, 2014; ARWU,

2014; Jeremić, 2012).

N&S indikator prikazuje ukupan broj radova objavljenih u časopisima

"Nature" i "Science" u periodu od 2009. do 2013. godine. U Journal Citation

Reports za 2014. godinu, "Impakt Faktor" časopisa "Nature" je 42.351, a časopisa

"Science" je 31.477. Da bi se razlikovao doprinos autora, težina od 100% se

dodeljuje autoru koji je zadužen za korespondenciju, 50% za prvog autora ili

drugog ukoliko je prvi isti kao autor za korespondenciju, 25% za sledećeg i 10%

za ostale autore. Razmatraju se samo članci u časopisima (arcticle).

PUB pokazateljem se izražava ukupan broj radova koji su objavljeni na SCIe

i SSCI listi 2013. godine. U obzir se uzimaju samo članci u časopisima (arcticle).

Prilikom računanja ukupnog broja objavljenih radova jednog univerziteta,

radovi koji se objavljuju na SSCI listi dobijaju težinu 2, odnosno, vrede duplo više

od radova sa SCIe liste (ARWU Methodology, 2014; ARWU, 2014; Jeremić, 2012).

PCP predstavlja sumu ponderisanih vrednosti prethodno navedenih pet

indikatora, podeljenu ukupnim brojem stalno zaposlenog nastavnog osoblja.

Ukoliko se podaci za neki univerzitet (ili za cele države) ne mogu pribaviti,

koristi se ponderisana vrednost ostalih indikatora. Podaci o zaposlenima se

pribavljaju od nacionalnih služba za zapošljavanje, statističkih zavoda ili

ministarstava obrazovanja.

7.3.2 Metodologija Alternativnog rangiranja (4 indikatora)

Kao što je ranije izloženo, indikatori koji su prilično nedostižni su Alumni i Award

(Docampo & Cram, 2014; Safón, 2013; Zornic et al., 2014): kod mnogih

135

univerziteta vrednost ovih indikatora je 0 (nema alumnija niti zaposlenih koji su

ostvarili Nobelove nagrade i Fieldove medalje (Docampo & Cram, 2014));

indikatori daju prednost "starijim" univerzitetima (Billaut et al., 2010; Safón, 2013)

u odnosu na "rastuće" univerzitete koji imaju dobre performanse merene ostalim

indikatorima (ARWU Newsletter, 2014).

Alternativna rang lista (The Alternative Ranking) redukuje indikatore na

kojima se zasniva ARWU rang lista, tako što izostavlja Nobelovu nagradu i

Fieldove medalje, i bazira se na preostala četiri indikatora: HiCi, N&S, PUB i PCP

(ARWU Newsletter, 2014). Autori su težinske koeficijente ostavili

nepromenjenim, sa ukupnom sumom od 70%. Takođe, PCP pokazatelj je

prilagođen alternativnom rangiranju, i modifikovan tako da je uticaj faktora

nagrada izostavljen (ARWU Newsletter, 2014).

Zaključci koji proizilaze iz Alternativne rang liste su različiti: neki

univerziteti su stekli titulu svetske klase, a neki su je izgubili; neki univerziteti u

Istočnoj Aziji, Jugoistočnoj Aziji i Australiji, ušli su u prvih 100, dok su neke

kontinentalno-evropske zemlje na ovoj listi lošije pozicionirane (ARWU

Newsletter, 2014).

7.3.3 Kompozitni Alternativni ARWU indikator baziran na I-odstojanju

CIDI metodologiju je moguće primeniti na ARWU rang listu univerziteta. U

okviru ove disertacije će CIDI metodologija biti primenjena na indikatore koji se

koriste u formiranju redukovane ARWU liste – Alternativne rang liste, i rezultati

analiza neizvesnosti i osetljivosti će biti upoređeni sa ove dve metodologije.

Alternativna rang lista je izabrana jer se pokazala daleko stabilnijom od

zvaničnog ARWU rangiranja, o čemu će biti reči u nastavku ovog poglavlja.

Težinski koeficijenti korišćeni za kreiranje CIDI metodologije dobijeni su na

osnovu Pirsonovih koeficijenata korelacije između I-odstojanja i 4 pojedinačna

136

indikatora Alternativnog rangiranja. U ovom slučaju posmatrani su rezultati iz

2014. godine. U tabeli 7.20 prikazani su ponderi za ARWU6 i CIDI metodologiju.

Tabela 7.20 Originalni ARWU i CIDI težinski koeficijenti

Indikatori ARWU rangiranja Zvanični ARWU ponderi CIDI ponderi

HiCi 0.2 0.19

N&S 0.2 0.2

PUB 0.2 0.15

PCP 0.1 0.16

U tabeli 7.21, predstavljeni su rezultati ARWU, Alternativnog i CIDI

rangiranja. Rezultati su prikazani za 30 prvorangiranih univerziteta i odnose se

na vrednosti kompozitnih indikatora i odgovarajućih rangova za 3 posmatrane

metodologije.

U tabeli se mogu uočiti sličnosti i razlike među rezultatima. Da bi se

procenio CIDI indeks, izračunat je Pirsonov koeficijent korelacije između CIDI

rezultata, ARWU rezultata i Alternativnog rangiranja. Korelacija CIDI i ARWU

je 0.928 (p<0.001), a korelacija CIDI i Alternativnog rangiranja 0.994 (p<0.001), što

pokazuje da je CIDI jednako pogodan za merenje performansi univerziteta i u

velikoj meri povezan sa predmetom istraživanja. Takođe su izračunati

Spirmanovi koeficijent korelacije između rangova i pokazalo se da je korelacija

CIDI i ARWU rs=0.822 (p<0.001), a korelacija CIDI i Alternativnog rangiranja

rs=0.990 (p<0.001).

6 Suma pondera je 0.7 jer je na taj način formirano Alternativno rangiranje

137

Tabela 7.21 ARWU vrednosti, ARWU rangovi, Alternativne vrednosti, Alternativni rangovi,

CIDI vrednosti i CIDI rangovi za 2014 godinu

Univerzitet ARWU ARWU

rang

Alternativno

rangiranje

(max 70)

Alternativni

rang

CIDI

(max 70)

CIDI

rang

Harvard University 100 1 68 1 66.69 1

Stanford University 72.1 2 49.93 2 48.83 2

Massachusetts Institute of Technology

(MIT) 70.5 3 45.87 4 46.24 3

University of California-Berkeley 70.1 4 45.88 3 45.19 4

California Institute of Technology

(Caltech) 60.5 7 40.84 5 44.36 5

University of Oxford 57.4 9 40.38 6 39 6

University of California, San Diego 49.3 14 39.81 7 38.59 7

University of Cambridge 69.2 5 39.52 8 38.53 8

Yale University 55.2 11 39.29 9 38.07 9

University of Washington 48.1 15 39.12 10 37.03 10

University of California, Los Angeles 51.9 12 38.68 11 36.68 11

Columbia University 59.6 8 38.53 12 36.46 12

Princeton University 60.7 6 35.41 20 36.23 13

University of California, San Francisco 45.2 18 36.83 15 35.81 14

University of Michigan-Ann Arbor 42.3 22 38.42 13 35.8 15

University of Pennsylvania 47.1 16 36.68 16 35.46 16

Cornell University 50.6 13 36.06 17 35.1 17

The University of Tokyo 43.2 21 36.92 14 34.97 18

University of Toronto 41.8 24 36.06 17 33.81 19

The Johns Hopkins University 47 17 35.8 19 33.78 20

Swiss Federal Institute of Technology

Zurich 43.9 19 33.46 23 33.52 21

The Imperial College of Science,

Technology and Medicine 42.3 22 33.37 24 32.51 22

University College London 43.3 20 34.11 21 32.35 23

Northwestern University 39.4 28 33.19 25 31.86 24

Duke University 38.4 31 33.56 22 31.66 25

University of Chicago 57.4 9 31.92 27 30.94 26

University of Minnesota, Twin Cities 39.3 30 32.64 26 30.78 27

Washington University in St. Louis 37.8 32 30.6 30 29.43 28

University of North Carolina at Chapel

Hill 35.2 36 30.81 29 29.23 29

University of Wisconsin - Madison 41.8 24 31.03 28 29.09 30

138

7.3.4 Neizvesnost i osetljivost rangiranja prema ARWU metodologiji,

Alternativnom rangiranju i CIDI metodologiji

U nastavku poglavlja biće prikazani rezultati analiza neizvesnosti i osetljivosti za

sve 3 opisane metodologije. Primenom Mann-Whitney testa, biće upoređene

razlike u stabilnosti ove 3 metodologije.

7.3.4.1 Neizvesnost i osetljivost zvaničnog ARWU rangiranja

Osetljivost ARWU rangiranja zasniva se na relativnom doprinosu indikatora

(glava 5). Pomoću Monte Karlo metode, rezultat je simuliran 10 000 puta, a prema

metodologiji analiza neizvesnosti i osetljivosti (Saisana & D’Hombres, 2008)

određena je raspodela frekvencija rangova za univerzitete. U tabeli 7.22 prikazani

su relativni doprinosi indikatora, kao i njihova komparacija sa zvaničnim ARWU

ponderima.

Tabela 7.22 Relativni doprinosi ulaznih ARWU indikatora

Indikatori ARWU rangiranja Zvanični ponderi Relativni doprinos

M SD

Alumni 0.1 0.060 0.0348197

Awards 0.2 0.139 0.0811099

HiCi 0.2 0.189 0.0470695

N&S 0.2 0.183 0.0353705

PUB 0.2 0.314 0.0733839

PCP 0.1 0.090 0.0261356

Matrica frekvencija rangova univerziteta prema zvaničnom ARWU

rangiranju, za 20 prvorangiranih univerziteta za 2014. godinu, data je u tabeli

7.23.

139

Tabela 7.23 Neizvesnost i osetljivost ARWU rangova, 2014. godina (20 prvorangiranih

univerziteta)

Univerzitet 1-5 6-10 11-15 16-20 21-25 26-30 31-35 36-40 41-45 46-50 51-55



University of California-

Berkeley 10000


Technology (MIT) 9996 4

University of Cambridge 9711 219 55 12 2 1




Technology (Caltech) 24 8588 1094 274 20

Yale University 6593 3406 1

Princeton University 6967 1932 738 272 62 14 11 4

University of California, Los

Angeles 3146 6853 1

University of California, San

Diego 134 9691 175

University of Washington 1 773 9151 75

University of Chicago 3019 4741 1137 829 193 36 26 11 5 3

Cornell University 7782 2203 15

The Johns Hopkins

University 1287 8713

University of Pennsylvania 262 9738

University of Michigan-Ann

Arbor 150 592 1656 4106 3092 358 41 3 1 1

The University of Tokyo 76 989 5988 2930 16 1

University of Toronto 3 78 927 5602 3341 45 4

Harvard, Stanford, California-Berkeley, Massachusetts Institute of

Technology (MIT) i University of Cambridge su 5 najbolje rangiranih univerziteta

prema originalnom ARWU rangiranju. Ako se pomoću Monte Karlo metode

10 000 puta simuliraju rezultati sa prosečnim udelima indikatora, i njihovim

standardnim devijacijama, Harvard, Stanford i California-Berkeley su ostali na

prvih pet mesta u svim simulacijama. MIT se 4 puta našao na pozicijama 6 do 10,

dok se Cambridge u simulaciji nalazio čak do 30. pozicije. Prinston, koji je prema

zvaničnom ARWU rangiranju 6., našao se na pozicijama od 6 do čak 45 u

140

simulaciji. Pomeranjem ka nižim pozicijama, neizvesnost rezultata postaje još

izraženija. Na primer, University of Chicago, koji je prema ARWU rangiran kao

9., ima veoma neizvesnu poziciju: mogao bi se naći rangiran na bilo kom od 6. do

55. mesta (tabela 7.23). Do 100. pozicije, rezultati su još šire disperzirani, kao što

je prikazano na slici 7.5.

Slika 7.5 Neizvesnost i osetljivost ARWU rangova (6 indikatora)

Prema navedenim rezultatima, može se zaključiti da Harvard i Stanford

imaju nizak stepen osetljivosti na metodološke pretpostavke ARWU rangiranja,

dok su ostali univerziteti najčešće srednje ili visoko osetljivi. Za univerzitete koji

su veoma osetljivi, prostor rangiranja univerziteta je suviše širok, što se jasno vidi

sa slike 7.5.

141

7.3.4.2 Neizvesnost i osetljivost Alternativnog rangiranja

Osetljivost Alternativnog rangiranja, slično kao i za originalno ARWU rangiranje,

zasniva se na relativnom doprinosu indikatora, koji su prikazani u tabeli 7.24.

Tabela 7.24 Relativni doprinosi ulaznih indikatora Alternativnog rangiranja

Indikatori ARWU rangiranja Zvanični ponderi Relativni doprinos

M SD

HiCi 0.2 0.162 0.032410

N&S 0.2 0.159 0.030734

PUB 0.2 0.269 0.047220

PCP 0.1 0.181 0.048226

Primenom Monte Karlo metode, rangiranje je simulirano 10 000 puta.

Matrica frekvencija rangova univerziteta prema Alternativnom rangiranju, za 20

prvorangiranih univerziteta za 2014. godinu, data je u tabeli 7.25.

Harvard, Stanford, MIT, University of California-Berkeley i Caltech su 5

najbolje rangiranih univerziteta prema Alternativnom rangiranju. Harvard,

Stanford, MIT i University of California-Berkeley su u svih 10 000 simulacija

ostali na prvih pet mesta. Harvard je svaki put prvorangirani univerzitet, a

Stanford drugorangirani. Caltech, koji je petorangirani, ima nestabilnije pozicije,

od 1 do 30. Pomeranjem ka nižim pozicijama, može se uočiti veća stabilnost

Alternativnog rangiranja nego rezultata zvaničnog ARWU rangiranja.

142

Tabela 7.25 Neizvesnost i osetljivost Alternativnog rangiranja, 2014. godina (20 prvorangiranih

univerziteta)

Univerzitet 1-5 6-10 11-15 16-20 21-25 26-30 31-35 36-40 41-45 46-50 51-55






Berkeley 10000


Technology (Caltech) 8182 1208 472 134 3 1




Diego 9776 224

University of Washington 9692 308


Arbor 5 4636 5180 179



Angeles 604 9394 2


University of Toronto 471 6987 2532 10

University of Pennsylvania 4 5353 4643

The University of Tokyo 2 6249 3749


Francisco 422 9569 9

Cornell University 20 9980

The Johns Hopkins University 46 9044 910

Princeton University 175 940 4367 4296 216 6

Na slici 7.6 prikazani su rezultati analize neizvesnosti Alternativnog

rangiranja. Poređenjem rezultata analiza neizvesnosti i osetljivosti za ARWU i

Alternativnu rang listu, uočava se da Alternativno rangiranje pokazuje veću

stabilnost rezultata i manji varijabilitet u rangovima univerziteta. Prema tome,

ako se izuzme faktor nagrada, moguće je dobiti stabilniji i sigurniji rang

univerziteta.

143

Slika 7.6 Neizvesnost i osetljivost Alternativnog rangiranja (4 indikatora)


Za potrebe simulacije rezultata radi utvrđivanja neizvesnosti i osetljivosti CIDI

rangova, prosečne srednje vrednosti pondera i njihove standardne devijacije

izračunate su slično kao i za originalno ARWU i Alternativno rangiranje. Pomoću

Monte Karlo metode, rezultat je simuliran 10 000 puta i određena je raspodela

rangova. Relativni doprinosi su prikazani u tabeli 7.26.

144

Tabela 7.26 Relativni doprinosi ulaznih indikatora CIDI rangiranja

Indikatori rangiranja CIDI ponderi Relativni doprinos

M SD

HiCi 0.19 0.162 0.032410

N&S 0.2 0.159 0.030734

PUB 0.15 0.269 0.047220

PCP 0.17 0.181 0.048226

U tabeli 7.27 prikazana je matrica frekvencija rangova univerziteta prema

CIDI rangiranju, za 20 prvorangiranih univerziteta.

Tabela 7.27 Neizvesnost i osetljivost CIDI rangova (20 prvorangiranih univerziteta)

Univerzitet 1-5 6-10 11-15 16-20 21-25 26-30 31-35 36-40 41-45 46-50 51-55






Berkeley 10000


Technology (Caltech) 8534 1140 281 44 1




Diego 9827 173

University of Washington 9733 267



Arbor 2 4569 5263 166


Angeles 325 9675


University of Toronto 426 6975 2591 8

University of Pennsylvania 2 5175 4823

The University of Tokyo 6417 3583


Francisco 417 9582 1

Cornell University 7 9993

The Johns Hopkins University 9 9254 737

Princeton University 147 870 4433 4444 106

145

Rezultati su slični kao kod Alternativnog rangiranja, međutim primetno je

da je CIDI rangiranje za nijansu stabilnije od Alternativnog, i daleko stabilnije od

zvaničnog ARWU rangiranja. Na slici 7.7 prikazana je neizvesnost i osetljivost

CIDI rangova.


Može se zaključiti da univerziteti imaju nizak, ili srednji stepen osetljivosti

na metodološke pretpostavke CIDI metodologije. CIDI je, prema tome, značajno

stabilnija metodologija za rangiranje entiteta, od ARWU, a u manjoj meri

stabilnija od Alternativnog rangiranja.

146

7.3.4.4 Testiranje razlike odstupanja rangova CIDI i Alternativnog rangiranja

primenom Mann–Whitney testa

U tabeli 7.28 su prikazani rezultati Mann-Whitney testa, koji testira razliku u

stabilnosti Alternativnog rangiranja i CIDI metode, za 15 prvoplasiranih

univerziteta. Poređene su ove dve metode jer je cilj u ovom istraživanju bio da se

CIDI metodom direktno utiče na poboljšanje Alternativnog rangiranja.

Tabela 7.28 Mann-Whitney test pomeranja rangova za CIDI i Alternativne rangove (15


Univerzitet

CIDI Alternativno

rangiranje Prosečan rang

Nivo značajnosti

X0.25 Me X0.75 X0.25 Me X0.75 CIDI Alter.

Harvard University 0 0 0 0 0 0 100.5 100.5 p=1.000

Stanford University 0 0 0 0 0 0 100 101 p=0.317

Massachusetts Institute of Technology (MIT) 0 0 1 0 0 1 91 110 p=0.006**

University of California-Berkeley 0 0 1 0 1 1 92.5 108.5 p=0.024*

California Institute of Technology (Caltech)

0 0 1 0 0 1 90.8 110.21 p=0.006**

University of Oxford 0 0 0 0 0 1 91 110 p=0.001**

University of Cambridge 0 0 0 0 0 0 95.66 105.34 p=0.083

University of California, San Diego

0 0 0 0 0 1 92.79 108.21 p=0.012*

University of Washington

0 0 1 0 0 1 95.69 105.31 p=0.176

Yale University 1 1 1 1.5 1.5 1.5 86.1 114.9 p<0.001*

University of Michigan-Ann Arbor 0 1 2 1 1.5 3 89.1 111.91 p=0.004*

University of California, Los Angeles

0 0 0 0 0 0 99.42 101.58 p=0.704

Columbia University 0 0 1 0 0 1 97.13 103.87 p=0.350

University of Toronto 1 1 3 1 2 3 98.45 102.55 p=0.408

University of California, San Francisco

0 0 1 0 1 1 91.8 109.21 p=0.021*


147

U tabeli se uočava da su za svih 15 univerziteta CIDI rezultati bolji od

Alternativnog rangiranja, i da su, u većini slučajeva, ove razlike statistički

značajne. Za sve rangirane univerzitete (100 univerziteta), Alternativna rang lista

je pokazala značajno veću stabilnost u 3% slučajeva. Preostalih 97% univerziteta,

kod kojih se pokazalo da CIDI metodologija nije statistički manje stabilna od

Alternativne rang liste, mogu se podeliti u sledeće 3 grupe:


(p<0.05),


značajna (p>0.05),

3. Alternativna rang lista pokazuje veću stabilnost, ali razlika nije statistički

značajna (p>0.05).

Na kraju je, radi poređenja, pomoću Kruskal-Wallis testa ispitano da li

postoji značajna statistička razlika između odstupanja rangova za ARWU,

Alternativno i CIDI rangiranje. Izračunate su medijane rangova i suma

apsolutnih odstupanja rangova od medijane, i Kruskal-Wallis testom su

poređena odstupanja za svaki univerzitet koji se rangira. U tabeli 7.29 prikazani

rezultati za 15 prvorangiranih univerziteta.

Harvard univerzitet je, na svim rang listama, bio prvorangirani univerzitet

u svim simulacijama. Za većinu preostalih posmatranih univerziteta, rezultati

pokazuju da su pomeranja rangova od medijane ranga statistički značajno manja

za CIDI u odnosu na Alternativno rangiranje i ARWU metodologiju, ili statistički

jednaka.

Interesantna je situacija kod California-Berkeley i kod Yale univerziteta,

gde je rangiranje bilo stabilnije po originalnoj ARWU metodologiji, nego po CIDI

metodologiji. Ovi rezultati mogli bi da proističu iz vrednosti Alumni i Award

indikatora. California-Berkeley, na primer, ima skor 66.8 za Alumni i 79.4 za

148

Award, a za preostale indikatore između 55 i 67. Indikator Award, prema

zvaničnoj ARWU metodologiji, ima težinski koeficijent 0.2, a relativni doprinos

ovog indikatora je 0.139, sa standardnom devijacijom 0.081. Navedeni indikatori,

koji mere uticaj Nobelovih nagrada i Fieldove medalje, bolje fiksiraju poziciju

ovog univerziteta, u odnosu na metodologije (Alternativna rang lista i CIDI) kada

su oni izostavljeni. Iz ovih razloga je pozicija univerziteta California-Berkeley

stabilnija kod ARWU metodologije u odnosu na CIDI i Alternativnu rang listu.

Tabela 7.29 Kruskal-Wallis test pomeranja rangova za CIDI, Alternativne i ARWU rezultate (15


Univerzitet Medijana pomeranja Prosečan rang Nivo

značajnosti CIDI Altern. ARWU CIDI Altern. ARWU

Harvard University 0 0 0 150.5 150.5 150.5 p=1.000

Stanford University 0 0 0 149 150.5 152 p=0.365


Technology (MIT) 0 0 0 137.21 165.52 148.77 p=0.022*


Berkeley 0 1 0 150.8 174.75 125.99 p<0.001**


Technology (Caltech) 0 0 1 118.06 147.16 186.29 p<0.001**

University of Oxford 0 0 1 115.62 141.94 193.95 p<0.001**

University of Cambridge 0 0 0 140.51 154.76 156.23 p=0.134


Diego 0 0 1 115.76 140.02 195.73 p<0.001**

University of Washington 0 0 1.5 110.36 125.75 215.39 p<0.001**

Yale University 1 1.5 1 145.24 191.35 114.92 p<0.001**


Arbor 1 1.5 2.5 114.66 144.72 192.13 p<0.001**


Angeles 0 0 1 117.27 120.7 213.54 p<0.001**

Columbia University 0 0 0 141.59 151.48 158.44 p=0.302

University of Toronto 1 2 1 147.28 153.57 150.66 p=0.871


Francisco 0 1 2 112.33 135.5 203.68 p<0.001**

149

Veća stabilnost ARWU rangiranja u odnosu na preostala dva, pokazala se

samo u malom broju slučajeva. CIDI metodologija se, kao što je prethodno

opisano, pokazala stabilnijom ili jednako stabilnom u odnosu na Alternativno

rangiranje, za 97% univerziteta.

150

8 ZAKLЈUČAK

Kompozitni indikatori su veoma efikasno sredstvo za merenje i evaluaciju

određenih pojava i fenomena koji su višedimenzionalne prirode. Oni proizvode

odgovarajuće mere za višedimenzionalnu pojavu ili problem od interesa, kao i

odgovarajuće rang liste entiteta, koji se tako mogu porediti prema više

kriterijuma, a na osnovu zbirne skalarne vrednosti koja se dobija kao rezultat

kompozitnog indikatora.

Ovom doktorskom disertacijom, fokus se stavlja na analizu kompozitnih

indikatora i metoda kojima se formiraju kompozitni indikatori za merenje

određenih karakteristika posmatranih entiteta. Doktorska disertacija daje

detaljan pregled faza u postupku formiranja kompozitnih indikatora: izbor

pojedinačnih indikatora, obrada nedostajućih vrednosti, izbor agregacionog

modela, dodela težinskih koeficijenti koji stoje uz indikatore, itd.

Disertacija takođe daje pregled problema koji karakterišu proces formiranja

kompozitnog indikatora, sa ciljem da se što više nedostataka ispravi i unapredi.

Osim toga, bez obzira na model kreiranja, kompozitne indikatore karakteriše

određeni stepen nestabilnosti, koji se ogleda u promeni rezultata merenja pri

promenama u različitim izvorima neizvesnosti vezanim za različite faze

formiranja. Doktorskom disertacijom dat je pregled analiza neizvesnosti i

osetljivosti, koje se sprovode pomoću Monte Karlo simulacije, i kojima se meri

osetljivost i entropija sistema kompozitnih indikatora. Budući da kvalitet modela

zavisi i od ispravnosti pretpostavki, praksa dobrog modelovanja podrazumeva

ove analize.

U okviru doktorske disertacije predložen je model formiranja kompozitnog

indikatora koji značajno unapređuje određene nedostatke, koji karakterišu

poznate kompozitne indikatore. Predloženi model u doktorskoj disertaciji

zasniva se na metodi Ivanovićevog odstojanja: Kompozitni indikator baziran na I-

odstojanju (Composite I-distance Indicator (CIDI)). Upotrebom ovog modela

151

preciznije se definišu težinski koeficijenti koji se dodeljuju pojedinačnim

indikatorima od kojih se kompozitni indikator sastoji, a koji se veoma često

zasnivaju na subjektivnom doživljaju eksperta. Ovim modelom, vrednosti

težinskih koeficijenata se dobijaju na jedan objektivan i transparentan način, kao

što je opisano u doktorskoj disertaciji.

Prednosti CIDI metodologije ogledaju se u sledećem:

• U odnosu na druge kompozitne indikatore, kreirane linearnim načinom

agregacije, sa dodeljivanjem težinskih koeficijenata od strane eksperata,

CIDI princip daje težinske koeficijente koji su objektivni, i metodološki i

statistički opravdani, jer su izvedeni iz Pirsonovih koeficijenata korelacije

I-odstojanja i pojedinačnih indikatora, izračunatih na osnovu vremenske

serije skupa ulaznih indikatora, od kojih se kompozitni indikator sastoji.

• U odnosu na I-odstojanje, CIDI indikator je kreiran pomoću metode

linearne agregacije, uz dodeljivanje težinskih koeficijenta kreiranih na

gore pomenut način. Ovo čini njegove vrednosti direktno uporedivim sa

indikatorom koji se nastoji poboljšati.

• CIDI pristup je značajno stabilniji od većine zvaničnih kompozitnih

indikatora, i smanjuje entropiju sistema rangiranja, što predstavlja

značajan doprinos doktorske disertacije. Rangovi entiteta tako imaju

mnogo niži stepen osetljivosti na metodološke pretpostavke kompozitnog

indikatora zasnovanog na I-odstojanju.

Glavni cilj doktorske disertacije je kreiranje nove metode za formiranje

kompozitnih indikatora, koja se zasniva na I-odstojanju, i koja prevazilazi

poteškoće i nedostatke u formiranju poznatih kompozitnih indikatora. Time je

značajno unapređen sam proces formiranja kompozitnih indikatora, obzirom da

su prevaziđeni problemi subjektivnosti u kreiranju težinskih koeficijenata.

U doktorskoj disertaciji proučavane su studije slučaja QS i ARWU

rangiranja univerziteta, kao i IDI indeks rangiranja zemalja prema informatičkoj

152

razvijenosti. IDI indeks meri IKT razvoj društva, i pokazao se daleko

neizvesnijim u odnosu na CIDI indikator, koji u velikoj meri povećava stabilnost

ovog sistema.

QS rang lista svetskih univerziteta koja je u ovom radu obrađena, daje

veoma koristan i važan aspekt rangova svetskih univerziteta, i predstavlja jedan

je od najuticajnijih sistema rangiranja univerziteta, pre svega zbog globalnog

karaktera i transparentnih rezultata. Međutim, QS ima dosta ograničenja, kao što

su subjektivni visoki ponder za indikator Akademska reputacija, što je izazvalo

nepoverenje u QS rang listu tokom godina.

Može se povući paralela i sa drugim modelima rangiranja univerziteta;

konkretno i najpoznatijim ARWU rangiranjem, koje je obrađeno u doktorskoj

disertaciji. Pokazalo se da je ARWU rangiranje nestabilna metoda, pre svega zbog

velikog uticaja nagrada (Nobelovih nagrada i Field medalja) na rezultat

rangiranja, koje su jako teško dostižne i ostvarive, pa često nose vrednost 0.

Redukovana ARWU lista - Alternativno rangiranje, formirana bez pokazatelja o

nagradama, daleko je stabilnija metoda.

Zbog sveopšte prihvaćenosti i popularnosti QS rangiranja, kao i

nenadmašne popularnosti ARWU rangiranja, u doktorskoj disertaciji se nastojalo

da se pomoću CIDI metodologije poboljšaju ovi sistemi rangiranja univerziteta,

kako bi se prevazišli neki od njihovih nedostataka.

Prvo značajano poboljšanje ogleda se u objektivnosti CIDI metodologije,

koja uspeva da prevaziđe nedostatak subjektivno dodeljenih pondera svakom od

ulaznih indikatora od kojih se sastoje kako IDI indeks, tako i QS i ARWU

rangiranje. Umesto da se koristite subjektivno izabrani težinski koeficijenti, CIDI

uspostavlja sistem merenja, kreiran na osnovu multivarijacione statističke

metode I-odstojanja.

Pored toga, kada su IDI, ili QS i ARWU (odnosno njegova redukcija

Alternativno rangiranje) sistemi rangiranja poboljšani pomoću CIDI

metodologije, daleko su stabilniji i postojaniji. Analize neizvesnosti i osetljivosti

153

oficijalnih IDI, QS i ARWU metodologija pokazuju da su one visoko osetljive što

se tiče rangova univerziteta. Međutim, ako se poboljšaju CIDI metodologijom,

evidentan je niži stepen neizvesnosti i osetljivosti na mnoštvo metodoloških

scenarija. Zbog toga su rangovi dobijeni CIDI metodologijom veoma pouzdani i

reprezentativni, pružaju visok stepen poverenja, pa se ovom doktorskom

disertacijom CIDI metodologija predlaže kao metoda za poboljšanje i

unapređenje u procesu formiranja kompozitnih indikatora.

8.1 Doprinosi doktorske disertacije

Doprinos doktorske disertacije ogleda se u definisanju sistematskog pregleda

proučavane oblasti kao i predloga originalnog modela za formiranje

kompozitnih indikatora. Razvijeni model može da se koristi za kreiranje

kompozitnih indikatora kao sredstva za merenje i evaluaciju višedimenzionalnih

pojava i fenomena, i moguće ga je primeniti na različite vrste organizacionih

jedinica.

Mogućnosti za unapređenje kompozitnih indikatora ogledaju se u činjenici

da se predloženi statistički model zasniva na metodi I-odstojanja. Ovaj način

formiranja kompozitnih indikatora omogućuje prevazilaženje bitnog problema

subjektivnog dodeljivanja težinskih koeficijenata.

Pored toga, pomoću analize neizvesnosti i osetljivosti, pokazano je

unapređenje kompozitnih indikatora koje se ogleda u značajnom povećanju

stabilnosti samog indikatora. Na ovaj način formiranja kompozitnog indikatora,

značajno se smanjuju entropija i neizvesnost modela rangiranja.

Doktorskom disertacijom se takođe predlaže softversko rešenje za

simulaciju analiza neizvesnosti i osetljivosti, kojim se u velikoj meri olakšava

proces simuliranja rezultata, i ubrzava proces istraživanja od postavke problema

do njegovog uspešnog rešavanja. Prikaz ovog softverskog rešenja dat je u

prilogu A.

154

Može se zaključiti da su rezultati, proistekli iz istraživanja u doktorskoj

disertaciji, pružili značajan broj doprinosa:

• Celovit prikaz problematike kreiranja kompozitnih indikatora i modela

koji se primenjuju.

• Predlog originalnog statističkog modela formiranja kompozitnih

indikatora koji se zasniva na I-odstojanju.

• Prikaz značajnog poboljšanja sa aspekta smanjenja neizvesnosti i

osetljivosti rangova dobijenih primenom kompozitnih indikatora.

• Primena predloženog modela u različitim oblastima od interesa kao i na

različite organizacione jedinice.

• Verifikacija dobijenih rezultata kroz praktičnu primenu modela i

publikovanje naučnih i stručnih radova.

• Predlog softverskog rešenja za simulaciju analiza neizvesnosti i

osetljivosti.

• Potvrda postavljenih hipoteza i predstavljanje rezultata dobijenih

predloženim modelom formiranja kompozitnih indikatora.

155

9 LITERATURA

1. Abramo, G., Cicero, T., & D’Angelo, C. A. (2013). The impact of

unproductive and top researchers on overall university research

performance. Journal of Informetrics, 7(1), 166–175.

doi:10.1016/j.joi.2012.10.006

2. Adler-Milstein, J., Ronchi, E., Cohen, G. R., Winn, L. A. P., & Jha, A. K.

(2014). Benchmarking health IT among OECD countries: better data for

better policy. Journal of the American Medical Informatics Association: JAMIA,

21(1), 111–116. doi:10.1136/amiajnl-2013-001710

3. Agresti, A., & Finlay Agresti, B. (1979). Statistical Methods for the Social

Sciences. San Francisco: Dellen.

4. Altbach, P. G. (2003). Introduction to Higher Education theme issue on the

Academic Profession in Central and Eastern Europe. Higher Education,

45(4), 389–389. doi:10.1023/A:1023949808905

5. Altbach, P. G. (2006). The dilemmas of ranking. International Higher

Education, 42, 2–3.

6. Amado, C. a. F., Santos, S. P., & Marques, P. M. (2012). Integrating the

Data Envelopment Analysis and the Balanced Scorecard approaches for

enhanced performance assessment. Omega, 40(3), 390–403.

doi:10.1016/j.omega.2011.06.006

7. Anderberg, M. R. (1973). Cluster analysis for applications. London: Academic

Press.

8. Andersen, P., & Petersen, N. C. (1993). A Procedure for Ranking Efficient

Units in Data Envelopment Analysis. Management Science, 39(10), 1261–

1264. doi:10.1287/mnsc.39.10.1261

9. Anderson, T. W. (1966). An Introduction to Multivariate Statistical Analysis -

7th ed. London: John Wiley and Sons.

156

10. Angelini, G., Bernini, C., & Guizzardi, A. (2013). Comparing weighting

systems in the measurement of subjective well-being. Statistica, 73(2), 143–

163.

11. Arndt, S., Acion, L., Caspers, K., & Blood, P. (2013). How reliable are

county and regional health rankings? Prevention Science : The Official

Journal of the Society for Prevention Research, 14(5), 497–502.

doi:10.1007/s11121-012-0320-3

12. Arushanyan, Y., Ekener-Petersen, E., & Finnveden, G. (2014). Lessons

learned – Review of LCAs for ICT products and services. Computers in

Industry, 65(2), 211–234. doi:10.1016/j.compind.2013.10.003

13. ARWU. (2014). Academic Ranking of World Universities. Retrieved

September 01, 2014, from

http://www.shanghairanking.com/ARWU2014.html

14. ARWU Methodology. (2014). ARWU Methodology. Retrieved October 12,

2014, from http://www.shanghairanking.com/ARWU-Methodology-

2014.html

15. ARWU Newsletter. (2014). Alternative Ranking (Excluding Award Factor).

Retrieved October 10, 2014, from

http://www.shanghairanking.com/Alternative_Ranking_Excluding_Aw

ard_Factor/Excluding_Award_Factor2014.html

16. Athanassopoulos, A. D., & Curram, S. P. (1996). A Comparison of Data

Envelopment Analysis and Artificial Neural Networks as Tools for

Assessing the Efficiency of Decision Making Units. The Journal of the

Operational Research Society, 47(8), 1000–1016. doi:10.2307/3010408

17. Bandura, R. A Survey of Composite Indices Measuring Country

Performance: 2008 Update (2008). Retrieved from

http://web.undp.org/developmentstudies/docs/indices_2008_bandura.

pdf

157

18. Bas Cerda, M. D. C. (2014). Estrategias metodológicas para la construcción de

indicadores compuestos en la gestión universitaria. Editorial Universitat

Politècnica de València.

19. Becker, W., Paruolo, P., & Saltelli, A. (2014, January 22). Exploring Hoover

and Perez’s experimental designs using global sensitivity analysis

[Computation]. Retrieved August 20, 2014, from

http://arxiv.org/abs/1401.5617

20. Benini, A. (2012). Composite measures. Retrieved September 20, 2014,

from http://aldo-

benini.org/Level2/HumanitData/ACAPS_CompositeMeasures_Note_120

517AB.pdf

21. Benito, M., & Romera, R. (2011). Improving quality assessment of

composite indicators in university rankings: a case study of French and

German universities of excellence. Scientometrics, 89(1), 153–176.

doi:10.1007/s11192-011-0419-5

22. Billaut, J.-C., Bouyssou, D., & Vincke, P. (2010). Should you believe in the

Shanghai ranking? Scientometrics, 84(1), 237–263. doi:10.1007/s11192-009-

0115-x

23. Birch, M. W. (1964). The detection of partial association, I: The 2x2 case.

Journal of the Royal Statistical Society – B, 26, 313–324.

24. Birch, M. W. (1965). The Detection of Partial Association, II: The General

Case. Journal of the Royal Statistical Society – B, 27, 111–124.

25. Bogosavljević, S. (1985). Apriorne metode klasifikacije ekonomskih pojava.

Univerzitet u Beogradu.

26. Bogosavljević, S. (1988). Evaluacija klasifikacione strukture. In Majski skup

’87. Beograd: Sekcije za klasifikacije Saveza statističkih društava

Jugoslavije.

27. Bogosavljević, S. (1996). Formalno definisanje i uređenje hijerarhijske

klasifikacije. In S. Bоgоsаvlјеvić & M. Kovačević (Eds.), Analiza grupisanja

II (pp. 43–48). Beograd: Savezni zavod za statistiku.

158

28. Bogosavljević, S. (1997). O statističkim metodama u rangiranju. In Seminar

katedre za matematiku i informatiku. Beograd: Fakultet organizacionih nauka.

29. Bollen, K. A., & Bauldry, S. (2011). Three Cs in measurement models:

causal indicators, composite indicators, and covariates. Psychological

Methods, 16(3), 265–284. doi:10.1037/a0024448

30. Bornmann, L., Mutz, R., & Daniel, H.-D. (2013). Multilevel-statistical

reformulation of citation-based university rankings: The Leiden ranking

2011/2012. Journal of the American Society for Information Science and

Technology, 64(8), 1649–1658. doi:10.1002/asi.22857

31. Brewer, E., Demmer, M., Du, B., Ho, M., Kam, M., Nedevschi, S., … Fall,

K. (2005). The case for technology in developing regions. IEEE Computer,

38(6), 25–38. doi:10.1109/MC.2005.204

32. Brüggemann, R., & Patil, G. P. (2011). Ranking and Prioritization for Multi-

indicator Systems. New York, NY: Springer New York. doi:10.1007/978-1-

4419-8477-7

33. Bulajić, M. (1986). Analiza seizmičkog rizika za sistem objekata infrastrukture.

Institut za zemlјotresno inženjerstvo i inženjersku seizmologiju,

Univerzitet Kiril i Metodij u Skoplju.

34. Bulajić, M. (2002). Geodemografski model tržišnog prostora Srbije. Fakultet

organizacionih nauka, Univerzitet u Beogradu.

35. Bulajic, M., Jeremic, V., Knezevic, S., & Zarkic Joksimovic, N. (2013). A

Statistical Approach to Evaluating Efficiency of Banks. Ekonomska

Istrazivanja-Economic Research, 26(4), 91–100.

36. Bulajić, M., Jeremić, V., & Radojičić, Z. (2012). Advances in Multivariate Data

Analysis, Contributions to Multivariate Data Analysis. Beograd: Fakultet

organizacionih nauka.

37. Bulajic, M., Knezevic, S., Jeremic, V., & Zarkic Joksimovic, N. (2012).

Towards a Framework for Evaluating Bank Efficiency. International Journal

of Agricultural and Statistical Sciences, 8(2), 377–384.

159

38. Bulajić, M., Savić, G., & Savić, S. (2011). DEA pristup rangiranju banaka u

Srbiji. In XXXVIII simpozijum o Operacionim Istraživanjima SymOpIs.

39. Bulajić, M., Savić, G., Savić, S., Mihailović, N., & Matrić, M. (2011).

Efficiency assessment of banks in Serbia. TTEM - Technics Technologies

Education Management, 6(3), 657–662.

40. Bulajić, M., Savić, S., & Savić, G. (2012). Analysis of Competition in

Banking Sector of Serbia. Actual Problems of Economics, 8(134), 330–338.

41. Cacuci, D. G. (2003). Sensitivity & Uncertainty Analysis: Theory, Том 1.

Chapman and Hall/CRC.

42. Cardona, M., Kretschmer, T., & Strobel, T. (2013). ICT and productivity:

conclusions from the empirical literature. Information Economics and Policy,

25(3), 109–125. doi:10.1016/j.infoecopol.2012.12.002

43. Castellano, R., & Rocca, A. (2014). Gender gap and labour market

participation. A composite indicator for the ranking of European

countries. International Journal of Manpower, 35(3), 345–367.

doi:10.1108/IJM-07-2012-0107

44. Chan, K., Tarantola, S., Saltelli, A., & Sobol, I. M. (2000). Variance based

methods. In Sensitivity Analysis (pp. 167–197). New York, NY: John Wiley

and Sons.

45. Chang, G. C. (2005). Spectacular Colleges and Spectacular Rankings: The

“US News” rankings of American “best” colleges. Journal of Consumer

Culture, 5(3), 338–364. doi:10.1177/1469540505056794

46. Charnes, A., Cooper, W. W., Lewin, A. Y., & Seiford, L. M. (1995). Data

Envelopment Analysis: Theory, Methodology and Applications. Boston: Kluwer.

47. Charnes, A., Cooper, W. W., & Rhodes, E. (1978). Measuring the efficiency

of decision making units. European Journal of Operational Research, 2(6), 429–

444. doi:10.1016/0377-2217(78)90138-8

48. Cherchye, L., Moesen, W., Rogge, N., & Van Puyenbroeck, T. (2011).

Constructing composite indicators with imprecise data: A proposal. Expert

160

Systems with Applications, 38(9), 10940–10949.

doi:10.1016/j.eswa.2011.02.136

49. Cherchye, L., Moesen, W., Rogge, N., Van Puyenbroeck, T., Saisana, M.,

Saltelli, A., … Tarantola, S. (2007). Creating composite indicators with

DEA and robustness analysis: the case of the Technology Achievement

Index. Journal of the Operational Research Society, 59(2), 239–251.

doi:10.1057/palgrave.jors.2602445

50. Collyer, F. (2013). The production of scholarly knowledge in the global

market arena: University ranking systems, prestige and power. Critical

Studies in Education, 54(3), 245–259. doi:10.1080/17508487.2013.788049

51. Croxton, F., Cowden, D., & Klein, S. (1967). Applied general statistics.

Englewood Cliffs N.J.: Prentice-Hall.

52. Davino, C., & Romano, R. (2013). Assessment of Composite Indicators

Using the ANOVA Model Combined with Multivariate Methods. Social

Indicators Research, 119(2), 627–646. doi:10.1007/s11205-013-0532-3

53. Delić, M. (2003). Geodemografsko grupisanje opština centralne Srbije i

Vojvodine. Statistička Revija, 52(1-4), 51–70.

54. Delić, M., & Kragulj, D. (2005). Objectives of Macroeconomics as the Basis

for Clustering of Countries in Integrated Europe. In 7th Balkan Conference

on Operational Research BALCOR (pp. 405–412).

55. Delić, M., Radojičić, Z., & Martinović, J. (2004). Analiza grupisanja kao

DataMining tehnika. Info M, 9, 14–18.

56. Dempster, A. P., & Rubin, D. B. (1983). Introduction. In W. G. Madow, I.

Olkin, & D. B. Rubin (Eds.), Incomplete Data in Sample Surveys (vol. 2):

Theory and Bibliography (pp. 3–10). New York, NY: Academic Press.

57. Dimelis, S. P., & Papaioannou, S. K. (2011). ICT growth effects at the

industry level: A comparison between the US and the EU. Information

Economics and Policy, 23(1), 37–50. doi:10.1016/j.infoecopol.2010.03.004

58. Dixon, W. J., & Massey, F. J. J. (1983). Introduction to statistical analysis.

Tokyo: McGraw Hill.

161

59. Dobrota, M., Bulajic, M., Bornmann, L., & Jeremic, V. (n.d.). A New

Approach to QS University Ranking Using Composite I-distance

Indicator: Uncertainty and Sensitivity Analyses. Journal of the Association

for Information Science and Technology, In press. doi:10.1002/asi.23355

60. Dobrota, M., & Dobrota, M. (n.d.). ARWU Ranking Uncertainty and

Sensitivity: What if the Award Factor was Excluded? Journal of the

Association for Information Science and Technology.

61. Dobrota, M., Jeremic, V., & Dobrota, M. (2012). ICT Development in

Serbia: Position and Perspectives. In XVIII Međunarodna Konferencija o

Informacionim i Komunikacionim Tehnologijama YU INFO (YU INFO 2012)

(pp. 18–23). Kopaonik, Srbija.

62. Dobrota, M., Jeremic, V., & Markovic, A. (2012). A new perspective on the

ICT Development Index. Information Development, 28(4), 271–280.

doi:10.1177/0266666912446497

63. Dobrota, M., Martic, M., Bulajic, M., & Jeremic, V. (n.d.). Two-phased

composite I-distance indicator approach for evaluation of countries’

information development. Telecommunications Policy.

64. Dobrota, M., Petrovic, N., Cirovic, M., & Jeremic, V. (2013). Measuring and

Evaluating Air Pollution Per Inhabitant: A Statistical Approach. APCBEE

Procedia, 5, 33–37. doi:10.1016/j.apcbee.2013.05.007

65. Dobrota, M., Stojilkovic, J., Poledica, A., & Jeremic, V. (2014). Statistical

Composite Indicator for Estimating the Degree of Information Society

Development. In 4th International Conference on Information Society and

Technology (ICIST 2014) (p. Online proceedings). Kopaonik, Srbija.

Retrieved from

http://www.yuinfo.org/icist2014/Proceedings/ICIST_2014_Proceedings.

PDF

66. Docampo, D., & Cram, L. (2014). On the internal dynamics of the Shanghai

ranking. Scientometrics, 98(2), 1347–1366. doi:10.1007/s11192-013-1143-0

162

67. Ebert, U., & Welsch, H. (2004). Meaningful environmental indices: a social

choice approach. Journal of Environmental Economics and Management, 47(2),

270–283. doi:10.1016/j.jeem.2003.09.001

68. European Commission. (2004). Composite Indicator on e-business readiness.

Brussels: DG JRC.

69. Fagerberg, J. (2002). Europe at the Crossroads: The Challenge from

Innovation Based Growth. In D. Archibugi & B.-Å. Lundvall (Eds.), The

Globalizing Learning Economy. Oxford University Press.

doi:10.1093/0199258171.001.0001

70. Ferguson, J., Soekijad, M., Huysman, M., & Vaast, E. (2013). Blogging for

ICT4D: reflecting and engaging with peers to build development

discourse. Information Systems Journal, 23(4), 307–328. doi:10.1111/isj.12010

71. Filippetti, A., & Peyrache, A. (2011). The Patterns of Technological

Capabilities of Countries : A Dual Approach using Composite Indicators

and Data Envelopment Analysis. World Development, 39(7), 1108–1121.

doi:10.1016/j.worlddev.2010.12.009

72. Floridi, M., Pagni, S., Falorni, S., & Luzzati, T. (2011). An exercise in

composite indicators construction: Assessing the sustainability of Italian

regions. Ecological Economics, 70(8), 1440–1447.

doi:10.1016/j.ecolecon.2011.03.003

73. Freudenberg, M. (2003). Composite indicators of country performance: a critical

assessment. Paris: OECD.

74. Freyer, L. (2014). Robust rankings: Review of multivariate assessments

illustrated by the Shanghai rankings. Scientometrics, 100(2), 391–406.

doi:10.1007/s11192-014-1313-8

75. Gall, M. (2007). Indices of social vulnerability to natural hazards: A comparative

evaluation. Department of Geography, University of South Carolina.

76. García-Muñiz, A. S., & Vicente, M. R. (2014). ICT technologies in Europe:

A study of technological diffusion and economic growth under network

163

theory. Telecommunications Policy, 38(4), 360–370.

doi:10.1016/j.telpol.2013.12.003

77. Guan, J., & Chen, K. (2012). Modeling the relative efficiency of national

innovation systems. Research Policy, 41(1), 102–115.

doi:10.1016/j.respol.2011.07.001

78. Guttorp, P., & Kim, T. Y. (2013). Uncertainty in Ranking the Hottest Years

of U.S. Surface Temperatures. Journal of Climate, 26(17), 6323–6328.

doi:10.1175/JCLI-D-12-00760.1

79. Hand, D. J. (2009). Measurement Theory and Practice: The World Through

Quantification. New Jersey: John Wiley and Sons.

80. Hawkes, R. (1971). The Multivariate Analysis of Ordinal Measures.

American Journal of Sociology, 76(5), 908–926.

81. Hazelkorn, E. (2011). Rankings and the Reshaping of Higher Education: The

Battle for World-Class Excellence. Palgrave MacMillan.

doi:10.1057/9780230306394preview

82. Hazelkorn, E. (2013a). How Rankings are Reshaping Higher Education. In

V. Climent, F. Michavila, & M. Ripolles (Eds.), Los Rankings Universitarios:

Mitos y Readidades. Madrid: Tecnos.

83. Hazelkorn, E. (2013b). World-Class Universities or World Class Systems?

Ranking and Higher Education Policy Choices. In Global Forum on

Rankings and Accountability in Higher Education. Paris: UNESCO.

84. Horvat, A., Dobrota, M., Krsmanovic, M., & Cudanov, M. (2013). Student

perception of Moodle learning management system: a satisfaction and

significance analysis. Interactive Learning Environments, (June 2014), 1–13.

doi:10.1080/10494820.2013.788033

85. Hou, A. Y. (2011). Impact of excellence programs on Taiwan higher

education in terms of quality assurance and academic excellence,

examining the conflicting role of Taiwan’s accrediting agencies. Asia Pacific

Education Review, 13(1), 77–88. doi:10.1007/s12564-011-9181-x

164

86. Huang, M.-H. (2012). Opening the black box of QS World University

Rankings. Research Evaluation, 21(1), 71–78. doi:10.1093/reseval/rvr003

87. Hudrlikova, L., Kramulova, J., & Zeman, J. (2013). Measuring Sustainable

Development at the Lower Regional Level in the Czech Republic based on

Composite Indicators. Regional Statistics, 3(1), 345–367.

doi:10.15196/RS03107

88. Hаdžigаlić, S., Bоgdаnоvić, М., Теnjоvić, L., & Wоlf, B. (1994). О nеkim

svојstvimа Маhаlаnоbisоvih prоstоrа. In Мајski skup Sеkciје zа klаsifikаciјu

SSD Јugоslаviје (pp. 99–132). Beograd: Sаvеzni zаvоd zа stаtistiku.

89. ICT4D. (2014). Information and Communication Technologies for

Development. Retrieved from http://www.ict4d.org.uk/

90. Ivanovic, B. (1973). A method of establishing a list of development indicators.

Paris: United Nations educational, scientific and cultural organization.

91. Ivanović, B. (1972). Klasifikacija i izbor statističkih obeležja. Statistička

Revija, (1-2).

92. Ivanović, B. (1977). Teorija klasifkacije. Beograd: Institut za ekonomiku

industrije.

93. Ivanovic, B., & Fanchette, S. (1973). Grouping and ranking of 30 countries of

Sub-Saharan Africa, Two distance-based methods compared. Paris: United

Nations educational, scientific and cultural organization.

94. Jacobs, R., Smith, P., & Goddard, M. (2004). Measuring performance: an

examination of composite performance indicators. Centre for Health

Economics.

95. Jednak, S., Kragulj, D., Bulajic, M., & Pittman, R. (2009). Electricity reform

in Serbia. Utilities Policy, 17(1), 125–133. doi:10.1016/j.jup.2008.02.002

96. Jencks, S. F., Huff, E. D., & Cuerdon, T. (2003). Change in the quality of

care delivered to Medicare beneficiaries, 1998-1999 to 2000-2001. Journal of

the American Medical Association JAMA, 289(3), 305–312.

97. Jeremić, V. (2012). Statistički model efikasnosti zasnovan na Ivanovićevom

odstojanju. Fakultet organizacionih nauka, Univerzitet u Beogradu.

165

98. Jeremic, V., Bulajic, M., Martic, M., Markovic, A., Savic, G., Jeremic, D., &

Radojicic, Z. (2012). An Evaluation of European Countries Health Systems

through Distance Based Analysis. Hippokratia, 16(2), 175–179.

99. Jeremic, V., Bulajic, M., Martic, M., & Radojicic, Z. (2011). A fresh

approach to evaluating the academic ranking of world universities.

Scientometrics, 87(3), 587–596. doi:10.1007/s11192-011-0361-6

100. Jeremic, V., & Jovanovic Milenkovic, M. (2014). Evaluation of Asian

university rankings: position and perspective of leading Indian higher

education institutions. Current Science, 106(12), 1647–1653.

101. Jeremić, V., Jovanović-Milenković, M., Radojičić, Z., & Martić, M. (2013).

Excellence with Leadership: the crown indicator of SCImago Institutions

Rankings IBER Report. El Profesional de La Informacion, 22(5), 474–480.

doi:10.3145/epi.2013.sep.13

102. Jeremic, V., & Radojicic, Z. (2010). A New Approach in the Evaluation of

Team Chess Championships Rankings. Journal of Quantitative Analysis in

Sports, 6(3). doi:10.2202/1559-0410.1257

103. Jovanovic, M., Jeremic, V., Savic, G., Bulajic, M., & Martic, M. (2012). How

does the normalization of data affect the ARWU ranking? Scientometrics,

93(2), 319–327. doi:10.1007/s11192-012-0674-0

104. Jovanovic Milenkovic, M., Jeremic, V., & Martic, M. (2014). Sustainable

Development in the E-Health Sector of the European Union. Journal of

Environmental Protection and Ecology, 15(1), 248–256.

105. Jovičić, M. (2006). Kompozitni indes - Magistrala multikriterijumske

analize. Economic Annals, 171, 171–184.

106. Kennedy, P. (2003). A Guide to Econometrics (5th ed.). The MIT Press.

107. Keung, J., Kocaguneli, E., & Menzies, T. (2013). Finding conclusion

stability for selecting the best effort predictor in software effort estimation.

Automated Software Engineering, 20(4), 543–567. doi:10.1007/s10515-012-

0108-5

166

108. Korhonen, P., Tainio, R., & Wallenius, J. (2001). Value efficiency analysis of

academic research. European Journal of Operational Research, 130(1), 121–132.

doi:10.1016/S0377-2217(00)00050-3

109. Kovačić, Z. (1992). Мultivаriјаciоnа аnаlizа. Beograd: Еkоnоmski fаkultеt.

110. Kretschmer, T. (2012). Information and communication technologies and

productivity growth: A survey of the literature. Retrieved from

http://ideas.repec.org/p/oec/stiaab/195-en.html

111. Langville, A. N., & Meyer, C. P. (2012). Who’s #1? The Science of Rating and

Ranking. Princeton, New Jersey: Princeton University Press.

112. Lauer, J. a, Knox Lovell, C. a, Murray, C. J. L., & Evans, D. B. (2004). World

health system performance revisited: the impact of varying the relative

importance of health system goals. BMC Health Services Research, 4(1), 19.

doi:10.1186/1472-6963-4-19

113. Little, R. J. A., & Rubin, D. B. (2002). Statistical Analysis with Missing Data.

Hoboken, New Jersey: John Wiley and Sons.

114. Mahmud, A. J., Olander, E., Eriksén, S., & Haglund, B. J. (2013). Health

communication in primary health care -a case study of ICT development

for health promotion. BMC Medical Informatics and Decision Making, 13, 17.

doi:10.1186/1472-6947-13-17

115. Mahsuli, M., & Haukaas, T. (2013). Sensitivity measures for optimal

mitigation of risk and reduction of model uncertainty. Reliability

Engineering & System Safety, 117, 9–20. doi:10.1016/j.ress.2013.03.011

116. Mann, H. B., & Whitney, D. R. (1947). On a Test of Whether one of Two

Random Variables is Stochastically Larger than the Other. The Annals of

Mathematical Statistics, 18(1), 50–60. doi:10.1214/aoms/1177730491

117. Martić, M. (1999). Analiza obavijenih podataka sa primerima. Fakultet


118. Martić, M., Petrović, J., & Radojičić, Z. (1997). Poređenje analize obavijanja

podataka i diskriminacione analize. In Symopis ’97. Bečići.

167

119. Martić, M., & Savić, G. (2001). An application of DEA for comparative

analysis and ranking of regions in Serbia with regards to social-economic

development. European Journal of Operational Research, 132(2), 343–356.

doi:10.1016/S0377-2217(00)00156-9

120. MDG. (2014). The Millennium Development Goals. Retrieved October 25,

2014, from

http://www.undp.org/content/undp/en/home/mdgoverview.html

121. Mihailovic, N., Bulajic, M., & Savic, G. (2009). Ranking of banks in Serbia.

Yugoslav Journal of Operations Research, 19(2), 323–334.

doi:10.2298/YJOR0902323M

122. Milosevic, D., Filipovic, J., Djuric, M., & Dobrota, M. (2014). Benchmarking

diaspora performance as an input for policy makers: a comparative

statistical analysis. Current Science, 107(8), 1253–1259.

123. MIS. (2013). Measuring Information Society 2013. Retrieved May 12, 2014,

from http://www.itu.int/en/ITU-

D/Statistics/Documents/publications/mis2013/MIS2013_without_Annex

_4.pdf

124. Mizobuchi, H. (2014). Measuring World Better Life Frontier: A Composite

Indicator for OECD Better Life Index. Social Indicators Research, 118(3), 987–

1007. doi:10.1007/s11205-013-0457-x

125. Momirović, K., & Fajgelj, S. (1994). Faktorska analiza nominalnih varijabli.

Sociološki Pregled, 28(3), 369–383.

126. Monferini, a., Konstandinidou, M., Nivolianitou, Z., Weber, S.,

Kontogiannis, T., Kafka, P., … Demichela, M. (2013). A compound

methodology to assess the impact of human and organizational factors

impact on the risk level of hazardous industrial plants. Reliability

Engineering & System Safety, 119, 280–289. doi:10.1016/j.ress.2013.04.012

127. Munda, G. (2012). Choosing Aggregation Rules for Composite Indicators.

Social Indicators Research, 109(3), 337–354. doi:10.1007/s11205-011-9911-9

168

128. Murphy, R., & Weinhardt, F. (2013). The Importance of Rank Position. .

Centre for Economic Performance, discussion paper No’ CEPDP1241.

Retrieved from http://cep.lse.ac.uk/pubs/download/dp1241.pdf

129. Myrtveit, I., & Stensrud, E. (2011). Validity and reliability of evaluation

procedures in comparative studies of effort prediction models. Empirical

Software Engineering, 17(1-2). doi:10.1007/s10664-011-9183-7

130. Nardo, M., Saisana, M., Saltelli, A., Tarantola, S., Hoffman, A., &

Giovannini, E. (2008). Handbook on constructing composite indicators:

methodology and user guide. Paris: OECD, Joint Research Centre-European

Commission.

131. Nilsson, R. (2000). Confidence Indicators and Composite Indicator. In

CIRET conference. Paris: CIRET.

132. NTU Ranking. (2013). Performance Ranking of Scientific Papers for World

Universities. Retrieved October 21, 2013, from

http://nturanking.lis.ntu.edu.tw/Default.aspx

133. Pääkkönen, J., & Seppälä, T. T. (2014). Using composite indicators to

evaluate the efficiency of health care system. Applied Economics, 46(19),

2242–2250. doi:10.1080/00036846.2014.899675

134. Parker, S. (2011). The digital divide is still with us. Information Development,

27(2), 83–84. doi:10.1177/0266666911404010

135. Paruolo, P., Saisana, M., & Saltelli, A. (2013). Ratings and rankings:

voodoo or science? Journal of the Royal Statistical Society: Series A (Statistics

in Society), 176(3), 609–634. doi:10.1111/j.1467-985X.2012.01059.x

136. Pusser, B., & Marginson, S. (2013). University Rankings in Critical

Perspective. The Journal of Higher Education, 84(4), 544–568.

doi:10.1353/jhe.2013.0022

137. QS. (2013). Quacquarelli Symonds (QS) World University Rankings.

138. Radojičić, Z. (1994). Primеnа mеtоdе nеhiјеrаrhiјskоg klаsifikоvаnjа u izbоru

rаčunаrskе оprеmе. Fakultet organizacionih nauka, Univerzitet u Beogradu.

169

139. Radojičić, Z. (2007). Statistički model ocenjivanja na subjektivno procenjenim

karakteristikama. Fakultet organizacionih nauka, Univerzitet u Beogradu.

140. Radojičić, Z., Janić, B., & Vukmirović, D. (1995). Statistical Approach to

Define Activity Index of Disease. In 3rd Balkan Conference of Operational

Research (BALCOR). Thessaloniki, Greece.

141. Radojičić, Z., Stеfаnоvić, T., & Vukmirović, D. (1998). Rаngirаnjе prеduzеćа

mеtоdоm Ivаnоvićеvоg оdstојаnjа. Аnаlizа grupisаnjа IV. Kоsmај: Statistički

zavod Srbije.

142. Radojičić, Z., Vuković, N., & Vukmirović, D. (2003). Applying Coefficients

of reference in Ranking (CPR). YUJOR, 13(2), 175–186.

143. Rao, C. R. (1965). The Use and Interpretation of Principal Component Analysis

in Applied Research. India: Sakhya.

144. Rosen, R. (1991). Life Itself: A Comprehensive Inquiry into Nature, Origin, and

Fabrication of Life. New York, NY: Columbia University Press.

145. Saaty, R. W. (1987). The analytic hierarchy process—what it is and how it

is used. Mathematical Modelling, 9(3-5), 161–176. doi:10.1016/0270-

0255(87)90473-8

146. Saaty, T. L. (1980). The Analytic Hierarchy Process. New York, NY: McGraw-

Hill.

147. Safón, V. (2013). What do global university rankings really measure? The

search for the X factor and the X entity. Scientometrics, 97(2), 223–244.

doi:10.1007/s11192-013-0986-8

148. Saisana, M., & D’Hombres, B. (2008). Higher Education Rankings: Robustness

Issues and Critical Assessment. How much confidence can we have in Higher

Education Rankings? (EUR23487 ed.). Italy: Joint Research Centre,

Publications Office of the European Union. doi:10.2788/92295

149. Saisana, M., D’Hombres, B., & Saltelli, A. (2011). Rickety numbers:

Volatility of university rankings and policy implications. Research Policy,

40(1), 165–177. doi:10.1016/j.respol.2010.09.003

170

150. Saisana, M., Nardo, M., & Saltelli, A. (2005). Uncertainty and Sensitivity

Analysis of the 2005 Environmental Sustainability Index. In D. Esty, M.

Levy, M. Srebotnjak, & A. de Sherbinin (Eds.), Environmental Sustainability

Index: Benchmarking National Environmental Stewardship (pp. 75–78). New

Haven: Yale Center for Environmental Law and Policy.

151. Saisana, M., Saltelli, A., & Tarantola, S. (2005). Uncertainty and sensitivity

analysis techniques as tools for the quality assessment of composite

indicators. Journal of the Royal Statistical Society: Series A (Statistics in

Society), 168(2), 307–323. doi:10.1111/j.1467-985X.2005.00350.x

152. Saisana, M., & Tarantola, S. (2002). State-of-the-art report on current

methodologies and practices for composite indicator development (EUR 20408 .).

Italy: European Commission-JRC.

153. Saltelli, A. (2002). Making best use of model evaluations to compute

sensitivity indices. Computer Physics Communications, 145(2), 280–297.

doi:10.1016/S0010-4655(02)00280-1

154. Saltelli, A. (2007). Composite Indicators between Analysis and Advocacy.

Social Indicators Research, 81(1), 65–77. doi:10.1007/s11205-006-0024-9

155. Saltelli, A., Chan, K., & Scott, E. M. (2000). Sensitivity Analysis. New York,

NY: John Wiley and Sons.

156. Saltelli, A., Ratto, M., Andres, T., Campolongo, F., Cariboni, J., Gatelli, D.,

… Tarantola, S. (2008). Global Sensitivity Analysis. The Primer. Chichester,

UK: John Wiley & Sons, Ltd. doi:10.1002/9780470725184

157. Saltelli, A., & Tarantola, S. (2002). On the Relative Importance of Input

Factors in Mathematical Models. Journal of the American Statistical

Association, 97(459), 702–709. doi:10.1198/016214502388618447

158. Saltelli, A., Tarantola, S., Campolongo, F., & Ratto, M. (2004). Sensitivity

Analysis in Practice: A Guide to Assessing Scientific Models. New York, NY:

John Wiley & Sons, Ltd.

171

159. Salvati, L., & Carlucci, M. (2014). A composite index of sustainable

development at the local scale: Italy as a case study. Ecological Indicators,

43, 162–171. doi:10.1016/j.ecolind.2014.02.021

160. Sassi, S., & Goaied, M. (2013). Financial development, ICT diffusion and

economic growth: Lessons from MENA region. Telecommunications Policy,

37(4-5), 252–261. doi:10.1016/j.telpol.2012.12.004

161. Savić, G. (2011). Matematički modeli efikasnosti – skripta. Fakultet


162. Scaratti, D., & Calvo, M. C. M. (2012). Composite indicator to evaluate

quality of municipal management of primary health care. Rev Saúde

Pública, 46(3), 1–10.

163. Seke, K., Petrovic, N., Jeremic, V., Vukmirovic, J., Kilibarda, B., & Martic,

M. (2013). Sustainable development and public health: rating European

countries. BMC Public Health, 13, 77. doi:10.1186/1471-2458-13-77

164. Sharpe, A. (2004). Literature Review of Frameworks for Macro-indicators.

Ottawa: Centre for the Study of Living Standards.

165. Shepperd, M., & Kadoda, G. (2001). Comparing software prediction

techniques using simulation. IEEE Transactions on Software Engineering,

27(11), 1014–1022. doi:10.1109/32.965341

166. Swar, B., & Khan, G. F. (2014). Mapping ICT knowledge infrastructure in

South Asia. Scientometrics, 99(1), 117–137. doi:10.1007/s11192-013-1099-0

167. Tarantola, S., Jesinghaus, J., & Puolamaa, M. (2000). Global sensitivity

analysis: a quality assurance tool in environmental policy modelling. In A.

Saltelli, K. Chan, & E. M. Scott (Eds.), Sensitivity Analysis (pp. 385–397).

New York, NY: John Wiley and Sons.

168. Tarantola, S., Saisana, M., Saltelli, A., Schmiedel, F., & Leapman, N. (2002).

Statistical techniques and participatory approaches for the composition of the

European Internal Market Index 1992-2001 (EUR 20547 .). Italy: European

Commission-JRC.

172

169. Tasiran, A. C. (2012). University rankings: theoretical basis, methodology

and impacts on global higher education. Studies in Continuing Education,

34(3), 384–386. doi:10.1080/0158037X.2012.721953

170. Tayyab, S., & Boyce, A. N. (2013). Impact factor versus Q1 class of journals

in world university rankings. Current Science, 104(4), 417–419.

171. Thanassoulis, E., Kortelainen, M., & Allen, R. (2012). Improving

envelopment in Data Envelopment Analysis under variable returns to

scale. European Journal of Operational Research, 218(1), 175–185.

doi:10.1016/j.ejor.2011.10.009

172. THE. (2013). Times Higher Education World University Rankings.

173. Van Vught, F. (2008). Mission Diversity and Reputation in Higher

Education. Higher Education Policy, 21(2), 151–174. doi:10.1057/hep.2008.5

174. Vicente, M. R., & López, A. J. (2011). Assessing the regional digital divide

across the European Union-27. Telecommunications Policy, 35(3), 220–237.

doi:10.1016/j.telpol.2010.12.013

175. Voogt, J., Knezek, G., Cox, M., Knezek, D., & ten Brummelhuis, A. (2013).

Under which conditions does ICT have a positive effect on teaching and

learning? A Call to Action. Journal of Computer Assisted Learning, 29(1), 4–

14. doi:10.1111/j.1365-2729.2011.00453.x

176. Vu, K. M. (2013). Information and Communication Technology (ICT) and

Singapore’s economic growth. Information Economics and Policy, 25(4), 284–

300. doi:10.1016/j.infoecopol.2013.08.002

177. Vukmirović, D. (1992). Model hijerarhijskog klasifikovanja. Beograd:

Ekonomski fakultet.

178. Vukmirović, D., Vuković, N., Marković, A., & Radojičić, Z. (1994). Skraćeni

metod hijerarhijskog klasifikovanja. In SymOpIs ’94. Kotor: Fakultet


179. Vuković, N. (1977). Generalizacija višestrukog i kolektivnog koeficijenta

korelacije. Prirodno-matematički fakultet, Univerzitet u Novom Sadu.

180. Vuković, N. (1987). Statistička analiza. Beograd: Naučna knjiga.

173

181. Vuković, N. (2000). PC verovatnoća i statistika. Beograd: Fakultet


182. Vuković, N., & Bulajić, M. (2014). Osnove statistike. Beograd: Fakultet


183. Wainwright, H. M., Finsterle, S., Zhou, Q., & Birkholzer, J. T. (2013).

Modeling the performance of large-scale CO2 storage systems: A

comparison of different sensitivity analysis methods. International Journal

of Greenhouse Gas Control, 17, 189–205. doi:10.1016/j.ijggc.2013.05.007

184. Waltman, L., Calero-Medina, C., Kosten, J., Noyons, E. C. M., Tijssen, R. J.

W., van Eck, N. J., … Wouters, P. (2012). The Leiden ranking 2011/2012:

Data collection, indicators, and interpretation. Journal of the American

Society for Information Science and Technology, 63(12), 2419–2432.

doi:10.1002/asi.22708

185. Walton, R. (2013). Stakeholder Flux: Participation in Technology-Based

International Development Projects. Journal of Business and Technical

Communication, 27(4), 409–435. doi:10.1177/1050651913490940

186. Williams, R., & de Rassenfosse, G. (2014). Pitfalls in aggregating

performance measures in higher education. Studies in Higher Education,

(June), 1–12. doi:10.1080/03075079.2014.914912

187. Zornic, N., Markovic, A., & Jeremic, V. (2014). How the top 500 ARWU can

provide a misleading rank. Journal of the Association for Information Science

and Technology, 65(6), 1303–1304. doi:10.1002/asi.23207

174

PRILOG A - SOFTVERSKO REŠENJE ZA CIDI INDIKATORE I

ANALIZE NEIZVESNOSTI I OSETLJIVOSTI

Predložena metodologija Kompozitni indikator baziran na I-odstojanju (Composite I-

distance Indicator (CIDI)), sastoji se od izračunavanja I-odstojanja i Pirsonovih

koeficijenata korelacije, pa na osnovu njih, a prema predlogu metode, definisanju

novih težinskih koeficijenata. Tako dobijeni težinski koeficijenti se koriste za

formiranje CIDI vrednosti za evaluaciju entiteta.

Softverski dodatak za izračunavanje I-odstojanja, kao i Pirsonovih

koeficijenata korelacije, već je implementiran u softverskom paketu IBM SPSS

Statistics. U ovom prilogu, predstavljen je softver za analizu neizvesnosti i

osetljivosti, koji u mnogome olakšava simulaciju rezultata i predstavlja rezultate

na detaljan i sveobuhvatan način. Softver je nazvan SensSimulator.

Slika A.1 Sadržaj instalacionog direktorijuma

175

Na slici A.1 prikazan je sadržaj instalacionog direktorijuma. Pokretanjem

fajla start.bat, pokreće se osnovni prozor softvera koji je prikazan na slici A2.

Slika A.2 Osnovni prozor programa

Kao što je prikazano na slici A.2, prva opcija je Load rankings, koja

omogućava učitavanje podataka. Podrazumevano je učitavanje matrice podataka

sa entitetima i varijablama (atributima) koje opisuju date entitete. Ovu matricu

podataka potrebno je čuvati u .csv formatu. Na slici A.3 prikazan je primer ovako

pripremljenog fajla.

176

Slika A.3 Odabir fajla sa setom varijabli

Nakon učitavanja podataka pojavljuje se poruka da su podaci korektno

uneti u softver, što je prikazano na slici A.4.

177

Slika A.4 Učitan set varijabli

Pojavljuje se opcija Load parameters. Ova opcija omogućava učitavanje

parametara. Podrazumevano je učitavanje matrice podataka sa listom varijabli, i

njihovim težinskim koeficijentima, tj. srednjim vrednostima težinskih

koeficijenata i njihovim standardnim devijacijama. Ovu matricu podataka takođe

je potrebno je čuvati u .csv formatu. Na slici A.5 prikazan je primer ovako

pripremljenog fajla.

178

Slika A.5 Odabir fajla sa srednjim vrednostima i standardnim devijacijama težinskih

koeficijenata

Nakon što su učitani podaci o srednjim vrednostima i standardnim

devijacijama težinskih koeficijenata, pojavljuje se poruka da su podaci korektno

uneti u softver, što je prikazano na slici A.6.

179

Slika A.6 Učitan set podataka sa srednjim vrednostima i standardnim devijacijama težinskih

koeficijenata

Opcija koja postaje dostupna je Run simulation. Neophodno je uneti sledeće

parametre:

• Simulations no. - broj željenih simulacija koje će softver da izvrši.

Mogućnost softvera je do 999 999, međutim, neophodno je pri tom voditi

računa o brzini rada softvera. U doktorskoj disertaciji istraživanje je

vršeno na 10 000 simulacija.

• Sens table lines – broj entiteta za koje će biti prikazana tabela osetljivosti. U

disertaciji je, za svaku posmatranu studiju slučaja formirana tabela od 20

prvorangiranih entiteta i za njih prikazana osetljivost po rangovima.

• Sens table rank step – broj grupisanja rangova u tabeli osetljivosti. Obično

se za broj grupisanja uzme korak veličine 5 (1-5; 6-10; itd.).

180

Primer unosa parametara prikazan je na slici A.7.

Slika A.7 Odabir broja simulacija i podešavanje analiza neizvesnosti i osetljivosti

Nakon unosa gore navedenih parametara, moguće je pokrenuti simulaciju,

opcijom Run simulation. Nakon što je simulacija uspešno završena, prikazuje se

poruka data na slici A.8. Pri tome postaju dostupne opcije Save output i Generate

graph.

181

Slika A.8 Uspešno završena simulacija

Opcija Generate graph poziva komandu za skiciranje grafikona neizvesnosti

rezultata, i pri tom se otvara prozor koji prikazuje rezultat neizvesnosti za sve

posmatrane entitete. Prethodno pomenuta tabela osetljivosti prikazuje rezultate

za željeni broj entiteta. U disertaciji je uglavnom vršena analiza za 20

prvorangiranih entiteta radi jednostavnosti i preglednosti prikaza tih rezultata.

Za razliku od toga, grafikon daje prikaz rezultata za čitav skup posmatranih

entiteta, koji je pregledan i lako saglediv. Rešenje je prikazano na slici A.9.

182

Slika A.9 Skiciranje grafikona

Kao što je prikazano na slici A.9 ovaj grafikon je moguće sačuvati klikom

na ikonicu Save. Slika se čuva u .png formatu. Ovaj izlaz se direktno prikazuje u

rezultatima u okviru doktorske disertacije, a moguće ga je koristiti i za pisanje

naučno-istraživačkih radova.

Povratkom na prethodni prozor i odabirom opcije Save output moguće je

sačuvati tabelu osetljivosti i tabelu simulacija. Ukoliko je čuvanje rezultata

uspešno pojavljuje se poruka, prikazana na slici A.10.

183

Slika A.10 Čuvanje output-a

Slika A.11 Folder sa input-om i output-om (rezultatima)

184

Na slici A.11 prikazan je uspešno sačuvan izlaz is softvera. Tabela

osetljivosti direktno se prikazuje kao rezultat u doktorskoj disertaciji, a takođe

predstavlja važan alat za dalji naučno-istraživački rad. Ovaj rezultat prikazan je

na slici A.12.

Slika A.12 Rezultat – tabela osetljivosti

185

Kao izlaz se u ovom koraku dobija i tabela simuliranih rangova, koja se

kasnije koristi za sprovođenje Mann-Whitney testa, kao što je opisano u

doktorskoj disertaciji. Ovaj rezultat prikazan je na slici A.13.

Slika A.13 Rezultat – tabela simuliranih rangova

Konačno, na slici A.14. prikazan je kao rezultat grafikon neizvesnosti

rangova entiteta.

186

Slika A.14 Rezultat – grafikon neizvesnosti rangova

187

PRILOG B – TABELE SA CIDI REZULTATIMA

Tabela B.1 IDI vrednosti, IDI rangovi, CIDI vrednosti i CIDI rangovi za 2012 godinu


Macao, China 7.65 14 9.81 1

Korea 8.57 1 8.75 2

Iceland 8.36 3 8.68 3

Denmark 8.35 4 8.57 4

Sweden 8.45 2 8.53 5

Hong Kong 7.92 10 8.46 6

Netherlands 8 7 8.36 7

Finland 8.24 5 8.36 7

Luxembourg 7.93 9 8.32 9

Norway 8.13 6 8.26 10

Australia 7.9 11 8.26 10

UnitedKingdom 7.53 17 8.23 12

Switzerland 7.78 13 8.12 13

Japan 7.82 12 8.01 14

New Zealand 7.64 16 8.00 15

Singapore 7.65 14 7.96 16

France 7.53 17 7.93 17

Germany 7.46 19 7.87 18

United States 7.98 8 7.72 19

Canada 7.38 20 7.69 20

Ireland 7.25 23 7.67 21

Austria 7.36 21 7.66 22

Belgium 7.16 25 7.61 23

Malta 7.25 23 7.59 24

Estonia 7.28 22 7.45 25

Spain 6.89 27 7.43 26

Israel 7.11 26 7.41 27

Slovenia 6.76 28 7.18 28

Barbados 6.65 29 7.07 29

Italy 6.57 30 6.92 30

Greece 6.45 32 6.91 31

Portugal 6.32 36 6.84 32

Qatar 6.54 31 6.71 33

Czech Republic 6.4 34 6.69 34

United Arab Emirates 6.41 33 6.67 35

Bahrain 6.3 39 6.65 36

Poland 6.31 37 6.62 37

Croatia 6.31 37 6.61 38

188


Belarus 6.11 41 6.60 39

Latvia 6.36 35 6.58 40

Russian Federation 6.19 40 6.53 41

Hungary 6.1 42 6.47 42

Lithuania 5.88 44 6.34 43

Slovakia 6.05 43 6.33 44

Cyprus 5.86 45 6.26 45

Antigua & Barbuda 5.74 48 6.24 46

Bulgaria 5.83 46 6.19 47

Uruguay 5.76 47 6.17 48

Kazakhstan 5.74 48 6.15 49

Saudi Arabia 5.69 50 6.14 50

Chile 5.46 51 5.83 51

Argentina 5.36 53 5.83 51

Romania 5.35 55 5.82 53

Lebanon 5.37 52 5.80 54

Serbia 5.34 56 5.76 55

Brunei Darussalam 5.06 58 5.74 56

Oman 5.36 53 5.59 57

TFYR Macedonia 5.19 57 5.55 58

St. Vincent and the Grenadines 4.81 63 5.48 59

Malaysia 5.04 59 5.47 60

Costa Rica 5.03 60 5.46 61

Seychelles 4.75 64 5.40 62

Brazil 5 62 5.38 63

Moldova 4.74 65 5.32 64

Azerbaijan 5.01 61 5.30 65

Ukraine 4.64 68 5.24 66

Trinidad & Tobago 4.73 66 5.15 67

Turkey 4.64 68 5.11 68

Bosnia and Herzegovina 4.71 67 5.08 69

Panama 4.61 70 5.04 70

Georgia 4.59 71 5.00 71

Mauritius 4.55 72 4.96 72

Maldives 4.53 73 4.96 72

Saint Lucia 4.43 75 4.90 74

Armenia 4.45 74 4.85 75

Jordan 4.22 76 4.67 76

Venezuela 4.17 79 4.63 77

Colombia 4.2 77 4.63 77

China 4.18 78 4.50 79

Ecuador 4.08 81 4.49 80

Albania 4.11 80 4.41 81

Mongolia 3.92 85 4.39 82

Fiji 3.99 82 4.39 82

189


Iran 3.79 89 4.38 84

Mexico 3.95 83 4.35 85

Suriname 3.84 87 4.29 86

South Africa 3.95 83 4.27 87

Morocco 3.79 89 4.15 88

Peru 3.68 92 4.13 89

Egypt 3.85 86 4.12 90

Viet Nam 3.8 88 4.12 90

Tunisia 3.7 91 4.11 92

Jamaica 3.68 92 4.10 93

Thailand 3.54 95 4.04 94

Dominican Rep. 3.58 94 3.88 95

Cape Verde 3.53 96 3.83 96

Indonesia 3.43 97 3.79 97

Syria 3.22 102 3.74 98

Philippines 3.34 98 3.74 98

Tonga 3.23 101 3.69 100

Bolivia 3.28 99 3.67 101

El Salvador 3.25 100 3.67 101

Paraguay 3.21 103 3.66 103

Algeria 3.07 106 3.60 104

Sri Lanka 3.06 107 3.54 105

Guyana 3.08 105 3.49 106

Botswana 3 108 3.37 107

Uzbekistan 3.12 104 3.37 107

Honduras 2.74 110 3.15 109

Namibia 2.85 109 3.11 110

Cuba 2.72 111 3.08 111

Gabon 2.61 112 3.04 112

Nicaragua 2.54 114 2.99 113

Kenya 2.46 116 2.81 114

Swaziland 2.44 117 2.73 115

Bhutan 2.4 118 2.72 116

Ghana 2.6 113 2.72 116

Cambodia 2.3 120 2.71 118

Zimbabwe 2.52 115 2.70 119

India 2.21 121 2.58 120

Sudan 2.33 119 2.57 121

Lao P.D.R. 2.1 123 2.45 122

Senegal 2.02 124 2.32 123

Solomon Islands 1.97 125 2.31 124

Lesotho 1.95 126 2.30 125

Nigeria 2.18 122 2.29 126

Yemen 1.89 127 2.21 127

Gambia 1.88 128 2.21 127

190


Pakistan 1.83 129 2.20 129

Myanmar 1.74 134 2.16 130

Djibouti 1.77 131 2.16 130

Uganda 1.81 130 2.10 132

Côte d'Ivoire 1.7 137 2.10 132

Mauritania 1.76 133 2.08 134

Bangladesh 1.73 135 2.07 135

Zambia 1.77 131 2.07 135

Comoros 1.7 137 2.07 135

Cameroon 1.72 136 2.03 138

Rwanda 1.66 140 1.99 139

Benin 1.6 143 1.95 140

Angola 1.68 139 1.93 141

Tanzania 1.65 142 1.93 141

Congo 1.66 140 1.92 143

Mali 1.54 144 1.89 144

Malawi 1.43 145 1.75 145

Liberia 1.39 146 1.70 146

Congo 1.31 147 1.61 147

Mozambique 1.31 147 1.60 148

Ethiopia 1.24 151 1.58 149

Madagascar 1.28 149 1.57 150

Guinea 1.23 152 1.55 151

Eritrea 1.2 153 1.51 152

Guinea-Bissau 1.26 150 1.48 153

Burkina Faso 1.18 154 1.46 154

Niger 0.99 157 1.28 155

Chad 1.01 155 1.26 156

Central African Rep. 1 156 1.22 157

191

Tabela B.2 QS vrednosti, QS rangovi, CIDI vrednosti i CIDI rangovi za 2013 godinu

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

Massachusetts Institute of Technology (Mit) 100 1 99.02 1

Imperial College London 98.8 5 98.85 2

Ucl (University College London) 98.9 4 98.45 3

University of Oxford 98.7 6 98.16 4

University of Cambridge 99 3 98.07 5

Harvard University 99.2 2 96.66 6

Eth Zurich (Swiss Federal Institute of Technology) 94.3 12 95.02 7

Yale University 96.5 8 93.12 8

Ecole Polytechnique Fédérale De Lausanne (Epfl) 90.9 19 92.67 9

Stanford University 96.8 7 91.86 10

University of Edinburgh 91.3 17 91.79 11

King's College London (Kcl) 90.9 19 91.77 12

National University of Singapore (Nus) 89.4 24 91.68 13

University of Toronto 91.3 17 90.92 14

University of Chicago 96.2 9 90.9 15

California Institute of Technology (Caltech) 96.1 10 90.63 16

University of Hong Kong (Hku) 88.6 26 90.59 17

Princeton University 96.1 10 89.89 18

Australian National University (Anu) 88.5 27 89.67 19

Mcgill University 90.6 21 89.32 20

Cornell University 92.5 15 88.12 21

The Hong Kong University of Science And Technology (Hkust) 84.4 34 87.72 22

University of California, Berkeley (Ucb) 89 25 87.59 23

The University of Melbourne 86 31 87.07 24

The University of Manchester 85.2 33 86.93 25

University of Bristol 86.6 30 86.35 26

University of Pennsylvania 93.8 13 86.25 27

Nanyang Technological University (Ntu) 81.1 41 85.74 28

The University of Sydney 82.9 38 85.3 29

Ecole Polytechnique Paristech 81.1 41 84.15 30

Columbia University 93.6 14 84.01 31

Johns Hopkins University 92.1 16 83.77 32

The University of New South Wales (Unsw) 78.8 52 83.75 33

The University of Queensland (Uq) 80.9 43 83.19 34

The Chinese University of Hong Kong (Cuhk) 82.3 39 82.55 35

London School of Economics And Political Science (Lse) 73.9 68 81.52 36

The University of Warwick 74.5 64 80.92 37

University of Michigan 90.5 22 79.66 38

University of Glasgow 78.9 51 78.99 39

University of St Andrews 71.6 83 78.84 40

192

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

Ecole Normale Supérieure, Paris (Ens Paris) 87.8 28 78.55 41

The University of Nottingham 73.1 75 78.45 42

Monash University 73.7 69 78.44 43

Trinity College Dublin (Tcd) 75.1 61 77.99 44

University of Birmingham 74.9 62 77.35 45

Seoul National University (Snu) 84.1 35 77.17 46

The University of Sheffield 73.3 71 77.07 47

Maastricht University 63.8 121 76.1 48

Durham University 70.4 90 76.02 49

Duke University 90.1 23 75.54 50

Northwestern University 87.3 29 75.32 51

University of British Columbia 79.4 49 75.13 52

University of Geneva 73.3 71 74.88 53

The University of Western Australia (Uwa) 71.4 84 74.82 54

The University of Auckland 69.8 94 74.35 55

Technische Universität München 78.5 53 74.28 56

University of Southampton 71 86 73.79 57

The University of Adelaide 67.7 104 73.71 58

Carnegie Mellon University 76.6 57 73.17 59

Erasmus University Rotterdam 70.2 92 72.88 60

Peking University 80 46 72.84 61

Purdue University 68.4 99 72.83 62

University of Groningen 69.2 97 72.75 63

University of Copenhagen 80.5 45 72.62 64

Delft University of Technology 69.4 95 72.49 65

New York University (Nyu) 80.8 44 72.25 66

City University of Hong Kong 67.7 104 72.13 67

Tsinghua University 79.7 48 72.06 68

University of Illinois At Urbana-Champaign 76.7 56 71.68 69

University of Leeds 69.2 97 71.49 70

University of Zurich 72.9 78 71.37 71

University of Wisconsin-Madison 83 37 71.22 72

The University of Tokyo 85.7 32 71.04 73

Université De Montréal 70.2 92 70.98 74

Newcastle University 62.5 129 70.87 75

Kth, Royal Institute of Technology 64.5 118 70.85 76

Ruprecht-Karls-Universität Heidelberg 79.3 50 70.82 77

Queen Mary, University of London (Qmul) 64.8 115 70.56 78

University of Lausanne 66.1 111 70.07 79

University of Alberta 69.3 96 69.72 80

University of Basel 66.2 110 69.5 81

University College Dublin (Ucd) 61.2 139 69.48 82

193

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

Lund University 74 67 69.34 83

University of California, Los Angeles (Ucla) 81.9 40 69.06 84

Kyoto University 84.1 35 68.97 85

University of Liverpool 62.2 130 68.95 86

Brown University 79.8 47 68.91 87

University of Amsterdam 76.4 58 68.59 88

Katholieke Universiteit Leuven 73 77 68.07 89

University of Bath 54 187 67.13 90

Queen's University of Belfast 56.1 172 66.95 91

Georgia Institute of Technology (Georgia Tech) 68.4 99 66.83 92

Technical University of Denmark 61.8 134 66.55 93

University of Aberdeen 59.9 148 66.51 94

University of Exeter 56.8 168 66.42 95

Ludwig-Maximilians-Universität München 74.4 65 66.37 96

Boston University 72.5 79 66.02 97

Lancaster University 58.1 156 65.95 98

Kit, Karlsruher Institut Für Technologie 64.7 116 65.93 99

Aarhus University 70.3 91 65.83 100

The Hong Kong Polytechnic University 57.5 161 65.53 101

Université Libre De Bruxelles (Ulb) 56.8 168 65.32 102

University of Texas At Austin 73.3 71 64.88 103

Cardiff University 61.7 136 64.79 104

University of York 63.5 124 64.61 105

Uppsala University 72.5 79 64.37 106

Kaist - Korea Advanced Institute of Science And Technology 75.8 60 64.02 107

Sciences Po Paris 50.2 213 63.96 108

Tokyo Institute of Technology 74.2 66 63.87 109

University of Otago 58.2 155 63.8 110

Université Catholique De Louvain (Ucl) 61.3 138 63.42 111

University of North Carolina, Chapel Hill 77 54 63.08 112

Fudan University 70.8 88 63.06 113

Leiden University 73.2 74 62.95 114

University of California, Davis (Ucd) 71.3 85 62.72 115

Osaka University 76.9 55 62.48 116

Ohio State University 65.8 113 62 117

Vrije Universiteit Brussel (Vub) 56.1 172 61.99 118

University of Oslo 70.6 89 61.95 119

University of Waterloo 54.9 180 61.91 120

Universiti Malaya (Um) 56.9 167 61.83 121

American University of Beirut (Aub) 45.1 249 61.38 122

University of Helsinki 73.7 69 61.1 123

Utrecht University 72.3 81 60.96 124

194

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

Freie Universität Berlin 66.9 109 60.63 125

Tohoku University 73.1 75 60.58 126

Mcmaster University 61 140 60.52 127

University of Cape Town 60.5 145 60.49 128

University of Bern 58.4 154 60.49 128

Universität Wien 57.7 158 60.37 130

University of Leicester 52.1 202 60.37 130

Wageningen University 59.4 150 60.22 132

Rmit University 41.2 290 60.17 133

Pohang University of Science And Technology (Postech) 67.5 107 59.98 134

University of Sussex 52.8 193 59.66 135

Université Pierre Et Marie Curie (Upmc) 65.9 112 59.49 136

University of Reading 50.4 212 59.48 137

University of Pittsburgh 67.6 106 59.43 138

Rheinisch-Westfälische Technische Hochschule Aachen 60.1 147 59.35 139

Rice University 61.7 136 59.28 140

Dartmouth College 64.1 119 59.23 141

Pennsylvania State University 67.5 107 59.17 142

Macquarie University 43.3 262 59.1 143

University of Technology, Sydney (Uts) 42.4 271 59.08 144

University of Southern California 63.2 125 59 145

Universität Freiburg 67.9 102 58.88 146

University of Virginia 62.1 132 58.87 147

Eindhoven University of Technology 58 157 58.62 148

University of Wollongong 42.1 275 58.4 149

Curtin University 41.5 283 58.36 150

Washington University In St. Louis 71 86 58.25 151

University of Ghent 63.7 122 57.96 152

Yonsei University 65.1 114 57.87 153

Loughborough University 45.6 243 57.82 154

Nagoya University 68.4 99 57.8 155

King Fahd University of Petroleum & Minerals (Kfupm) 49.9 215 57.79 156

Chalmers University of Technology 52.1 202 57.75 157

University of Washington 76.2 59 57.7 158

Radboud University Nijmegen 60.8 143 57.63 159

National Taiwan University (Ntu) 72 82 57.13 160

Michigan State University 56.2 171 56.8 161

University of Canterbury 46.2 237 56.68 162

University College Cork (Ucc) 50.6 209 55.88 163

University of Antwerp 54.2 185 55.79 164

Royal Holloway University of London 43.1 264 55.48 165

University of Maryland, College Park 64.7 116 55.38 166

195

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

Eberhard Karls Universität Tübingen 61.8 134 55.32 167

Humboldt-Universität Zu Berlin 63.1 126 55.31 168

Simon Fraser University 45.6 243 55.26 169

University of California, San Diego (Ucsd) 74.8 63 55.18 170

Sungkyunkwan University 57.4 162 55.11 171

Georgetown University 53.7 189 55.08 172

University of Surrey 41.5 283 54.92 173

Victoria University of Wellington 43.1 264 54.84 174

Western University 52.4 199 54.59 175

University of East Anglia (Uea) 47.7 228 54.57 176

University of Rochester 59.2 151 54.56 177

University of Strathclyde 44.4 256 54.53 178

University of Minnesota 67.9 102 54.22 179

Shanghai Jiao Tong University 63.6 123 54.11 180

Kyushu University 62 133 54.09 181

Queen's University 53.7 189 54.06 182

Korea University 60.5 145 53.98 183

City University London 37 341 53.84 184

University of Twente 48 227 53.68 185

Technische Universität Wien 43.2 263 53.68 185

Technische Universität Darmstadt 43.8 259 53.66 187

Lomonosov Moscow State University 63.9 120 53.5 188

University of Dundee 49.8 218 53.28 189

University of Bergen 59.2 151 53.26 190

Georg-August-Universität Göttingen 62.8 128 53.24 191

Université Paris 1 Panthéon-Sorbonne 49.1 224 52.91 192

Universität Innsbruck 41.3 288 52.78 193

Queensland University of Technology (Qut) 41.9 278 52.72 194

Université Paris Dauphine 35.9 351 52.58 195

Technische Universität Berlin 54.6 183 52.46 196

Heriot-Watt University 35.3 362 52.4 197

University of Calgary 52.2 201 52.38 198

Soas - School of Oriental And African Studies, University of

London 37.9 332 52.32 199

Ecole Normale Supérieure De Lyon 57.7 158 52.14 200

Emory University 60.9 141 51.98 201

Griffith University 37.7 336 51.82 202

Tufts University 52 204 51.53 203

University of California, Irvine (Uci) 59.6 149 51.47 204

Aalto University 52.6 196 51.27 205

Texas A&M University 58.7 153 51.24 206

University of Colorado At Boulder 57.6 160 51.12 207

196

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

University of Essex 37.8 333 50.67 208

Universidade De São Paulo (Usp) 63 127 50.63 209

University of California, Santa Barbara (Ucsb) 62.2 130 50.46 210

University of South Australia (Unisa) 37.7 336 50.45 211

Brunel University 35.8 353 50.35 212

Hokkaido University 60.6 144 50.22 213

École Des Ponts Paristech 40.2 298 50.11 214

Hong Kong Baptist University (Hkbu) 41.4 287 49.69 215

Pontificia Universidad Católica De Chile 57 166 49.68 216

Aston University 33.2 391 49.61 217

National University of Ireland, Galway (Nuig) 41.5 283 49.36 218

Université Paris-Sud 11 53.7 189 49.31 219

Universität Stuttgart 45.4 247 49.14 220

University of Liege 45.9 239 48.84 221

University of Ottawa 48.4 226 48.82 222

Politecnico Di Milano 47.5 229 48.81 223

Université Paris-Sorbonne (Paris Iv) 49.9 215 48.69 224

Hanyang University 45.3 248 48.55 225

Zhejiang University 57.2 165 48.53 226

Vrije Universiteit Amsterdam 54.8 181 48.5 227

Universität Frankfurt Am Main 51 208 48.5 227

Case Western Reserve University 55.7 175 48.44 229

Dalhousie University 45.6 243 48.19 230

Dublin City University (Dcu) 36.8 342 48.18 231

Nanjing University 55.7 175 47.99 232

University of Newcastle 40.4 297 47.92 233

University of Notre Dame 49.2 223 47.82 234

Technion - Israel Institute of Technology 54.6 183 47.72 235

Universität Hamburg 54.1 186 47.7 236

Waseda University 49.6 219 47.34 237

Tecnológico De Monterrey (Itesm) 41.9 278 47.22 238

Hebrew University of Jerusalem 60.9 141 47.2 239

University of Illinois, Chicago (Uic) 53.5 192 47.18 240

University of Turku 51.8 205 47.06 241

Oxford Brookes University 34.7 367 47.02 242

Kyung Hee University 44.5 254 46.98 243

National Chiao Tung University 47.5 229 46.97 244

Rheinische Friedrich-Wilhelms-Universität Bonn 57.3 163 46.94 245

Boston College 38.1 327 46.92 246

Universiti Kebangsaan Malaysia (Ukm) 42.7 268 46.81 247

Deakin University 34.4 373 46.72 248

Stockholm University 56.4 170 46.71 249

197

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

University of Florida 55 179 46.28 250

Aalborg University 38 330 46.17 251

Keio University 52.8 193 46.13 252

Norwegian University of Science And Technology 45 250 45.81 253

Universidad Nacional Autónoma De México (Unam) 57.3 163 45.78 254

Charles University 47.1 232 45.69 255

University of Gothenburg 51.8 205 45.51 256

King Saud University (Ksu) 44.7 252 45.5 257

Universitat Pompeu Fabra 41.8 280 45.34 258

Universitat Autónoma De Barcelona 55.6 177 45.31 259

Massey University 37.3 338 44.88 260

Universidad Autónoma De Madrid 52.7 195 44.53 261

La Trobe University 33.5 383 44.42 262

Université Joseph Fourier - Grenoble 1 49.6 219 44.38 263

Universitat De Barcelona (Ub) 55.4 178 44.3 264

Universität Köln 45.7 242 44.3 264

Université Paris Diderot - Paris 7 51.8 205 44.28 266

James Cook University (Jcu) 36.5 344 44.27 267

National Tsing Hua University 52.4 199 43.7 268

Beijing Normal University 44.8 251 43.67 269

Birkbeck College, University of London 34.7 367 43.52 270

Université De Strasbourg 48.5 225 43.46 271

Università Di Bologna (Unibo) 53.8 188 43.25 272

University of Science And Technology of China 55.9 174 42.81 273

Universiti Teknologi Malaysia (Utm) 36 348 42.8 274

University of Southern Denmark 39.3 309 42.78 275

Indian Institute of Technology Delhi (Iitd) 49.4 221 42.76 276

Westfälische Wilhelms-Universität Münster 46.5 235 42.58 277

Universidad De Navarra 39 313 42.36 278

University of California, Riverside (Ucr) 42.8 267 42.31 279

Universität Mannheim 41.8 280 42.31 279

Universidad Complutense De Madrid (Ucm) 49.9 215 42.19 281

University of Tsukuba 50.6 209 42.17 282

Vanderbilt University 54.8 181 42.1 283

Technische Universität Dresden 43.4 261 42.08 284

University of The Witwatersrand 39.2 311 42.02 285

University of Miami 47.3 231 41.98 286

Tilburg University 34.8 366 41.82 287

Tel Aviv University 52.6 196 41.76 288

Universität Konstanz 42.3 272 41.69 289

University of Victoria 38.6 319 41.32 290

Universidad De Chile 49.3 222 41.23 291

198

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

Sapienza - Università Di Roma 52.6 196 41.18 292

Northeastern University 33.3 389 41.17 293

Indian Institute of Technology Bombay (Iitb) 47.1 232 41.01 294

University of Oulu 44.7 252 40.97 295

Université Bordeaux 1, Sciences Technologies 39.4 307 40.9 296

Universität Ulm 44 257 40.84 297

King Abdul Aziz University (Kau) 35.8 353 40.66 298

National Cheng Kung University 45.5 246 40.3 299

Universidade Estadual De Campinas (Unicamp) 50.1 214 40.15 300

University At Buffalo Suny 40.1 301 40.06 301

Université Paris Descartes 42.2 273 39.35 302

University of Arizona 50.5 211 39.23 303

Universidad De Los Andes Colombia 42.2 273 39.22 304

Universidad Carlos Iii De Madrid 38.8 315 39.18 305

Johannes Gutenberg Universität Mainz 40.5 296 39.09 306

University of Iowa 46.5 235 39.05 307

Brandeis University 38.5 321 39.02 308

Universidade Nova De Lisboa 36.1 346 39 309

Christian-Albrechts-Universität Zu Kiel 40.9 292 38.95 310

Indiana University Bloomington 45.9 239 38.83 311

Politecnico Di Torino 35.2 363 38.29 312

Linköping University 38.1 327 38.28 313

Saint-Petersburg State University 45.9 239 38.25 314

University of Utah 42.5 270 38.23 315

Ben Gurion University of The Negev 38.1 327 38.11 316

Università Degli Studi Di Milano 46.8 234 37.99 317

Universität Erlangen-Nürnberg 42 277 37.88 318

Virginia Polytechnic Institute (Virginia Tech) 38.9 314 37.87 319

University of Texas Dallas 35.4 359 37.55 320

Laval University 38.2 326 37.4 321

Rutgers - The State University of New Jersey, New Brunswick 44.5 254 37.38 322

Ewha Womans University 35.6 355 37.2 323

Ruhr-Universität Bochum 35.4 359 37.13 324

University of Massachusetts, Amherst 43.5 260 37.08 325

Chulalongkorn University 46.1 238 36.93 326

Stony Brook University 37.8 333 36.84 327

Moscow State Institute of International Relations (Mgimo-

University) 33.8 379 36.7 328

Iowa State University 38.6 319 36.4 329

Politécnica De Madrid 33.6 382 36.37 330

University of Indonesia 39.4 307 36.3 331

Umeå University 41.3 288 36.17 332

199

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

University of Connecticut 34.4 373 36.09 333

North Carolina State University 39.7 303 35.97 334

University of Mississippi 38.8 315 35.92 335

University of Eastern Finland 41.2 290 35.91 336

Universidad Austral 38.8 315 35.91 336

Al-Farabi Kazakh National University 40.2 298 35.83 338

George Washington University 38.3 324 35.56 339

University of Tromso 39.6 305 35.47 340

Yeshiva University 42.7 268 35.32 341

Tokyo Medical And Dental University 42.1 275 35.15 342

University of Jyväskylä 40.2 298 35.03 343

Washington State University 35.4 359 34.95 344

Bauman Moscow State Technical University 38 330 34.87 345

Indian Institute of Technology Madras (Iitm) 39.2 311 34.84 346

Universiti Sains Malaysia (Usm) 36 348 34.62 347

Karl-Franzens-Universität Graz 33.4 386 34.58 348

Università Di Pisa 43.9 258 34.47 349

Universitat Politècnica De Catalunya 37.2 340 34.31 350

Indian Institute of Technology Kanpur (Iitk) 40.7 294 34.24 351

Kobe University 39.7 303 33.63 352

Rensselaer Polytechnic Institute 36.1 346 33.46 353

Arizona State University 40.9 292 33.44 354

University of Coimbra 35.9 351 33.24 355

National Yang Ming University 40.7 294 33.15 356

Universidad Nacional De Colombia 38.4 322 33.08 357

Università Degli Studi Di Padova (Unipd) 42.9 266 32.99 358

Universität Leipzig 39.3 309 32.76 359

University of Hawaii At M? Noa 38.3 324 32.75 360

L.N. Gumilyov Eurasian National University 40 302 32.72 361

Taipei Medical University 35.5 356 32.72 361

Mahidol University 41.6 282 32.55 363

Pontificia Universidad Javeriana 36.8 342 32.54 364

Xi'an Jiaotong University 35.1 365 32.51 365

Université Aix-Marseille 36 348 32.49 366

Universität Bremen 35.2 363 32.48 367

University of Warsaw 37.8 333 32.24 368

University of Kansas 34.6 369 32.1 369

Novosibirsk State University 36.2 345 32.08 370

Stellenbosch University 33.7 380 31.96 371

Julius-Maximilians-Universität Würzburg 38.4 322 31.77 372

Université Montpellier 2, Sciences Et Techniques Du Languedoc 33.9 378 31.61 373

Nankai University 35.5 356 31.37 374

200

Univerzitet QS

vrednost

QS

rang

CIDI

vrednost

CIDI

rang

Colorado State University 33.4 386 31.21 375

Universidad Politecnica De Valencia 34.2 376 31.18 376

Hiroshima University 39.5 306 31.11 377

Universidade Federal Do Rio De Janeiro 41.5 283 31.06 378

University of Tampere 34.6 369 30.63 379

University of Porto 37.3 338 30.42 380

Universität Düsseldorf 33.4 386 30.23 381

Universitá Degli Studi Di Roma - Tor Vergata 38.7 318 30.15 382

University of The Philippines 34.4 373 29.9 383

Tulane University 33.7 380 29.87 384

Universität Jena 35.5 356 29.78 385

Jagiellonian University 34.6 369 29.65 386

Instituto Tecnológico De Buenos Aires (Itba) 33.5 383 29.5 387

University of Tennessee 33.5 383 29.44 388

Sun Yat-Sen University 34.1 377 29.09 389

Università Degli Studi Di Firenze (Unifi) 34.5 372 26.9 390

Università Degli Studi Di Torino (Unito) 33.2 391 26.63 391

Università Degli Studi Di Napoli Federico Ii 33.3 389 24.11 392

201

Tabela B.3 ARWU vrednosti, ARWU rangovi, Alternativne vrednosti, Alternativni rangovi, CIDI

vrednosti i CIDI rangovi za 2014. godinu


rang

Alternativno

rangiranje

Alternativn

i rang CIDI

CIDI

rang

Harvard University 100 1 68 1 66.69 1

Stanford University 72.1 2 49.93 2 48.83 2

Massachusetts Institute of Technology

(MIT) 70.5 3 45.87 4 46.24 3

University of California-Berkeley 70.1 4 45.88 3 45.19 4

California Institute of Technology

(Caltech) 60.5 7 40.84 5 44.36 5

University of Oxford 57.4 9 40.38 6 39 6

University of California, San Diego 49.3 14 39.81 7 38.59 7

University of Cambridge 69.2 5 39.52 8 38.53 8

Yale University 55.2 11 39.29 9 38.07 9

University of Washington 48.1 15 39.12 10 37.03 10

University of California, Los Angeles 51.9 12 38.68 11 36.68 11

Columbia University 59.6 8 38.53 12 36.46 12

Princeton University 60.7 6 35.41 20 36.23 13

University of California, San Francisco 45.2 18 36.83 15 35.81 14

University of Michigan-Ann Arbor 42.3 22 38.42 13 35.8 15

University of Pennsylvania 47.1 16 36.68 16 35.46 16

Cornell University 50.6 13 36.06 17 35.1 17

The University of Tokyo 43.2 21 36.92 14 34.97 18

University of Toronto 41.8 24 36.06 17 33.81 19

The Johns Hopkins University 47 17 35.8 19 33.78 20


Zurich 43.9 19 33.46 23 33.52 21

The Imperial College of Science,

Technology and Medicine 42.3 22 33.37 24 32.51 22

University College London 43.3 20 34.11 21 32.35 23

Northwestern University 39.4 28 33.19 25 31.86 24

Duke University 38.4 31 33.56 22 31.66 25

University of Chicago 57.4 9 31.92 27 30.94 26

University of Minnesota, Twin Cities 39.3 30 32.64 26 30.78 27

Washington University in St. Louis 37.8 32 30.6 30 29.43 28

University of North Carolina at Chapel

Hill 35.2 36 30.81 29 29.23 29

University of Wisconsin - Madison 41.8 24 31.03 28 29.09 30

University of California, Davis 30.4 55 30.48 31 29.08 31

University of Colorado at Boulder 37.2 34 28.72 37 28.48 32

New York University 39.6 27 29.77 32 28.13 33

The University of Texas at Austin 34.5 39 29.39 34 28.12 34

202


rang

Alternativno

rangiranje

Alternativn

i rang CIDI

CIDI

rang

University of British Columbia 35.1 37 29.48 33 27.7 35

Pennsylvania State University - University

Park 30 58 28.92 35 27.44 36

University of Illinois at Urbana-

Champaign 39.4 28 28.47 38 27.28 37

University of Copenhagen 34.5 39 28.13 40 27.26 38

Kyoto University 39.9 26 28.84 36 26.98 39

The University of Melbourne 32.6 44 28.14 39 26.79 40

University of California, Santa Cruz 24.7 93 25.17 50 26.31 41

University of California, Santa Barbara 34.3 41 25.36 49 25.56 42

University of Maryland, College Park 32.7 43 26.58 42 25.52 43


Lausanne 24.2 96 24.8 56 25.47 44

The Ohio State University - Columbus 28.7 64 27.3 41 25.25 45

University of California, Irvine 31.9 47 25.8 48 25.1 46

Rutgers, The State University of New

Jersey - New Brunswick 30.9 52 25.94 45 24.9 47

University of Bristol 28.9 63 24.95 54 24.61 48

Osaka University 26.8 78 25.93 46 24.58 49

Ghent University 28 70 25.04 53 24.55 50

The University of Manchester 34.7 38 25.81 47 24.4 51

University of Pittsburgh-Pittsburgh

Campus 28.6 65 26.55 43 24.39 52

Pierre and Marie Curie University - Paris 6 35.4 35 25.96 44 24.3 53

The University of Edinburgh 32.5 45 25.1 52 24.07 54

Karolinska Institute 31.9 47 24.11 66 23.91 55

VU University Amsterdam 24 100 24.36 60 23.9 56

McGill University 28.3 67 25.11 51 23.84 57

KU Leuven 24.2 96 24.49 59 23.74 58

University of Zurich 30.3 56 24.77 57 23.7 59

Leiden University 27.3 77 23.75 68 23.63 60

University of Munich 31.1 49 24.18 65 23.52 61

The University of Queensland 25.7 85 24.61 58 23.47 62

Heidelberg University 31.1 49 24.2 64 23.47 62

Brown University 27.4 74 23.37 70 23.41 64

Boston University 27.8 72 24.22 63 23.03 65

Texas A & M University 24.2 96 24.24 62 22.96 66

Utrecht University 30.2 57 23.7 69 22.95 67

University of Florida 26.8 78 24.9 55 22.83 68

Rockefeller University 37.6 33 22.23 79 22.79 69

University of Arizona 25.4 86 23.89 67 22.73 70

Georgia Institute of Technology 24.1 99 23.03 75 22.71 71

203


rang

Alternativno

rangiranje

Alternativn

i rang CIDI

CIDI

rang

University of Southern California 31 51 24.3 61 22.66 72

University of Groningen 26.7 82 23.08 74 22.65 73

The University of Texas Southwestern

Medical Center at Dallas 32.5 45 23.12 72 22.45 74

Purdue University - West Lafayette 29.5 60 23.28 71 22.09 75

King's College London 29.7 59 23.11 73 21.92 76

University of Helsinki 27.5 73 22.67 77 21.84 77

The Australian National University 27.4 74 22.09 81 21.74 78

Technical University Munich 30.7 53 22.15 80 21.44 79

University of Utah 25 87 22.59 78 21.34 80

Rice University 26.7 82 20.55 87 21.24 81

Vanderbilt University 30.6 54 22.75 76 21.15 82

Uppsala University 29.5 60 21.84 82 21.04 83

Aarhus University 27.4 74 21.48 83 20.75 84

The University of Western Australia 24.9 88 20.75 85 20.28 85

Arizona State University 24.9 88 21.03 84 20.24 86

University of Geneva 28.5 66 20.25 88 20.05 87

University of Basel 24.8 90 19.62 89 20.01 88

University of Rochester 24.8 90 20.61 86 19.88 89

Carnegie Mellon University 29.4 62 19.14 92 19.23 90

McMaster University 24.8 90 19.62 89 18.74 91

University of Oslo 28.1 69 19.32 91 18.37 92

University of Bonn 24.6 94 18.68 94 18.11 93

University of Paris Sud (Paris 11) 34.2 42 19.08 93 17.87 94

Stockholm University 26.8 78 18.39 95 17.86 95

The Hebrew University of Jerusalem 28 70 18.24 96 17.75 96

Ecole Normale Superieure - Paris 28.3 67 15.6 98 17.08 97

Technion-Israel Institute of Technology 26.8 78 15.8 97 15.35 98

University of Strasbourg 24.5 95 15.57 99 14.94 99

Moscow State University 26.1 84 14.22 100 13.48 100

204

BIOGRAFIJA

Marina Dobrota rođena je 28.10.1984. godine, u Beogradu. Devetu

beogradsku gimanziju završila je kao nosilac Vukove diplome. Fakultet

organizacionih nauka, smer Informacioni sistemi i tehnologije, upisala je 2003. i

diplomirala 2008. godine sa prosečnom ocenom 8.58. Master studije, odsek

Informacioni sistemi i tehnologije, programsko područje Računarska statistika upisuje

2008. godine. Pod mentorstvom dr Milice Bulajić odbranila je master rad

"Tehnike i modeli otkrivanja zakonitosti u medicinskim podacima", sa ocenom

10 i završila studije 2009. sa prosečnom ocenom 9.71. Iste godine upisala je

dоktоrskе studiје nа Fakultetu оrgаnizаciоnih nаukа – izbоrnо pоdručје

Оpеrаciоnа istrаživаnjа i položila sve predviđene ispite sa prosečnom ocenom 10.

Od 1.7.2008. stupa u radni odnos na Fakultetu organizacionih nauka, u zvanju

saradnik u nastavi, a od 1.7.2010. u zvanju asistent, za užu naučnu oblast

Računarska statistika.

Tokom rada na fakultetu, bila je angažovana na izvođenju nastave i vežbi

na predmetima Teorija verovatnoće, Statistika, Ekonometrijske metode,

Računarska statistika. Prilikom evaluacije od strane studenata, njen pedagoški

rad je redovno ocenjivan visokim ocenama. Učestvovala je u više projekata

sprovedenih od strane Ministarstva rada i socijalne politike i Ministarstva za

nauku i tehnološki razvoj Republike Srbije. Bila je član Programskog odbora YU

INFO 2012 i ICIST 2012. U saradnji sa drugim autorima, objavila je više naučnih

radova u međunarodnim (SSCI, SCI-e) i domaćim časopisima, kao i u zbornicima

radova sa domaćih i međunarodnih konferencija. Ističu se sledeći:

• Dobrota, M., Jeremic, V., & Markovic, A. (2012). A new perspective on the

ICT Development Index. Information Development, 28(4), 271–280.

doi:10.1177/0266666912446497 (M23, IF2012: 0.375)

• Dobrota, M., Bulajic, M., Bornmann, L., & Jeremic, V. (n.d.). A New

Approach to QS University Ranking Using Composite I-distance

Indicator: Uncertainty and Sensitivity Analyses. Journal of the Association

for Information Science and Technology. In press. (M21, IF2013: 2.23)