bilimsel arastirma yontemleri

7/29/2019 bilimsel arastirma yontemleri

1/27


2/27

Yazarlar:Do.Dr.enerBykztrk,Yrd.Do.Dr.EbruKlakmakYrd.Do.Dr.zcanErkanAkgn,Yrd.Do.Dr.irinKaradeniz,Dr.FundaDemirel

ISBN9944-919-28-4

Kitaptayeralanblmlerintmsorumluluuyazarlarnaaittir.

2008,PegemAkademi

1.Bask:ubat2008

YaynProje:TarkanTokaDizgi-GrafikTasarm:GrselAvc

KapakTasarm:ZlfikarSaynBask:ncBasmevi

(Ankara-0312-3843120

BLMSELARATIRMAYNTEMLER

Bukitabnbasm,yaynvesathaklarPegemAkademiYay.Et.Dan.Hizm.Tic.Ltd.tiyeaittir.

Anlankuruluuniznialnmadankitabntmyadablmleri,kapaktasarm,mekanik,elektronik,fotokopi,manyetik,kaytyadabakayntemlerleoaltlamaz,baslamaz,datlamaz.

BukitapT.C.Kltrbakanlbandrolilesatlmaktadr.Okuyucularmznbandrololmayankitaplarhakkndayaynevimizebilgivermesinivebandrolszyaynlar

satnalmamasndiliyoruz.


3/27

iii

Do. Dr. ener BYKZTRK

1958 ylnda Osmaniyenin Kadirli ilesinde dodu. lk ve orta renimini Kadirli veAdanada tamamlad. 1981 ylnda Hacettepe niversitesinde Matematik nlisans; 1985ylnda Ankara niversitesi (A) Eitim Bilimleri Fakltesi (EBF) Eitim Ynetimi vePlanlamas Lisans; 1992 ylnda A Sosyal Bilimler Enstits Eitim Ynetimi vePlanlamas Anabilim Dalnda Yksek Lisans ve 1996 ylnda ayn anabilim dalnda(Eitim statistii ve Aratrma Bilim Dal) Doktora programn tamamlad.

1986 -1991 yllar arasnda Milli Eitim Bakanl zel Eitim ve Rehberlik DairesiBakanlnda ef ve eitim uzman olarak grev yapt. 1991 -1999 yllarnda Ankaraniversitesi Eitim Bilimleri Fakltesi Eitim statistii ve Aratrma Anabilim Dalndaaratrma grevlisi olarak grev yapt. 1999 ylnda ayn alana Yardmc Doent olarakatand. Temmuz 1999 - Temmuz 2002 tarihleri arasnda. EBF Eitim, Aratrma veUygulama Merkezinde mdr yardmcs olarak grev yapt. 1997 ylnda alandakigelimeleri izlemek amacyla alt ay sre ile Amerika Birleik Devletleri-Austin/TEXASdabulundu. Yazar, Austos 2004 tarihinde Ankara niversitesinden emekli olduktan sonra,Eyll 2004 tarihinde Bakent niversitesi Eitim Fakltesinde yardmc doent olarakgreve balad, Haziran 2005 tarihinde Eitimde lme ve Deerlendirme alanndadoent unvann ald.

Yazarn, Sosyal Bilimler iin Veri Analizi El Kitab: statistik, Aratrma Deseni, SPSSUygulamalar ve Yorum ile Deneysel Desenler: ntest Sontest Kontrol Gruplu Desenve Veri Analizi isimli tek yazarl ve Sosyal Bilimler iin statistik isimli ortak yazarlkitab ve alanla ilgili ok sayda yaymlanm makalesi bulunmaktadr.

letiim:

Bakent niversitesi Eitim Fakltesi

Balca Kampusu, Eskiehir Yolu, ANKARA

[email protected]

Yard. Do. Dr. Ebru KILI AKMAK

1977 ylnda Kayseride dodu. lkrenimini Kayseride, orta renimini ise Ankaradatamamlad. 1999 ylnda Hacettepe niversitesi Fen Fakltesi statistik BlmndeLisans; 2002 ylnda Ankara niversitesi Eitim Bilimleri Enstits Eitim TeknolojisiBilim Dalnda Yksek Lisans ve 2006 ylnda ayn bilim dalnda Doktora programntamamlad.

20002007 yllar arasnda Gazi niversitesi Gazi Eitim Fakltesi Bilgisayar ve retimTeknolojileri Eitimi Blmnde aratrma grevlisi olarak grev yapt. 2008 ylnda aynalana Yardmc Doent olarak atand.

Yazarn sosyal bilimler alannda proje gelitirme, uygulama ve deerlendirme

konusunda almaktadr. Yazarn, Eitim Teknolojisi alan ile ilgili kitap blmleri ve oksayda yaymlanm makalesi bulunmaktadr.

letiim:

Gazi niversitesi Gazi Eitim Fakltesi

Bilgisayar ve retim Teknolojileri Eitimi Blm

L Blok No:304, Beevler, ANKARA

[email protected]


4/27

iv

Yard. Do. Dr. zcan Erkan AKGN

1977 ylnda stanbulda dodu. lk ve orta renimini stanbulda tamamlad. 1998ylnda Nide niversitesi Fen-Edebiyat Fakltesi Kimya Blmnde Lisans Programn;2002 ylnda Ankara niversitesi Eitim Bilimleri Enstits, Eitim Teknolojisi YksekLisans Programn ve 2005 ylnda Ankara niversitesi Eitim Bilimleri Enstits EitimTeknolojisi Doktora Programn bitirdi.

1999 ylnda Yksek retim Kurulu YLE retim yesi Yetitirme Programn kazand.Ankara niversitesi Eitim Bilimleri Fakltesi Bilgisayar ve retim Teknolojileri EitimiBlmnde 2000-2005 yllarnda aratrma grevlisi olarak alt. 2006 yl ubatayndan bu yana Sakarya niversitesi Eitim Fakltesinde retim yesi olarakalmaktadr.

retim tasarm, uzaktan eitim ve kavramsal deiim konularnda alan yazarn

bildiri ve makaleleri bulunmaktadr.

letiim:

Sakarya niversitesi Eitim Fakltesi

Bilgisayar ve retim Teknolojileri Eitimi Blm

54300 Hendek, SAKARYA

[email protected]

Yard. Do. Dr. irin KARADENZ

1977 ylnda zmirin Karyaka ilesinde dodu. lk ve orta renimini zmirde

tamamlad. 1999 ylnda Gazi niversitesi Teknik Eitim Fakltesi Elektronik veBilgisayar Eitiminde Lisans; 2001 ylnda Gazi niversitesi Fen Bilimleri EnstitsBilgisayar Eitiminde Yksek Lisans ve 2005 ylnda Ankara niversitesi Eitim BilimleriEnstits Eitim Teknolojisinde Doktora programn tamamlad.

Gazi niversitesi Gazi Eitim Fakltesi Bilgisayar ve retim Teknolojileri EitimiBlmnde 2000-2003 yllarnda aratrma grevlisi, 2003-2007 yllarnda retimgrevlisi ve 2007den bugne yardmc doent olarak almtr.

Yazarn sosyal bilimler alannda proje gelitirme, uygulama ve deerlendirmekonusunda almaktadr. Yazarn kitap blmleri ve ok sayda yaymlanm makalesibulunmaktadr.

letiim:

Gazi niversitesi Gazi Eitim Fakltesi

Bilgisayar ve retim Teknolojileri Eitimi BlmL Blok 304 Beevler, ANKARA

[email protected]


5/27

v

Dr. Funda DEMREL

1967 ylnda Diyarbakrda dodu. lk renimini Ktahyada orta renimini iseKocaelinde tamamlad. 1989 ylnda Orta Dou Teknik niversitesi Fen EdebiyatFakltesi Matematik Blmne lisans, 1992 ylnda Orta Dou Teknik niversitesi FenBilimleri Enstits Matematik Blm Uygulamal Matematikte yksek lisans, 2007ylnda Ankara niversitesi Eitim Bilimleri Enstits Eitim Teknolojisinde Doktoraprogramn tamamlad.

Orta Dou Teknik niversitesi Fen Edebiyat Fakltesi Matematik Blmnde 1989-1994yllar arasnda Aratrma Grevlisi olarak almtr. 1994 ylndan bugne kadar T.C.Babakanlk D Ticaret Mtearlnda eitim uzman ve ube mdr olarakalmaktadr.

Yazarn sosyal bilimler alannda proje gelitirme, uygulama ve deerlendirme

konusunda almaktadr. Ayn zamanda eitim bilimleri alannda yaynlanmmakaleleri bulunmaktadr.

letiim:

[email protected]


6/27

vii

SUNU

Sosyal bilimler alannda lisans ve lisans st dzeylerde bilimsel aratrmayntemleri ile ilgili pek ok ders okutulmaktadr. Anayasada, eitimle ilgiliyasalarda, retim programlarnda ve ynetmeliklerde okullar ile retmenlerinretim dnda bir baka temel grevinin aratrma olduunun vurgulanmasnaramen, eitim fakltelerinin yeniden yaplandrld 1997 ylndan itibarenretmen yetitiren lisans programlarnn tamamna yaknnda bu tr derslerprogramlardan kartlmtr. Daha sonra yaplan pek ok yerel, ulusal veuluslararas aratrmalarn sonular ilkretim ve ortaretim rencilerinin enbaarsz olduklar alanlar iinde bilimsel sre becerilerinin ve problem zmebecerilerinin olduunu gstermitir.

Bilimsel aratrma sonularn referans alan Milli Eitim Bakanlilkretimden balamak zere tm ders programlarn yaplandrmac anlayadayal olarak yeniden hazrlamaya balam ve ilkretim 1-5 yeni dersprogramlarn 2004/2005 ylnda uygulamaya koymutur. Yeni dersprogramlarnn dikkat eken yanlarndan biri, rencilere aratrma kltrnnkazandrlmasna vurgu yapm olmas ve okullar adeta birer proje, aratrmayuvalar olarak grmesidir.

Tm bu gelimelere paralel olarak YK eitim fakltelerinin programlarnngelitirilmesine karar vermi ve bu konuda eitim fakltelerinin de katlmnsalayarak retmen yetitiren lisans programlarn yeniden dzenlenmitir. Yeniders programlarnda bilimsel aratrma yntemleriyle ilgili derslere yer verilmitir.

Bu kitap, eitimin yan sra sosyal bilimlerin dier alanlarnda lisansdzeyinde okutulan aratrma yntemleriyle ilgili dersler iin ders kitab olarakhazrlanmtr. Kitabn ayn zamanda sosyal bilimler alannda alma yapan tmaratrmaclar iin kaynak bir kitap olabilecei dnlmtr.

Kitabn birinci blmn temel kavramlar da ieren Bilimsel AratrmannTemelleri oluturmaktadr. Problemi Tanmlama olarak isimlendirilen ikinciblmde problemin seimi ve tanmlanmasna ilikin srelere yer verilmitir.nc blm rnekleme Yntemleri, drdnc blm Veri Toplama

Aralar, beinci blm Nicel Aratrmalar ve altnc blm NitelAratrmalar oluturmaktadr. Kitabn son blm, Raporlatrma konusunaayrlmtr.

Kitabn yararl olmas dileiyle, kitabn hazrlanmas srecinde emei geenherkese kranlarmz sunarz. ubat 2008

ener Bykztrk - Ebru Kl akmakzcan Erkan Akgn - irin Karadeniz - Funda Demirel


7/27

ix

NDEKLER

Sunu........... ........................................................... .................................................... vii

indekiler................................................................................................................viii

1. Blm

BLMSEL ARATIRMANIN TEMELLER(ss 1 / 26)

Bilmenin Yollar..................................................... ....................................................... 2Bilimsel Yntem.................................................... ....................................................... 6

Olgusal Sre (Betimleme)............................................................. .......................... 6Gzlem ....................................................... ....................................................... 6Deney ......................................................... ....................................................... 8lme ......................................................... ....................................................... 8

Kuramsal Sre (Aklama) .................................................. .................................... 9Bilimin Tarih indeki Geliimi .................................................. .................................. 10

Aratrma Trleri ................................................... ..................................................... 12Deneysel Aratrma..................................................... ........................................... 12Korelasyonel Aratrma........................................................ .................................. 13Nedensel-Karlatrma Aratrmas................................................. ........................ 14Tarama Aratrmas .................................................... ........................................... 15

Etnografik Aratrma... ......................................................... .................................. 16Tarihi Aratrma......................................................... ............................................ 17Eylem Aratrmas............................................. ..................................................... 18

Genel Aratrma Trleri ..................... ........................................................... ............. 19Betimsel Aratrmalar............................... .......................................................... .... 19likisel Aratrma....................................................... ............................................ 19Mdahale Aratrmalar........................................................ .................................. 20Nicel ve Nitel Aratrmann Karlatrlmas ......................................................... ... 21Meta Analiz............................................................. ............................................ 22

Aratrma Srecinin Aamalar ................................................. .................................. 23zet ................................................... ........................................................... ............. 25


8/27

x

2. Blm

PROBLEM TANIMLAMA(ss 27 / 65)

Problem ....................................................... .......................................................... .... 28Aratrma Problemi................................................ ..................................................... 29Literatr Taramas ................................................. ..................................................... 34Deikenlerin..................................................................................... ......................... 46

Deikenlerin Snflandrlmas................................................................................ 47Hipotez ....................................................... ........................................................... .... 54

Ama .......................................................... ........................................................... .... 58

nem ......................................................... ........................................................... .... 59Saytl............................ .......................................................... ................................... 59Snrllklar ................................................... ........................................................... .... 60Tanmlar ..................................................... ........................................................... .... 61Uygulama ................................................... ........................................................... .... 62zet ................................................... ........................................................... ............. 63

3. Blm

RNEKLEME YNTEMLER(ss 67 / 88)

Temel Kavramlar............. ......................................................... .................................. 68Evren ve Saym .......................................................... ........................................... 68rneklem ve rnekleme....... ......................................................... ........................ 69

rnekleme Yntemleri ve Snflandrma.................. .................................................... 71Sekisiz rnekleme Yntemleri ................................................. .................................. 74

Basit Sekisiz rnekleme ..................................................... .................................. 74Tabakal rnekleme ................................................... ........................................... 75

Sekisiz Olmayan rnekleme Yntemleri ..................................................... ............... 77Sistematik rnekleme.......... ......................................................... ......................... 77Amasal rnekleme...................................................................... ......................... 78Uygun / Kazara rnekleme.................................................. .................................. 80

rneklem Bykl.................................... ........................................................... ... 81Srekli Deikenlerde Tahmin........................................................ ........................ 83Sreksiz Deikenlerde Tahmin............................................ .................................. 83

zet ................................................... ........................................................... ............. 87


9/27

xi

4. Blm

VER TOPLAMA ARALARI(ss 89/ 132)

lme .......................................................... .......................................................... .... 90lmede Hata .................................................. ..................................................... 92lme Aralarnn Snflandrlmas.......................................................... ............... 93

Gvenirlik .................................................... .......................................................... ... 96Temel Kavramlar ........................................................ ........................................... 96Tek Uygulamaya Dayal Yntemler.................... .................................................... 99ki Uygulamaya Dayal Yntemler.... ....................................................... ............. 101

Deerlendirmeciler Aras Tutarllk........................................ ................................ 103lmenin Standart Hatas..... ......................................................... ...................... 103Gvenirlii Etkileyen Faktrler ....................................................... ...................... 104

Geerlik ....................................................... .......................................................... .. 105Geerlik Trleri................................................. ................................................... 106Geerlii Etkileyen Faktrler ................................................ ................................ 109Gvenirlik ile Geerlik Arasndaki liki .................................................... ............. 110

Madde Analizi .............................................................................................. ........... 112Anket ......................................................... ........................................................... .. 113

Anket Gelitirme Sreci................. ......................................................... ............. 114Anket Uygulama Biimi ....................................................... ................................ 125Anketlerin Geri Dn Oran.......................................................... ...................... 126Anket Gelitirmede Karlalan Baz Sorunlar ...................... ................................ 127

zet ................................................... ........................................................... ........... 131

5. Blm

NCEL ARATIRMALAR(ss 133 / 198)

Giri.. .......................................................... ........................................................... .. 134Deneysel Desenler................................................. ................................................... 137

Deneysel Desenlerin Temel zellikleri ..................................................... ............. 139Zayf Deneysel Desenler....................................................... ................................ 142Gerek Deneysel Desenler ................................................... ................................ 146

Yar Deneysel Desenler........................................................ ................................ 151

Faktryel Desenler................................... ........................................................... . 153Tek Denekli Aratrma ..................................................... ......................................... 156

rnek Aratrma Durumlar.................................................. ................................ 156Tek Denekli Aratrma Nedir? ........................................................ ...................... 157Tek Denekli Aratrmann Felsefi Temeli ve zellikleri........................................... 157Tek Denekli Aratrma Desenleri .................................................... ...................... 158

AB Deseni ................................................... ................................................... 159ABA Deseni........................................ ........................................................... . 160ABAB Deseni ........................................................ ......................................... 161


10/27

xii

ABCB Deseni ........................................................ ......................................... 162BAB Deseni........................................ ........................................................... . 163oklu Balama Dzeyi Desenleri............................ ......................................... 163

Tek Denekli Desenlerde Aratrmann Yrtlmesi ............................................... 167Tek Denekli Desenlerde ve D Geerlik............................ ................................ 170

Korelasyonel Aratrmalar ........................................................ ................................ 171rnek Aratrma Durumlar.................................................. ................................ 171Korelasyonel Aratrma Nedir? ....................................................... ...................... 171Korelasyonel Aratrmalarn Felsefi Temeli............................................... ............. 171Korelasyonel Aratrmann zellikleri................................................................... . 172Korelasyonel Aratrmalarnn Trleri....................................................... ............. 172Korelasyonel Aratrmalarn Aamalar .................................................... ............. 174Korelasyonel Aratrmalarda ve D Geerlik .................................................. ... 175rnek Aratrma Knyesi ..................................................... ................................ 176Okunabilecek Kaynaklar ...................................................... ................................ 176

Tarama Aratrmalar ..................................................... .......................................... 177rnek Aratrma Durumlar.................................................. ................................ 177Tarama Aratrmas Nedir? .................................................. ................................ 177Tarama Aratrmalarnn Felsefi Temeli ................................................... ............. 177Tarama Aratrmalarnn Trleri .................................................... ....................... 178Tarama Aratrmalarnn Aamalar ............................................... ....................... 180Tarama Aratrmalarnda ve D Geerlik...................................................... .... 183rnek Aratrma Knyesi ..................................................... ................................ 184

Nedensel Karlatrma Aratrmalar ..................... ................................................... 184rnek Aratrma Durumu .................................................... ................................ 184Nedensel Karlatrma Aratrmas Nedir?............................................... ............. 185

Nedensel Karlatrma Aratrmalarnn Felsefi Temeli....................................... ... 185Nedensel Karlatrma Aratrmalarnn zellikleri ................................................ 186Nedensel Karlatrma Aratrmalarnn Trleri..................... ................................ 187Nedensel Karlatrma Aratrmalarnn Aamalar................................... ............. 188Nedensel Karlatrma Aratrmalarnda Evren ve rneklem ................................ 189Nedensel Karlatrma Aratrmalarnda Verilerin Toplanmas ve zmlenmesi .. 189Nedensel Karlatrma Aratrmalarnda ve D Geerlik ................................... 190rnek Aratrma Knyesi ..................................................... ................................ 191

zet .................................................. ........................................................... ............ 191


11/27

xiii

6. Blm

NTEL ARATIRMALAR(ss 199 / 277)

Nitel Aratrmalarn Temelleri.................................................... ................................ 200Nitel Aratrmann zellikleri ................................................ ................................ 201Nitel ve Nicel Aratrmalar Arasndaki Farklar ...................................................... . 203Nitel Aratrmalarn Aamalar........................... ................................................... 207Nitel Aratrmalarda Genelleme............................................................................ 209Nitel Aratrmalarda Geerlik ve Gvenirlik Sorunlar ........................................... 210Nitel ve Nicel Aratrmalarn Birlikte Kullanlmas.......... ........................................ 212

Gzlem ........................................................ .......................................................... .. 215Gzlemin Snflandrlmas ........................................................ ................................ 216

Yaplandrlma Durumu ....................................................... ................................ 216Katlmc Rol ................................................... ................................................... 216Katlmc Gzlemin Aamalar......................................................... ...................... 221Katlmc Gzlemde Oluabilecek nyarglar...................................................... ... 224Kodlama Sistemi........................................................................... ....................... 225

Grme ..................................................... .......................................................... .. 232Grmenin Snflandrlmas .............................................................................. 233

Gzlem ve Grmede Geerlik ve Gvenirlik ....................................................... ... 251erik Analizi................... .......................................................... ................................ 252

erik Analizinin Aamalar ................................................... ................................ 254Durum almas................................................... ................................................... 257

Durum almalarnn Trleri ............................................................................. . 257Durum almalarnn Aamalar................................. ......................................... 258

Avantaj ve Dezavantajlar ..................................................... ................................ 260Durum almalarnn Genellenebilirlii .................................................. ............. 260

Eylem aratrmalar ......................................................... .......................................... 261rnek Aratrma Durumlar.................................................. ................................ 261Eylem Aratrmas Nedir?........................ ........................................................... .. 261Eylem Aratrmasnn Felsefi Temeli ........................................................ ............. 262Eylem Aratrmas Kim in Uygundur?.................................................... ............. 263Eylem Aratrmasnn zellikleri .................................................... ....................... 264Eylem Aratrmasnn Aamalar .................................................... ....................... 266Eylem Aratrmasnda Evren ve rneklem...................................... ...................... 269Eylem Aratrmasnda Verilerin Toplanmas ve zmlenmesi.............................. 269Eylem Aratrmasnn Sonular: ve D Geerlik .............................................. 269

Eylem Aratrmasnn Kalitesini Belirleyen ltler................................................ 269rnek Aratrmalarn Knyeleri ..................................................... ....................... 269Ek Okuma Kaynaklar................... ......................................................... .............. 272

zet .................................................. ........................................................... ............ 273


12/27

xiv

7. Blm

RAPORLATIRMA(ss 279 / 325)

Giri.. .......................................................... ........................................................... .. 280Bilimsel Bir Yaznn Dzenlenmesi ...................................................... ...................... 280

Makale Trleri .................................................. ................................................... 280Uzunluk ve Balklar ................................................... ......................................... 282

Bilimsel Bir Yaznn Blmleri............... ....................................................... ............. 282Balk Sayfas ................................................... ................................................... 282zet ....................................................... ........................................................... .. 283Giri....................................................... ........................................................... .. 283

Yntem.................................................. ........................................................... .. 284Bulgular ................................................. ........................................................... .. 284Tartma................... ........................................................... ................................ 285Kaynaklar.................. .......................................................... ................................ 285Ekler ...................................................... ........................................................... .. 285

Yazar Notu...... .......................................................... ......................................... 286Genel Yazm Kurallar......................... ........................................................... ........... 287

Sayfa Ayarlarnn Dzenlenmesi........................................... ................................ 287Kaynaklar....................... .......................................................... ................................ 327


13/27

Bilimsel Aratrmann Temelleri 1

1.BLMSELARATIRMANINTEMELLER

Kazanmlar

Bu blmn sonunda;

Bilmenin yollarn tanmayabilecek, Bilimsel yntemi aklayabilecek, Bilimin tarihsel geliimin tanyabilecek, Aratrma trlerini genel anlamda tanyabilecek, Aratrma srecinin aamalarn sralayabileceksiniz.

indekiler

Bilmenin yollar Bilimsel yntem Bilimin tarih iindeki geliimi Aratrma trleri Genel aratrma trleri Nicel ve nitel aratrma yntemleri Aratrma srecinin aamalar

BLMBLMBLMBLM


14/27

Bilimsel Aratrma Yntemleri2

BLMENN YOLLARI

Her iin esas hedefine ksa ve kestirme yoldan

varmak arzu edilmekle beraber,

yolun kabul edilebilir; mantki ve zellikle ilmi olmas arttr.

Mustafa Kemal ATATRK

retmenler, eitimciler, veliler ya da renciler ihtiya duyduklarbilgiyi nasl elde edebilirler? Elbette, bilgi elde etmenin birok yolubulunmaktadr. Kii, uzmanlara danabilir, kitaplar ya da makaleleriinceleyebilir, benzer deneyimi olan meslektalarna sorabilir ya da onlargzlemleyebilir, kendi gemi deneyimlerine bakabilir ya da sezgilerinedayanabilir. Tm bu yaklamlar, bilgi elde etme konusunda ilerlemekaydetmek iin muhtemel yollardr; ancak bize sunduklar yantlar herzaman gvenilir olmayabilir. Uzmanlar yanlabilirler; kaynak dokmanlargvenilir olmayan bilgileri ierebilir; meslektalarn o konuyla ilgili deneyimiolmayabilir ya da ya da yanl anlalabilirler. Bilgiye ulamann en doru vegvenilir yolu ise bilimsel yntemdir. Bilgiye ulamann dier yollarnda

gzlenen sorunlar phesiz bilimsel aratrma yntemini ok daha deerliklmaktadr. Bilgiye ulamann yollar srasyla aada aklanmayaallmtr (Fraenkel ve Wallen, 2006).

Bilme yollarndan ilki duyularmz aracl ile elde ettiimiz deneyimdir.Grrz, duyarz, koklarz, tadarz, dokunuruz. Biroumuz, bir gruprencinin trenlerde yryn grmzdr, kafamzn stnden geenbir jet uann motorunun uultusunu duymuuzdur, bir iek koklamzdr,ikolatal dondurmay tatmzdr ve yamurlu bir gnn slaklnhissetmiizdir. Duyularmz araclyla dnyadan edindiimiz bilgi bir eyibilmenin en hzl yoludur. Ancak duyularmz yardmyla elde ettiimiz veriher zaman gvenilir deildir. phesiz bu veriler dzeltilebilir. rnein,dardaki bir termometrede scakl grmek, havann nasl olduukonusunda sahip olduunuz bilgiyi dzeltir; en yksek kalitedeki ses sistemi,beendiimiz bir arky daha net dinlememize yardmc olur; benzer ekilde,koku, tat ve dokunma duyularnn hepsi daha iyi hale getirilebilir vegenellikle de bu gereklidir. Duyusal alglama konusunda yaplan birokdeney, her zaman alglarmza tamamen gvenecek kadar bilge olmadmzortaya karmtr. Duyularmz bizi aldatabilir (ve bunu sk sk yapar):Duyduumuzu sandmz silah sesi aslnda arabann egzozundan


15/27

Problemi Tanmlama 27

2.PROBLEM

TANIMLAMA

Kazanmlar

Bu blmn sonunda; Bilimsel bir aratrmaya nasl balayacanz renecek, Bir aratrma problemini tanmlayabilecek, Aratrmanz iin gerekli literatr taramasn yapabilecek, Aratrmanzn deikenlerini, hipotez ve sayltlarn belirleyebilecek, Aratrmanzn amalarn, nemini, tanmlarn belirleyebilecek ve Aratrma nerinizin veya aratrmalarnzn problem blmn

yazabileceksiniz.

indekiler Problem Aratrma problemi Literatr taramas Deikenler Hipotez Ama nem Saylt Snrllklar Tanmlar Uygulama zet

BLMBLMBLMBLM


16/27


PROBLEM

Problemin tanmlanmas, ou kez zlmesinden daha nemlidir

Albert Einstein

Problem; teoremler veya kurallar yardmyla zlmesi istenen soru veyamesele olarak tanmlanmaktadr (TDK, 2007). Hayatmzda karmza birok

problem kmakta ve bunlar farkl yollarla zmeye almaktayz.Problemler; bir derste nasl yksek not alacamzdan, aadaki zekaproblemine kadar eitlilik gsterir. Aada verilen problemi zerken aynzamanda bu srete neler yaptnza dikkat ediniz. Problemin cevab

blmn sonunda verilmitir. Ltfen, cevaba bakmadan nce problemizmeye alnz.

Karlatmz veya belirlediimiz problemleri zmek iin ncelikleproblemin ne olduunu tanmlar, nasl zeceimize ilikin varsaymlardabulunur, problem ve zm yollarna ilikin bilgiler toplar ve bu bilgileredayanarak belirlediimiz zm yollarn deneriz. Bu srecin sonunda ise

elde ettiimiz bilgi ve deneyimleri deerlendirerek benzer problemleri en iyinasl zeceimize ilikin genellemeler yaparz. Elbette her birey, aynproblemi, farkl yollardan zebilir. Problemleri sistematik biimde bilimselyntemle belirlemek ve zmek iin ise belirli aamalar kullanlr. Bublmde, Fraenkel ve Wallen (2006) temel alnarak aratrma problemini vedeikenlerini tanmlamay, hipotezler gelitirmeyi ve aratrmamznamacn, nemini, varsaymlarn, snrllklarn ve tanmlarn naslbelirleyeceimizi reneceiz.

Elinizi kaldrmadan aadaki 9 noktann hepsinden

geerek drt tane dz doru (dorular birbirinin

zerinden geebilir) iziniz.


17/27

rnekleme Yntemleri 67

3.RNEKLEME

YNTEMLER

Kazanmlar

Bu blmn sonunda;

Evren, evren birimi, rnekleme birimi ve gzlem birimi kavramlarntanmlayabilecek,

rnekleme yntemlerini aklayabilecek, rneklem bykln etkileyen faktrleri ve izlenen sreleri

tanyabilecek,

rneklem bykln hesaplama formllerini kullanabileceksiniz.

indekiler

Temel kavramlar rnekleme yntemleri ve snflandrlmas Sekisiz rnekleme yntemleri Sekisiz olmayan rnekleme yntemleri rneklem bykl zet

BLMBLMBLMBLM


18/27


Bilgelik, terimleri tanmlamak ile balar.Socrates

Lise rencilerinin renme stratejileri ve motivasyonlar ile akademikbaarlar arasndaki ilikiyi incelemeyi amalayan Alperin tm liserencilerine ulamas ok g, hemen hemen olanakszdr. nk, Alperintm lise rencilerine ulaacak kadar ne btesi, ne zaman, ne deuygulamay yapacak ve kontrol edecek geni bir ekibi vardr. Alper,almasn kendisi finanse etmek, aratrmay tek bana yrtmek vealmay da ksa bir sre iinde tamamlamak zorundadr. Bu durumda,

Alper aratrmas iin ihtiya duyduu verileri kimlerden ve nasl bir sreizleyerek toplayabilir? te bu sorunun cevab, bizi, aratrma tekniklerininnemli bir konusu olan ve aratrmaclarn sklkla sorun yaad,rnekleme kavramna gtrmektedir.

Bu blmde, genel olarak, aratrmann evreninin (kitle, yn)tanmlanmasndan rnekleme ynteminin belirlenerek rneklem iin birimsemeye kadar olan sreci kapsayan rnekleme konusu ele alnmtr.Kavramlar, Alperin aratrmas erevesinde ve yeri geldiinde bakarneklerle de desteklenerek aklanmaya allmtr.

TEMEL KAVRAMLAR

rnekleme srecine ve bu srete kullanlan yntemlere gemeden ncekonuyla ilgili temel kavramlar aada ksaca tantlmaya allmtr.

Evren ve Saym

Bir aratrma iin evren (population, universe), sorular cevaplamakiin ihtiya duyulan verilerin (lmlerin) elde edildii canl ya da canszvarlklardan oluan byk gruptur. Evren, bir baka ekilde, aratrmadatoplanacak verilerin analizi ile elde edilecek sonularn geerli olaca,yorumlanaca grup olarak tanmlanabilir. Aratrma sonularnn geerliolaca evrenin snrlandrlm bir parasna evren birimi denir. Evren

birimi, ilkretim rencilerin okuma alkanlklarn konu edinen biraratrmada ilkretim rencileri; liselerdeki disiplin sularn konu edinenbir aratrmada liseler; blgenin ya da bir ilin sosyo-ekonomik yapsnincelemeyi konu edinen bir aratrmada mahalleler olabilir. Alperinaratrmas iin evren birimi kukusuz lise rencileridir. Evrenden eldeedilen verilerden hesaplanan ve evreni betimlemek iin kullanlan deerlereevren deer ya da parametre denir.


19/27

Veri Toplama Aralar 89

4.VER TOPLAMA

ARALARI

Kazanmlar

Bu blmn sonunda;

lme ile ilgili temel kavramlar tanmlayabilecek, lme sonularnn gvenirlik ve geerlik zelliklerini

tanmlayabilecek,

Verilerin zelliklerine gre ne tr geerlik ve gvenirlikanalizlerinin yaplabileceini aklayabilecek,

Anket gelitirmenin ve uygulamann yollarnaklayabileceksiniz.

indekiler

lme lme aralarnn snflandrlmas Gvenirlik Geerlik Madde analizi Anket gelitirme zet

BLM


20/27


LME

Bilimsel aratrma herkesin neler grdn grmekancak herkesten farkl dnmektir.

Anonim

Bilim, kuramsal yap ve gzlem yoluyla retilen veriler olmak zere ikitemel sisteme dayanr. Matematik ve sembolik mantk gibi disiplinlerdegzleme dayal veri yoktur. Buna karn fizik, psikoloji ve sosyoloji gibibilimler hem kuramsal hem de gzleme dayal verilere sahiptir. Bilimde

kuramsal yaplarla deneysel yaplar arasndaki iliki, lme yoluyla kurulur(Baykul, 2000). Bilimde, olaylar arasndaki ilikilere dair kurulanhipotezlerin, kuramlarn doruluklarnn test edilmesi gzleme dayaluygulamal aratrmalar gerektirir. Aratrmalarn baars ise, ncelikleuygulamada elde edilen gzlemlerin, lme sonularnn Ne kadar tutarlolduuna? ve lmek istediimiz zellii ne kadar yansttna? baldr.Birinci soru lme sonularnn gvenirlii (reliability), ikinci soru isegeerlii (validity) ile ilgilidir. lme ile ilgili karlalabilecek bir bakakavram da testlerin kullanlldr. Bir testin kullanl olmas, onuncevaplayclar tarafndan kolayca okunabilir ve cevaplanabilir olmasylailgilidir. Kullanl bir testi alan kiinin cevaplamada istekli ve samimi olacaifade edilebilir

lmenin literatrde pek ok tanm vardr. Turgut (1977) lmeyi, birniteliin gzlenip gzlem sonucunun say veya baka sembollerlegsterilmesi olarak tanmlar. Baykul (2000)a gre lme, gerekdnyann elemanlarn say veya sembollerle ifade eden bir modeldir.Baykul, lme ileminin temel bileenine dikkat eker: a) lleceknitelikler, b) niteliklerin eletirilecei say veya semboller, ksacas semboller,c) birey ya da nesnenin llen nitelikle ilgili miktarlarnn, dzeylerininbelirlenmesinde temel alnacak lme kurallar.

Sonu olarak, lme birey ya da nesnelerin niteliklerinin uygun aralarkullanlarak gzlenip, gzlem sonularnn sembollerle ifade edilmesi olarak

tanmlanabilir. Birey ya da nesnelerin llen zelliklerine ilikin elde edilenlme sonularnn belli matematiksel nitelikleri vardr. Bu matematikselnitelikler, llen deikenlerin lme dzeylerini gsterir. Pek okalmada lek trleri olarak da tanmlanan lme dzeyleri ve bunlarnkarlatrmal bir deerlendirmesi aada verilmitir (Kkl, Bykztrk veokluk, 2007):


21/27

Nicel Aratrmalar 133

5.NCEL

ARATIRMALAR

Kazanmlar

Bu blmn sonunda;

Nicel aratrmalarn mantn, zelliklerini ve balca trlerinitanmlayabilecek,

Aratrma sonularnn i ve d geerliliini etkileyebilecekfaktrleri aklayabilecek,

Nicel aratrma yntemlerini ve aralarndaki benzerlikleri vefarkllklar ayrt edebilecek,

Nicel aratrmalarda izlenecek aamalar aklayabileceksiniz.

indekiler

Giri Deneysel aratrmalar Tek denekli aratrmalar Korelasyonel aratrmalar Tarama aratrmalar Nedensel karlatrma aratrmalar zet

BLMBLMBLMBLM


22/27


GRHayatta en hakiki mrit, ilimdir.

Mustafa Kemal ATATRK

htiya duyulan verilerin eitli teknikler ya da aralar kullanlarakgzlem yoluyla topland almalara, grgl (ampirik) aratrmalar denir.Bir grgl aratrmada nicel ya da nitel aratrma yntemlerinden birikullanlabilecei gibi iki yntem birlikte de kullanlabilir. Nicel aratrma

yntemleri, literatrde nicel aratrma desenleri olarak da isimlendirilir. Bublmde, deneysel desenler, tek denekli desenler, korelasyonel desenler,tarama desenleri ve nedensel karlatrmal desenlere yer verilmitir. Nitelaratrmalar kapsamnda yer alan aratrma yntemleri ise kitabn6.Blmnde sunulmutur.

Nicel aratrma desenlerini tantmadan nce, Aratrma deseni nedir?sorusunu cevaplamak ve aratrma sonularyla ilgili i ve d geerliksorununu aklamak yararl olacaktr. Bu noktada aratrmaclarn yaptklarbir hatay hatrlatalm. Baz aratrmaclar almaya balamadan nce deiluygulamay tamamlandktan sonra i ve d geerlik tartmasn yaparlar.Oysa bu tartmalarn henz alma iin uygun desen belirlenirkenyaplmas ve mmkn olan uygun tedbirlerin alnmas gerekir.

Aratrma deseni (modeli), aratrmann sorularn cevaplamak ya dahipotezlerini test etmek amacyla aratrmac tarafndan gelitirilen birplandr. Aratrma deseni ile geerli ve gvenilir bulgular elde etmek bamldeikene ait varyansn kontrol edilmesi ile olasdr. Aratrmac, a) bamldeiken zerinde etkisini aratrd bamsz deikenin yol at varyansen oklatrmak, b) d sistematik varyans, yani baml deikeni etkilemeolasl olan, ancak aratrmac tarafndan etkisi aratrlmayan ve dsaldeikenlerden kaynaklanacak varyans kontrol etmek ve c) hata varyansn,yani ilem gruplarndaki baml deikene ilikin denekler aras farklar enaza indirmektir (Balc, 1997).

Aratrmalarda sonularn bir faktr ya da faktrler tarafndanaklanabilirlii ve byk gruplara genellenebilirlii nemli bir konudur.Baml deikende gzlenen deimelerin, bamsz deikenleaklanabilirlik derecesi i geerlik, sonularn deneklerin seildii bykgruplara, evrene genellenebilirlik derecesi ise d geerlik olaraktanmlanr.


23/27

Nitel Aratrmalar 199

6.NTELARATIRMALAR

Kazanmlar

Bu blmn sonunda;

Nitel aratrmalarn zelliklerini ve aamalarn aklayabilecek, Nitel ve nicel aratrmalar arasndaki farklar aklayabilecek, Gzlem yntemini tanmlayabilecek ve trlerini aklayabilecek, Gzlem srecini tasarlayabilecek, Grme yntemini tanmlayabilecek ve trlerini aklayabilecek, Grme srecini tasarlayabilecek, erik analizinin nasl kullanlmas gerektiini aklayabilecek, erik analizinin aamalarn sralayabilecek, Durum almalarn tanmlayabilecek ve trlerini aklayabilecek, Durum almalarnn aamalarn sralayabilecek, Durum almalarnn avantaj ve dezavantajlarn aklayabilecek, Eylem aratrmalarnn ortaya k nedenini ve felsefi temelini

aklayabilecek, Eylem aratrmalarnn aratrma sorularn belirleyebilecek, Eylem aratrmalarn aamalarna uygun olarak yrtebileceksiniz.

indekiler Nitel aratrmann zellikleri Nitel ve nicel aratrmalar arasndaki farklar Nitel aratrmalarn aamalar

Nitel aratrmalarda genelleme Nitel aratrmalarda geerlik ve gvenirlik sorunlar Nitel ve nicel aratrmalarn birlikte kullanlmas Gzlem Grme erik analizi Durum almalar Eylem aratrmas

BLMBLMBLMBLM


24/27


NTEL ARATIRMALARIN TEMELLER

lim ilim bilmektir, lim kendin bilmektir

Sen kendini bilmezsin, Ya nice okumaktr.

Yunus EmreAratrmaclar iin temel sorunlardan biri, almas iin hangi yntemin

uygun olduuna karar vermedir. Aratrma yntemleri arasnda seim yapmak,neyi bulmaya altmza baldr. Ulalmak istenen hedefler belirli aratrmayntemlerinin ve desenlerinin tercih edilmesini gerektirir. rnein insanlarn oy

vermeyi nasl planladklar kefedilmeye alldnda nicel aratrma yntemleri,

insanlarn alglamalar ya da gnlk davranlar aratrlyorsa nitel aratrmayntemleri daha uygun olabilir. Charles Darwin ve Harry Harlow yaptklar ayraratrmalarla empanzelerin davranlar zerine odaklanmlardr. Fakat ikiaratrmacnn amac farkl olduu iin farkl sonulara ulamlardr. Darwinnitel aratrma yntemlerini kullanm ve hayvanlar doal evrelerindegzlemleyerek sonular karmtr. Harlow ise yalnzln ve mahrumiyetinempanzeler zerindeki etkisini ortaya koymak amacyla hayvanlarn yaadevreyi deneysel ileme uygun ekle dntrmeye ynelik bir yol izlemitir. Heriki aratrmac da kendi amacna uygun olan aratrma yntemini semitir(Silverman, 1998; Frankel ve Devers, 2000).

Nitel aratrmaclar, belli bir konu ile ilgili aratrma yaparken o konunun

ne kadar ya da ne kadar iyi olduunu renmekten ok daha geni birbak as elde etmek isterler. rnein bir dersin nasl retildii, bu dersiin nasl hazrlanld, rencilerin neler yaptklar, ne tr etkinliklerin iekoulduu, renme srecini olumlu ve olumsuz ynde etkileyen faktrlerinneler olduu aratrlr. Bunlarn gerekletirilebilmesi iin de renci veretmenin deneyimleri doal ortamnda gzlenmeye ya da raporlanmayaallr. Bu rnek bu tr almalar yapan aratrmaclarn, bir olayn ya daolgunun hangi sklkla ortaya ktn sorgulamak yerine belli bir etkinliinnitelii zerine odaklandklarn gstermektedir. Fraenkel ve Wallen (2006)ilikilerin, etkinliklerin, durumlarn ya da materyallerin niteliinin incelendiibu tr almalar nitel aratrmalar olarak tanmlamlardr.

Nitel aratrmalar psikolojik lmler ve sosyal olaylarla ilgili nicel

aratrma yntemlerine gre daha derinlemesine bilgi salarlar. Nitelaratrmalar, geleneksel aratrma yntemleriyle ifade edilmesi zor olansorulara cevap bulmak iin gereklidir. Nitel aratrmalarn nicel aratrmalaragre daha bilimsel ya da daha iyi olduu sylenemez. Her birinin kendiiinde avantajlar ve dezavantajlar, zayf ve gl ynleri vardr. nemliolan doru yntemi semek ya da bu yntemlerin her ikisini birden uygunekilde kullanmaktr (Frankel ve Devers, 2000).


25/27

Raporlatrma 279

7.

RAPORLATIRMA

KazanmlarBu blmn sonunda;

Bilimsel yazlarn hazrlanmasnda dikkate alnan kurallarnnemini aklayabilecek,

Makale trlerini tanmlayabilecek, Bilimsel bir yaznn blmlerini sralayabilecek, Bilimsel bir yaznn sayfa ayarlarn dzenleyebilecek, Bilimsel bir yazda tablo, ekil, say, dipnot vb. belli zelliklerin

nasl kullanlmas gerektiini tanyacak,

Kaynak gsterme ile ilgili detaylar tanyacak vekullanabileceksiniz.

indekiler Giri Bilimsel bir yaznn dzenlenmesi Makale trleri Uzunluk ve balklar Bilimsel bir yaznn blmleri Genel yazm kurallar Kaynak gsterme Metin iinde kaynak gsterimi Kaynaklar listesinin hazrlanmas Kaynak gstermeye ilikin rnekler

BLMBLMBLMBLM


26/27


GR

Gelecei ngrmenin en iyi yolu,onu bizzat yaratmaktr.

Alan Kay

Bilimsel yazlarn hazrlanmasnda belli kurallarn olmas hi phesizokuyucular arasnda ortak bir dilin olumasn, iletiimin kurulmasn salar.Bu kurallar, uzmanlarn sistematik almalarn bir sonucu olarak ortaya

kar. Kurallar, yazlarn birbiriyle ayn olmasn salar ve bylece yazlar

basl hale geldiinde, farkl formatlardan kaynaklanan okuyucudaki dikkatdankln engeller.

Amerikan Psikoloji Derneinin (American Psychology Association-APA)ortaya koyduu yayn kurallar, geni psikoloji literatrnden, bu alandakiyazar ve editrlerin deneyimlerinden ve literatrde kabul edilen uzmanlarngrlerinden yararlanlarak hazrlanmtr. Bu kurallar u anda genel geerkabul gren kurallardr ve birok dergi de bu kurallar dikkate alarak makale

ve yazlar incelemekte ve yaynlamaktadr.

Yazlarn bu kurallara gre hazrlanmas, literatrde ekil olarak belli bir

standardn yakalanmasn ve bylece okuyucu ve aratrmaclarn buyazlardan en yksek verimlilikte yararlanmasn salamaktadr. Bir

okuyucunun hangi baln altnda nelerin olduunu ya da gsterilenkaynakla ilgili bilgileri nasl bulacan bilmesi, zm iin zamankaybetmeden yaznn ieriine younlamasna neden olacaktr. Yinearatrmac bir yazy hazrlarken hangi balklar altnda yazsnekillendireceini, kaynaklar nasl gstereceini ve yazy ekil olarak nasldzenleyeceini dnmek zorunda kalmayacaktr.

Bilimsel aratrma yntemlerine uygun olarak yaplm bir almannliteratre girebilmesi iin ncelikle raporlatrlmas gerekir. Bu nedenle bublmde, bilimsel bir yaznn nasl raporlatrlaca ve bu aamada dikkatedilmesi gereken kurallar, APA (2001) kurallar temel alnarak aklanmaya

allmtr.

BLMSEL BR YAZININ DZENLENMES

Makale Trleri

Dergilerdeki makaleler genellikle deneysel almalar, taramamakalelerini, kuramsal makaleleri, yntemsel makaleleri ve durum

almalarn raporlarlar.


27/27

Kaynaklar 327

KAYNAKLAR

Aiken, L. R. (1997). Questionaries and inventories: Surveying opinions and assesingpersonality. Newyork: John Wiley & Sons, Inc.

Altrichter, H., Posch, P. & Somekh, B. (1998). Teachers investigate their work: an introductionto the methods of action research. New York: Routledge.

American Educational Research Association, American Psychological Association & NationalCouncil on Measurement in Education (1997). Eitimde ve psikolojide lme

standartlar (ev. S.Hovardaolu ve N.Sezgin). Ankara: Trk Psikologlar DerneiYaynlar, No 14. (Orijinal Yaym Tarihi. 1985).

American Psychological Association-APA. (2001). Publication manual of the American

Psychological Association. Washington, DC, American Psychological Association.American Statistical Associatin [ASA]. (1997). ASA series: What is a survey. http://

www.amstat.org/sections/srms/whatsurvey.html adresinden 28 Aralk 2002 tarihindealnmtr.

Amerikan Dili Websterin yeni dnya szl (2. Bask). (1984).. New York: Simon veSchuster.

Anastasi, A. (1982).Psychological testing(5.bask). New York: Macmillan Publishing.

Anderson, G. (1990).Fundamantals of educational reserch. London: The Falmer Pres.

Balc, A. (2000). Sosyal bilimlerde aratrma: Yntem, teknik ve ilkeler. Ankara: PegemYaynlar.

Baykul, Y. (2000). Eitimde ve psikolojide lme: Klasik test teorisi ve uygulamas. Ankara:SYM Yaynlar.

Berry, R. S. Y. (1999). Collecting data by in-depth interviewing. British Educational Research

Association Annual Conference, University of Sussex at Brighton.http://www.leeds.ac.uk/educol/documents/000001172.htm adresinden 20 Nisan 2004tarihinde alnmtr.

Brewerton, P. ve Millward, L. (2001). Organizational research methods. Thousand Oaks, NewDelhi: Sage Publications, London.

Borg, W.R. & Gall, M.D. (1989). Educational research: An introduction, (Fifth edition). NewYork: Longman Inc.

Burgess, R. G. (1984).In the field: An introduction to field research. London: Routledge.

Bykztrk, . (2002, Gz). Faktr analizi: Temel kavramlar ve lek gelitirmede kullanm.Eitim Ynetimi Dergisi, 32, 470-483.

Bykztrk, . (2007a). Sosyal bilimler iin veri analizi el kitab: statistik, aratrma deseni,SPSS uygulamalar ve yorum (Sekizinci bask). Ankara: Pegem Yaynlar

Bykztrk, . (2007b). Deneysel desenler: ntest-sontest kontrol gruplu desen ve SPSSuygulamal veri analizi (Gelitirilmi ikinci bask). Ankara: Pegem Yaynlar.

Chase, C.L. (1999). Contemporary assessment for educators. USA: Addison-WesleyEducation Pub.

Clinton, I.C. (1997). Contemporary assessment for educators. New York: Longman.

Cohen, L. & Manion, L. (1998). Research methods in education. Fourth edition. London:Routledge.

Croceker, L. & Algina, J. (1986).Introduction to classical and modern test theory. Fort Worth:Holt, Rinehart and Winston Inc.

Documents

bilimsel arastirma yontemleri