Analisis Performa Kecepatan Mapreduce

Pada Hadoop Menggunakan TCP Packet Flow Analysis

Priagung Khusumanegara1006661084

Skripsi

Teknik KomputerUniversitas IndonesiaSenin, 30 Juni 2014

Latar Belakang

Referensi Gambar: http://technews.tmcnet.com/telecommunications/topics/telecommunications/articles/156051-what-att-purchase-t-mobile-means.htm

1. Mengimplementasikan sebuah program untuk mengolah data aliran paket

TCP pada sebuah jaringan yang dapat dijalankan secara terditribusi oleh

Hadoop,

2. Melakukan percobaan terhadap enam skenario berdasarkan topologi yang

telah dirancang,

3. Melakukan analisis pengaruh physical node, virtual node, block size dan

jumlah slot map terhadap kecepatan MapReduce pada Hadoop.

Tujuan Penelitian

Hadoop Framework

Hadoop merupakan framework software

berbasis Java dan opensource yang

berfungsi untuk mengolah data yang

memiliki ukuran besar secara terdistribusi.

Pengertian Hadoop

Hadoop terdiri dari 2 komponen inti:

1.Hadoop Distributed File System (HDFS)

2.MapReduce

Arsitektur Hadoop

Gambar: Bagian inti Hadoop (a) komponen HDFS (b) komponen MapReduce

Referensi Gambar : JeongJin Cheon, Tae-Young Choe. Distributed Processing of Snort Alert Log using Hadoop. International Journal of Engineering and Technology (IJET), Gyeongbuk Korea, 2013.

HADOOP

HDFS MapReduce

• File system pada Hadoop

• Menyimpan data secara terdisribusi

• Data disimpan dalam bentuk potongan-potongan (secara default

64 MB)

Hadoop Distributed File System (HDFS)

Referensi Gambar: http://www.cloudera.com/content/dam/cloudera/product-assets/hdfs-data-distribution.png

Gambar: Distribusi data pada HDFS

HDFS memiliki 3 komponen utama berupa:

1.NameNode

2.DataNode

3.Secondary NameNode

Komponen HDFS

Gambar: Komponen HDFS

Referensi Gambar : Chuck Lam. Hadoop In Action. Mainning Publications Co, Stamford, 2011.

NameNodeSecondaryNameNode

DataNode

Node 1

DataNode

Node 2

DataNode

Node 3

DataNode

Node N

1. NameNode

• Berada pada master node

• Mengkoordinasi DataNode yang terdapat pada slave node.

Komponen HDFS…Lanjutan…

Gambar: NameNode pada HDFS

Referensi Gambar : Chuck Lam. Hadoop In Action. Mainning Publications Co, Stamford, 2011.

File metadata:/user/hadoop/data1 -> 1,2,3/user/hadoop/data2 -> 4,5

NameNode(Master)

DataNode(Slave 1)

DataNode(Slave 2)

DataNode(Slave 3)

DataNode(Slave 4)

3

5 4

2

3

5

1

5 3

2 4

4 1

1 4

2

2. DataNode

• Berada pada slave node

• Menyimpan data pada slave node.

Komponen HDFS…Lanjutan…

Gambar: DataNode pada HDFS

File metadata:/user/hadoop/data1 -> 1,2,3/user/hadoop/data2 -> 4,5

NameNode(Master)

DataNode(Slave 1)

DataNode(Slave 2)

DataNode(Slave 3)

DataNode(Slave 4)

3

5 4

2

3

5

1

5 3

2 4

4 1

1 4

2

Referensi Gambar : Chuck Lam. Hadoop In Action. Mainning Publications Co, Stamford, 2011.

3. Secondary NameNode

• Berada pada master node

• Melakukan monitoring keadaan dari cluster HDFS.

Komponen HDFS…Lanjutan…

Gambar: Secondary NameNode pada HDFS

NameNodeSecondaryNameNode

DataNode

Node 1

DataNode

Node 2

DataNode

Node 3

DataNode

Node N

Referensi Gambar : Chuck Lam. Hadoop In Action. Mainning Publications Co, Stamford, 2011.

• Framework untuk aplikasi dan programming yang digunakan Hadoop

• Melakukan suatu pekerjaan dari komputasi terdistribusi yang dijalankan

pada sebuah cluster.

• Proses utama : Map dan Reduce

Mapreduce

Gambar: Bagian inti Hadoop (a) komponen HDFS (b) komponen MapReduce

HADOOP

HDFS MapReduce

Referensi Gambar : JeongJin Cheon, Tae-Young Choe. Distributed Processing of Snort Alert Log using Hadoop. International Journal of Engineering and Technology (IJET), Gyeongbuk Korea, 2013.

Shuffle ReduceMap

Proses Mapreduce

Referensi Gambar : The overall MapReduce WordCount process, http://www.rabidgremlin.com/data20/#%283%29. Dikases pada tanggal 30 Oktober 2013.

Apple, Mango, OrangeMango, Banana, AppleOrange, Banana, Apple

Apple, 1Mango, 1Orange, 1

Mango, 1Banana, 1Apple, 1

Orange, 1Banana, 1Apple, 1

Apple, 1Mango, 1Orange, 1

Mango, 1Banana, 1Apple, 1

Orange, 1Banana, 1Apple, 1

Apple, 1Apple, 1Apple, 1

Banana, 1Banana, 1

Mango, 1Mango, 1

Orange, 1Orange, 1

Apple, 1Apple, 1Apple, 1

Banana, 1Banana, 1

Mango, 1Mango, 1

Orange, 1Orange, 1

Apple, 3

Banana, 2

Mango, 2

Orange, 2

Gambar 2.4 Proses MapReduce pada Hadoop

Komponen MapReduce pada Hadoop yaitu:

1.JobTracker

2.TaskTracker

Komponen Mapreduce

Referensi Gambar : Chuck Lam. Hadoop In Action. Mainning Publications Co, Stamford, 2011.

Gambar: Komponen MapReduce

1. JobTracker

• Memecah permintaan yang diberikan ke HDFS menjadi beberapa pekerjaan

yang lebih kecil.

• Memberikan pekerjaan tersebut kepada setiap slave node.

Komponen Mapreduce…Lanjutan…

Gambar: Komponen MapReduce

Referensi Gambar : Chuck Lam. Hadoop In Action. Mainning Publications Co, Stamford, 2011.

2. Tasktracker

• Berfungsi untuk menerima pekerjaan yang diberikan oleh JobTracker.

• Menjalankan pekerjaan yang diberikan JobTracker.

Komponen Mapreduce…Lanjutan…

Gambar: Kerja TaskTracker pada setiap node

Referensi Gambar : Chuck Lam. Hadoop In Action. Mainning Publications Co, Stamford, 2011.

Perancangan, Hasil, dan Analisa

TCP Packet Flow Analysis• Menganalisis aliran paket yang terdapat pada sebuah jaringan

menggunakan Hadoop.

• Program yang menggunakan konsep MapReduce.

Gambar: Contoh file yang akan diproses

TCP Packet Flow Analysis…Lanjutan…

A

Split a string into separate

“hasilPecahInput”

Start

If hasilPecahInput [2] > 1

Reads the input line by

line

Create token for hasilPecahInput[2]

and hasilPecahInput[4]

Set keyword: Koneksi protokol

“hasilPecahInput[6]”

While: token available

Set keyword: Koneksi “hasilPecahInput[2]”

dan “hasilPecahInput[4]”

Protokol “hasilPecahInput[6]”

Set lengthValue from value of

hasilPecahInput[1]

Create a pair <keyword,”Packet”,

one>

YesNo

Yes

No

Gambar: Flowchart TCP Packet Flow Analysis

TCP Packet Flow Analysis…Lanjutan…

Gambar: Hasil dari TCP Packet Flow Analysis (a) packet total (b) packet length

Skenario 1

Hardware Laptop 1 Laptop 2

CPU AMD Dual Core,

Clock Speed 1.48 GHz Intel Dual Core,

Clock Speed 2.0 GHz RAM 4.00 GB 4.00 GB

Sistem Operasi CentOS 6.3 CentOS 6.3

Gambar: Topologi Skenario 1

Tabel: Spesifikasi machine yang digunakan pada skenario 1

Hasil Skenario 1

Skenario 2

Hardware Host VM 1 VM 2

CPU AMD Dual Core,

Clock Speed 1.48 GHz One Core One Core

RAM 4.00 GB 1.00 GB 1.00 GB Sistem Operasi CentOS 6.3 CentOS 6.3 CentOS 6.3

Gambar: Topologi Skenario 2

Tabel: Spesifikasi machine yang digunakan pada skenario 2

Hasil Skenario 2

Skenario 3

Hardware Laptop 1 CPU AMD Dual Core, Clock Speed 1.48 GHz RAM 4.00 GB

Sistem Operasi CentOS 6.3

Gambar: Pembagian block size pada Hadoop yang dijalankan secara single node

Tabel: Spesifikasi machine yang digunakan pada skenario 3

Hasil Skenario 3

Analisis Skenario 3

Gambar: Jumlah task pada file 1 GB dengan (a) block size 64 MB (b) block size 128 MB

Gambar: Komunikasi antara scheduler, JobTracker, dan TaskTracker

Analisis Skenario 3…Lanjutan…

Gambar: Proses MapReduce pada ukuran file 512 MB dengan block size 256 MB

Gambar: Proses MapReduce pada ukuran file 512 MB dengan block size 256 MB

Skenario 4

Hardware Laptop 1 Laptop 2

CPU AMD Dual Core,

Clock Speed 1.48 GHz Intel Dual Core,

Clock Speed 2.0 GHz RAM 4.00 GB 4.00 GB

Sistem Operasi CentOS 6.3 CentOS 6.3

Gambar: Pembagian block size pada Hadoop yang dijalankan secara multi node

Tabel: Spesifikasi machine yang digunakan pada skenario 4

Hasil Skenario 4

Analisis Skenario 4

Gambar: Jumlah task pada file 512 GB dengan block size 128 MB

Gambar: Proses MapReduce pada ukuran file 512 MB dengan block size 128 MB

Skenario 5

Hardware Laptop 1 CPU AMD Dual Core, Clock Speed 1.48 GHz RAM 4.00 GB

Sistem Operasi CentOS 6.3

Gambar: Gambaran slot map pada Hadoop

Tabel: Spesifikasi machine yang digunakan pada skenario 5

Hasil Skenario 5

Skenario 6

Hardware PC

CPU Intel i7-2600 , Clock Speed 3.4 GHz

RAM 4.00 GB

Sistem Operasi CentOS 6.3

Gambar: Topologi Skenario 6

Tabel: Spesifikasi machine yang digunakan pada skenario 6

Hasil Skenario 6

1. Penambahan jumlah physical machine dapat mempercepat kecepatan rata-rata

MapReduce.

2. Penambahan jumlah virtual machine dapat memperlambat kecepatan rata-rata

MapReduce.

3. Block size dapat mempengaruhi kecepatan MapReduce pada Hadoop, semakin

besar block size maka semakin cepat kecepatan MapReduce pada Hadoop

dengan syarat: number of task > slot map

Kesimpulan

4. Jumlah slot map dapat mempengaruhi kecepatan MapReduce pada Hadoop,

dimana performa kecepatan MapReduce lebih cepat jika jumlah slot map pada

Hadoop sesuai dengan jumlah core yang dimiliki oleh machine.

5. Hadoop memiliki keunggulan dalam mengolah data yang memiliki ukuran yang

besar dan jumlah yang banyak karena Hadoop dapat mengolah data tersebut

secara terdistribusi.

Kesimpulan…Lanjutan…

1. Leslie Lamport and Nancy Lynch. (1989, February 3). Chapter on Distributed Computing.2. Chuck Lam. (2011). Hadoop In Action. Stamford: Mainning Publications Co.3. Tom White. (2009). Hadoop: The Definitive Guide. California: O’Reilly.4. Garry Turkington. (2013). Hadoop Beginner's Guide. Birmingham: Packt Publishing.5. Shv, Hairong, SRadia, Chansler. (2010). The Hadoop Distributed File System. Jurnal IEEE.6. Intel Corporation. (2013). Optimizing Java* and Apache Hadoop* for Intel® Architecture.

USA: Intel Corporation.7. Apache TM Hadoop @ homepage. http://hadoop.apache.org/. Diakses 17 Oktober 2013.8. JeongJin Cheon, Tae-Young Choe. (2013). Distributed Processing of Snort Alert Log using

Hadoop. International Journal of Engineering and Technology (IJET).9. Aditya B. Patel, Manashvi Birla, Ushma Nair. (2012). Addressing Big Data Problem Using

Hadoop and Map Reduce. Nirma University International Conference On Engineering.

Daftar Referensi

10. Amit Anand. (2013). Configuration Parameters dfs.Block.Size. Hadoop.11. Dima May. (2012). Hadoop Distributed File System (HDFS) Overview. coreservlets.com.12. Magang Industri. (2013). Definisi Cloud Computing. Meruvian.org Cloud Computing.13. Colin White. (2012, January). MapReduce and the Data Scientist. BI Research.14. R. David Idol. Large-Scale TCP Packet Flow Analysis for C Using Apache™ Hadoop.

University of North Carolina at Chapel Hill.15. Tutorial dan Konfigurasi Hadoop Single Node. 16. http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-

cluster/. Diakses pada tanggal 20 Oktober 2013.17. MapReduce Hadoop. http://www.yalescientific.org/2012/03/hadapt-yale-startup/. Diakses pada

tanggal 29 Oktober 2013.

Daftar Referensi…Lanjutan…

18. Interaction between the JobTracker, TaskTracker and the Scheduler @ homepage. http://www.thecloudavenue.com/2011/11/interaction-between-jobtracker.html. Diakses pada tanggal 29 Oktober 2013.

19. The overall MapReduce WordCount process,20. http://www.rabidgremlin.com/data20/#%283%29. Diakses pada tanggal 30 Oktober 2013.21. Thinking in MapReduce, https://engineering.cerner.com/2013/07/thinking-in-mapreduce/.

Diakses pada tanggal 30 Oktober 2013.

Daftar Referensi…Lanjutan…

Sekian…Terima Kasih…