ANALISIS PERANCANGAN DAN IMPLEMENTASI IP

SECURITY (IPSEC) SEBAGAI PROTOKOL KEAMANAN

UNTUK VIRTUAL PRIVATE NETWORK (VPN) PADA

KLIEN PT. XYZ

TUGAS AKHIR

M. BAGUS OKA G.W.

1102001025

FAKULTAS TEKNIK DAN ILMU KOMPUTER

PROGRAM STUDI INFORMATIKA

UNIVERSITAS BAKRIE

JAKARTA

2016

UNIVERSITAS BAKRIE

iv

UCAPAN TERIMA KASIH

Puji syukur penulis panjatkan kehadirat Allah SWT, karena hanya atas berkat dan

karunia-Nya, sehingga Tugas Akhir yang berjudul “Analisis Perancangan dan

Implementasi IP Security (IPSec) sebagai Protokol Keamanan untuk Virtual Private

Network (VPN) pada Klien PT. XYZ”, dapat terselesaikan dengan baik. Penulisan

Tugas Akhir ini dilakukan dalam rangka memenuhi salah satu syarat untuk mencapai

gelar Sarjana Komputer Program Studi Informatika pada Fakultas Teknologi dan

Ilmu Komputer Universitas Bakrie. Penyusunan Tugas Akhir ini tidak terlepas dari

berbagai hambatan dan kesulitan dari awal hingga akhir penyusunan.

Terima kasih juga Penulis sampaikan kepada Universitas Bakrie yang telah

memberikan dukungan dan fasilitas yang memadai selama masa perkuliahan. Begitu

banyak pihak yang telah memberikan doa, masukan, bantuan, semangat dan nasihat

selama penyusunan Tugas Akhir ini. Oleh karena itu, Penulis sampaikan juga terima

kasih kepada:

1. Kedua orang tua tercinta, Bapak Arfan Chairudin dan Ibu Ika Saulina atas

kasih sayang, dukungan, dan doa yang tidak henti-henti untuk penulis.

2. Anggittya Larasaty, sahabat yang tidak pernah lelah untuk mendukung dan

menyemangati penulis dalam penulisan penelitian ini.

3. Dosen pembimbing Tugas Akhir, Bapak Berkah I. Santoso, ST., MTI., yang

sudah dua tahun dengan sabar membimbing penulis dalam menyelesaikan

penelitian ini.

4. Bapak Prof. Dr. Hoga Saragih, ST., MT., selaku kepala Program Studi

Informatika yang membantu penulis dalam penyusunan penelitian ini.

5. Bapak Iqbal, Mas Otto, dan Mas Diki beserta tim divisi jaringan PT. XYZ

yang telah mengizinkan penulis melakukan penelitian dalam proyek

implementasi jaringan untuk klien.

UNIVERSITAS BAKRIE

v

6. Sahabat- sahabat penulis Ikri, Bagus, Preste, Kak Siska, Kak Eky yang selalu

menyemangati dan membantu penulis.

7. Adik-adik dan keluarga penulis, terima kasih untuk doa dan motivasi yang

diberikan.

8. Teman-teman Fakultas Teknologi dan Ilmu Komputer Baubau, Said, Adit,

Dida, Hamdi, Dipta, dan teman-teman lain yang tidak bisa disebutkan

namanya satu per satu.

9. Teman-teman Universitas Bakrie Tria, Seiva, Kenny, Edo, dan teman-teman

lain yang tidak bisa disebutkan namanya satu per satu.

10. Ibu Ikri, Ibu Kenny, dan Ibu Anggit untuk doanya.

11. Kakak-kakak Sahabat Anak Manggarai Kak Septi, Kak Vita, Kak Dena, Kak

Jane, Kak Suci, Kak Ais, dan kakak-kakak lain yang tidak bisa disebutkan

namanya satu per satu.

12. Mbak Rona atas dukungannya yang membuat penulis tetap melanjutkan

kuliah di Universitas Bakrie.

13. Teman-teman barista untuk dukungannya kepada penulis.

Semoga Allah SWT membalas kebaikan dan memberikan keberkahan kepada kita

semua. Serta semoga Tugas Akhir ini memberi informasi yang berguna dan dapat

bermanfaat bagi semua kalangan bidang pendidikan, khususnya bidang Informatika.

Jakarta, 16 September 2016

M. Bagus Oka G.W.

UNIVERSITAS BAKRIE

vi

HALAMAN PERNYATAAN PERSETUJUAN PUBLIKASI

Sebagai sivitas akademik Universitas Bakrie, saya yang bertanda tangan di bawah ini,

Nama : M. Bagus Oka G.W.

NIM : 1102001025

Program Studi : Informatika

Fakultas : Teknik dan Ilmu Komputer

Jenis Tugas Akhir : Skripsi

Demi pengembangan ilmu pengetahuan, menyetujui untuk memberikan kepada

Universitas Bakrie Hak Bebas Royalti Noneksklusif (Non-exclusive Royalty-Free

Right) atas karya ilmiah saya yang berjudul:

Analisis Perancangan dan Implementasi IP Security (IPSec) sebagai Protokol

Keamanan untuk Virtual Private Network (VPN) pada Klien PT. XYZ

Beserta perangkat yang ada (jika diperlukan). Dengan Hak Bebas Royalti

Noneksklusif ini Universitas Bakrie berhak menyimpan, mengalih

mediakan/formatkan, mengelola dalam bentuk pangkalan data (database), merawat

dan mempublikasikan Tugas Akhir saya selama tetap mencantumkan nama saya

sebagai penulis dan sebagai pemilik Hak Cipta untuk kepentingan akademis.

Demikian pernyataan ini saya buat dengan sebenarnya.

Dibuat di : Jakarta

Pada Tanggal : 16 September 2016

Yang menyatakan,

(M. Bagus Oka G.W.)

UNIVERSITAS BAKRIE

vii

ANALISIS PERANCANGAN DAN IMPLEMENTASI IP SECURITY (IPSEC)

SEBAGAI PROTOKOL KEAMANAN VIRTUAL PRIVATE NETWORK

(VPN) PADA KLIEN PT. XYZ

M. Bagus Oka G.W.

____________________________________________________________________

ABSTRAK

Keamanan jaringan merupakan faktor penting dalam suatu organisasi yang

menggunakan teknologi informasi dalam kegiatannya. Hal ini menjadikan mekanisme

keamanan jaringan harus diimplementasi dengan baik dan efisien untuk memastikan

tidak ada data yang dapat diambil oleh penyerang dalam jaringan tersebut. IPSec

adalah salah satu protokol keamanan yang diterapkan pada layer ketiga dalam OSI

model. IPSec berjalan di atas VPN dan berfungsi untuk mengenkripsi setiap paket

data yang keluar dan masuk dalam suatu jaringan. Penelitian ini bertujuan untuk

menganalisis perancangan dan implementasi IPSec sebagai protokol keamanan

jaringan klien PT. XYZ. Dari hasil penelitian, diperoleh bahwa konfigurasi yang

diusulkan oleh penulis berdasarkan jurnal yang dilampirkan, dapat dilaksanakan

dengan baik, dan dapat dijadikan sebagai referensi implementasi IPSec untuk proyek

selanjutnya.

Kata kunci: kemanan jaringan, IPSec, analisis perancangan.

UNIVERSITAS BAKRIE

viii

DESIGN ANALYSIS AND IMPLEMENTATION OF IP SECURITY (IPSEC)

AS SECURITY PROTOKOL ON PT. XYZ CLIENT’S VIRTUAL PRIVATE

NETWORK (VPN)

M. Bagus Oka G.W.

____________________________________________________________________

ABSTRACT

Network security is an important factor in the organization which relies on

information technology. This reason makes network security mechanism must be

implemented with good consideration and efficiency, to make sure there are not data

that can be stolen by the attacker. IPSec is security protocol in layer three of the OSI

model. The purpose of IPSec is to encrypt each data packet either in or out in the

network. This study aims for providing design analysis and implementation of IPSec

as a security protocol for PT. XYZ’s client network. The result of this research is

IPSec’s configuration who author suggests based on attached journal is properly

implemented, and can be referenced for next implementation.

Keywords: network security, IPSec, design analysis.

UNIVERSITAS BAKRIE

ix

DAFTAR ISI

JUDUL ........................................................................................................................... i

HALAMAN PERNYATAAN ORISINALITAS .......................................................... ii

HALAMAN PENGESAHAN ...................................................................................... iii

UCAPAN TERIMA KASIH ........................................................................................ iv

HALAMAN PERNYATAAN PERSETUJUAN PUBLIKASI............................... vi

ABSTRAK .................................................................................................................. vii

ABSTRACT ............................................................................................................... viii

DAFTAR ISI ................................................................................................................ ix

DAFTAR SINGKATAN ............................................................................................. xi

DAFTAR GAMBAR ................................................................................................. xiv

DAFTAR TABEL ....................................................................................................... xv

DAFTAR LAMPIRAN .............................................................................................. xvi

BAB I PENDAHULUAN ............................................................................................. 1

1.1 Latar Belakang Masalah ................................................................................. 1

1.2 Rumusan Masalah .......................................................................................... 3

1.3 Batasan Masalah ............................................................................................. 3

1.4 Tujuan Penelitian ............................................................................................ 3

1.5 Manfaat Penelitian .......................................................................................... 3

1.6 Sistematika Penulisan ..................................................................................... 4

BAB II TINJAUAN PUSTAKA ................................................................................... 6

2.1 Penelitian Terdahulu ....................................................................................... 6

2.2 Virtual Private Network ............................................................................... 10

2.3 IP Security .................................................................................................... 13

2.4 IKE-Scan ...................................................................................................... 24

2.5 Cisco® Packet Tracer .................................................................................. 26

BAB III METODE PENELITIAN.............................................................................. 27

UNIVERSITAS BAKRIE

x

3.1 Fase Penelitian .............................................................................................. 27

3.2 Metode Penelitian ......................................................................................... 29

3.3 Rencana Kerja Penelitian ............................................................................. 34

BAB IV IMPLEMENTASI DAN PENGUJIAN ....................................................... 35

4.1 Gateway VPN Device ........................................................................................ 35

4.2 Topologi Jaringan dan Pembagian IP ................................................................ 35

4.3 Implementasi IPSec via J-Web .......................................................................... 37

4.4 Pengujian Jaringan ............................................................................................ 37

4.5 Pengujian IKE-Scan .......................................................................................... 40

BAB V KESIMPULAN DAN SARAN ...................................................................... 43

5.1 Kesimpulan ........................................................................................................ 43

5.2 Saran .................................................................................................................. 43

DAFTAR PUSTAKA ................................................................................................. 44

UNIVERSITAS BAKRIE

xi

DAFTAR SINGKATAN

3DES TRIPLE DATA ENCRYPTION STANDARD

AES ADVANCED ENCRYPTION STANDARD

AH AUTHENTICATION HEADER

ARPANet ADVANCED RESEARCH PROJECTS AGENCY NETWORK

CLI COMMAND LINE INTERFACE

DES DATA ENCRYPTION STANDARD

DOD DEPARTMENT OF DEFENSE

DSA DIGITAL SIGNATURE ALGORITHM

E2E-NATPT END TO END NETWORK ADDRESS TRANSLATION

PROTOCOL TRANSLATION

ECDSA ELLYPTIC CURVE DIGITAL SIGNATURE ALGORITHM

ESP ENCAPSULATED SECURITY PAYLOAD

GNS3 GRAPHICAL NETWORK SIMULATOR-3

GtG GATEWAY TO GATEWAY

HMAC HASH MESSAGE AUTHENTICATION CODE

HMAC-MD5 HASH MESSAGE AUTHENTICATION CODE-MESSAGE

DIGGEST 5

HMAC-SHA1 HASH MESSAGE AUTHENTICATION CODE-SECURE

HASH ALGORITHM

HtG HOST TO GATEWAY

UNIVERSITAS BAKRIE

xii

HtH HOST TO HOST

IAB INTERNET ARCHITECTURE BOARD

IDEA INTERNATIONAL DATA ENCRYPTION ALGORITHM

IKE INTERNET KEY EXCHANGE

IP INTERNET PROTOCOL

IPSec INTERNET PROTOCOL-SECURITY

LAN LOCAL AREA NETWORK

NAT-T NETWORK ADDRESS TRANSLATION-TRAVERSAL

NS-2 NETWORK SIMULATOR-2

OS OPERATING SYSTEM

OSI OPEN SYSTEM INTERCONNECTION

PKI PUBLIC KEY INFRASTRUCTURE

PSK PRE-SHARED KEY

QoS QUALITY OF SERVICE

RC4 RIVEST CIPHER 4

RFC REQUEST FOR COMMENTS

RSA RIVEST-SHAMIR-ADLEMAN

SA SECURITY ASSOCIATION

SAD SECURITY ASSOCIATION DATABASE

SPD SECURITY POLICY DATABASE

UNIVERSITAS BAKRIE

xiii

SPI SECURITY PARAMETER INDEX

TCP/IP TRANSMISSION CONTROL PROTOCOL/INTERNET

PROTOCOL

UDP-ESP USER DATAGRAM PROTOCOL-ENCAPSULATED

SECURITY PAYLOAD

VPN VIRTUAL PRIVATE NETWORK

WAN WIDE AREA NETWORK

UNIVERSITAS BAKRIE

xiv

DAFTAR GAMBAR

Gambar 2. 1 Gateway-to-Gateway Architecture [4] ................................................... 11

Gambar 2. 2 Host-to-Gateway Architecture [4] .......................................................... 11

Gambar 2. 3 Host-to-Host Architecture [4] ................................................................ 12

Gambar 2. 4 IPSec Architecture [5] ............................................................................ 20

Gambar 2. 5 Host SPD [5] .......................................................................................... 22

Gambar 2. 6 IKE Mode ............................................................................................... 24

Gambar 3. 1 Fase Penelitian........................................................................................ 27

Gambar 3. 2 Tahapan Implementasi IPSec ................................................................. 29

Gambar 3. 3 Topologi IPSec VPN .............................................................................. 30

Gambar 3. 4 IPSec VPN via Packet Tracer................................................................. 33

Gambar 4. 1 Topologi Site B ...................................................................................... 36

Gambar 4. 2 Topologi Site B ...................................................................................... 36

Gambar 4. 3 Ping Site A to Site B .............................................................................. 38

Gambar 4. 4 Ping Site B to Site A .............................................................................. 38

Gambar 4. 5 Traceroute LAN Site A to Gateway B ................................................... 39

Gambar 4. 6 Traceroute LAN Site B to Gateway A ................................................... 39

Gambar 4. 7 IKE-Scan Main Mode Handshake [13] .................................................. 40

Gambar 4. 8 IKE-Scan Aggressive Mode Handshake [13] ........................................ 41

Gambar 4. 9 IKE-Scan Klien PT. XYZ ...................................................................... 41

UNIVERSITAS BAKRIE

xv

DAFTAR TABEL

Tabel 2. 1 Komparasi Penelitian Terdahulu dengan Penelitian Penulis ....................... 8

Tabel 2. 2 Komparasi Model VPN [4] ........................................................................ 12

Tabel 2. 3 Komparasi HMAC [9] ............................................................................... 15

Tabel 2. 4 AH Tunnel Mode [4].................................................................................. 16

Tabel 2. 5 AH Transport Mode [4] ............................................................................. 16

Tabel 2. 6 Komparasi Algoritma Enkripsi [10] .......................................................... 16

Tabel 2. 7 ESP Tunnel Mode [4] ................................................................................ 18

Tabel 2. 8 ESP Transport Mode [4] ............................................................................ 18

Tabel 2. 9 Tabel Komparasi AH dan ESP [5] ............................................................. 19

Tabel 2. 10 Kombinasi Parameter Main Mode IKE-Scan [13] ................................... 25

Tabel 2. 11 Kombinasi Parameter Aggressive Mode IKE-Scan [13] ......................... 25

Tabel 3. 1 Tabel Spesifikasi Hardware ....................................................................... 30

Tabel 3. 2 Konfigurasi IPSec ...................................................................................... 31

Tabel 3. 3 IP Table Simulasi ....................................................................................... 32

Tabel 3. 4 Rencana Kerja Penelitian ........................................................................... 34

Tabel 4. 1 IP Table ...................................................................................................... 37

UNIVERSITAS BAKRIE

xvi

DAFTAR LAMPIRAN

Lampiran 1 Hasil Wawancara ..................................................................................... 46

Lampiran 2 Konfigurasi CLI Packet Tracer................................................................ 48

Lampiran 3 Konfigurasi CLI VPN IPSec ................................................................... 58

Lampiran 4 Implementasi IPSec via J-Web ................................................................ 67