47
Sovelluskerros: Socket API, WWW, sähköposti, DNS Tancred Lindholm ja Sasu Tarkoma Johdatus tietoliikenteeseen kevät 2012

Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Embed Size (px)

Citation preview

Page 1: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

T-110.2100 Johdatus tietoliikenteeseen kevät 2010

Sovelluskerros: Socket API, WWW, sähköposti, DNS

Tancred Lindholm ja Sasu Tarkoma

Johdatus tietoliikenteeseen kevät 2012

Page 2: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Luennon sisältö 1.  Socket-rajapinta 2.  HTTP: Miten edellisen luennon viestit

siirtyvät koneesta (solmusta) toiseen? 3.  Yhteyskäytäntö eli protokolla 4.  Tiedon koodaaminen 5.  Domain Name System (DNS) 6.  Simple Mail Transfer Protocol (SMTP) 7.  Yhteenveto

2

Page 3: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Tietoliikenteen perusteet /2011 3

Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa

www-selain ja www-palvelin, postiohjelma ja postipalvelin, …,

vertaisverkkosovellukset Sovellusprotokolla kuvaa näiden sanomanvälityksen

DNS, HTTP, SMTP, FTP, …. Syntaksi, semantiikka, järjestys

Sanomat välitetään käyttäen verkon tarjoamaa kuljetuspalvelua osa järjestelmän perusrakennetta sovelluksista riippumatonta Reititys tapahtuu vasta verkkotasolla, mutta sovellustasolla tiedettävä osoite

Page 4: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Tietoliikenteen perusteet /2011 4

Sovellusarkkitehtuuri Asiakas-palvelija-malli (esim. selain ja www-palvelin)

Aina toiminnassa oleva palvelinohjelma, jolla kiinteä, tunnettu IP-osoite Asiakasohjelmat ottavat yhteyttä palvelimeen ja pyytävät

siltä palvelua

Vertaistoimijamalli (esim. BitTorrent, eMule, Skype) Vertaisisännät kommunikoivat suoraan keskenään Ei tarvitse olla aina toiminnassa, IP-osoite voi muuttua Jokainen toimii sekä palvelijana että asiakkaana

Hybridimalli (esim. Napster, pikaviestimet )

palvelupyyntö

vastaus

Google, e-Bay, Facebook, YouTube, Amazon, ..

Page 5: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Tietoliikenteen perusteet /2011 5

Asiakas-palvelija-malli

verkko

palvelijaprosessi www-palvelija

asiakasprosessi www-selain

pyyntö

vastaus

sanomien reititys verkossa

”always on”

Oikea kone, oikea prosessi

Page 6: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

6

Sovelluksen rajapinta tietoliikenteeseen

Pistoke (socket) (verkkosovelluksen ohjelmointirajapinta, API) - yhteyden muodostaminen - lue /kirjoita sanoma: prosessi kirjoittaa verkkoon ja lukee

verkosta lähes samalla tavoin kuin kirjoittaa tiedostoon ja lukee tiedostosta

- ‘luukku’ tai ‘ovi’, josta dataa sisään /ulos Lähetys (send): anna sanoma KJ:lle Vastaanotto (receive): ota sanoma KJ:ltä. Sovellus odottaa, jos sanoma ei ole vielä saapunut Ohjelmoija valitsee käyttääkö KJ kuljetuskerroksella

yhteydellistä vai yhteydetöntä palvelua!

Page 7: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Tietoliikenteen perusteet /2011 7

TCP puskurit

prosessi

pistoke

Internet

TCP puskurit

pistoke

prosessi Sovelluksen tekijän

alue

KJ KJ

KJ = käyttöjärjestelmä

Prosessien kommunikointi TCP-pistokkeita käyttäen

Page 8: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Sockets-rajapinta §  käyttöjärjestelmä tarjoaa rajapintoja IP -verkkoon §  Yleisin rajapinta nimeltä (Berkeley) ”Sockets

API” (Applications Programmin Interface) §  Ohjelmille rajapinta TCP- ja UDP- pohjaiseen

tiedonsiirtoon §  Alkuperäinen versio BSD-Unixissa v 1983 §  Nykyään jokaisessa käyttöjärjestelmässä jossa

on tuki IP-verkoille

Page 9: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Soketti (Socket) §  Tietoliikenteessä termiä käytetään merkityksessä

”yhteyden päätepiste” (communication endpoint) §  Sokettiin liitetään (bind) yksilöivä osoite §  Soketin avulla voidaan lähettää ja vastaanottaa dataa

toisesta soketista §  Kun avataan yhteys sokettiin x

käytetään x:n osoite §  Koneessa monta sokettia, tyypillisesti

10-10000 sokettia käytössä yhtäaikaa

firefox

www

aalto.fi

Page 10: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Soketin osoite §  Soketin osoite koostuu IP-osoitteesta ja porttinumerosta

–  Kirjoitetaan IP:portti, esim. 127.0.0.1:80 §  IP-osoite

–  Koostuu neljästä luvusta 0-255 joita erottaa piste (v4) –  Internetissä jokaisella tietokoneella IP,

tästä tarkemmin seuraavassa luennossa –  IP:n avulla verkko voi reitittää liikennettä

oikeaan koneeseen §  Porttinumero

–  Välillä 0 ja 65535 (16 bittiä) –  Tietyt portit yhdistetään tiettyihin palveluihin –  esim portilla 80 on yleensä nettipalvelin

130.233.12.12:80

Page 11: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Soketin tyyppi ja tila §  On muutamia erityppisiä soketteja, joista tavallisimmat:

§  TCP-soketti: luotettava jatkuva tiedonsiirtokanava toiseen koneeseen

§  UDP-soketti: lyhyiden viestien (n. 1000 tavua) lähettäminen toiseen koneeseen ilman että vastaanotto varmistetaan

§  Tässä TCP (Transmission Control Protocol) ja UDP (User Datagram Protocol) ovat kunkin sokettityypin käyttämiä siirtoprotokollia (ensi luennolla)

§  Myös "raw" ja "reliable sequenced packet service" -tyypit §  Sokettiin joka on kuuntelutilassa (listen) voidaan avata yhteys

–  Käyttöjärjestelmä ja palvelinohjelmisto siirtävät heti yhteyden toiseen sokettiin, jotta voidaan ottaa vastaan seuraava yhteydenpyyntö

Page 12: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Kuljetusprotokollat: TCP TCP (Transmission Control Protocol) [RFC 793] Yhteydellinen palvelu (connection-oriented) Yhteyden muodostus ennen datan siirtoa (handshaking) Kaksisuuntainen TCP-yhteys (full-duplex) Yhteyden purku (shutdown) Luotettava kuljetuspalvelu Järjestyksen säilyttävä tavuvirta sovellukselle segmenttinumerot, kuittaukset, uudelleenlähetykset Vuonvalvonta (flow control) Lähettäjä hiljentää vauhtia, jos vastaanottaja ei ehdi

käsitellä Ruuhkanvalvonta (congestion control) Lähettäjä hiljentää vauhtia, jos reititttimet eivät ehdi käsitellä

Page 13: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Kuljetusprotokollat: UDP UDP (User Datagram Protocol) [RFC768]

Kevyt kuljetuspalvelu, pieni yleisrasite Ei yhteyden muodostusta eikä purkua Ei takuita sanoman perillemenosta Sanoman segmentit vain lähetetään verkkoon Sanoman segmenttejä voi puuttua ja ne voivat saapua epäjärjestyksessä, virheelliset yleensä hylätään Ei vuonvalvontaa, ei ruuhkanvalvontaa UDP voi lähettää niin paljon kuin haluaa

Huom! Kummassakaan ei ole takuita siirtonopeudelle eikä

viipeelle => ei mitään aikatakuita (ns. ’best effort’-palvelu) Ei myöskään datan salakirjoitusta => SSL (Secure Socket Layer)

Page 14: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

TCP-tyyppinen soketti §  Yleisin tapa siirtää tietoa internetissä §  Sovellukset: netti, tiedostonsiirto,

etäyhteydet (VPN, etänäyttö), sähköposti, jne.

§  Toisiinsa kytketyt soketit voidaan mieltää tavuputkena (bittiputkena). Lähetetään tavuja toisesta päästä, ilmestyvät hetken jälkeen samassa järjestyksessä toisessa päässä

GET /index.html

Page 15: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Vertaus puheluun §  Puhelin ↔ soketti §  Puhelimen numero ↔ soketin osoite §  Puhelimesta avataan yhteys toiseen puhelimeen

käyttämällä vastaanottavan puhelimen numeroa ↔ Soketista avataan yhteys toiseen käyttämällä vastaanottavan soketin osoitetta

§  Listen-soketti toimii yrityksen puhelinvaihteen tavoin –  sisääntulevat puhelut kytketään

jollekin asiakaspalvelijalle (↔ toinen soketti), jotta voidaan ottaa vastaan seuraava puhelu

Page 16: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

02/01/10

Socket API:n kutsut •  Alla tärkeimmät kutsut C-kielisestä API:sta, muissa

ojhelmointikielissä samankaltaisia

socket() luo uusi soketti annetulla tyypillä bind() sido soketti porttiin ja paikalliseen IP osoitteeseen

(koneella voi olla monta osoitetta) listen() kytke soketti kuuntelutilaan connect() avaa yhteys (TCP) accept() ota vastaan yhteyspyyntö kuuntelutilassa olevalta

soketilta send(), recv()/write(),read() tiedon lähettäminen ja

vastaanottaminen close() sulje yhteys (TCP) ja vapauta resursseja setsockopt() muuta socketin asetuksia, "soketin tuunaus"

Page 17: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Esimerkki: työaseman soketit sudo netstat -tuwlanp4

Active Internet connections (servers and established) Proto Local Address Foreign Address State PID/Program name tcp 0.0.0.0:2628 0.0.0.0:* LISTEN 2675/0 tcp 127.0.0.1:80 0.0.0.0:* LISTEN 2659/boa tcp 0.0.0.0:22 0.0.0.0:* LISTEN 2757/sshd tcp 127.0.0.1:631 0.0.0.0:* LISTEN 9309/cupsd tcp 127.0.0.1:6010 0.0.0.0:* LISTEN 19966/sshd: nx@nott tcp 0.0.0.0:7005 0.0.0.0:* LISTEN 1924/nxagent tcp 127.0.0.1:32811 127.0.0.1:5005 ESTABLISHED 20184/nxssh tcp 130.233.193.40:38189 130.233.192.7:22 ESTABLISHED 8832/ssh tcp 127.0.0.1:22 127.0.0.1:53185 ESTABLISHED 1848/sshd: ctl [pri tcp 130.233.193.40:44826 128.214.113.133:22 ESTABLISHED 7256/ssh tcp 127.0.0.1:53185 127.0.0.1:22 ESTABLISHED 1847/nxssh tcp 130.233.193.40:56205 130.233.192.7:22 ESTABLISHED 28506/ssh tcp 127.0.0.1:5005 127.0.0.1:32811 ESTABLISHED 1924/nxagent tcp 130.233.193.40:41422 74.125.39.100:80 ESTABLISHED 8810/firefox tcp 130.233.193.40:50029 130.233.192.7:22 ESTABLISHED 24755/ssh udp 0.0.0.0:41190 0.0.0.0:* 3106/avahi-daemon: udp 0.0.0.0:5353 0.0.0.0:* 3106/avahi-daemon: udp 172.16.111.1:123 0.0.0.0:* 5744/ntpd udp 192.168.235.1:123 0.0.0.0:* 5744/ntpd udp 130.233.193.40:123 0.0.0.0:* 5744/ntpd udp 127.0.0.1:123 0.0.0.0:* 5744/ntpd udp 0.0.0.0:123 0.0.0.0:* 5744/ntpd raw 0.0.0.0:1 0.0.0.0:* 7 9556/vmnet-natd

Page 18: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

HTTP:n toteutus soketeilla §  Viime luennolla nettiselailu, joka rakentui HTTP-

viestien lähettämiseen ja vastaanottamiseen §  Nettisivut nimetty URL:llä (Uniform resource

locator) – Muotoa protokolla://palvelin/sivunimi, esim http://www.aalto.fi/index.html

§  Tärkein viesti GET sivunimi → sivun sisältö HTML-muodossa

§  Miten toteuttaa HTTP sokettien avulla? §  Perusosa nettiselaimen toteutuksesta

Page 19: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

HTTP §  Yksinkertainen kaava (versio 1.0 HTTP-protokollasta) §  Halutaan hakea sivu http://n:p/y

§  n=palvelinkoneen IP, p=HTTP-palvelun portti, y sivu §  esim http://130.233.225.254:80/index.html §  Yleensä nettiosoitteessa palvelimen nimi eikä n:p-

tyylistä osoitetta, palataan tähän hetken päästä! 1. Avataan TCP sokettiyhteys osoitteeseen n, portilla p 2. Lähetetään sivupyyntö 3. Luetaan vastausta (tilakoodi, sivun sisältö) 4. Suljetaan yhteys n  Tämän jälkeen näytetään sivun sisältö jos tilakoodi näyttää

oninstunutta hakua, muuten näytetään virheilmoitus

Page 20: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

02/01/10 Tietoliikenteen perusteet /2011

HTTP-pyyntömetodeja (HTTP/1.1: http://www.w3.org/protocols/rfc2616/rfc2616.html)

GET Nouda objekti (download), voi olla konditionaalinen HEAD Nouda vain otsaketiedot POST Voidaan myös lähettää tietoa lomakkeen täyttö se. kenttien sisällöt annetaan mukana

olemassa olevien dokumenttien kommentointi sanomien lähettäminen uutisryhmiin tai ilmoitustauluille tiedoston lisääminen hakemistoon; yhteisjulkaisun laajentaminen

PUT Talleta objekti palvelimelle (upload) polkunimi pyyntörivillä, talletettava runko-osassa

DELETE Poista objekti palvelimelta

Page 21: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

HTTP viestien koodaus §  Miten koodataan HTTP-viesti verkon yli?

Pyynnön muoto

metodi resurssi protokolla/versio↵ otsake1: arvo1↵ otsake2: arvo2↵ ↵ datadatadata....

Esimerkki

GET /index.html HTTP/1.0↵ User-Agent: Mozilla/5.0 (Linux i686; ...↵ Accept: text/html,application/xhtml+xml↵ Accept-Encoding: gzip, deflate↵ Accept-Charset: ISO-8859-1,utf-8↵ ↵

↵ = Rivinvaihtomerkki (arvo lukuna on 13 “carriage return” ja 10 “line feed”)

Yhteyden kesto

Tässä ei lähetetty dataa pyynnön mukana

Page 22: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

HTTP-viestien koodaus §  Miten koodataan HTTP-viesti verkon yli?

Vastauksen muoto

protokolla koodi selitys otsake1: arvo1 otsake2: arvo2 datadatadata....

Esimerkki HTTP/1.1 200 OK↵ Date: Thu, 28 Jan 2010 13:33:53 GMT ↵ Server: Apache/1.3.41 (Unix) PHP/4.4.7↵ Content-Length: 4242↵ Content-Type: text/html; charset=iso-8859-1↵ ↵ <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN"> <HTML><HEAD> : :

Page 23: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Esimerkki HTTP-liikenteestä ---------------- Read from: 127.0.0.1:36452 --------------- GET / HTTP/1.1 Host: localhost:8001 User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.17) Gecko/2010010604 Ubuntu/9.04 (jaunty) Firefox/3.0.17 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: en-us,en;q=0.5 Accept-Encoding: gzip,deflate Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7 Keep-Alive: 300 Connection: keep-alive Pragma: no-cache Cache-Control: no-cache ---------------- Read from: 192.0.32.10:80 --------------- HTTP/1.1 200 OK Date: Mon, 01 Feb 2010 17:22:04 GMT Server: Apache/2.2.3 (CentOS) Last-Modified: Tue, 15 Nov 2005 13:24:10 GMT ETag: "b300b4-1b6-4059a80bfd280" Accept-Ranges: bytes Content-Length: 438 Connection: close Content-Type: text/html; charset=UTF-8 <HTML> <HEAD> <TITLE>Example Web Page</TITLE> </HEAD> <body> <p>You have reached this web page by typing &quot;example.com&quot;, &quot;example.net&quot;, or &quot;example.org&quot; into your web browser.</p> <p>These domain names are reserved for use in documentation and are not available for registration. See <a href="http://www.rfc-editor.org/rfc/rfc2606.txt">RFC 2606</a>, Section 3.</p> </BODY> </HTML>

Page 24: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Selaimen sivuhaun toteutus*

*) Hyvin rajoitettu mutta toimii perustapauksessa

Page 25: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Esimerkki: TCP-palvelija (Java)

import java.io.*; import java.net.*; class TCPServer { public static void main(String argv[]) throws Exception { String clientSentence; String capitalizedSentence; ServerSocket welcomeSocket = new ServerSocket(6789); while(true) { Socket connectionSocket = welcomeSocket.accept(); BufferedReader inFromClient = new BufferedReader( new InputStreamReader(connectionSocket.getInputStream())); DataOutputStream outToClient = new DataOutputStream(connectionSocket.getOutputStream()); clientSentence = inFromClient.readLine(); capitalizedSentence = clientSentence.toUpperCase() + '\n'; outToClient.writeBytes(capitalizedSentence); } } }

Yhteyspistokkeen luonti

Muuttaa isoiksi kirjaimiksi!

Sockets –rajapinta ja Java peittävät paikallisen porttinumeron, jonka kuljetuskerros antaa uudelle yhteydelle

Page 26: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Vastausaika (response time) Kiertoviive (Round-trip time, RTT): aika, joka kuluu pikkupaketin siirtoon palvelimelle ja takaisin Vastausaika = 2 RTT + siirtoaika 1 RTT TCP-yhteyden muodostus 1 RTT pyyntö + ensimmäisten vastausbittien saapuminen Tiedoston siirtoaika

RTT

RTT

Aloita TCP-yhteyden muodostus

HTTP request

HTTP response vastaanotettu

Siirto-aika

aika

Page 27: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

02/01/10

Missä oltiinkaan?

Vastaanottaja: www.cse.tkk.fi Viesti: GET /fi/index,html

SELAIMEN RAJAPINTA: VIESTIN LÄHETYS JA VASTAANOTTO

Vastaanottaja: selain Viesti: <html>Hello world...

Lähtevä viesti Saapuva viesti

Page 28: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Protokolla (yhteyskäytäntö) §  Viestit solmujen (koneiden) välillä

noudattavat määrättyä kaavaa jota kutsutaan yhteyskäytännöksi, eli protokollaksi

§  Esim: selaimen ja nettipalvelimen väliset viestit noudattavat HTTP-protokollaa

§  Protokollassa voidaan määritellä –  Viestien muuttaminen biteiksi

verkkolähetystä varten –  Eri viestit ja niiden merkitykset –  Viestien järjestys ja suhde toisiinsa

§  Muita esimerkkejä protokollista tällä luennolla: DNS, SMTP

In Western Society, a handshake is part of the standard protocol when making a new acquaintance

Page 29: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Protokolla §  Hyvä protokolla on riippumaton toteutuksesta, jolloin voi

olla monta toteutusta –  Esim. nettipalvelinohjelmistoa saa monelta eri

toimittajalta, HTTP on yhteinen ”kieli” §  Internet-protokollien standardointi

–  Internet Engineering Task Force (IETF) –  Word Wide Web Consortium (W3C)

§  Hyvin toimivan protokollan suunnittelu on haasteellista –  Onko kaikissa tilanteissa määritelty miten jatketaan? –  Edistyykö protokolla aina? –  Onko tietoturva kunnossa? –  Tutkimusaiheet: formalisiointi ja verifiointi

Page 30: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Tiedon koodaaminen (encoding) §  Verkossa siirretään tavuja (1 tavu = 8 bittiä) §  Tavuja on 28 = 256 kpl (0-255) §  Verkkosiirtoa varten tieto on koodattava tavuiksi §  Esim 2: ASCII-koodaus, tavulle annetaan merkitys merkkinä

–  Esim. 65 ↔ 'A', 66 ↔ 'B', .... –  Myös erikoismerkkejä kuten rivinvaihto –  Koska tavuja on vain 256, vain yleisimmät länsieurooppalaiset

merkit käytössä (ASCII:ssa 128 merkkiä) –  Miten koodataan kiinaa, ääkkösiä (äåö),...?

•  Joillekin merkille monta tavua (tästä esim UTF-8-koodaus, 1-4 tavua per merkki, Extended 8-bit ASCII)

–  Entäs tekstin formatointi? •  Esim. HTML!

Page 31: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

02/01/10

8-bit ASCII Missä

©? ‰? ?בfi?

Page 32: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Koodaus protokollassa §  Viesteissä olevaa tietoa pitää koodata ettei se riko protokollaa §  Esim HTTP:llä haetaan http://example.com/name with space §  Sovelletaan URL encoding tekniikkaa §  Välilyönnit pitää koodata, muuten sanat ”with space” tulkitaan

kuuluvan seuraavaan kenttään (protokolla ja versio) Koodataan esimerkiksi ' ' = %20 (ja %=%25): http://example.com/name%20with%20spaces

HTTP-pyyntö

metodi resurssi protokolla/versio↵ otsake1: arvo1↵ otsake2: arvo2↵ ↵ datadatadata....

Esimerkki

GET name with space HTTP/1.0 User-Agent: Mozilla/5.0 (Linux i686; ...↵ ....

Virhetulkinta!

GET name%20with%20 space HTTP/1.0 User-Agent: Mozilla/5.0 (Linux i686; ...↵ ....

Page 33: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Domain Name System (DNS) §  HTTP-esimerkissä palvelin nimettiin IP

osoitteella ja portilla §  Yleensä käytetään kuitenkin nettisaitin nimi,

esim www.aalto.fi §  Nettipalvelin on yleensä portilla 80 (443 jos

suojattu yhteys), joten voidaan olettaa että portti on 80 ellei sitä anneta erikseen

§  Miten saadaan saittinimestä sokettien käyttämä IP-osoite? (www.aalto.fi → 130.233.224.254)

§  Tähän on olemassa Domain Name System (DNS) palvelu, [RFC 1034, RFC 1035]

Page 34: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

DNS-nimet Internetissä §  Soketit ja IP -tietoliikenneverkko tarvitsevat IP -osoitetta

voidakseen reitittää verkkoliikennettä oikeaan verkkosolmuun (koneeseen)

§  Numerosarjojen käyttäminen koneen nimeämiseen kuitenkin hankala ihmisille

§  DNS -nimi on hierarkinen nimi (vrt sukunimi etunimi), jossa tasot erotellaan pisteellä –  nic.fi, kosh.hut.fi, morgul.cs.hut.fi, jne.

§  DNS-nimellä voidaan myös nimetä palveluita –  Esim www-etuliitteellä nimetty on yleensä nettipalvelin – www.aalto,fi, www.google.com

Page 35: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

DNS historiaa

Ennen 1983 Jokaisessa verkon koneessa HOSTS.TXT tiedosto jossa

verkkotunniste ja sitä vastaava IP-osoite Tiedot haettiin yhdeltä koneelta SRI yrityksestä HOSTS.TXT edelleen käytössä (staattisia asetuksia)

1983 DNS käyttöönotto Berkeley BIND toteutus

Laajennuksia: päivitys, replikointi, kansainväliset merkistöt, tietoturva

Tietoliikenteen perusteet /2011 35

Page 36: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Tietoliikenteen perusteet /2011 36

Hajautettu, hierarkinen tietokanta

13 juuritason nimipalvelija Replikoituja, kaikilla samat tiedot Internet Assigned Numbers Authority (IANA) Internet Corporation for Assigned Names and Numbers (ICANN)

Ylätason palvelimet maa- ja yleistunnuksille (n. 265 kpl) …, fi, fr, uk, … edu, net, com, org, … (Viestintävirasto myöntää fi)

Autorisoidut aluepalvelimet (domain) (2-taso) Isoilla yliopistoilla ja firmoilla omansa, pienet käyttävät jonkun muun ylläpitämää

Root DNS Servers

com DNS servers org DNS servers edu DNS servers

poly.edu DNS servers

umass.edu DNS servers

yahoo.com DNS servers

amazon.com DNS servers

pbs.org DNS servers

Standarditoteutus Unix + BIND-ohjelma

Page 37: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

DNS-nimet Internetissä §  DNS-haulla haetaan nimeä vastaava IP-osoite §  myös muita tietoja §  IP-osoite annetaan ns A-tietueessa §  palvelun nimen haku voi antaa vastaukseksi koneen

nimen (josta seuraavalla kyselyllä saadaan IP). Tämä on ns. CNAME-tietue

§  mihin palvelimeen sähköposti lähetetään (ns. MX-tietue) §  NS (name server) tietue kertoo DNS-palvelun käyttämistä

DNS-palvelimista §  "Internetin puhelinluettelo"

Page 38: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

DNS-hakuja host-kommennolla host -a kosh.hut.fi ;; ANSWER SECTION: kosh.hut.fi. 695 IN A 130.233.228.12 Host -a www.google.com ;; ANSWER SECTION: www.google.com. 431747 IN CNAME www.l.google.com. Host -a www.l.google.com ;; ANSWER SECTION: www.l.google.com. 300 IN A 74.125.39.103 host -a hut.fi ;; ANSWER SECTION: hut.fi. 3032 IN MX 9 smtp.hut.fi. hut.fi. 3248 IN NS ns1.hut.fi. hut.fi. 3248 IN NS ns2.hut.fi. hut.fi. 3248 IN NS ns-secondary.funet.fi.

Page 39: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

DNS: maailmanlaajuinen tietokanta §  DNS on maailmanlaajuinen tietokanta §  koostuu miljoonista palvelimista §  järjestetty puurakenteeseen sen mukaan, mitä osaa nimistä osaavat

käsitellä §  ylemmän tason palvelin osaa lähettää kyselyn eteenpäin oikeaan

seuraavan tason palvelimeen §  paikallinen nimipalvelin osaa oman verkon IP -osoitteet

–  Nimipalvelin sauna.cs.hut.fi tietää .cs.hut.fi -loppuisten koneiden IP:t

–  Muut kyselyt reititetään muille DNS-palvelimille –  Jokainen kone verkossa tietää oman paikallisen

nimipalvelimensa johon se lähettää DNS-kyselyt §  hakutuloksia muistetaan jotta koko hakuprosessi (seuraava kalvo) ei

jouduttaisi toistamaan jokaisella haulla

Page 40: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

DNS-hierarkia Domain: . com. NS a.gtld-server.net fi. NS a.fi ...

Domain: .fi. ... hut.fi NS ns1.hut.fi ... zzz.fi NS esse.melli.net

Domain: .hut.fi. ns1.hut.fi A 130.233.224.1 kosh.hut.fi A 130.233.228.12 hut.fi MX smtp.hut.fi

Domain: .com. ... google.com NS ns1.google.com ...

Domain: .google.com. ... www.google.com CNAME www.l.google.com www.l.google.com A 74.125.39.104 ...

kosh.hut.fi

kosh.hut.fi hakee osoitetta koneelle 1.  ns1.hut.fi 2.  www.google.com

Page 41: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

DNS-kysely §  DNS kyselyyn käytetään UDP-soketti, eli lyhyt viesti joka voi kadota §  Kyselyviesti lähetetään paikalliselle nimipalvelimelle portille 53 §  Vastaukset lähetetään takaisin kyselijän UDP-soketille §  Viestin koodauksessa käytetään yksittäisiä bittejä jotta yhteen viestiin

mahtuisi mahdollisimman paljon tietoa §  DNS-viestin tarkka

muoto on jatkokurssia...

Kuvan lähde: unixwiz.net

Page 42: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

DNS-ohjelmointirajapinta §  Käyttöjärjestelmä tarjoaa ohjelmoijalle

rajapinnan DNS -kyselyiden tekemiseen §  Useimmiten kyselyt tapahtuvat myös

automaattisesti §  esim. Socket API:ssa voi avata yhteyden

myös DNS-nimellä, jolloin nimi → IP haku suoritetaan automaattisesti

§  Esimerkki Javalla Inet4Address.getAllByName("example.com")

Page 43: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Sähköposti: SMTP §  Sähköpostin lähettäminen

–  Sähköpostiohjelma avaa yhteyden paikalliseen sähköpostipalvelimeen (esim smtp.hut.fi jos TKK:n verkossa)

–  Paikallinen palvelin lähettää eteenpäin vastaanottavaan palvelimeen

–  Molemmissa tapuksissa käytetään Simple Mail Transfer Protocol (SMTP)

–  DNS:n MX tietueella selviää vastaanottavan sähköpostipalvelimen nimi

Page 44: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

SMTP Esimerkki To: [email protected] From: [email protected] Subject: Hi Hi!

smtp.hut.fi Bob's local SMTP server

DNS bilboxi.com MX smtp.bilboxi.com

smtp.bilboxi.com

Alice's

SMTP server

SMTP

SMTP on ”Push”-tyyppinen protokolla ja luonteeltaan peer-to-peer

Page 45: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

SMTP-protokolla §  tekstipohjainen kuten HTTP §  käyttää TCP-sokettia, portti yleensä 25 §  pitkä historia, nimellä SMTP jo 1982 §  RFC 5321 (alkuperäinen RFC 821) §  sähköpostin hakemiseen sähköpostilukijaan eri

protokollat §  POP, IMAP

§  webmail toimii vähän eri tavalla §  SMTP-viesti lähtee nettipalvelimelta §  nettipalvelin lukee viestiä ja lähettää

selaimeen

Page 46: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

SMTP-esimerkki 220 smtp.bilboxi.com ESMTP Postfix HELO smtp.hut.fi 250 Hello smtp.hut.fi, I am glad to meet you MAIL FROM:<[email protected]> 250 Ok RCPT TO:<[email protected]> 250 Ok DATA 354 End data with <CR><LF>.<CR><LF> From: "Bob Example" <[email protected]> To: Alice Example <[email protected]> Date: Tue, 15 Jan 2010 16:02:43 -0500 Subject: Hi Hi! . 250 Ok: queued as 12345 QUIT 221 Bye {The server closes the connection}

Page 47: Sovelluskerros: Socket API, WWW, sähköposti, DNS fileTietoliikenteen perusteet / 2011 3 Verkkosovellus Sovelluksen ohjelmat eri isäntäkoneissa ja , postiohjelma ja postipalvelin,

Yhteenveto §  Soketit Internet-tiedonsiirron perustana §  Protokolla määrittelee kommunikaation

muoto ja merkitys §  Tutustuttiin seuraaviin protokolliin

– HTTP (TCP-pohjainen) – DNS (UDP-pohjainen) – SMTP (TCP-pohjainen)