10. Luento Käsiteltävä tieto - TUNIsysta/JOTU2013/11_DataWeb.pdfLuento Käsiteltävä tieto Kari...

10. Luento Käsiteltävä tieto

Kari Systä

5.11.2013

JOTU 2013 / Kari Systä 1 4.11.2013

Alustava luentoaikataulu

26.8: Johdanto + historiaa, mitä on ohjelmistotuotanto

2.9: Ohjelmistojen roolista ja ohjelmistotyön määrästä, ohjelmistotyypit

9.9: Miten ohjelmistotyö organisoidaan (vaihejako ja prosessi-mallit) 16.9: vaatimusmäärittelyt

23.9: projektitoiminta

30.9: Yleiset notaatiot – erityisesti UML

7.10: Esimerkkiprojekti (vierailu-luento – esillä ihan oikea projekti)

21.10: Asiakasroolista

28.10: Käyttäjä ja käyttäjäkokemus ohjelmisto-projektissa (Kati Kuusinen)

4.11: Tiedon mallintaminen

11.11: Ohjelmisto osana laitetta 1

18.11: Ohjelmisto osana laitetta 2

25.11: IPR, sopimukset, open source

2.12: Kertausta

2 10/21/2013 JOTU2013/Kari Systä

Sisältöä

• Mitä tietoa järjestelmä käsittelee

– käsitteellinen mallinnus

• Tiedon yksityiskohtien määritteleminen

• Tiedon esitys- ja välitystavoista

- mm. XML

• Mitä se ”Big Data” on

JOTU 2013 / Kari Systä 3 4.11.2013

Järjestelmää suunniteltaessa on tärkeää miettiä tallennettavaa tietoa

• Tiedon tyyppi , arvoalueet ja rajoitteet

– Vrt Arien kantoraketti

• Tietojen väliset yhteydet ja riippuvuudet

• Valittu tiedon rakenne vaikuttaa järjestelmän toimintoihin ja tehokkuuteen

• Järjestelmien välinen tiedon siirto

– Myös siirto vanhasta uuteen

JOTU 2013 / Kari Systä 4 4.11.2013

Suunnitteluprosessi

Määrittely

Tietokanta 2. Järjestelmä

1. Käsitteellinen mallintaminen

2. Tiedon esitysmuodot ja tallentaminen

JOTU 2013 / Kari Systä 5 4.11.2013

3. Tiedon siirto ja vaihto

Muita kursseja

OtuPK

TiKaSu

JohTiKa

JOTU 2013 / Kari Systä 6 4.11.2013

TIE-22100 - Johdatus tietokantoihin

• Kurssin tavoitteena on, että kurssin suoritettuaan opiskelijan pitäisi ymmärtää tietokantojen ja tietokantajärjestelmien perusajatukset, tuntea alueen terminologia, osata käyttää relaatiotietokannan hallintajärjestelmää, luoda valmiiksi kuvattu tietokanta sekä tehdä ei-triviaaleja tietokantahakuja SQL-kieltä käyttäen.

• Kurssi koostuu luennoista ja viikkoharjoituksista. • Suoritusvaatimuksina ovat hyväksytysti suoritetut

harjoitustehtävät ja tentti. Ks. kurssin arvostelu. • Kurssin vastuuhenkilö on Jari Peltonen

(jari.peltonen(at)tut.fi) jatkossa Timo Aaltonen (timo.aaltonen (at) tut.fi)

JOTU 2013 / Kari Systä 7 4.11.2013

TIE-22200 - Tietokantojen suunnittelu

• Kurssin tavoitteena on, että kurssin suoritettuaan opiskelija osaa käyttää rutiininomaisesti relaatiotietokannan hallintajärjestelmää sekä osaa suunnitella ja toteuttaa alusta loppuun suorituskykyisen, turvallisen ja ei-triviaalin relaatiotietokannan käyttäen kurssilla opetettua prosessia. Hän osaa myös käyttää relaatiotietokantaa sekä ohjelmallisesti että SQL-kielellä rutiininomaisesti. Opiskelija myös tietää mitä liittyy sellaisten järjestelmien määrittelyyn, suunnitteluun, toteutukseen ja ylläpitoon, missä olennaisena osana on tietokanta sekä osaa käyttää tätä tietoa vaihtoehtojen harkinnan ja lisätietojen hankinnan tukena. Kurssi koostuu luennoista, viikkoharjoituksista ja harjoitustyöstä. Suoritusvaatimuksina ovat hyväksytysti suoritetut harjoitustehtävät, harjoitustyö ja tentti. Ks. kurssin arvostelu. Kurssin vastuuhenkilö on Jari Peltonen (jari.peltonen(at)tut.fi) jatkossa Timo Aaltonen (timo.aaltonen (at) tut.fi).

JOTU 2013 / Kari Systä 8 4.11.2013

Käsitteellinen mallintaminen (lainaus kurssin tietokantojen suunnittelu luentomateriaalista)

• Kuvataan maailmaa (kohdealue) siellä olevien käsitteiden, niiden ominaisuuksien ja suhteiden avulla.

• Näiden tilat voivat muuttua ajoittain tapahtumien vaikutuksesta.

• Ollaan kiinnostuneita maailman tilasta menneisyydessä, nyt ja tulevaisuudessa.

• Käsitteellinen malli = kohdealueen vääristymätön ja täydellinen esitys (, jossa mahdolliset toteutusnäkökohdat jätetään huomioimatta.)

JOTU 2013 / Kari Systä 9 4.11.2013

Esitetään useimmiten graafisesti

• Oliokaavio

• Luokkakaavio (UML)

• ER-kaavio (entity-relationship kaavio)

• Tietoyhteyskaavio

• Käsitekaavio

• Kohdekaavio

JOTU 2013 / Kari Systä 10 4.11.2013

Käsitekaavio (UML:n luokkakaavio)

Nimi

Ominaisuudet

Metodit

Nimi

Ominaisuudet

Metodit

nimi

lkm lkm

JOTU 2013 / Kari Systä 11 4.11.2013

Esimerkki

JOTU 2013 / Kari Systä 12 4.11.2013

Navigointi- suunta

Kooste/muodoste

• Kooste (aggregation)

– Olio on toisen osa / komponentti

• Muodoste (composition)

– Kiinteä riippuvuus

– Usein elinikäinen riippuvuus

JOTU 2013 / Kari Systä 13 4.11.2013

Muodoste/kooste

Kooste: Muodoste:

JOTU 2013 / Kari Systä 14 4.11.2013

Yleistäminen

Olio-ohjelmoinnin kurssilla puhutaan sitten ”periytymisestä” JOTU 2013 / Kari Systä 15 4.11.2013

16

0:N

0:N

1:10:N

1:10:N

0:1

0:N

0:N1:N osallis- tuuopiskelija kurssi

opettaja

luennoi

opinto-

jakso<-kuvaa

suoritus

suorittaa tentti kuuluu

Muut notaatiot: Chenin notaatio (kuva 6.11)

JOTU 2013 / Kari Systä 4.11.2013

17

Muut notaatiot: Martinin kohdekaaviot (kuva 6.12)

kuuluu

osallistuu opiskelija kurssi

opettaja

opinto- jakso

suoritus tentti

kuvaa

luennoi

JOTU 2013 / Kari Systä 4.11.2013

Vinkkejä ja neuvoja

• Assosiaatio-yhteys voi olla joko kaksisuuntainen tai yksisuuntainen. – Ns navigointisuunta – Tarvittaessa merkitse (UML:ssä nuolella)

• Luokkakaaviossa tiedon tyyppejä (luokkia) – Olio-ohjelmoinnissa mennään syvemmälle olioiden ja

luokkien ihmeelliseen maailmaan

• Lukumääräsuhteiden oikeellisuuteen kannattaa kiinnittää huomiota, sillä ne ohjaava järjestelmän suunnittelua.

• Raja assosiaation, muodosteen ja koosteen välillä on usein häilyvä

JOTU 2013 / Kari Systä 18 4.11.2013

Etevä suunnittelija käsittää käsitteet http://aikalainen.uta.fi/2011/12/23/eteva-suunnittelija-kasittaa-kasitteet/

• Tietojärjestelmän tekijän täytyy ensin itse ymmärtää, mistä on kyse, ja tunnistaa asiaan liittyvät käsitteet. Käsitteet ovat sellaisia, joita järjestelmää käyttävä ihminen tuntee.

• Käsitteellinen mallintaminen on eri asia kuin järjestelmän käytettävyys, joskin mallintamisen puute saattaa heijastua myös järjestelmän käytettävyyteen.

• Jos käsitteellistä mallintamista ei ole suunnitteluvaiheessa tehty tai se on tehty huonosti, niin järjestelmästä alkaa usein paljastua asioita, jotka eivät toimi niin kuin suunnittelija on kuvitellut. Järjestelmään tulee virheitä, joita ei ehkä helposti pystytä paljastamaan.

• Tietojärjestelmän rakentaminen kuulostaa arkiselta työltä, mutta käsitteellisessä mallintamisessa tarvitaan filosofian oppeja tiedon sisällöstä ja käsitteistä.

JOTU 2013 / Kari Systä 19 4.11.2013

Eräs tunnettu kömmähdys

Vaalitulospalvelu eduskuntavaaleissa 1970

JOTU 2013 / Kari Systä 20 4.11.2013

Mitä tapahtui

• SMP oli saamassa murskavoittoa ja 18 kansanedustajaa

• Mutta tulospalvelu ennusti jatkuvasti vain n. 8 edustajaa.

• SMP:n legendaarinen poliitikko Eino Poutiainen laski omia ennusteitaan ”klubiaskin” kanteen ja oli kokoajan oikeassa.

JOTU 2013 / Kari Systä 21 4.11.2013

Eino Poutiaisen muistelmista

• Tietokonekaan ei vaalien jälkeisenä yönä tulosten laskennassa ruvennut uskomaan tosiasioita. [...] Joten herrojen henki oli tarttunut tietokoneeseenkin, joka sitten ällisteli ja ihmetteli. [...] Eniten kiinnitti huomiotani, kun televisiossa ilmoitettiin Oulun vaalipiirin äänistä lasketuksi noin 30 % ja meille sanottiin ääniä tulleen vain 0,5 %. Silloin huomasin, että kyllä tohtori Sänkiahon rokkatoosa joutaisi heittää Suomenlahteen, koska hörisee niin kuin vanha tamma, jolle syötetään ruisjauhoapetta.

JOTU 2013 / Kari Systä 22 4.11.2013

Prof. Sänkiahon kuvaus

• ”erään laskennassa tarvittavan kertoimen arvo määriteltiin yhdellä kokonaisluvulla ja kahdella desimaalilla. Kone "luki Arvon 12.34 arvoksi 2.34 ja ollen kertoimena niin tulokset olivat vähän pielessä useissa vaalipiireissä eli siellä missä SMP:n kannatus lisääntyi yli kymmenkertaiseksi.”

• PS. Cobol kielessä on tapana käyttää desimaalilukuja liukulukujen sijaan

JOTU 2013 / Kari Systä 23 4.11.2013

Tiedon rakenteen määrittely

• Tarkennetaan käsitteellisen mallinnuksen tulosta

• Useimmiten vastuu toimittajalla, mutta vain tilaaja tietää oikeat vastaukset

• Tässä opetellaan kieltä jolla keskustella

JOTU 2013 / Kari Systä 24 4.11.2013

25

Bachus-Naur Form (Lauseke)

1: <lauseke> ::= <kertolauseke> | <kertolauseke> <ynnäoper> <lauseke> 2: <kertolauseke> ::= <sulkulauseke> | <sulkulauseke> <kerto-oper> <kertolauseke> 3: <sulkulauseke> ::= <termi> | ’(’ <lauseke> ’)’ 4: <termi> ::= <numeerinen_vakio> | <muuttuja> 5: <ynnäoper> ::= ‘+’ | ‘-’ 6: <kerto-oper> ::= ’*’ | ’/’

JOTU 2013 / Kari Systä 4.11.2013

26

(a+b)*c

• Luennoilla käydään läpi tarkistus sääntöjen avulla kuten kirjassa

• Jos aikaa, myös tietokoneen (esim kääntäjän tapa) – joka seuraavilla kalvoilla

JOTU 2013 / Kari Systä 4.11.2013

(a+b)*c <tyhjä>

(a+b)*c (

(a+b)*c (a

(a+b)*c (muuttuja

(a+b)*c (termi

(a+b)*c (kertolauseke

(a+b)*c (kertolauseke+

(a+b)*c (kertolauseke ynnäop b

(a+b)*c (kertolauseke ynnäop lauseke

(a+b)*c (kertolauseke ynnäop

(a+b)*c (kertolauseke ynnäop lauseke )

(a+b)*c (lauseke)

JOTU 2013 / Kari Systä 27 4.11.2013

(a+b)*c lauseke *

(a+b)*c lauseke kerto-op

(a+b)*c lauseke kerto-op c

(a+b)*c lauseke kerto-op kertolauseke

(a+b)*c kertolauseke

(a+b)*c lauseke

JOTU 2013 / Kari Systä 28 4.11.2013

Testataan hieman

• (a+b)+c ?

• kertolauseke + lauseke

• a+b*c

• a+sulkulauseke*c

• a+kertolauseke

• a+lauseke

• kertolauseke+lauseke

JOTU 2013 / Kari Systä 29 4.11.2013

30

Tietohakemistonotaatio

merkki merkitys

+ ja

() optionaalinen (voi puuttua)

{} toisto (0-N kertaa)

n{}m toisto n-m kertaa

[] vaihtoehtoja

| vaihtoehtojen erotin

@ avainkenttä

* kommentti

JOTU 2013 / Kari Systä 4.11.2013

31

Esimerkkejä henkilötiedot = nimi + @henkilötunnus + aviosääty + lapset

nimi = 1{etunimi}3 + sukunimi

aviosääty = [naimaton | naimisissa | eronnut | leski]

osoite = (toimitusosoite) + (laskutusosoite)

osoite = [toimitusosoite | laskutusosoite |

toimitusosoite + laskutusosoite]

osoite = toimitusosoite + (laskutusosoite)

luottoraja = *asiakkaalle myönnettävän luoton

enimmäismäärä markkoina*

luottoraja_ilmoitus = *vastaus luottorajan muutosyritykseen*

["Tuntematon asiakas" | "Virheellinen luottoraja" |

"Uudeksi luottorajaksi on muutettu xxx markkaa"]

JOTU 2013 / Kari Systä 4.11.2013

32

Esimerkkejä suoritustietokanta= * Relaatiokanta, joka kuvaa opiskelijat, kurssit ja suoritukset. Se koostuu tauluista opiskelijat, suoritukset ja opintojaksot.* opiskelijat = {@op_nro + nimi + osoite + ...} suoritukset = {@suor_nro + op_nro + oj_nro+ pvm + ov_määrä + arvosana + opettaja} opintojaksot ={@oj_nro+oj_nimi+kuvaus}

op_nro nimi os …

… … … …

777 Ahto S. … …

222 Teemu T. … …

suor_nro op_nro oj_nro pvm ov_määrä arvosana opettaja

… … … … … … …

234 777 81210 20.3.1995 2 3 ijh

456 222 81210 22.3.1996 2 5 ijh

645 777 81130 24.3.1996 4 3 tensu

… … … … … … …

oj_nro oj_nimi kuvaus

… … …

81210 otupk …

81130 otm …JOTU 2013 / Kari Systä 4.11.2013

33

Lauseke tietohakemistonotaatiolla

lauseke = [kertolauseke | kertolauseke + ynnäop + lauseke] kertolauseke = [sulkulauseke | sulkulauseke + kerto-op + kertolauseke] sulkulauseke = [termi | ‘(‘lauseke’)’] termi = [numeerinen_vakio | muuttuja]

JOTU 2013 / Kari Systä 4.11.2013

34

Pieni sormiharjoitus

• Pieni sormiharjoitus: esitä tietohakemistonotaatio desimaalilukujen esittämiseksi.

• Sallittuja lukuja ovat esimerkiksi "-.123", "123", "123.123", ".123", "+123" ja "-123".

• Kiellettyjä ovat mm. "++123" ja "123.".

LUKU = (ETUM) + ARVO

ETUM = [ '+' | '-' ]

ARVO = [ KOK_LUKU + ('.' + KOK_LUKU) | '.' + KOK_LUKU ]

KOK_LUKU = 1{NUMERO}N

NUMERO = ['0'|'1'|'2'| '3'| '4'| '5'|'6'|'7'|'8'|'9'] JOTU 2013 / Kari Systä 4.11.2013

Suunnitteluprosessi

Määrittely

Tietokanta 2. Järjestelmä

1. Käsitteellinen mallintaminen

2. Tiedon esitysmuodot ja tallentaminen

JOTU 2013 / Kari Systä 35 4.11.2013

3. Tiedon siirto ja vaihto

Tiedonvälitysformaatteja

• Tarvitaan kun järjestelmät keskustelevat keskenään

• Vakiotavat ja standardit helpottavat

4.11.2013 JOTU 2013 / Kari Systä 36

37

Muita tiedon rakenteen ja esitystavan määrittelytapoja

• Merkkauskielet

– HTML

– SGML

– XML (ja siihen liittyvät standardit: DTD, XML Schema)

• ASN.1: tietoliikenteen sanomarakenteet

• …

JOTU 2013 / Kari Systä 4.11.2013

XML, DTD ja Schema

A B XML doku

DTD/ schema

JOTU 2013 / Kari Systä 38 4.11.2013

DTD ja Schema

• DTD – Document Type Definition

– Yksinkertainen

– Voi olla erillinen tai osa tiedostoa

• XML Schema

– Monipuolisempi

– Aito XML-dokumentti

4.11.2013 JOTU 2013 / Kari Systä 39

40

XML:n dokumenttityypin rakenteen määrittely: DTD (Document Type Definition).

• Tiedon rakenteen kuvaaminen.

<!DOCTYPE postitilaus [

<!ELEMENT postitilaus (vastaanottaja, tavara*)

<!ELEMENT vastaanottaja (nimi, osoite)>

<!ELEMENT tavara (nimeke, määrä, hinta)>

<!ELEMENT nimi (#PCDATA)>

<!ELEMENT osoite (#PCDATA)>

<!ELEMENT nimeke (#PCDATA)>

<!ELEMENT määrä (#PCDATA)>

<!ELEMENT hinta (#PCDATA)>

]>

JOTU 2013 / Kari Systä 4.11.2013

41

XML-dokumentti (joka on well-formed, mutta edellä esitetyn DTD-

kuvauksen mukaan ei valid )

<?xml version="1.0"?>

<postitilaus>

<vastaanottaja>

<nimi>Ahto Simakuutio</nimi>

<osoite>Hermiankatu 99, 33720 Tampere</osoite>

</vastaanottaja>

<tavarat>

<tavara>

<nimeke>Muistipiiri 256MX</nimeke>

<maara>2</maara>

<hinta>100</hinta>

</tavara>

<tavara>

<nimeke>Nokia Lumia 920</nimeke>

<maara>1</maara>

<hinta>750</hinta>

</tavara>

</tavarat>

</postitilaus>

• Jos dokumentti ei ole XML:ää, se ei ole ”well formed”

• XML-standardin mukaiset dokumentit ovat ”well formed”

• Tietyn DTD-kuvauksen tai scheman mukaiset kuvaukset ovat

”valid”

• XML-syntaksin mukainen dokumentti voi siis olla ”well

formed”, ”well formed but not valid” tai ”well formed and valid”

JOTU 2013 / Kari Systä 4.11.2013

42

… ja vastaava XML Schema <xsd:schema xmlns:xsd="http://www.w3.org/1999/XMLSchema">

<xsd:element name="postitilaus" type="tilaus"/>

<xsd:complexType name="tilaus">

<xsd:element name="vastaanottaja" type="osoitetiedot"/>

<xsd:element name="tavarat" type="tavaroidentiedot"/>

</xsd:complexType>

<xsd:complexType name="osoitetiedot">

<xsd:element name="nimi" type="xsd:string"/>

<xsd:element name=“osoite" type="xsd:string"/>

</xsd:complexType>

<xsd:complexType name="tavaroidentiedot">

<xsd:element name="tavara" type="tavaratiedot" maxOccurs=“*"/>

</xsd:complexType>

<xsd:complexType name="tavaratiedot">

<xsd:element name=“nimeke" type="xsd:string"/>

<xsd:element name="maara" type="xsd:positiveInteger"/>

<xsd:element name="hinta" type="xsd:decimal"/>

</xsd:complexType>

</xsd:schema>

JOTU 2013 / Kari Systä 4.11.2013

Toinen esimerkki

<?xml version="1.0" encoding="UTF-8"?>

<kml xmlns="http://www.opengis.net/kml/2.2"> <Document> <Placemark> <name>New York City</name> <description>New York City</description> <Point> <coordinates>74.006393,40.714172,0</coordinates> </Point> </Placemark>

</Document> </kml>

JOTU 2013 / Kari Systä 43 4.11.2013

http://www.opengis.net/kml/2.2

JOTU 2013 / Kari Systä 44 4.11.2013

XML:n etuja ja haittoja

• Yleinen

• Myös ihmisen luettava

– Eriäviäkin mielipiteitä on

• Joustava ja dynaaminen

– Esim uusi kenttä ei välttämättä riko vastaanottajaa

• Raskas ja monimutkainen

JOTU 2013 / Kari Systä 45 4.11.2013

Tutoriaaleja

Esimerkiksi nämä on ok

• http://www.sitepoint.com/xml-dtds-xml-schema/

• http://edutechwiki.unige.ch/en/DTD_tutorial

4.11.2013 JOTU 2013 / Kari Systä 46

Suunnitteluprosessi

Määrittely

Toteutus Järjestelmä

1. Käsitteellinen mallintaminen

2. Tiedon

JOTU 2013 / Kari Systä 47 4.11.2013

Big data mikä kumma se on

4.11.2013 JOTU 2013 / Kari Systä 48

HYPE

• Paljon palstatilaa lehdissä

• Määritelmät epämääräisiä – ja erilaisia

• Paljon odotuksia – paljon konsutteja

4.11.2013 JOTU 2013 / Kari Systä 49

Google statistiikkaa (www.google.com/trends)

4.11.2013 JOTU 2013 / Kari Systä 50

Yksi määritelmä

"Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization." Gartner, 2012

4.11.2013 JOTU 2013 / Kari Systä 51

Volume, velocity, variety

• Volume

– Tietoa on PALJON

• Velocity

– Uutta tietoa syntyy koko ajan

• Variety

– Tiedon esitystavat ovat moninaiset ja saattavat jopa muuttua

4.11.2013 JOTU 2013 / Kari Systä 52

Big Datan haasteet

4.11.2013 JOTU 2013 / Kari Systä 53

Analyysi

Ohjelmointi Tallennus

Esim. NoSQL tietokannat

Esim. MapReduce(HADOOP)

Uudet mate-maattiset

menetelmät

Business, Domain,

Laki …