Фёдор Строк - Базы данных - SQL, ORM, NoSQL

Федор Строк

Базы данных: SQL, ORM, NoSQL

3

План

1.Основные определения

2.Коротко о проектировании

3.SQL: основные конструкции

4.ORM

5.NoSQL

Определения

База данных

Система управления базами данных

Банк данных

Основные определения


База данных - это набор структурированной информации,

предназначенный для совместного использования несколькими

пользователями одновременно. Отдельные элементы данных в базе

данных связаны между собой логическими связями, взаимозависимы






Система управления базами данных (СУБД) — совокупность

программных и лингвистических средств общего или специального

назначения, обеспечивающих управление созданием и

использованием баз данных






Система управления базами данных (СУБД) — совокупность

программных и лингвистических средств общего или специального

назначения, обеспечивающих управление созданием и

использованием баз данных

Банк Данных - совокупность одной или нескольких баз данных и средств

управления (манипулирования) данными

Простыми словам

База данных - это набор информации, которую вы храните.

Система управления базами данных (СУБД) — это программа, которая

предоставляет доступ внешним приложениям к базе данных,

обеспечивает ее работу.

История БД

Теория баз данных

1.Молодая дисциплина ~30 лет

2.К 2020 году 40 зеттабайт (1021) (424

авианосца дисков Blue-ray)

Области вычислительной техники

1.Выполнение численных расчетов

2.Автоматические или автоматизированные

информационные системы – Хранение информации

– Бизнес-логика

– Интерфейс

– Появилась позже (медленные устройства хранения)

Нулевой этап

1.Шумерские глиняные

таблицы

Файловые системы

1.persistence – возможность сохранить

состояние программы между запусками

2.hosts – текстовый файл, хранящий БД

доменных имен. Имеет приоритет над DNS,

контролируется администратором

компьютера

3.127.0.0.1 localhost

81.176.66.163 lib.ru

81.176.66.163 www.lib.ru

69.16.226.196 www.qsl.net

Файловые системы

1.Избыточность данных

2.Несогласованность данных

3.Зависимость структур данных и

прикладных программ

4.Зависимость программ от данных – точно знать структуру записи файла с точностью до бита

5.Отсутствие централизованного управления

доступом

6.Многопользовательский режим

БД на больших ЭВМ

1.1968 - первая промышленная СУБД

система Information Management System

фирмы IBM – иерархическая (бд, сегмент,

поле)

2.Основные принципы: – Централизованная БД в режиме распределенного доступа

(управление доступом)

– ОС отвечает за распределение ресурсов

– Языки низкого уровня для манипулирования

– Много администрирования

– Обоснование и формализация реляционной модели (избыточность

данных)

– Понятие транзакции

– Первые языки высокого уровня для реляционной модели

(зависимость от данных в программах)

Эпоха ПК

1.Монопольный доступ

2.Развитый и удобный интерфейс

3.Поддержка и SQL, и низкоуровневого

манипулирования

4.Нет ссылочной и структурной целостности

5.Скромные требования к железу

Распределенные БД

1.Поддержка структурной целостности

2.Языковая целостность SQL

3.Ссылочная целостность

4.Поддержка многоплатформенной

архитектуры

5.Многопользовательская работа

6.Стандарты в SQL

7.Появление объектно-ориентированных БД

Проектирование БД

Основные этапы проектирования


1.Системный анализ и словесное описание

предметной области




2.Инфологическое моделирование





3.Даталогическое моделирование





3.Даталогическое моделирование

4.Физическое проектирование

Системный анализ


1.Выделить объекты и связи между ними



2.Два подхода: – Предметный подход

• Наиболее характерные и существенные объекты

• Возможна избыточная сложность

– Функциональный подход

• От задачи

• Легко выделить минимальный набор обязательных объектов









3.На практике – компромиссные варианты









3.На практике – компромиссные варианты

4.На выходе подробное описание:

входные/выходные документы, задачи,

алгоритмы

Инфологическая модель

1.Модель сущность-связь

2.Нотация Чена

3.Нотация Crow’s foot

Нотация Чена

Crow’s foot

Пример

1.БД для школы

Пример

Даталогическое моделирование

1.Разработка схемы БД

2.Правила целостности

3.Схема БД на основе реляционности

Реляционность

1.Данные в бд – набор отношений

2.Отношения отвечают условиям

целостности

3.Поддержка операторов манипулирования

(реляционная алгебра)

Нормальные Формы

1.1NF

2.2NF

3.3NF

4.BCNF

5.4NF

6.5NF

7.DKNF

8.6NF

1NF

Переменная отношения находится в первой нормальной форме тогда и

только тогда, когда в любом допустимом значении отношения каждый его

кортеж содержит только одно значение для каждого из атрибутов.

login E-mail

fdrstrok [email protected] [email protected]

vasya [email protected]

login E-mail

fdrstrok [email protected]

fdrstrok [email protected]

vasya [email protected]

mailto:[email protected]









2NF

Переменная отношения находится во второй нормальной форме тогда и

только тогда, когда она находится в первой нормальной форме и каждый

неключевой атрибут неприводимо зависит от её потенциального ключа

Сотрудник Должность Зарплата Наличие компьютера

Гришин Кладовщик 20000 Нет

Васильев Программист 40000 Есть

Иванов Кладовщик 25000 Нет

Сотрудник Должность Зарплата

Гришин Кладовщик 20000

Васильев Программист 40000

Иванов Кладовщик 25000

Должность Наличие компьютера

Кладовщик Нет

Программист Есть

3NF

Переменная отношения R находится в 3NF тогда и только тогда, когда

выполняются следующие условия:

- R находится во второй нормальной форме.

- ни один неключевой атрибут R не находится в транзитивной

функциональной зависимости от потенциального ключа R.

Tournament Year Winner Winner Date of Birth

Indiana Invitational 1998 Al Fredrickson 21 July 1975

Cleveland Open 1999 Bob Albertson 28 September 1968

Des Moines Masters 1999 Al Fredrickson 21 July 1975

Indiana Invitational 1999 Chip Masterson 14 March 1977

Tournament Year Winner

Indiana Invitational 1998 Al Fredrickson

Cleveland Open 1999 Bob Albertson

Des Moines Masters 1999 Al Fredrickson

Indiana Invitational 1999 Chip Masterson

Winner Date of Birth

Chip Masterson 14 March 1977

Al Fredrickson 21 July 1975

Bob Albertson 28 September 1968

42

Денормализация

43


1.Операция соединения – долгая

44



2.Когда запроса невозможно дальше

ускорять – «закэшировать» результат

соединения на уровне базы

45






3.Повышает риск нарушения целостности

46







4.Рекомендуется для БД, ориентированных

только на чтение

47







4.Рекомендуется для БД, ориентированных

только на чтение

5.Можно замедлить другие запросы

SQL

История

Основные операторы

Трехзначная логика

49

История SQL

1.1970, IBM, SEQUEL (Structured English

QUEry Language)

2.1986 первый вариант стандарта SQL-86

3.1989 доработки SQL-89

4.1992 значительные изменения

5.1999 регулярные выражения, рекурсивные

запросы, триггеры

6.2003 XML

7.2006 SQL+XQuery

8.2008 устранение неоднозначностей

50

MySQL vs MSSQL

• Order by – Mysql: есть недокументированная особенность с Null при минусе

перед именем столбца

• Boolean – MySQL: tinyint(1)

– MSSQL: Bit

• Char – MySQL: обрезает пробелы в конце

– MSSQL: обрезает их перед вызовами некоторых функций

• Подробнее, и не только про

MSSQL&MySQL:

http://troels.arvin.dk/db/rdbms/

http://troels.arvin.dk/db/rdbms/

51

DDL

Язык описания структуры БД

1.CREATE

2.ALTER

3.DROP

4.GRANT ALL ON *.* TO

'someuser'@'somehost';

52

DROP,CREATE

DROP TABLE IF EXISTS `class`; CREATE TABLE `class` ( ìd` int(11) DEFAULT NULL, `grade` int(11) NOT NULL, `letter` char(1) NOT NULL, `teacher_id` int(11) NOT NULL, UNIQUE KEY ìd` (ìd`), CONSTRAINT `class_ibfk_1` FOREIGN KEY (`teacher_id`) REFERENCES `teacher` (ìd`)) ON DELETE

CASCADE;

53

ALTER

ALTER TABLE class ADD COLUMN `head_id` int(11) NOT NULL; ALTER TABLE class MODIFY letter char(2) NOT NULL DEFAULT ‘A’;

54

DML

Язык управления данными

1.Select

2. Insert

3.Update

4.Delete

55

INSERT

INSERT INTO class VALUES (1,9,'A',1);

INSERT INTO class(id,grade,letter,teacher_id) VALUES(2,9,'B',2),(3,9,'C',3);

INSERT IGNORE INTO class(id,grade,letter,teacher_id) VALUES(2,9,'B',3),(4,10,'A',3);

INSERT INTO class(id,grade,letter,teacher_id) VALUES(2,9,'B',3) on duplicate key update teacher_id=values(teacher_id);

56

UPDATE

UPDATE class SET head_id = 0; UPDATE class SET letter='A' WHERE id = 3;

57

SELECT

SELECT * FROM class; SELECT * FROM section JOIN teacher ON section.teacher_id = teacher.id; SELECT name,count(*) FROM section LEFT JOIN section_pupil ON section_pupil.section=section.id GROUP BY name;

58

Join

JOIN — оператор языка SQL, который

является реализацией операции соединения

реляционной алгебры

Итоговая схема – сцепление схем

Итоговые кортежи – сцепление строк таблиц

59

Join

Виды:

- Inner

- Left

- Right

- Full outer

- Cross

Фамилия Группа

Иванов 1

Петров 2

Сидоров 1

Васильев 3

Группа Название

1 171

2 241

4 172

60

CROSS

Фамилия Группа Группа Название

Иванов 1 1 171

Петров 2 1 171

Сидоров 1 1 171

Васильев 3 1 171









61

INNER





62

LEFT





Васильев 3 NULL NULL

63

RIGHT





NULL NULL 4 172

64

FULL OUTER





NULL NULL 4 172

Васильев 3 NULL NULL

65

CCL

Язык управления курсорами

1.Declare

2.Open

3.Fetch

4.Close

66

DCL

1.Язык работы с правами доступа

2.Grant

3.Revoke

4.GRANT SELECT, INSERT ON mydb.* TO

'someuser'@'somehost';

67

Хранимые процедуры

1.Операторы уже в БД

2.Оптимизация и компиляция на стороне

сервера

3.Поддерживают модульное

программирование

4.Можно вызывать «снаружи»

5.Быстрее

68

Триггеры

1.Хранимая процедура особого типа – После insert, delete, update

2.Обеспечение целостности и сложная

бизнес логика

3.Запускается автоматически сервером

4.До или после события

5.Не надо пересылать через сеть

дополнительные команды

69

Транзакции

1.Пример – перевод средств со счета на счет

2.Требование ACID

3.Атомарность

4.Согласованность – Списываемая сумма = зачисляемой сумме

5.Изолированность

6.Надежность

70

Транзакции: TCL

1.COMMIT

2.ROLLBACK

3.SAVEPOINT

4.START TRANSACTION

ORM

Что и зачем?

1.Технология, связывающая БД и ООП

2.По сути: построить по объектам структуру

хранения в БД, чтобы можно было

восстанавливать свойства

3.Хочется не зависеть от «наречия» SQl

SQLAlchemy

1.Python, SQL, ORM

Необходимые импорты для создания таблиц:

Подготовка

from sqlalchemy import create_engine, ForeignKey

from sqlalchemy import Column, Date, Integer, String

from sqlalchemy.ext.declarative import declarative_base

from sqlalchemy.orm import relationship, backref

engine = create_engine('sqlite:///mymusic.db', echo=True)

Base = declarative_base()

Музыкант

class Artist(Base):

__tablename__ = "artists"

id = Column(Integer, primary_key=True)

name = Column(String)

def __init__(self, name):

self.name = name

Альбом

class Album(Base):

__tablename__ = "albums"

id = Column(Integer, primary_key=True)

title = Column(String)

release_date = Column(Date)

publisher = Column(String)

media_type = Column(String)

artist_id = Column(Integer, ForeignKey("artists.id"))

artist = relationship("Artist",backref=backref("albums", order_by=id))

def __init__(self, title, release_date, publisher, media_type):

self.title = title

self.release_date = release_date

self.publisher = publisher

self.media_type = media_type

Base.metadata.create_all(engine)

Добавление данных


# create a Session

Session = sessionmaker(bind=engine)

session = Session()

# Create an artist

new_artist = Artist("Newsboys")

new_artist.albums = [

Album("Read All About It", datetime.date(1988,12,01), "Refuge", "CD")

]

session.add(new_artist)

session.commit()

Модификация данных

from table_def import Album, Artist


# create a Session


session = Session()

# querying for a record in the Artist table

res = session.query(Artist).filter(Artist.name=="Kutless").first()

print res.name

# changing the name

res.name = "Beach Boys"

session.commit()

Удаление данных


# create a Session


session = Session()

res = session.query(Artist).filter(Artist.name=="MXPX").first()

session.delete(res)

session.commit()

Выборка данных

# how to do a SELECT * (i.e. all)

res = session.query(Artist).all()

for artist in res:

print artist.name

# how to SELECT the first result

res = session.query(Artist).filter(Artist.name=="Newsboys").first()

# how to sort the results (ORDER_BY)

res = session.query(Album).order_by(Album.title).all()

for album in res:

print album.title

Django ORM

1.Python, SQL, ORM

2.Чуть более ограничен

3.Нетривиально использовать только ORM

Django ORM (без Django )

#!/usr/bin/python

# -*- coding: utf-8 -*-

from django.conf import settings

settings.configure( DATABASES = {

'default': { 'ENGINE': 'django.db.backends.sqlite3',

'NAME': 'db.sqlite', }

} )

from django.db import models

class Person(models.Model):

nick = models.CharField(max_length=100, unique=True)

email = models.EmailField(max_length=100, unique=True)

def __unicode__(self):

return self.nick

class Meta: app_label = ''

Django ORM (без Django )

def create_table(cls):

from django.db import connection

from django.core.management.color import no_style

sql, references = connection.creation.sql_create_model(cls, no_style())

cursor = connection.cursor()

for q in sql:

try:

cursor.execute(q)

except:

pass

def main():

create_table(Person)

if __name__ == "__main__": main()

NOSQL

85

Примеры по типам

1.WideColumn – Hadoop

– Cassandra

2.Document – MongoDB

– CouchDB

3.Key Value/Tuple – Redis

– Elliptics

– memcached

4.Graph Databases – Neo4j

5.Etc.

86

MongoDB

1.Схема данных заранее может быть

неизвестна

2.Эффективно использует доступную память

3.Простой orm для python

4.Используем

87

> j = { name: "mongo" }

{ "name" : "mongo" }

> k = { x: 3}

{ "x" : 3 }

> l = {x: 3, y: false}

{ "x" : 3, "y" : false }

> db.testData.insert(j)

> db.testData.insert(k)

> db.testData.insert(l)

> db.testData.find()

{ "_id" : ObjectId("532ef8c23250ec8ece76df6f"), "name" : "mongo" }

{ "_id" : ObjectId("532ef8c73250ec8ece76df70"), "x" : 3 }

{ "_id" : ObjectId("532ef8cb3250ec8ece76df71"), "x" : 3, "y" : false }

> db.testData.find({x: 18})

> db.testData.findOne({x: 3})


> db.testData.find().limit(2)

{ "_id" : ObjectId("532ef8c23250ec8ece76df6f"), "name" : "mongo" }


MongoDB

88

MapReduce

1.Модель распределенных вычислений

2.Данные шардируются и реплицируются

3.Позволяет обрабатывать Большие данные

4.Данные неоднородные

89

На Map-шаге происходит предварительная обработка входных данных.

На Reduce-шаге происходит свёртка предварительно обработанных данных.

Главный узел получает ответы от рабочих узлов и на их основе формирует

результат — решение задачи, которая изначально формулировалась.

void map(String name, String document):

for each word w in document:

EmitIntermediate(w, "1");

void reduce(String word, Iterator partialCounts):

int result = 0;

for each v in partialCounts:

result += parseInt(v);

Emit(AsString(result));

Map & Reduce

90

MapReduce: общие друзья

1.A -> B C D

2.B -> A C D E

3.C -> A B D E

4.D -> A B C E

5.E -> B C D

91

MapReduce: map

1.A -> B C D – (A B) -> B C D

– (A C) -> B C D

– (A D) -> B C D

2. ...

3.E -> B C D – (B E) -> B C D

– (C E) -> B C D

– (D E) -> B C D

92

MapReduce: map output

1. (A B) -> (A C D E) (B C D)

2. (A C) -> (A B D E) (B C D)

3. (A D) -> (A B C E) (B C D)

4. (B C) -> (A B D E) (A C D E)

5. (B D) -> (A B C E) (A C D E)

6. (B E) -> (A C D E) (B C D)

7. (C D) -> (A B C E) (A B D E)

8. (C E) -> (A B D E) (B C D)

9. (D E) -> (A B C E) (B C D)

93

MapReduce: reduce

1.Найти общих в двух списках

2.Reduce((A D) -> (A B C E) (B C D)) => (B C)

94

MapReduce: reduce output

1. (A B) -> (C D)

2. (A C) -> (B D)

3. (A D) -> (B C)

4. (B C) -> (A D E)

5. (B D) -> (A C E)

6. (B E) -> (C D)

7. (C D) -> (A B E)

8. (C E) -> (B D)

9. (D E) -> (B C)

95

Внеклассное чтение

1.Проектирование: – К. Дж. Дейт: Введение в системы баз данных

– Д. Кренке. Теория и практика построения баз данных.

2.SQL упражнения: http://sql-ex.ru/ +

http://www.sql-tutorial.ru/

3.Mongo: https://education.mongodb.com/

http://sql-ex.ru/

http://sql-ex.ru/

http://sql-ex.ru/

http://sql-ex.ru/





https://education.mongodb.com/

https://education.mongodb.com/

Федор Строк

8-915-103-79-28

[email protected]

Вопросы?

Documents

Фёдор Строк - Базы данных - SQL, ORM, NoSQL