Download pdf - Firebird Bellavista Mella Silm1112

Firebird DBMS

Daniele Bellavista, Luca Mella

Università di Bologna

December 5, 2011

Daniele Bellavista, Luca Mella (Unibo) Firebird DBMS December 5, 2011 1 / 49

Outline I1 Introduction

2 Architettura InternaClient-ServerPagine e FileTipi di DatoIndiciTransazioni

3 Firebird Structured Query LanguageStored ProcedureTriggerCursoriEccezioni

4 SecurityUtentiRuoli

5 ConcorrenzaDaniele Bellavista, Luca Mella (Unibo) Firebird DBMS December 5, 2011 2 / 49

Outline IIFirebird SupportMVCCLocking

6 Fault TolleranceReplicazioneHot Backup

7 OttimizzazionePiani di accessoBenchmark

8 References


Una breve introduzione a Firebird I

Un DBMS Open Source

Disponibile per Windows, Linux, Apple Macintosh OS/X, FreeBSD ealtre piattaforme UNIX-based.

Lo sviluppo di Firebird è supportato dalla Firebird Foundation.

Codice sorgente disponibile sotto licenza InterBase Public License (èpossibile costruire software a sua volta sotto licenza IPL utilizzando emodi�cando liberamente il codice).

Sono disponibili vari tools (gratuiti e non) prodotti da terzi (es: GUImanager, Replication support).

Sono disponibili vari connectors: ODBC, JDBC, Python, .NET eDelphi driver.


Una breve introduzione a Firebird II

Firebird: le origini

Firebird nacque dal codice sorgente di InterBase 6.0 Open Editiondella Borland, rilasciato sotto licenza IPL nel Giugno 2000.

L'ultima release di Firebird è la 2.5.51, scritta in C++. Il codicesorgente è disponibile su Sourceforge.

Firebird web-site link: http://www.�rebirdsql.org/.

Sourceforge project link: http://sourceforge.net/projects/�rebird/.


Architettura Server e Client

Server

SuperServer: multithreading (un thread per ogni connessione). Ogni threadutilizza lo stesso database cache bu�er (il page bu�er).

Classic Server: ogni connessione è gestita da un processo con il proprio dbcache bu�er.

Client

I client si connettono al server via TCP/IP o utilizzando WindowsNetworking. Firebird mette a disposizione �isql� un client a linea dicomando.


Architettura del Database I

File

I database di Firebird sono memorizzati in uno o più �le, creatiesplicitamente dall'utente.

CREATE DATABASE 'C:\db\myDB.fdb'PAGE_SIZE 8192LENGTH 1024FILE 'C:\db\myDB.fd1'LENGTH 100FILE 'C:\db\myDB.fd2'

Nell'esempio riportato, è creato un un database formato da un �leprimario e da due �le secondari. L'ultimo �le è riempito �no ai limiti odel �lesystem o di Firebird.

Ogni �le è vincolato da Firebird ad una dimensione massima di 32 TiB.


Architettura del Database II

Pagine

I database di Firebird sono composti da sequenze di pagine adimensione �ssa. Ogni pagina contiene un header che contiene unidenti�catore del tipo di pagina, un checksum e altre informazioninecessarie al DBMS per la corretta interpretazione.

Header Page pagina di header, la prima pagina del database. Nel caso dimulti-�le database, l'header dei rimanenti �le contienesolamente la lunghezza e il nome del �le successivo.

Transaction Inventory Page contiene le informazioni relative ad unatransizione, identi�candone lo stato: committed, rolled back,limbo (una transazione a due fasi, che lavora su duedatabase, ha committato solo la prima fase), active.

Data Page pagina data associata ad un'unica tabella. Contiene records eBLOB di piccole dimensioni.


Architettura del Database III

Index Root Page pagina che descrive tutti gli indici di una sola tabella. Alsuo interno contiene i puntatori alle radici dei B-Tree,memorizzate in pagine di tipo B-Tree Page.

Blob Page pagina che memorizza i BLOB di grandi dimensioni.Contiene, se esiste, un riferimento alla pagina che ne contieneil seguito.


Architettura del Database IV

Limiti

A causa della dimensione �ssa delle pagine, nascono delle limitazioni su variaspetti:

Numero massimo di tabelle: 32K

Dimensione massima di una tabella: 32 TiB

Numero massimo di record per tabella: 16G

Dimensione massima di un record: 64 KiB

In ogni caso, grazie alla possibilità di avere un multi-�le database, ladimensione massima di un DB è arbitrariamente espandibile.


Architettura del Database V

Alter Support

Firebird permette di e�ettuare l'alter a vari livelli; ad esempio èpossibile alterare il database introducendo nuovi �le.

ALTER DATABASE ADD FILE �lepath[STARTING [AT [PAGE]] pagenum] [LENGTH [=] num [PAGE[S]]

È possibile alterare una tabella aggiungendo o rimuovendo unacolonna, modi�candone il tipo, aggiungendo constraints come chiavepimaria e indici, ma non è possibile imporre il NOT NULL ad uncampo già creato.


Architettura del Database - Data Type I

Data Types

Standard data types Char, Smallint, Integer, BigInt, Float, Double.

Date and Time Timestamp (64 bit), Date (32 bit), Time (32 bit a 4decimali - picosecondi - )

Binary Large OBject BLOB memorizzati in pagine separate, con unadimensione massima di 32 GiB.


Architettura del Database - Data Type II

Custom Data Types

È possibile de�nire dei domini, ovvero un tipo di dato che è un tipo di datoprimitivo con l'aggiunta di un valore di default e delle check condition.CREATE DOMAIN domain_nameAS datatype [CHARACTER SET <charset>]DEFAULT {literal | NULL | USER}[NOT NULL][CHECK (<dom_check_condition>)][COLLATE <collation>];

Custom Data Types: Esempio - String Enum Type

CREATE DOMAIN db_enumAS varchar(20) CHECK (value IS NULL OR value IN('Firebird','MySQL','MSSQL'));


Architettura del Database - Indici I

Indici

Firebird utilizza indici rappresentati come B-Tree. Supporta indiciprimary e secondary, indici multi-attributo, ascending o descending.

In �rebird il costo di accesso ad un indice clustered o unclustered èidentico: durante l'accesso agli indici, è raccolta una bitmap di recordlocaters, riferimenti ai record. Una volta terminata la ricerca, si accedealle Data Page in un certo ordine evitando caricamenti ripetuti dellastessa pagina.

Sempre utilizzando la bitmap, Firebird è in grado di utilizzare campipresenti in indici diversi per ottimizzare la ricerca.


Architettura del Database - Indici II

Indici - Esempio Combinazione di Indici

Data una tabella FILM(ID, Titolo, Regista, Anno, Distribuzione) e treindici su Regista, Anno e Distribuzione e la querySELECT titolo FROM FILMWHERE Regista='Neill Blomkamp' AND Anno=2009 ANDDistribuzione='Sony Pictures'L'ottimizzatore potrebbe avvalersi dei tre indici separati per e�ettuarela ricerca.


Architettura del Database - Indici III

Indici - Side-E�ect del versioning

In particolari query come count(*), o di lettura del dato indicizzato, unottimizzatore potrebbe decidere di utilizzare le informazioni ricavatedalla struttura dati dell'indice piuttosto che accedere alle pagine dati.

Come spiegato più avanti, Firebird gestisce transazioni concorrenti�versionando� i dati. Una transazione può utilizzare dati che sonocaratterizzati da una data versione, ma questa informazione non èreplicata nelle pagine del B-Tree.

Di conseguenza Firebird deve accedere in ogni caso alle pagine datiper ottenere la versione del dato.


Architettura del Database - Transazioni

Transazioni

ACID

No-autocommit mode

Ogni query inizia implicitamente una transazione, da terminare con unCOMMIT o un ROLLBACK

Per iniziare una transazione si utilizza lo statement STARTTRANSACTION

È possibile creare dei savepoints con lo statement SAVEPOINT ee�ettuare dei RELEASE o dei ROLLBACK sul savepoint.


Firebird SQL

Dialetti SQL

Firebird è conforme allo standard SQL-92, inoltre implementa alcunefeature come stored procedure, triggers, role ed eccezioni.

Firebird utilizza tre dialetti di SQL:

Extended-SQL e Dynamic-SQL Linguaggi utilizzati in tutte le queryche non siano stored procedure.

Procedural-SQL Linguaggio utilizzato nelle stored procedure


Firebird SQL - Stored Procedures I

Stored Procedure

Una stored procedure è un modulo richiamabile da client, altre storedprocedure o trigger.

Le stored procedure eseguono codice PSQL e la loro creazione avvienetramite ESQL e DSQL, quindi non è possibile per una storedprocedure creare una stored procedure.

All'interno del codice PSQL è possibile utilizzare lo statementSUSPEND che ritorna una row composta dai valori di ritorno alchiamante.


Firebird SQL - Stored Procedures II

Stored Procedure - EsempioSET TERM #;CREATE PROCEDURE mul (N INTEGER)RETURNS (Res INTEGER)AS

DECLARE C int;

DECLARE Tmp INTEGER;

BEGIN

Res = 0;C = 1;WHILE (C <= N) DObegin

SELECT n.Numb FROM Numbers n WHERE n.ID = :C INTO :Tmp;Res = Tmp + Res;C = C + 1;

end;

SUSPEND;

END#


Firebird SQL - Stored Procedures III

Esecuzione di una Stored Procedure

Per eseguire una stored procedure si utilizza lo StatementEXECUTE PROCEDURE procname [in_item {, in_item }][RETURNING_VALUES out_item , out_item]

Oppure, se si è incluso lo statement suspend, si può utilizzare:SELECT * FROM procname

L'utilizzo della SELECT comporta la possibilità di creare viste da unastored procedure.


Firebird SQL - Stored Procedures IV

Limitazioni di PSQL

Essenzialmente PSQL non permette di e�ettuare le seguentioperazioni:

1 CREATE / ALTER / DROP (database, tabelle, eccezioni, storedprocedure, . . . ).

2 Transaction Control

A di�erenza di SQL Server, non è disponibile una funzione di print sustandard output.


Firebird SQL - Altri Statements PSQL I

TriggerCREATE TRIGGER Log_Price_Upd FOR ArticlesAFTER INSERT OR UPDATEAS BEGIN

IF INSERTING THEN

INSERT INTO PRICE_LOGS (ART_ID, ACTION, DATETIME, NEW_PRICE) VALUES(NEW.ART_ID, 'I', current_timestamp, NEW.PRICE);

ELSE

INSERT INTO PRICE_LOGS (ART_ID, ACTION, DATETIME, NEW_PRICE) VALUES(NEW.ART_ID, 'U', current_timestamp, NEW.PRICE);

END;

CREATE TRIGGER tr_connect ON CONNECTAS BEGIN

INSERT INTO dblog (who, when, what) VALUES (current_user, current_timestamp, 'connected');

END


Firebird SQL - Altri Statements PSQL II

Cursori//* PSQL block *//DECLARE cur CURSOR FOR SELECT p.num1, p.num2 FROM Prova p FOR UPDATEBEGIN

OPEN cur;

WHILE (1 = 1) DO

BEGIN

FETCH cur INTO n1, n2;IF (row_count = 0) THEN LEAVE;IF(n1 > n2) THEN UPDATE Prova SET n2 = n1 WHERE CURRENT OF cur;SUSPEND;

END;


Firebird SQL - Altri Statements PSQL III

Eccezioni//*ESQL code*//CREATE EXCEPTION My_Exception 'My Exception message'

//*PSQL code*//WHEN EXCEPTION My_Exception DO

BEGIN

//*do things*//

END

WHEN ANY DO

BEGIN

//*do things*//EXCEPTION; //* retrhow catched exception *//

END


Firebird Security I

Sicurezza in Firebird

Disponibile solo un supporto basilare di gestione utenti.Desiderata: hide del codice di Stored Procedure e Triggers da parte dialtri utenti.

I Soluzione: non esiste una soluzione e�cace.

Desiderata: connessione sicura al server database remoto.I Soluzione: costruzione a mano di un tunnel ssh.

Desiderata: cifratura del contenuto del database.I Soluzione: cifratura del �lesystem con tool esterni o cifratura a mano

dei contenuti delle tabelle.


Firebird Security II

Livelli di protezione

Due livelli di protezione:1 Validazione utente in fase di CONNECT al database.2 Controlli a livello di database utilizzando utenti e privilegi de�niti in

SQL.

Gestione degli utenti

Utente root: SYSDBA.

Creazione di un utente tramite utility gsec.

Possibilità di utilizzare utenti di sistema, con pattern hostname[username]. Tuttavia non è possibile utilizzare Server e Client congestione utenti incompatibili (Unix e Windows).


Firebird Security III

Privilegi di utenti

Operatori GRANT e REVOKE su:I INSERT, UPDATE, DELETE, SELECT (viste e tabelle).I EXECUTE ON PROCEDURE procname.I REFERENCE (permesso del server di eseguire un lookup sulle righe in

una relazione con primary/foreign key)


Firebird Security IV

SQL Roles

Utilizzo di SQL Roles, template per utenti, insiemi di privilegi.

CREATE ROLE rolename

È possibile fare GRANT e REVOKE su un roles.

Dopo aver creato un utente gli si può fare il GRANT di un ruolo:GRANT rolename ON username;

Se un utente ha più ruoli, può connettersi ad un database speci�candoun ruolo: CONNECT database USER user PASSWORD passwordROLE role;

Ruolo prede�nito di amministratore: ADMIN.


Concorrenza - Firebird Support I

Firebird Support

Consistency

ANSI/ISO SERIALIZABLE equivalente

Concurrency

Read Committed

rilascia r-lock appena possibilenon-repetable read possibile

Wait/No wait

in caso di con�itto di scritturaattendi altra transazione o no

Snapshot/No Snapshot

ANSI/ISO REPEATABLE READS equivalente

Firebird default. . .


Concorrenza - Firebird Support II

Concurrency, Wait, Snapshot

Dirty writes: No

solo l'ultima versione può essere modi�cata

Dirty reads: No

le transazioni non vedono altre versioni del db

Repeatable read: Yes

cambiamenti e�ettuati da transazioni concorrentisono ignorati


Concorrenza - MVCC IMulti Version Concurrency Control

Concetti chiave

Record version, ogni transazione vede una certa versione.

Transaction signature (aka Transaction-id).

Write solo su ultima versione

Proprietà

+ Read mai bloccate.

- Generazione di più versioni.


Concorrenza - MVCC IIMulti Version Concurrency Control

Quando una transazione accede ad un record. . .

Il sistema controlla se la �rma appartiene ad una transazioneCOMMITTED o ACTIVE.

In caso di COMMITTED T.ritorna la versione più recentedel record.

In caso di ACTIVE T. ritorna (egenera) una versione precedente.

Ok, ma. . . come??

Ricordate che il Transaction Manager mantiene un log delle transazioni sonsegnate tutte le operazioni che sono state fatte?Attraverso questo log il CM (Cuncurrency Manager) è capace di ricostruirele versioni precedenti dei record.


Concorrenza - MVCC IIIMulti Version Concurrency Control

Table: Example scenario

Time Transaction T1 Transaction T2

1 begin x is signed with 1202 begin3 R(x), W(x) T1 sign x with 1254 R(x) T2 reads previous version (120)5 Commit6 W(x) T2 has not the most recent version! FAIL7 Rollback

NOTASe si scambia 5 con 6, il comportamento di T2 sarà quello di attendere T1, perchè in caso difallimento (e rollback) di T1 il suo update sarà consistente.


Concorrenza - Locking

Locking Support

2 Phase Locking

R/W lockingLock Promotion and Demotion

I Prima richiedi lock su record, in caso di grande numero di recordscambia i lock ottenuti con un lock su tabella.

I Prima richiedi lock su tabella, in caso di accesso concorrente alla stessatabella richiedi lock su record.

Granularity

DataBase lock, in caso di restore da backup (usa locking fornitodall'OS)

Table lock

Record lock

Predicate lock, niente phandom records (costoso)


Fault Tollerance - Replicazione I

Tipi di replicazione supportati

Synchronous aggiornamenti propagati a real-time

- performance (computazione online).+ consistenza.

Asynchronous aggiornamenti propagati a tempo arbitrario

+ performance-saving.- meno consistenza tra le repliche.


Fault Tollerance - Replicazione II

Realizzazione di replicazione asincrona

Relativamente semplice, di base solo pochi elementi sono necessari:CHANGELOG table,

I eg.(<U|A|D>, <KEYFIELDNAME> ,<SOURCEKEY>,<SOURCETABLE>,<USERNAME> , <Olds> , <News> )

Triggers su tabella sorgente, per riempire il CHANGELOG

Servizio di replicazione, che legge CHANGELOG periodicamente ede�ettua i cambiamenti sulla replica.

Altre soluzioni

Soluzioni e con�gurazioni più so�sticate possono essere realizzate usandosuite software ad-hoc come IBRreplicator, che gestisce più sorgenti e piùdestinazioni in entrambe le maniere (SYNC, ASYNC).


Fault Tollerance - Hot Backup I

nbackup, un tool per hot-backup

Features:

Backup Incrementale ( -B <n>, with n>0 )

Disabilitazione trigger ( -T )

Locking del database �le (backup manuale) ( -L,-N )

Example

nbackup -B 0 db.fdb db1-Oct-2011.nbk /*full backup*/nbackup -B 1 db.fdb db2-Oct-2011.nbk /*incremental*//*restoring incremental*/nbackup -R <db> [<backup0> [<backup1> [...] ] ]


Fault Tollerance - Hot Backup II

Altri tool: gbak, gstat e g�x

gbak stesse feature di nbackup, ma con controllo più �ne (splitting,remote backups,create/overwrite. . . )

gstat toole per report statistici (analizza indici, pagine, cache. . . )

g�x admin tool (start e stop del db, risolve transazioni in 'limbo'. . . )

Nota

Per completare un restore con successo (specialmente in overwrite mode) èuna buona pratica spegnere il database prima di cominciare.Eg./*Shut down database, wait 60 seconds until all connections are closed*/g�x -user SYSDBA -password "masterkey" dbserver:/db/mydb.fdb -shut-attach 60


Ottimizzazione I

Query Optimizer

Ottimizzatore cost-basedDe�nizione di statistiche (eg. SET STATISTICS INDEX index-name)

I Tiene traccia del fattore di carico delle pagineI Lunghezza media dei record e cardinalitàI Profondità B+treeI Fattore di clustering (sparsità dati)I numero di NULLs

Il ricalcolo delle statistiche non è pienamente automatizzato. . .

E'triggerato per default quando le statistiche sono a 0.Il DBA dovrebbe scriversi qualche procedura/trigger per farlo.


Ottimizzazione II

Table scan algorithms

Cardinalità, selettività, contatori di NULL sono considerati

SEQUENTIAL SCAN

INDEX SCAN (vedi prima parte:))You should know them :D

Join algorithms

Firebird considera cardinalità e selettività per decidere quale algoritmousare

NESTED LOOP JOIN

SORT MERGE JOIN

HASH JOIN not yet implemented!You should know them too :D


Ottimizzazione III

Group by algorithms

Firebird d considera cardinalità e selettività per decidere

SORT Aggregation

Legge un record in input che è stato ordinato per il campo diraggruppamentoAppena letto il record, viene comparato con il precedenteSe i campi di raggruppamento matchano, allora aggiorna ilgruppo.Altrimenti il gruppo è �nito.

HASH Aggregation

Crea una hash table (in-memory) dei campi di raggruppamento.Come leggi un record, aggiorna il corrispondente gruppo.Computa tutti i record prima di ritornare i gruppi.Computazione dei gruppi avviene in parallelo


Optimization - Piani di accesso I

Visualizzare un piano d'accesso

SET PLANONLY ON;SELECT a.emp, b.currency FROM a INNER JOIN b ON a.�eld = b.�eld;PLAN JOIN (A NATURAL,B INDEX (RDBPRIMARY1))/*This is the execution plan,wich means that �rebird optimizator will accessto A naturally (sequentially) and to B through his primary key's index */

Speci�care un piano di accesso a piacere

SELECT . . .. . . ORDER BY column1/* Here you can specify wich kind of join to use and how access torelations*/PLAN [JOIN] | [SORT] [MERGE] ] (<table1> NATURAL,<table2> INDEX (<indexname>));


Optimization - Benchmark I

TPC-B

Misura il throughput in termini di numero di transazioni gesitenell'intervallo di tempo tramite l'emulazione di un tipico screnario bancario(conti, �liali, cassieri e storico).

EMP7

Benchmark non standard, si basa su una query CPU intensive che coinvolgeun unica relazione (tabella) contenente solo 14 record. Join multipli sullastessa relazione garantiscono un fardello computazionale notevole.


Optimization - Benchmark II


Optimization - Benchmark III

Nota

Piano d'accesso simile per entrambi i dbms. . .

Nested Loops Join

Sequential access

10 records, 100 iterations in EMP7scale 10, 1000 iterations in TPCB


References I

Function and Design Documentationhttp://www.ibphoenix.com/resources/documents/design

Language Referencehttp://www.firebirdsql.org/file/documentation/reference_

manuals/reference_material/html/langrefupd25.html

Users and Securityhttp:

//www.ibphoenix.com/resources/documents/search/doc_59

Async Replicationwww.ibphoenix.com/resources/documents/how_to/doc_316

Replicationwww.ibphoenix.com/products/software/ibreplicator


http://www.ibphoenix.com/resources/documents/design

http://www.firebirdsql.org/file/documentation/reference_manuals/reference_material/html/langrefupd25.html

http://www.firebirdsql.org/file/documentation/reference_manuals/reference_material/html/langrefupd25.html

http://www.ibphoenix.com/resources/documents/search/doc_59


www.ibphoenix.com/resources/documents/how_to/doc_316

www.ibphoenix.com/products/software/ibreplicator

References II

MVCChttp:

//www.ibphoenix.com/resources/documents/articles/doc_27

Lockinghttp:

//www.ibphoenix.com/resources/documents/search/doc_48

Optimization Ihttp://ibexpert.net/ibe/index.php?n=Doc.Optimization

Optimization IIhttp://www.slideshare.net/ibsurgeon/

firebird-costbased-optimization-and-statistics-by-dmitry-yemanov-in-english

Algorithmshttp://dcx.sybase.com/1001/en/dbugen10/

ug-grouping-optimizer-queryopt.html


http://www.ibphoenix.com/resources/documents/articles/doc_27

http://www.ibphoenix.com/resources/documents/articles/doc_27



http://ibexpert.net/ibe/index.php?n=Doc.Optimization

http://www.slideshare.net/ibsurgeon/firebird-costbased-optimization-and-statistics-by-dmitry-yemanov-in-english

http://www.slideshare.net/ibsurgeon/firebird-costbased-optimization-and-statistics-by-dmitry-yemanov-in-english

http://dcx.sybase.com/1001/en/dbugen10/ug-grouping-optimizer-queryopt.html

http://dcx.sybase.com/1001/en/dbugen10/ug-grouping-optimizer-queryopt.html

Questions

?
