NoSQL бази от данни - възможности и приложение, дипломна защита

NoSQL бази от данни – възможности и приложение

Автор: Веселин Николов, М-22528Ръководител: доц. д-р Калинка КалояноваКатедра: “Компютърна информатика”, ФМИ

NoSQL БД – възможности и приложение, Веселин Николов

Магистърска теза

Цел на дипломната работа


1. Решение на проблеми в RDBMS чрез употреба на NoSQL

2. Сравнение на различни NoSQL БД с MySQL

Проблеми пред RDBMS

• Скалируемост• Partitioning• Sharding• Кеширане• Денормализация• Промени в схемата


NoSQL решения

• Отказ от SQL• Отказ от фиксирана схема• JavaScript, JSON, REST• Евентуална консистентност• MapReduce• GFS, HDFS


NoSQL бази от данни

• BigTable, Dynamo• Cassandra, Riak• CouchDB, MongoDB• Redis, MemcacheDB• Hadoop, Hbase, RavenDB,

Kyoto Cabinet, Sherpa, Neo4j и др.


Google BigTable

• Многомерен масив• Колони и семейства от колони• SSTable• Компресия• GFS• 2004 г.


Amazon Dynamo

• Хоризонтално скалируема• Евентуално консистентна• Равнопоставени сървъри• Key/value БД• put/get• 2007 г.


Cassandra

• BigTable + Dynamo = Cassandra• Настройваема консистентност• Колони, семейства, суперколони• Cassandra-cli shell• Вместо индекси, нови семейства• Gossip• Java, Thrift


CouchDB

• Документи• REST, JavaScript, JSON• Материални изгледи• MapReduce• MVCC – ревизии на

документите


MongoDB

• Документи• Индекси• Mongo shell• JSON, JavaScript, MapReduce• ReplicaSet, auto sharding*


Hadoop

• HDFS

• MapReduce

• HBase

• Pig

• Hive


Проведени тестове

• Тестове за запис на данни

• Тестове за извличане на данни

• Обобщения с MapReduce

• Replica Set с MongoDB

• Наблюдение на заеманото място


Ограничения

• Отделни системи за тест и БД

• Конфигурация по подразбиране

• Малко памет

• Малък мащаб

• Елементарни задачи


Запис на данни

1000 документа в 1 нишка

MySQL: 49 sec, MongoDB 6.3 sec, Cassandra: 8 sec


Запис на данни

5000 документа в 50 нишки

MySQL: 65 sec, MongoDB 21 sec, Cassandra: 23 sec


Извличане на данни

1000 изчитания на статия с нейните коментари, конкурентно в 10 нишки

MySQL: 2.4 sec, CouchDB: 0.57 sec.


Обобщение

• Прости и бързи

• Скалируеми (ReplicaSet тест)

• MapReduce и SQL

• NoSQL и HDD

• Нужни са тестове, преди внедряване


Перспективи за развитие

• MongoDB single server durability• Cassandra – конфигурация в реално време• CouchDB – подреждане на MapReduce

• Hadoop PIG, Hadoop Hive QL• MapReduce в RDBMS


Въпроси?


Благодаря!


Education

NoSQL бази от данни - възможности и приложение, дипломна защита