BazydanychNoSQL - cs.put.poznan.pl · Planprezentacji 1 Deﬁnicja 2 Motywacje 3 KlasyﬁkacjaNoSQL 4 AmazonDynamo Przeznaczenie Realizacja 5 Cassandra Przeznaczenie “Rozpraszanie”

Bazy danych NoSQL

Szymon [email protected]

Poznań, 29.10.2012

Szymon Francuzik [email protected] ()Bazy danych NoSQL Poznań, 29.10.2012 1 / 45

Plan prezentacji

1 Definicja

2 Motywacje

3 Klasyfikacja NoSQL

4 Amazon DynamoPrzeznaczenieRealizacja

5 CassandraPrzeznaczenie“Rozpraszanie”API

6 RavenDB


RDBMS

Relacyjne systemy zarządzania bazami danych:relacyjny model danych — Edgar Codd (IBM) — 1970język SQLtransakcjeACID


Model relacyjny


ACID

Atomicity (atomowość)Consistency (spójność)Isolation (izolacja)Durability (trwałość)


Definicja NoSQL

Wikipedia:NoSQL jest klasą systemów zarządzania baządanych nie pasujących do powszechniestosowanego modelu relacyjnych baz danych:

brak języka SQL (w szczególności brakoperacji JOIN)nierelacyjny model danychnie musi zapewniać ACIDrozproszona, odporna na awariearchitektura


Wydajność

atomowość

spójność

izolacja

trwałość


Skalowalność

Możliwość zwiększania wydajności systemu wraz zrosnącym zapotrzebowaniem.

skalowanie wertykalne (ang. scale up)skalowanie horyzontalne (ang. scale out)

I sharding (partycjonowanie poziome)I partycjonowanie pionoweI repliki do odczytu


CAP Theorem (Brewer’s conjecture)


PACELC

Partition

yes no

Availability Consistency Latency Consistency


Alternatywa dla ACID

BASE:Basically AvailableSoft-stateEventual consistency


Model danych

relacyjny model danych nie zawsze wygodnyI normalizacja vs. efektywnośćI brakujące dane

trudności przy zmianie schematu danych


Motywacje


Podział ze względu na reprezentację danych

klucz-wartośćhierarchiczna struktura klucz-wartość (“BigTable-like”)dokumentowegrafowe


Bazy klucz-wartość

przechowują pary klucz-wartośćdostęp do danych jedynie po kluczuprzykłady:

I Berkeley DBI RiakI Dynamo


Bazy z hierarchiczną strukturą klucz-wartość

wzorowane na BigTable (Google)każdy wiersz może mieć przyporządkowany inny zestaw kolumnczęściowo ustrukturalizowaneprzykłady:

I HBaseI CassandraI SimpleDB

columnfamily1

row-key1supercolumn1 supercolumn2col1 col2 col1 col3 ...val1 val2 val3 val4 ...

row-key2 supercolumn1 supercolumn2

columnfamily

row1

row2

supercolumn1

supercolumn2

column1

column2

column3


Bazy z hierarchiczną strukturą klucz-wartość


Dokumentowe bazy danych

przechowuje dokumenty zamiastwierszy/rekordówdokument: wpis w bazieskładający się z pól(nazwa-wartość)możliwość odwoływania się popolach nie będących kluczempodstawowymprzykłady:

I CouchDBI MongoDBI ThruDB

{ imie: "Jan",

nazwisko: "Kowalski",

nr_indeksu: 98765,

oceny: [5, 4.5, 3, 4]

dzienny: true }

db.students.find({nazwisko:

"Kowalski"})


Grafowe bazy danych

węzły, krawędzie (łuki), własnościszybki dostęp do powiązanych danychprzykłady:

I HyperGraphDBI Neo4JI Trinity


Amazon Dynamo

baza typu klucz-wartośćstworzona do zarządzania stanem usług oferowanych przez Amazon:

I koszyk zakupów: dziesiątki milionów zapytań, do 3 mln transakcjizakupu dziennie

I sesje klientów: setki tysięcy równoległych sesjiI inne usługi: katalog produktów, system rekomendacji

rozproszona architektura — serwery rozproszone po całym świeciespójność ostateczna


Cele

niezawodność (dostępność) — nawet kosztem spójnościskalowalność pozioma — commodity hardwareSLA — ograniczenia na czas odpowiedzi


Dlaczego nie RDBMS

dostęp do danych poprzez klucz podstawowy — nie potrzeba modelurelacyjnegobrak operacji odwołujących się do kilku elementów — nie potrzebatransakcjiRDBMS wymaga specjalistów i drogiego sprzętuograniczona dostępność w przypadku awariisłaba skalowalność pozioma — brak wsparcia dla automatycznegopartycjonowania


Interfejs

komunikacja po HTTPoperacje:

I get(key) — odsyła wartość oraz kontekstI put(key, context, value)


Partycjonowanie danych

consistent hashing (MD5 128b)


Replikacja

konfigurowalna liczba repliklista preferencjisloppy quorum


Uspójnianie stanu

uspójnianie przy odczycieanti-entropyhinted handoff


Wielowersyjność obiektów

wersja obiektu opisywana przez zegarwektorowy:TS1 : {(S1,3), (S2,5), (S3,1)}TS2 : {(S1,3), (S2,4), (S3,2)}TS3 : {(S1,3), (S2,6), (S3,2)}przechowywanie wersji powstałychwspółbieżnie do czasu uspójnienia przezklientaprzy odczycie klient otrzymuje wszystkiedostępne wersje obiektu


Cassandra

hierarchiczna struktura klucz wartośćFacebook — indeksowanie na potrzeby przeszukiwania skrzynkiużytkownika

I setki milionów użytkownikówI 600+ rdzeniI rozmiar indeksu: 120+ TB

open source


Struktura danych

przestrzeń kluczy (keyspace)rodzina kolumn (column family) — zdefiniowane statycznie

I super kolumny (super columns)I kolumny (columns)

wiersz (row) — pojedynczy element z przypisanymikolumnami/super-kolumnami

row-key

columnfamily1 columnfamily1supercolumn1 supercolumn2 col21 col22col1 col2 col1 col3 ...

val5 val6val1 val2 val3 val4 ...


Reprezentacja danych

klucz i wartość reprezentowana jako tablica bajtówkolumny i super-kolumny posortowane po nazwach lub czasiemodyfikacjiindeksowanie kluczy


Indeksowanie

Adam

index_by_users_interactionsMarek Kasia ...

m100 m252 m124 m511 m600 ...- - - - ...


Partycjonowanie danych

consistent hashingdynamiczne równoważenie obciążeniadwie strategie podziału:

I random partitionerI order preserving partitioner


Replikacja

możliwość konfigurowania liczby replikstrategia rozmieszczania replik:

I przydział prostyI świadoma topologi sieci: rack aware, datacenter aware


Kontrola poziomu spójności

Zapisy:anyonequorumlocal_quorumeach_quorumall

Odczyty:onequorumlocal_quorumeach_quorumall


Uspójnianie replik

uspójnianie przy odczycieanti-entropyhinted handoff


Interfejs

Thrift — RPC framework for cross-language service developmentwspierane języki:C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa,JavaScript, Node.js, Smalltalk, OCamlgotowe biblioteki dla wybranych języków programowania


Example Code

va r c l i e n t F a c t o r y = new KeyedCa s s and r aC l i e n tFac to r y (new Ca s s and r aC l i e n tPoo l F a c t o r y ( ) . C rea te ( ) ,new KeyedCa s s and r aC l i e n tFac to r y . Con f i g ( ) ) ;

va r c l i e n t = c l i e n t F a c t o r y .Make(new Endpo int ( " l o c a l h o s t " , 9 160 ) ) ;

va r key space = c l i e n t . GetKeyspace ( "Keyspace1 " ) ;va r path = new ColumnPath ( " Standard1 " , n u l l , " g r e e t i n g " ) ;key space . I n s e r t ( "0" , path , " He l l o ␣World ! " ) ;Column column = keyspace . GetColumn ( "0" , path ) ;Conso l e . Wr i t eL i n e ( column . Value ) ;


RavenDB

dokumentowa — JSONschema-lesstransakcje


Skalowalność

replikacjasharding


Interfejs

.NET ClientHTTP — RESTful API


.NET Client Example

BlogPost pos t = new BlogPost ( ) {T i t l e = " He l l o ␣RavenDB" ,Category = "RavenDB" ,Content = "This ␣ i s ␣a␣ b log ␣ about ␣RavenDB" ,Comments = new BlogComment [ ] {

new BlogComment ( ) { T i t l e=" U n r e a l i s t i c " , Content=" example1 " } ,new BlogComment ( ) { T i t l e="Nice " , Content=" example2 "}}

} ;

s e s s i o n . S to r e ( pos t ) ;s e s s i o n . SaveChanges ( ) ;


RESTful Example

PUT /docs / B logPost s /1 HTTP/1 .1Accept−Encoding : d e f l a t e , g z i pContent−Type : a p p l i c a t i o n / j s o n ;c h a r s e t=ut f −8Host : 1 2 7 . 0 . 0 . 1 : 8 0 8 0Content−Length : 378

{" T i t l e " : " He l l o ␣RavenDB" ," Category " : "RavenDB" ,"Content " : "Thi s ␣ i s ␣a␣ b log ␣ about ␣RavenDB" ,"Comments" : [

{" T i t l e " : " U n r e a l i s t i c " ,"Content " : "This ␣ example ␣ i s ␣ u n r e a l i s t i c " } ,

{" T i t l e " : "Nice " ,"Content " : "This ␣ example ␣ i s ␣ n i c e "}]}


Bibliografia

http://nosql-database.org/


Bibliografia

http://nosqltapes.com/


Bibliografia

http://nosqlsummer.org/


Documents

BazydanychNoSQL - cs.put.poznan.pl · Planprezentacji 1 Deﬁnicja 2 Motywacje 3 KlasyﬁkacjaNoSQL 4 AmazonDynamo Przeznaczenie Realizacja 5 Cassandra Przeznaczenie “Rozpraszanie”