Upload
geron-pitarka
View
217
Download
0
Embed Size (px)
Citation preview
7/28/2019 Arkitektuera e Warehouse Computing Server
1/18
Arkitektuera e Warehouse computing server
Brezi i ardheshem per bashkimin e ambineteve per depot e kompjuterave.
Pika 1
Strukture e detajuar e percaktimit
Performance e detajuar
Kosto
Modelet e power (energjise)
Pika 2
Volumin e perberesve te nonserver ne
menyren e paketimit
Ndarja e kujteses
Disku flash-base ne Cashe
7/28/2019 Arkitektuera e Warehouse Computing Server
2/18
Sektori I internetit ka nje rritje te shpejte ne te gjithe tregun e serverave. Infrastruktura e serverit
te internetit ka me mijera perdorues te cilet perdorin me qindra mijera servera. Kostot
motivojne cmimet e mallrave dhe efikasitetin e energjise, gjithashtu reflekton edhe ne vendimet
per te levizur karakteristikat hardware ne raftet e palikimit.
Projekti jone synon te ndermarre nje
fside:
Infrastrukture te detajuar te vleresimit per ngarkesen e
workhouse computing
Performancen e detajuar
Koston
Modeli I Power Modeli I Metriks
Jane identifikuar 4 fusha kyce:
CPU
Paketimi
Memorie
Disk
Zgjidhja e propozuar ka karakteristikat e
meposhteme:
Kosto e ulet
Komponente te ulet energjie
Volum I larte
Hapesire e levizshme ne zgjidhjen e paketimit
Ndarja e memories
Flash disk cache
7/28/2019 Arkitektuera e Warehouse Computing Server
3/18
Mjedisi i vleresimit
Nje nga pengesat ne studimin e arkitekturave te reja per mjediset warehouse ka qene mungesa e
mundesise per tu futur ne ngarkesat e punes ne sektorin e internetit.
Per te kryer kete studim eshte krijuar nje pike referimi me 4 ngarkesa qe perfaqesojne sherbime
te ndryshme ne qendrat e te dhenave ne sektoret e internetit.
WEBSEARCH (kerkimi ne internet)
Perfaqesuese e te dhenave te pastrukturuara
ne ngarkesen e punes ne internet
Kerkesat me volum te madh te behen brenda
pak sekondave.
Si pike referimi eshte marre nje Nutch engine
ne drejtim te serverit Tomcat dhe APACHE.
Fjalet kyce jane bazuar ne nje shperndarje
ZIPF te frekuences se fjaleve te indeksuara.
Performanca matet me numrin e kerkesave
per sekonde (RPS-requested per second), percilesine e krahasueshme te Sherbimit te
Garanciv e (QoS-quality of service)
WEBMAIL (adresimi)
Perfaqeson sherbimet interaktive ne internet
duke perdorur Web 2.0 aplikim.
Perdor PHP bazuar ne SquirrelMail server qe
eshte ne krye te APACHE.
Serverat SMTP dhe IMAP jane instaluar ne nje
makine qe perdorin korierin imap dhe exim.
(veprim,taria perbehet nga sekuenca e : login,
lexim email dhe attachment,
pergjigje/forward/delete/move, shkruaj dhe
dergo)
Performanca matetsi numer I RPS per garanci te
krahasueshme QoS.
7/28/2019 Arkitektuera e Warehouse Computing Server
4/18
YTUBE
Eshte perfaqesues I Web 2.0 per tendencat e
perdorimit te mediave te pasura (fotogtafi,video)
Pika jone e referimit behet sipas
SPECweb2005(korporata e vleresimit te
standartit te performances) krahasuar me
karakteristikat e verejtura ne servera.
Keshtu modifikojme faqe,fotografi, madhesite e
shkarkesave dhe zgjerojme kerkesen QOS persjelljen e modelit. Modelet jane modeluar sipas
nje shperndarje ZIPF.
Performanca matet si numri I kerkesave per
sekonde, duke siguruar qe shkeljet QoSjane te
ngjashme ne te gjithe veprimit.
MAPREDUCE model programimi per perpuniminne grupe te medha te te dhenave.
Eshte perfaqeuese e ngarkeses se pune qe
perdorin Web-in si platforme. Modelon drejtimin e nje grupi pune
offline qe grumbullon te dhena te llojit te
pershtatshem per stilin e llogarise.
Perdor opensource Hadoop dhe drejton
dy aplikime :
1. Marpreduce-WC (numerim te fjaleve mbi njepermbledhje te madhe 5Gb)
2. Mapreduce Write (mbush sistemin e dosjes me fjale te
rastesishme)
Performanaca matet si shuma e kohes per te kryer
detyren. Ngarkesa perfshin te dyja :CPU dhe IO (hyrje-
daljet)
7/28/2019 Arkitektuera e Warehouse Computing Server
5/18
Tabela 1: Permbledhje e detajeve qe prezantojne ngarkesen e internetit.
Workload Emphasize Description Perf metricwebsearch the role of unstructured data Open source Nutch-0.9, Tomcat 6 with clustering, and Apache2. 1.3GB
index corresponding to 1.3 million indexed documents, 25% of index terms
cached in memory. 2GB Java heap size. QoS requires >95% queries take
95% requests take
7/28/2019 Arkitektuera e Warehouse Computing Server
6/18
Figura 1: Modelet e kostos dhe deshtimeve.
7/28/2019 Arkitektuera e Warehouse Computing Server
7/18
Metriks dhe Modele
(Karakteristika e vecante e ecurise se nje programi dhe Modelet)
Metriks
Celesi i performances/cmimi metrik per mjedisin esektorit te internetit eshte ecuria e qendrueshme (Perf) e
ndare nga kostoja totale e pronesise ( shkurt njihet si
TCO- $).
Per performancen perdorim perkufizimin specifik si ne
tab1
Per koston totale perdorim koston qe lidhen me bazen
hardware, fuwine e rendeses, ftohjen dhe gjendjen
reale.
Te tjera metrikse jane:
1. Performance-per-Watt (Perf/W) , njesia matese e
energjise
2. Kosto specifike per Infrastrukture (Perf/inf- $),
performanca e kostos specifkie
3. Performanca e kostos per fuqi dhe ftohje, (Perf/P&C-$ ).
Modeli i kostos
Dy komponentet kryesore te modelit tone te kostos
jane:
(1) shpenzimet baze te hardware,
Kemi parasysh ketu komponente si: CPU, memorie, disk, bord,
energji dhe ftohje (Power&Cool).
I grumbullojme keto kosto ne nivelin dysheme, dhe e
konsiderojme kosto shtese te mbylljes ne ate nivel. Te
dhenat I marrim n ga kompani te ndryshme.
(2) shpenzimet baze te energjise se renduar dhe shpenzimet
e ftohjes.
Kemi dy nenkomponente.:
Ne fillim ne perllogarisim konsumin dysheme te nivelit te
energjise (konsumi P), e cila llogaritet si (CPU,
memorie, disk, energji-dhe-ftohje) dhe pjesa tjeter e
bordit ne nivel per server.
Se dyti, u perdor konsumi P si input per te percaktuar koston e
renduar te energjise.
PowerCoolCost (kostoja e energjise se ftohjes) = (1 + K1+L1 +K2 * L1) * Us,
grid * Pkonsumi
Ky model e konsideron energjine renduar dhe kostot e
ftohjes te perbera nga shpenzimet e energjise elektrike
ne nivel dysheme, kostot e infrastruktures se
amortizuar per shperndarjen e energjise (K1), kostot e
energjise elektrike per ftohje (L1) dhe shpenzimet e
amortizuara te kapitaleve per infrastrukturen e ftohjes
(K2) .
7/28/2019 Arkitektuera e Warehouse Computing Server
8/18
Vleresimi i performances:
Per te vleresuar performancen,eshte perdorur nje simulim COTSon i HP Labs, i cili eshte i bazuar ne
infrastukturen e AMD SimNow. Ky eshte nje sistem i plote i vlefshem per simulatoret x86/x86-64 qe mund
te startoje nje Linux OS (sistem operativ linux) te pamodifikuar dhe te ekzekutoje aplikacionet komplekse.
Simulatori pershtet ne nje procesor 64-bit Debian Linux.
7/28/2019 Arkitektuera e Warehouse Computing Server
9/18
3. Projektimi i Serverit te Ri
3.1 Analiza e kostos dhe menyrat eMarrjes se te Dhenave.
Figura 1(a) liston kostot ekomponenteve hardware,fuqine bazete konsumit, dhe kostot e renduara teenergjise dhe ftohjes per dykonfigurimet e serverave ekzistuese
(srvr1 dhe srvr2).
Figura 1(b) paraqet nje diagrame terrumbullaket te shpenzimeve totaleper srvr2 e ndare si infrastruktura(HW) dhe energjia e renduar dheftohjes (P&C).
Figura 1: Modelet e kostos dhe deshtimeve.
Te dhenat tona tregojne disa drejtime interesante. Se pari, kostot e energjise dhe ftohjes jane te krahasueshme me kostot e
hardware. Kjo eshte ne perputhje me studimet e fundit nga Ngarkesat e punes te sektorit te internetit qe theksojne te njejten
tendence .Per me teper, hardware CPU dhe energjia dhe ftohja CPU jane dy komponentet me te medha te shpenzimeve totale (duke
kontribuar 20% dhe 22% respektivisht). Megjithate, mund te shihet se nje numer i komponenteve te tjere kontribuojne se bashku ne
menyre te barabarte ne shpenzimet e pergjithshme. Si rrjedhoje, per te arritur me te vertete performanca bindese, zgjidhjet duhet te
adresojne komponente te shumta ne menyre teresore.
Me poshte, shqyrtojme nje zgjidhje te tille teresore.
7/28/2019 Arkitektuera e Warehouse Computing Server
10/18
Ne menyre te vecante,konsiderojme kater ceshtje kryesore:
1. A Mund te zvogelojme shpenzimet epergjithshme nga CPU (hardwaredhe energji), duke perdorur vellimine larte me kosto te ulet dhe energjite ulet (por edhe me performance-te ulet ) te procesoreve Non-server?
2. A mund te zvogelojme shpenzimet eenergjise se renduar nga zgjidhjet e
paketimit?
3. A mund te zvogelojme shpenzimet e
pergjithshme per Memorjen, duke
bere ndarjen e kujteses?
4. A mund te zvogelojme shpenzimet epergjithshme per komponentin disk
duke perdorur disqe me energji me
te ulet (por edhe performance te
ulet), mundesisht me zhvillim jo te
paqendrueshem te Memorjes?
7/28/2019 Arkitektuera e Warehouse Computing Server
11/18
Ti pergjigjemi seciles nga keto pyetje ne hollesi nuk eshte e mundur brenda
kufizimeve te hapesires te ketij projekti.
Se pari do te vleresojme, nese fitimet e konsiderueshme jane te mundshme ne
secilen nga keto fusha, kur arkitektura shihet nga perspektiva e ansamblit dhe jo si
nje koleksion i sistemeve individuale.
dhe
Se dyti, ne qofte se kombinimi i permiresimeve ne secilen prej ketyre fushavemund te coje ne nje dizajn te pergjithshem qe permireson ndjeshem gjendjen aktuale
te artit.
Me poshte,do vleresojme secilen prej ketyre ideve ne menyre te izoluar (pika
3.2 - 3.5), dhe pastaj marrim ne konsiderate perfitimet neto kur keto zgjidhje jane
perdorur se bashku (pika 3.6).
7/28/2019 Arkitektuera e Warehouse Computing Server
12/18
3.2 Energjia-e ulet, kostoja-e ulet te CPU-ve
Ndersa serverat per bazat e te dhenave jane fokusuar tradicionalisht ne marrjen e
performances me te larte per serverin, natyra e shkallezimeve te sektorit te internetit lejon
per nje fokus mbi ecurine e $ duke shfrytezuar sistemet qe ofrojne nje performance
superiore.
Ne te vertete, botime nga kompanite e medha te sektorit te internetit te tilla si Google
shfaqin dobine e ndertimit te serverave duke perdorur pjese nga personal kompjutera
desktop.
Intuita eshte se vellimi drejton koston.
Ne krahasim me serverat qe kane nje treg te kufizuar dhe kufijte me te larte te cmimeve, PC
tregon te kete nje treg shume me te medha qe lejon per cmime me te ulta.
Pervec kesaj, keto procesore nuk perfshijne kostot shtese per karakteristika si mbeshtetje
multiprocessor dhe te avancuara qe jane bere te teperta nga mbeshtetja e besueshmerise ne
rafte software per Ngarkesat e punes te sektorit te internetit.
Per studim jane marre ne konsiderojme gjashte konfigurime te ndryshme te sistemit (Tabela
2).
7/28/2019 Arkitektuera e Warehouse Computing Server
13/18
Tabela 2: Permbledhje e sistemeve te marra ne konsiderate.
System "Similar to" System Features Watt Inf-$Srvrl Xeon MP, Opteron MP 2p x 4 cores, 2.6 GHz, OoO, 64K/8MB L1/L2 340 3,294Srvr2 Xeon, Opteron 1p x 4 cores, 2.6 GHz, OoO, 64K/8MB L1/L2 215 1,689Desk Core 2, Athlon 64 1p x 2 cores, 2.2 GHz, OoO, 32K/2MB L1/L2 135 849Mobl Core 2 Mobile, Turion 1p x 2 cores, 2.0 GHz, OoO, 32K/2MB L1/L2 78 989Emb1 PA Semi, Emb. Athlon 64 1p x 2 cores, 1.2 GHz, OoO, 32K/1MB L1/L2 52 499Emb2 AMD Geode, VIA Eden-N 1p x 1 cores, 600MHz, inord.,32K/128K L1/L2 35 379Srvr1perfaqeson sistemet e serverave me nivel te mesemSrvr2perfaqeson sistemet e serverave mefund te ulet
tavolina(desk) perfaqeson sistemet e serverave desktop,
moblparaqet sistemet mobile
emb1 perfaqeson nje sistem te ilustruar te nivelit te mesem
emb2 perfaqesojne nje sistem te ilustruar te nivelit fund te uletTe gjitha serverat e kane memorjen 4GB, duke perdorur teknologjite e:
FB-DIMM (srvr1, srvr2),
DDR2 (desk, mobl, emb1) ose
DDR1 (emb2).
Srvr1 ka nje disk 15k RPM dhe nje 10 Gigabit NIC, ndersa te gjithe te tjeret kane nje disk 7.2k RPM dhe
nje 1 Gigabit NIC.
7/28/2019 Arkitektuera e Warehouse Computing Server
14/18
Figura2:Permbledhje e perfitimeve nga perdorimi me kosto te ulet te ulet te energjise se CPU nga
shitja e jo serverave.
Ndarjet e kostove te infrastruktures dhe te energjise te
ngarkuar dhe kostot e ftohjes
(c)Performanca, dhe fuqia e kostos
7/28/2019 Arkitektuera e Warehouse Computing Server
15/18
3.3 Kompaktet Dhe Ngrohja Totale
Pas proccesorit, efikasiteti i munguar ne sistemin e ftohjes eshte nje faktor tjeter me i madh i kostos.
Sistemet me engjersi te ulet ofrojne mundesine per bordet me forme faktor te vogel, e cila nga ana tjeter lejon
nje optimizim te sistemit te ftohjes.
Per studim jane marre Serverat Blade, pasi jane shume te njohur ne treg.
Hyrje-e dyfishte me drejtim mbylljeje me airflow:
Figura 3 (a) tregon se si nje nivel server mbylljeje mund teriprojektohet per te mundesuar blades (brisqet) per t'u futurnga para dhe prapa qe te bashkengjiten ne nje midplane(Plante mesem). Intuita eshte celesi per ndarjen e rrjedhjes se ajrit,dhe do te lejoje ajrin e ftohte per tu drejtuar vertikalishtneper blades. Kjo eshte bere duke rritur volumin e rrethuarper te krijuar nje gji nga Plenumi i Hyrjes(hapesira e hyrjes)
dhe deri te Plenumi i shkarkimit, dhe per te drejtuar rrjedhjene ajrit ne drejtimet e treguara nga shigjeta ne foto. Rrjedhja eajrit eshte ruajtur neper te gjitha blades ne menyre paralele
nga plenum i konsumit.
Bordi i nivelit te heqjes se ngrohjes:
Figura 3 tregon nje dizajn te paketimit. Ne sisteme me energji
te ulet, mund te konsiderojme blades me forme faktore
shume me te vogla qe jane te integruara ne blades
konvencionale qe i pershtatet ne nje hapesire me te vogel. Si
eshte paraqitur ne figuren 3(b), ne propozojme nje skeme
inovative paketimit qe agregatet e energjise te shperndajne
komponentet ne pajisje dhe ne nivel pakete. Modulet e
serverave me forme faktor me vogel jane pershpjetuar metuba te ngrohjes planare qe transferojne ngrohjen ne nje
percueshmeri efektive tri here me te larte ne vendin qendror
se ajo prej bakri. Ngrohja totale eshte larguar me nje lavaman
ngrohjeje me te madhe te optimizuar qe mundeson
kanalizimin qe rrjedh permes nje lavamani ngrohes te vetem
ne krahasim me lavamane te shumte e te shperndare te
ngrohjes. Perueshmeria e rritur dhe zona e rritur per
nxjerrjen e nxehtesise on ne ftohje me efikase.
Figura 3: Arkitektura e re e propozuar e ftohjes. Ftohjet e grumbulluara dhe te ngjeshura mund te ulin shpenzimettotale pa ndikuar ne performance.
7/28/2019 Arkitektuera e Warehouse Computing Server
16/18
3.4 Ndarja e memories
Kostot e MEMORJES dhe te energjise jane nje pjese erendesishme e paraqitjes se sistemi
ne nje nivel datacenter, mund te jete e veshtire per tezgjedhur sasine e duhur te Memorjes ne cdo server.
Kerkesat e memorjes neper Ngarkesat e punesndryshojne shume, dhe studimet e fundit kane treguarse masat per-server per ngarkesat e pikut mund te cojene mbledhje te rendesishem te nivelit te paparashikuar.
Projekti yne ofron nje grumbullim memorie e cila eshte endare midis te gjithe serverave te bashkangjitur.
Arkitektura themelore: Projekti yne eshte ilustruar ne Figuren4 (a). Cdo server Blade ka nje memorje te vogel lokale, dheserverat e shumta jane te lidhura me nje memorje Blade, ecila ofron nje grumbullim te memorjes dhe trajton hyrjet nenje faqe me mase te imet. Brenda nje mbyllje te vetme,serveri dhe Memorja Blade jane te lidhura nepermjet nje vije
me shpejtesi te larte dhe te brendshem.Nje kontrollues hardware ne memorjen Blade trajtonmenaxhimin e Blade, dergimin dhe marrjen faqe per faqe ngaprocesori blades, ndersa zbaton alokimin per-server tememories per te siguruar sigurine dhe izolimin e gabimeve.
(a) Arkitektura e memories Blade
(b) Ngadalsime duke prdorur zvendsim t rastit pr 25% t
nivelit t par madhsin e kujtess
(c) Kostoja neto dhe fuqia efficiencies
Figura 4: Arkitektura e ndarjes se memories dhe rezultati.
7/28/2019 Arkitektuera e Warehouse Computing Server
17/18
3.5 Flash disk si cache-me fuqi te
ulet.
Ky seksion trajton perfitimet nga perdorimi Ienergjise te ulet te disqeve laptop. Pervec
energjise te ulet, keto kane te miren e nje faktorime forme te vogel duke lejuar ngjeshjen madheper ftohje agreguar (si ne piken 3.3), por vijne meperfitime te performances me te ulet dhe cmimme te larte.
Pervec kesaj kemi shqyrtuar perdorimin eteknologjise jo te luhateshme flash.Sic shihet neTabelen 3(a), Flash ka fuqi te deshirueshme,
performance, dhe karakteristikat e kostos qeperputhen me qellimet tona. Megjithate, nje ngakufizimet e perdorimit te flash eshte se ai"lodhet" pas 100.000 shkrimeve , materialeve qeruhen (duke supozuar teknologjine aktuale).
Rezultatet tona ne Tabelen 3 (b) tregojne sevetem duke perdorur disqe laptop me energji teulet nuk eshte e dobishme nga pikepamja e
performances e $ per kriteret tona. Humbja neperformancen dominon kursimet ne energji.Megjithate, duke perdorur nje disk cache flasheshte ne gjendje te siguroje nje permiresim teperformances
Tabela 3:.Diksu me fuqi te ulet , ne memorien Cache
(a) Lista e parametrave te te flash dhe disk.
(b) Kosto neto dhe eficensa e fuqise.
7/28/2019 Arkitektuera e Warehouse Computing Server
18/18
3.6 Vendosja e te gjitha se bashku
Dy harta te unifikuara: Bazuar nevezhgimet e mesiperme, nekonsiderojme dy arkitektura te reja per
sektorin e internetit. Dizajn jone N1perfaqeson nje zgjidhje praktike neafatshkurter, ai perdor blade celularme hyrje te dyfishte te rrethimit dheairflow drejtuar, por nuk perfshinshkembimin e kujteses ose flash diskcaching baze me disqe te levizshme.Design yne N2 perfaqeson nje zgjidhje
te mundshme afatgjate, ai perdorblades te ngulitur me ftohje teagreguar duke vendosur ne nje murme drejtim te rrjedhjes se ajrit. Neperdorim ndarjen e kujteses dhe disqetme flash disk caching baze me energjite ulet ne distance per te lejuar ketenivel te kontaktit. Disa nga ndryshimete kerkuara per te marre konfigurimin
N2 komponentet doganore, kanemundesi te behen kosto-efektivebrenda pak viteve me volum ne ketetreg.
Figura 5: Kosto dhe fuqia efikase per dy dizajne te unifikuar qe sjellin se bashku zgjidhje individuale.
Vleresimi: Figura 5 tregon se si dy zgjidhjet tona sigurojne
permiresime te konsiderueshme te kostos dhe efikasitetin e
energjise ne krahasim me sistemin srvrlbaze. Duke u ndalur
ne provat e ytube dhe mapreduce, performance/TCO-$
(Figura 5) permireson zgjidhjen aktuale te gjenerates (Nl)
dhe zgjidhjen e gjenerates se ardhshme (N2). Figura 5 tregon
se keto perfitime jane njesoj nga kostot e infrastrukturesdhe kursimeve te energjise.