Korištenje infrastrukture EGI FedCloud · •Pogodno za uspostavu velikih i složenih aplikacija •npr. velike međunarodne virtualne organizacije, EU projekti •Raspoređivači

Korištenje infrastrukture EGI FedCloud

Emir Imamagić

Sveučilišni Računski Centar (Srce)

http://www.srce.unizg.hr/otvoreni-pristup

http://www.srce.unizg.hr/

http://creativecommons.org/licenses/by-nc/4.0/deed.hr

Sadržaj


Ciljevi

• Upoznavanje s osnovnim konceptima oblačnog (cloud) računarstva

• Upoznavanje s mogućnostima infrastrukture EGI FedCloud

• Praktični primjeri rada s virtualnim poslužiteljima

• Praktični primjeri prilagodbe virtualnih poslužitelja

• Rasprava o potrebama cloud infrastrukture


Sadržaj

• Uvod • Cloud računarstvo

• Podjele

• Cloud posrednički sustavi

• EGI • EGI

• EGI FedCloud

• Oblaci u Srcu


Sadržaj

• Praktične vježbe • Infrastruktura

• Stvaranje virtualnog poslužitelja

• Korištenje trajnog spremišta

• Kontekstualizacija

• Aplikacija fraktal

• Reference


Uvod


Definicija

• “Model for enabling convenient, on-demand network access to a shared pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction.”

(US NIST – US National Institute for Standards and Technology, 2009)


Cloud računarstvo - svojstva

• Učinkovitost • računalna (procesorski, memorijski, spremišno)

• energetska

• Skalabilnost • mogućnost jednostavnog dinamičkog širenja ili smanjivanja u

slučaju potrebe

• Dostupnost • resursi moraju biti visoko-dostupni s bilo koje lokacije


Cloud računarstvo - svojstva

• Jednostavnost korištenja • korisnici sami upravljaju raspoloživim resursima bez interakcije s

administratorima

• Naplaćivanje prema korištenju • engl. pay per use

• Otvorenost • korištenje standardnih komponenti, nevezanih za jednog

proizvođača opreme


Cloud računarstvo - temeljne komponente

• Virtualizacijske platforme • mogućnost pokretanja heterogenih virtualnih poslužitelja (VM) na

jednom fizičkom poslužitelju

• VMware, KVM, Xen, lxc

• Spremišne tehnologije • objektna spremišta

• block device - za spremanje diskova virtualnih poslužitelja

• standardni datotečni sustavi

• Mrežne tehnologije • engl. software defined networking SDN

• Programska sučelja • standardna sučelja omogućavaju jednostavno upravljanje udaljenim

resursima


Podjela

• Infrastructure as a Service (IaaS) • izravan pristup računalnim resursima (računala, spremišni prostor,

računalne mreže)

• primjeri: Amazon Web Services, Google Compute Engine, GoGrid, Rackspace Cloud

• Platform as a Service (PaaS) • ugradnja cloud funkcionalnosti izravno u aplikaciju pomoću razvojne

okoline

• primjeri: Google App Engine, Heroku, Windows Azure

• Software as a Service (SaaS) • korištenje aplikacija putem interneta

• primjeri: Google Apps, Lotus Live, Microsoft Windows Live, Salesforce.com


Podjela

• Javni oblaci (engl. public clouds) • resursi smješteni kod velikih dobavljača

• Privatni oblaci (engl. private clouds) • resursi u vlasništvu korisnika

• Oblaci zajednica (engl. community clouds) • resursi u vlasništvu zajednice

• Hibridni oblaci (engl. hybrid clouds) • mješavina javnih i privatnih

• najzastupljeniji (danas)

• Udruženi oblaci (engl. federated clouds)


Cloud posrednički sustavi - OpenStack

• Složeni cloud posrednički sustav • podržan od velikog broja proizvođača opreme

• zahtjevno održavanje

• Komponente • računalni elementi (Nova)

• spremišni elementi (Swift, Cinder)

• upravljanje slikama (Glance)

• sigurnost (Keystone)

• grafičko sučelje (Horizon)

• praćenje korištenja (Ceilometar)

• orkestracija (Heat)


Cloud posrednički sustavi - OpenNebula

• Jednostavan cloud posrednički sustav

• Funkcionalnosti • grafičko sučelje za

upravljanje resursima (Sunstone)

• podržan veliki broj virtualizacijskih, spremišnih i mrežnih platformi

• mogućnost širenja na druge oblake (engl. cloudbursting)


Cloud posrednički sustavi

• Eucalyptus • jedan od starijih cloud posredničkih sustava

• pruža sučelja kompatibilna s Amazonovim servisima

• CloudStack • zasnovan na Javi

• jednostavno sučelje za konfiguraciju sustava i korisnike

• OpenQRM • sustav koji podržava veliki broj virtualizacijskih platformi

• VMware vCloud • komercijalno rješenje VMware za uspostavu oblaka


EGI


Uvod

• engl. European Grid Initiative

• Nastavak projekata EGEE

• Uspostava održive raspodijeljene okoline za potrebe znanstvenika

• Gridifikacija aplikacija iz određenih znanstvenih područja

• Grid sastavljen od nacionalnih grid infrastruktura (NGI) • NGI-jevi potpuno neovisni

• sukladno NREN (engl. National Research and Educational Networks) u računalnim mrežama

• Trenutno najveći svjetski grid


EGI u brojkama

• 350 sjedišta

• Preko 600 000 procesorskih jezgri

• Preko 500 PB spremišnog prostora

• 40.000 korisnika

• 1,5 milijuna poslova dnevno


EGI u brojkama


EGI FedCloud

• Federacija sjedišta koja pristup računalnim i podatkovnim resursima omogućavaju koristeći paradigmu oblačnog računalstva

• namijenjeno zahtjevnom računanju, prvenstveno računalstvu s velikom propusnošću (engl. High-Throughput Computing HTC)

• korisnici pokreću pripremljene virtualne poslužitelje

• fleksibilniji pristup resursima

• korištenje standardnih sučelja i tehnologija omogućava neovisnost o jednom cloud posredničkom sustavu


EGI FedCloud

• Koristi osnovne servise EGI-ja • koordinacija upravljanja sjedištima (engl. Service Level Agreement)

• registar servisa (engl. Grid Configuration Database, GOCDB)

• nadzor (SAM/ARGO)

• služba pomoći

• informacijski servisi (engl. Berkeley Database Information Index, BDII)

• praćenje korištenja resursa (engl. accounting)


EGI FedCloud

• Podržani posrednički sustavi • OpenStack, OpenNebula, StratusLab i Synnefo

• Standardna sučelja • OCCI (engl. Open Cloud Computing Interface) - upravljanje

virtualnim poslužiteljima na sjedištima

• CDMI (engl. Cloud Data Management Interface) - upravljanje podacima pohranjenim na sjedištima

• EGI/grid sigurnosni mehanizmi • IGTF digitalni certifikati i virtualne organizacije

• integracija s AAI infrastrukturama (eduGAIN)


EGI FedCloud u brojkama

• Sustav u produkciji od svibnja 2014. godine

• 20 FedCloud sjedišta

• 14 država

• 6.000 procesorskih jezgri

• Dostupni i grafički procesori (GPU) • od listopada 2015. godine

• https://wiki.egi.eu/wiki/GPGPU-FedCloud


Servisi

• Servisi za brokering • odabir optimalnog sjedišta za pokretanje virtualnih poslužitelja

• upravljanje izvođenjem virtualnih poslužitelja

• SlipStream, VMDIRAC, COMPSs

• Repozitorij slika • Cloud marketplace

• https://appdb.egi.eu/browse/cloud

• Znanstveni portal • upravljanje virtualnim poslužiteljima putem web portala

• Catania Science Gateway Framework

• http://www.catania-science-gateways.it/


https://appdb.egi.eu/browse/cloud

http://www.catania-science-gateways.it/





Servisi


Korisnici


Natural sciences 80%

Engineering and Technology

9%

Medical and Health Sciences

4%

Humanities 7%

Korisnici


Mathematics; 2; 5%

Biological Sciences; 12; 27%

Computer Sciences; 8; 18% Information

sciences; 3; 7%

Earth sciences; 8; 18%

Physical sciences; 2; 5%

Electrical, electronic and

information engineering; 4; 9%

Basic Medicine; 1; 2%

Health sciences; 1; 2%

Languages and literature; 1; 2%

Arts; 2; 5%

Oblici korištenja

• Uspostava servisa • servisi koji trebaju biti dugotrajno dostupni

• npr. web ili aplikacijski poslužitelj, baze podataka

• Računalno i/ili podatkovno zahtjevni poslovi • korisnici mogu pripremiti vlastite okoline

• izvođenje moguće na proizvoljnom broju virtualnih poslužitelja

• Spremanje zbirki podataka • korištenje spremišnih resursa FedClouda

• Uspostava testnih i razvojnih okolina • jednostavno i brzo pokretanje i gašenje


Oblici integracije

• Ručna uspostava poslužitelja • pogodno za testne okoline

• nije pogodno za izvođenje računalno zahtjevnih aplikacija

• Kontekstualizacija • korištenje osnovnog operacijskog sustava

• prilikom pokretanja izvodi se skripta za instalaciju i konfiguraciju aplikacije

• prednosti: jednostavno pokretanje velikog broja virtualnih poslužitelja

• mane: potrebno je pripremiti skriptu, izvodi se prilikom svakog pokretanja


Oblici integracije

• Priprema slike poslužitelja • instalacija aplikacije i spremanje slike VM-a

• prednosti: moguće klonirati postojeći poslužitelj, pogodno za složene aplikacije

• mane: kompatibilnost s virtualizacijskim platformama, potrebne ručne nadogradnje operacijskog sustava


Oblici integracije - raspoređivači

• Pogodno za uspostavu velikih i složenih aplikacija • npr. velike međunarodne virtualne organizacije, EU projekti

• Raspoređivači (engl. broker) cjelokupne infrastrukture • koristi se za uspostavu velikog broja VM-ova (>1000)

• koristi se jedan ili više FedCloud sjedišta

• pojedini VM-ovi i ovisnosti se rješavaju kontekstualizacijom

• Raspoređivači aplikacija • raspoređivač je upoznat s arhitekturom aplikacije

• po potrebi uspostavlja ili gasi komponente aplikacije

• korisnici imaju dodir isključivo s raspoređivačem, a ne i cloud sučeljima


Oblaci u Srcu


Srce u FedCloudu

• Sudjelovanje u radnoj grupi FedCloud od 2011. godine

• Srce vodi aktivnost nadzora FedCloud sjedišta • razvoj nadzornih senzora za različite servise FedClouda

• Središnji sustav za nadzor smješten na Srcu • https://cloudmon.egi.eu/nagios


https://cloudmon.egi.eu/nagios

https://cloudmon.egi.eu/nagios

Srce u FedCloudu

• Cloud posrednički sustav OpenStack • instalacija i konfiguracija pomoću sustava Puppet

• Raspodijeljeni datotečni sustav BeeGFS • pohrana slika i virtualnih poslužitelja

• računalna mreža Infiniband

• U tijeku je nadogradnja • CentOS 7

• OpenStack Kilo

• 128 procesorskih jezgri

• 768 GB radne memorije


Virtual Computing Lab

• Usluga Srca za dinamičku upotrebu skupova virtualnih poslužitelja

• namijenjena djelatnicima ustanova iz sustava znanosti i visokog obrazovanja

• prvenstveno namijenjena pripremi i provođenju laboratorijskih vježbi i radionica

• djelatnici imaju mogućnost stvaranja i upravljanja vlastitim slikama virtualnih poslužitelja bez administratorske intervencije

• testiranje softvera u neprodukcijskom okruženju

• Zasnovana na open source sustavu Apache Virtual Computing Lab i virtualizacijskoj platformi VMware

• Infrastruktura omogućava istovremenih 400 virtualnih poslužitelja za dinamičke potrebe


Virtual Computing Lab

• Karakteristike virtualnih poslužitelja • 1 procesor (vCPU) [Intel Xeon E7-4830 ~2 GHz]

• 2 GB radne memorije (vRAM)

• 20 GB diskovnog prostora

• jedna IPv4 adresa u javnom adresnom prostoru usluge

• trajanje pokrenutog poslužitelja od 30 minuta do 8 sati

• Podržani operacijski sustavi • CentOS 5 i 6

• MS Windows XP

• MS Windows 7

• Korištenje od 16.4.2012. • preko 500 korisnika

• preko 12.000 pokrenutih VM-ova


Virtual Private Server

• Usluga Srca za upotrebu dugotrajnih virtualnih poslužitelja • namijenjena ustanovama iz sustava znanosti i visokog obrazovanja

koje imaju potrebu za trajnim virtualnim poslužiteljima

• usluga osigurava visoku dostupnost, nadzor učinkovitosti i sigurnosti, sigurnosnu pohranu i jednostavno upravljanje VM-ovima

• ustanovama se omogućuju značajne uštede, ali i ukupne uštede na razini sustava znanosti i visokog obrazovanja u odnosu na nabave i održavanje fizičkih poslužitelja

• Zasnovana na virtualizacijskom sustavu Citrix XenServer

• Infrastruktura omogućava istovremenih 400 virtualnih poslužitelja za trajne potrebe


Virtual Private Server

• Karakteristike virtualnih poslužitelja • 2 procesora (vCPU) [Intel Xeon E7-4830 ~2 GHz]

• 8 GB radne memorije (vRAM)

• 100 GB diskovnog prostora

• jedna IPv4 adresa u javnom adresnom prostoru usluge

• Ustanove mogu zahtijevati • proširenje resursa pojedinog poslužitelja uz obrazloženje

• više virtualnih poslužitelja

• Korištenje od 16.4.2012. • 179 aktivnih virtualnih poslužitelja


Praktične vježbe


Infrastruktura za vježbe


Virtualna organizacija training.egi.eu


Sjedište Dostupan kapacitet VO-a

CESNET (CZ)

64 vCPUs 110 GB RAM 1 TB trajnog spremišta

BIFI (ES)

50 vCPUs 50 GB RAM 50 spremišnih jedinica 50 javnih IP adresa

UKIM (MK)

48 vCPUs 48 GB RAM 48 javnih IP adresa

CETA-CIEMAT (ES)

20 vCPUs 40 GB RAM 5.4 TB trajnog spremišta 20 public IP addresses

INFN Catania (IT)

20 + 30 vCPUs 50 + 130 GB of RAM 10 + 5 TB trajnog spremišta 10 + 30 javnih IP adresa


• Predavači se pridružuju u virtualnu organizaciju (VO) s X509 osobnim certifikatima

• Kreiraju sami zastupničke certifikate za pristup

• Polaznici dobivaju zastupničke certifikate od samog predavača koji su valjani 24 sata

• Potrebno je imati osobni certifikat od priznatog certifikacijskog autoriteta (CA) - SRCE CA




Stvaranje virtualnog poslužitelja s aplikacijom wiki


Vježba 1 i 2 – Upravljanje VM-ovima i blok spremištem

1. Pokrenuti jednostavan wiki na EGI Cloud sjedištu

2. Koristiti blok spremište za wiki sadržaj


Pokrenuti wiki na FedCloudu


AppDB

• AppDB: • http://appdb.egi.eu

• slike virtualnih poslužitelja (engl. virtual appliance VA)

• softverske slike (engl. software appliance SA)

• Cloud Mp Virtual Organizations training.egi.eu

• Odabrati MoinMoin VA i određeno sjedište • https://github.com/enolfc/training/blob/master/wiki/compute.md


http://appdb.egi.eu/

http://appdb.egi.eu/

https://github.com/enolfc/training/blob/master/wiki/compute.md

AppDB

• VA i SA u ovom VO-u training.egi.eu: • Osnovne OS slike

• Minimalne OS slike

• Centos6, Ubuntu 12.04, Ubuntu 14.04

• Specifične slike • FedCloud alati: Ubuntu 14.04 s FedCloud klijentom

• MoinMoin wiki: Ubuntu 14.04 slika s instaliranim MoinMoin wikijem konfiguriranim da se automatski podiže odmah nakon podizanja sustava

• Softverske slike • Korištenje kontekstualizacijskih skripta koje će sliku konfigurirati za specifičnu

namjenu


AppDB


Dobivanje informacije o VA


Which cloud

Which image

In which size

Priprema SSH za pristup VM-u

• VM-ovima se uobičajeno pristupa sa SSH • ali pristup lozinkom je isključen

• koriste se parovi ključeva

• Kreiranje pristupnog SSH ključa:

(standardne postavke su u redu i lozinka može biti izostavljena)

$ ssh-keygen -f fedcloudkey


Jednostavna provjera: ispiši OCCI model

$ ENDPOINT=<Endpoint informacija iz AppDBa>

$ occi --endpoint $ENDPOINT \

--auth x509 --voms --user-cred $X509_USER_PROXY \

--dump-model

Sjedište Adresa servisa Cloud međusoftver

CESNET https://carach5.ics.muni.cz:11443/ OpenNebula

BIFI http://server4-epsh.unizar.es:8787 OpenStack Grizzly

UKIM https://occi.nebula.finki.ukim.mk:443 OpenNebula

CIEMAT https://controller.ceta-ciemat.es:8787/ OpenStack Icehouse


Što ispisuje dump-model?

• kinds – različiti tipovi resursa dostupni na sjedištu (“compute”, “storage”)

• mixins – proširuje resurse s dodatnim atributima ili akcijama, npr. “compute” resurs može imati definirani “resource_tpl” za zadavanje njegove veličine te “os_tpl” za navođenje njegove slike

• actions – lista akcija (e.g. start/suspend) koja može biti izvedena nad nekim resursom

• resources – postojeći resursi npr. pokrenuti VM

• links – postojeće veze npr. blok spremište pridruženo VM-u

occi --endpoint $ENDPOINT --auth x509 --voms --user-cred

$X509_USER_PROXY --dump-model


Kreiranje prvog računalnog resursa

$ RESOURCE_TPL=<Template ID iz AppDB-a>

$ OS_TPL=<OCCI ID iz AppDB-a>



--action create --resource compute \

--mixin $RESOURCE_TPL --mixin $OS_TPL \

--attribute occi.core.title="wiki$(date +%s)" \

--context public_key="file:///$PWD/fedcloudkey.pub"

$ COMPUTE_ID=...

Koristiti MoinMoinWiki VA vrijednosti iz AppDB-a!

Spremiti ID u varijablu okruženja


Kreiranje prvog računalnog resursa



--action list --resource compute



--action describe --resource $COMPUTE_ID

Ispisuje puno informacija uključujući i IP adresu!

occi.networkinterface.address = …


Pristup računalnom resursu

• Ako VM nema javnu IP adresu (BIFI & CIEMAT sjedišta):

$ occi --endpoint $ENDPOINT \ --auth x509 --voms --user-cred $X509_USER_PROXY \

--action link --resource $COMPUTE_ID \

--link /network/public

• Saznati IP adresu iz izlaza „describe” naredbe

• Provjeriti u pretraživaču:

– http://<vm ip>/

– Urediti wiki!


Izvršavanje akcija

• Akcije se izvršavaju nad resursom:

Actions:

[[

http://schemas.ogf.org/occi/infrastructure/compute/action#stop

]]

[[

http://schemas.ogf.org/occi/infrastructure/compute/action#restart

]]

[[

http://schemas.ogf.org/occi/infrastructure/compute/action#suspend

]]


Izvršavanje akcija

• Npr. izvršavanje akcije „restart” nad računalnim resursom



--action trigger --resource $COMPUTE_ID \

--trigger-action action#restart


Povezivanje s VM-om

• Spajanje protokolom SSH s korisnikom ubuntu

• Provjera procesorskih i memorijskih karakteristika

• Provjera povijesti uređivanja wiki sadržaja

$ ssh ubuntu@<your vm ip>

~wiki $ cat /proc/cpuinfo

~wiki $ cat /proc/meminfo

~wike $ cat /org/mywiki/data/edit-log


Wiki s trajnim spremištem


Povezivanje s VM-om

• Kad je VM izbrisan, svi njegovi diskovi su također izbrisani • Ako trebate sačuvati vaše podatke, koristite se s trajnim spremištem

• Pokušati s našim VM wikijem: 1. Kreirati logičku jedinicu trajnog spremišta

2. Priključiti jedinicuwiki VM-u

3. Kreirati FS na logičkoj jedinici i kopirati wiki sadržaj

4. Odspojiti jedinicu i izbrisati VM

5. Kreirati novi VM s priključenom logičkom jedinicom trajnog spremišta

6. Montirati jedinicu i provjeriti da li je wiki sadržaj sačuvan


Povezivanje s VM-om

• Kreiranje spremišne logičke jedinice



--action create --resource storage \

--attribute occi.storage.size="num(1)" \

--attribute occi.core.title="wikidata_$(date

+%s)"

$ STORAGE_ID=...

Spremanje ID-a u varijablu okruženja


Povezivanje s VM-om

• Opisivanje spremišne logičke jedinice



--action describe --resource $STORAGE_ID


Priključivanje s VM-om



--action link --resource $COMPUTE_ID \

--link $STORAGE_ID


Provjera



--action describe --resource $COMPUTE_ID

[…]

Links:

[[ http://schemas.ogf.org/occi/infrastructure#storagelink ]]

>> location: /storage/link/c17e204e-c96f-40ff-aebe-671351254a5e_1e0162cb-2805-4fe7-8c4e-997a5ddf02ff

occi.core.source = /compute/c17e204e-c96f-40ff-aebe-671351254a5e

occi.core.target = /storage/1e0162cb-2805-4fe7-8c4e-997a5ddf02ff

occi.core.id = /storage/link/c17e204e-c96f-40ff-aebe-671351254a5e_1e0162cb-2805-4fe7-8c4e-997a5ddf02ff

occi.storagelink.deviceid = /dev/vdb

[…]


Prebacivanje wiki sadržaja na novu jedinicu

~$ ssh ubuntu@<your wiki ip>

~wiki $ sudo mkfs.ext3 /dev/vdb

~wiki $ sudo mount /dev/vdb /mnt

~wiki $ sudo service apache2 stop

~wiki $ sudo cp –a /org/mywiki /mnt

~wiki $ sudo umount /mnt

~wiki $ sudo mount /dev/vdb /org

~wiki $ sudo service apache2 start


Brisanje VM-a

• Odmontiranje logičke spremišne jedinice

~wiki $ sudo umount /org

• Odspajanje logičke spremišne jedinice:

~$ occi --endpoint $ENDPOINT \


--action delete --resource $LINK_ID


Brisanje VM-a

• Brisanje VM-a



--action delete --resource $COMPUTE_ID


Kreiranje novog wikija s priključenom logičkom jedinicom






--link $STORAGE_ID \

--context

public_key="file:///$PWD/fedcloudkey.pub"

~$ COMPUTE_ID2=... Spremanje ID-a u varijablu

okruženja


Korištenje logičke jedinice

• Prijavljivanje na VM i montiranje jedinice na /org direktorij

• Provjeriti u pretraživaču, wiki sadržaj bi trebao biti sačuvan

~$ ssh ubuntu@<your wiki ip>

~wiki $ sudo service apache2 stop

~wiki $ sudo mount /dev/vdb /org

~wiki $ sudo service apache2 start


Brisanje instanci



--action delete --resource $STORAGE_ID



--action delete --resource $COMPUTE_ID2


Kontekstualizacija


Kontekstualizacija

• Što? • Kontektualizacija je proces instaliranja, konfiguriranja i

pripremanja softvera pri podizanju sustava unaprijed definiranog virtualnog računala

• Npr. hostname, IP adresa, ssh ključevi, …

• Zašto? • Konfiguracija nije poznata do instanciranja (npr. lokacija

podataka)

• Privatne informacije (npr. certifikati)

• Softver koji se često mijenja

• Nije praktično kreirati novi VM za svaku novu konfiguraciju


cloud-init

• cloud-init apstrahira različite načine pružanja konteksta VM-u i definira format podataka

• cloud-init je u mogućnosti: • konfigurirati mrežu, korisnike, ssh ključeve, datotečne sustave,

• instalirati pakete

• izvršavati proizvoljne naredbe,

• izvršavati korisnikove skripte,

• pozivati puppet ili chef za konfiguracijom

• …


cloud-init podrška

• Cloud-init je de-facto standard za kontekstualizaciju VM-ova

• Podržava: • većinu komercijalnih pružatelja usluga (Amazon EC2, Azure,

Rackspace,…)

• međusoftver za upravljanje Cloudom u FedCloudu: • OpenStack

• OpenNebula (use version ≥ 0.7.5)

• Synnefo

• Paketi su dostupni za većinu Linux distribucija: Ubuntu/Debian, SL5/SL6 (in EPEL), SUSE, …


Korištenje s rOCCI CLI






--context user_data="file:///$PWD/context" \

--context public_key="file:///$HOME/.ssh/id_rsa.pub"

$ COMPUTE_ID=...

• Korištenje –context opcije kako bi se zadao:

• javni ključ

• korisnički podatak

Primjer – nije potrebno izvršavati


#!/bin/sh

echo "Hello World." > /root/context.txt

echo "The time is now $(date -R)!" >> /root/context.txt

Kontekstualizacija sa skriptom

• Kreiranje jednostavne skripte, skripta.sh

• Instanciranje VM-a

Primjer – nije potrebno izvršavati

~$ occi -e $ENDPOINT -n x509 -X -x $X509_USER_PROXY \

-a create -r compute \

[...]

--context user_data="file://$PWD/script.sh"


Kontekstualizacija sa skriptom

• Provjera rezultata

~$ ssh -i test.key [email protected] "sudo cat

/root/context.txt"

Hello World

The time is now Sat, 20 Jun 2015 18:01:29 +0100


cloud-config

• Cloud-config je cloud-init konfiguracijski format

• Koristi YAML

• Primjer: • kreiranje korisnika i grupa

• apt-get će se pokrenuti pri prvom podizanju sustava

• instaliranje paketa

• pokretanje naredbi

• …

• cloud-init dokumentacija: http://cloudinit.readthedocs.org/


http://cloudinit.readthedocs.org/

Primjer konfiguracijske datoteke cloud-init


#cloud-config

users:

- default

- name: myuser

sudo: ALL=(ALL) NOPASSWD:ALL

lock-passwd: true

ssh-import-id: myuser

shell: /bin/bash

ssh-authorized-keys:

- <your key here>

package_upgrade: true

packages:

- ca-policy-egi-core

- occi-cli

- voms-clients

cloud-config file

Konfiguriranje korisnika „ubuntu”

Kreiranje korisnika „myuser” s mogućnošću

sudo i ssh ključa

Instaliranje nekih paketa

apt-get upgrade (ili yum-upgrade)

Aplikacija fraktal s kontekstualizacijom


Aplikacija fraktal na FedCloudu

• Aplikacija je preuzeta iz radionice OpenStack-a “First Application For OpenStack”

• Računanje i prikaz fraktala korištenjem skupa radnih čvorova koji dobivaju zadatke koristeći servis „queue”


• Docker kontejner za svaku komponentu

• Komunikacija preko queue/API

VM1

VM2

Worker

Softverske slike u AppDB


Detalji o slici


Which cloud

Which image

In which size

Tijek izvođenja

1.Dobiti VA detalje iz AppDB

2.Dohvatiti kontekstualizacijsku skriptu iz AppDB

3.Pokrenuti VM sa potpunom aplikacijom i testirati ga VM1

4.Izmijeniti kontekstualizacijsku skriptu za radni čvor

5.Pokrenuti VM radnog čvora koji osluškuje na queue servis VM2

6.Kreiranje fraktala

7.Provjeriti da li radni čvor generira fraktale


Pokretanje aplikacije

~$ OS_TPL=<OCCI ID from AppDB>

~$ RESOURCE_TPL=<Template ID from AppDB>

~$ curl <context script URL from AppDB> > master-context.sh





--attribute occi.core.title="fractal$(date +%s)" \

--context user_data="file:///$PWD/master-context.sh" \

--context public_key="file:///$PWD/fedcloudkey.pub"

~$ MASTER_ID=... Spremanje ID-a u varijablu okruženja


Ispis i opis VM-ova




--action list --resource compute



--action describe --resource $MASTER_ID

Pristupanje VM-u

• Ako VM nema javnu IP adresu:



--action link --resource $MASTER_ID \

--link /network/public


Pristupanje VM-u

• Pristupanje s ssh ključem i kreiranje fraktala:

• Provjeriti pretraživač: • http://<your vm ip>/

~$ sudo docker run --link faafo_api_1:faafo_api_1 \

egifedcloud/training-fractal \

faafo --endpoint-url http://faafo_api_1 create

VM treba nešto vremena za kontekstualizaciju!


Primjer generiranih fraktala


Dodavanje radnih čvorova samoj aplikaciji

• Dohvatiti worker-context.sh s AppDB:

• Ažuriranje MASTER_HOST varijable u worker-context.sh

#!/bin/sh

cd /faafo/faafo

docker-compose pull

MASTER_HOST="PUT_HERE_THE_MASTER_IP”

[…]

IP adresa

prethodnog VM-a

~$ curl<context script URL from AppDB> > worker-

context.sh


Pokretanje radnog čvora – na istom ili drugom Cloud sjedištu

~$ OS_TPL=<OCCI ID from AppDB>

~$ RESOURCE_TPL=<Template ID from AppDB>




--mixin $RESOURCE_TPL --mixin $OS_TPL

--attribute occi.core.title="worker$(date +%s)" \

--context user_data="file:///$PWD/worker-context.sh" \

--context public_key="file:///$HOME/.ssh/id_rsa.pub"

~$ WORKER_ID="..."


Testiranje radnog čvora

• [Opcionalno] prekidanje generiranja fraktala na glavnom čvoru

• Kreiranje fraktala na glavnom čvoru

• Provjeriti u pretraživaču “Generated by”

~$ sudo docker run --link faafo_api_1:faafo_api_1 \

egifedcloud/training-fractal \

faafo --endpoint-url http://faafo_api_1 create

~$ sudo docker kill faafo_worker_1


Brisanje VM-ova




--action delete --resource $MASTER_ID



--action delete --resource $WORKER_ID

Reference

• EGI FedCloud • http://www.egi.eu/infrastructure/cloud/

• http://wiki.egi.eu/wiki/Fedcloud-tf:Main

• EGI FedCloud za korisnike • https://wiki.egi.eu/wiki/Fedcloud-tf:UserCommunities

• https://wiki.egi.eu/wiki/HOWTO10_How_to_port_application_into_EGI_Federated_Cloud

• OpenStack • http://www.openstack.org

• OpenNebula • http://www.opennebula.org

• Synnefo • http://www.synnefo.org/


http://www.egi.eu/infrastructure/cloud/

http://wiki.egi.eu/wiki/Fedcloud-tf:Main



https://wiki.egi.eu/wiki/Fedcloud-tf:UserCommunities



https://wiki.egi.eu/wiki/HOWTO10_How_to_port_application_into_EGI_Federated_Cloud

https://wiki.egi.eu/wiki/HOWTO10_How_to_port_application_into_EGI_Federated_Cloud

http://www.openstack.org/

http://www.opennebula.org/

http://www.synnefo.org/

http://www.synnefo.org/

Reference

• Cloud usluga VPS • http://www.srce.unizg.hr/vps/

• Cloud usluga VCL • http://www.srce.unizg.hr/vcl/

• Citrix XenServer • http://www.citrix.com/products/xenserver/overview.html

• Apache Virtual Computing Lab • https://vcl.apache.org/


http://www.srce.unizg.hr/vps/

http://www.srce.unizg.hr/vcl/

http://www.citrix.com/products/xenserver/overview.html

https://vcl.apache.org/

https://vcl.apache.org/

Srce politikom otvorenog pristupa široj javnosti

osigurava dostupnost i korištenje svih rezultata rada

Srca, a prvenstveno obrazovnih i stručnih informacija

i sadržaja nastalih djelovanjem i radom Srca.

Ovo djelo je dano na korištenje pod licencom

Creative Commons Imenovanje-Nekomercijalno

4.0 međunarodna.

www.srce.unizg.hr creativecommons.org/licenses/by-nc/4.0/deed.hr www.srce.unizg.hr/otvoreni-pristup

Hvala na pažnji!

Pitanja?











Documents

Korištenje infrastrukture EGI FedCloud · •Pogodno za uspostavu velikih i složenih aplikacija •npr. velike međunarodne virtualne organizacije, EU projekti •Raspoređivači