3h à l'assaut d'une application réactive - Devoxx 2015

@njozwiak @xbucchiotty @vspiewak#3ReactApp

Trois heures à l’assaut d’une application réactive

Xavier Bucchiotty Nicolas Jozwiak Vincent Spiewak


@vspiewak

Speakers

@xbucchiotty

http://blog.xebia.fr

@njozwiak


Disclaimer


Agenda Contexte

Comment concevoir ?

Comment développer ?

Comment déployer ?

Comment monitorer ?


Agenda Contexte

Comment concevoir ?


Comment déployer ?

Comment monitorer ?


Contexte


Provider B

Architecture monolithique

Device Gateway Reporting Alerting Front WEB

Provider A

12

3 4


Provider B



Provider A

12

3 4



1 2 3 4

1 2 3 4

Load balancer


Solution: Cloud


En résumé

Elastic Resilient


Agenda Contexte

Comment concevoir ?


Comment déployer ?

Comment monitorer ?


Provider B



Provider A

12

3 4


Message Driven Couplage faible

Asynchrone

Non bloquant


Queues

Service Client


Bounded Queues

Service Client fail fast


Circuit Breaker


Circuit Breaker

Client ServiceCircuit Breaker


Circuit Breaker

Fail fast

OK


Circuit Breaker

Fail fast

OK


Circuit Breaker

Fail fast

OK


Provider B

Architecture


Provider A

12

3 4


Provider B

Architecture

Device Gateway Front WEB

Provider A

12

Reporting

Alerting3

configuration


Provider B

Architecture


Provider A

12

Reporting

Alerting

3


Provider B

Architecture


Provider A

12

Reporting

Alerting

3

Circuit breaker


Architecture


Microservices

Microservice

Business DomainIsoler les problèmes

Déploiements indépendants

Loi de Conway

Cacher les détails d’implémentation


Provider B

Architecture


Provider A

2

Reporting

AlertingCircuit breaker


Provider B

Architecture


Provider A

2

Reporting



Provider B

Architecture


Provider A

2

Reporting


API

API

API


Provider B

Architecture


Provider A

2

Reporting


API

API

API


Contexte transactionnel

Provider B

Device

Provider A

Gateway


Contexte transactionnelContexte transactionnel

Reporting

Alerting

API

API


Contexte transactionnel

Front WEB

API


CQRS

Provider B

Device

Provider A

Gateway

query

Front WEB

API command

API

API

Reporting

Alerting


Dynamique du système

Provider B

Device Front WEB

Provider A

API

API

API

Gateway

Reporting

Alerting

DATAFLOW


Reactive Manifesto

Message driven

Elastic Resilient

Responsive

www.reactivemanifesto.org

http://www.reactivemanifesto.org/


//asynchrone def handle(event): Result = { val f1 = Future(report(event)) val f2 = Future(alert(event))) Await.result(sequence(f1,f2)) Success }

// asynchrone et non bloquant :) def handle(event): Future[Result] = { val f1 = Future(report(event)) val f2 = Future(alert(event))) sequence(f1, f2).map(_ => Success) }

Asynchronisme


Loi d’Amdahl


De Parallèle vers …

Reporting

Alerting

Gateway


Distribué

Reporting

Alerting

Gateway


Elasticité

Reporting

Alerting

Gateway


Fonctionnement partiel

serviceA

Gateway

serviceB

Device


Bounded Latency

serviceA

Gateway

serviceB

Device


Système de systèmes…


Provider B

Architecture


Provider A

2

Reporting


API

API

API


Agenda Contexte

Comment concevoir ?


Comment déployer ?

Comment monitorer ?


Framework asynchrone JVM

La programmation concurrente est difficile.




Callbacks?




ExecutorService?




Modèle acteur



Modèle acteur


Modèle acteur

acteur


Modèle acteur

acteur

la boîte aux lettres seul élément public d’un acteur


Modèle acteur

requête

réponse

acteur acteur


Modèle acteur

réponse

acteur acteur acteur

requête transfert


Modèle acteur

acteur acteur acteur

requête transfert


Modèle acteur

acteur acteur

requête transfert

timeout


Modèle acteur

A B

D I S P A T C H E R

THREADS

B

A

C D

D

CA

t


Développer en local avec les contraintes du distribué



Modèle acteur

acteur acteur


Modèle acteur

acteur acteur


akka-cluster

acteur

acteur

akka-cluster

acteur


akka-cluster

acteur

acteur

réseau point-à-point

acteur


akka-cluster

acteur

acteur

acteur

Gossiping

acteur


akka-clusterakka.actor.deployment { /orchestration { router = round-robin-group nr-of-instances = 100 routees.paths = ["/user/orchestration"] cluster { enabled = on allow-local-routees = off use-role = orchestration } } }


akka-cluster est la clé de l’élasticité et de la résilience du système.

akka-cluster


Reactive Manifesto et Akka

Message driven

Elastic Resilient

Responsive


Provider B

Technos

Device Front WEB

Provider A

API

API

API

GatewayCircuit

breaker

Reporting

Alerting


Journal distribué


Journal distribué

Développé à l’origine chez LinkedIn

Rapide, robuste, scalable

File d’attentes, agrégation logs, streaming


Journal distribué

TOPIC

0

1


Journal distribué

TOPIC

BROKER 1

ZK

0

1

leader


Journal distribué

TOPIC

BROKER 1

ZK

0

1

leader

BROKER 2

synchro


TOPIC

Journal distribué

BROKER 1

ZK

0

1

leader

BROKER 2

leader

replicasynchro


TOPIC

Journal distribué

ZK

0

1

leader

BROKER 2

leader

replicasynchro


TOPIC

Journal distribué

ZK

0

1

BROKER 2

leader

synchro


TOPIC

Journal distribué

ZK

0

1

BROKER 2

leader

synchro

Élasticité

Résilience


TOPIC

Journal distribué

BROKER 1

ZK

0

1

leader

BROKER 2

leader

replicaproducer

message pour partition 0


TOPIC

Journal distribué

BROKER 1

ZK

0

1

leader

BROKER 2

leader

replicaproducer



TOPIC

Journal distribué

BROKER 1

ZK

0

1

leader

BROKER 2

leader

replicaproducer


ordre garanti au sein d’une partition


TOPIC

Journal distribué

BROKER 1

ZK

0

1

leader

BROKER 2

leaderconsumer 1topic T

partition 0group A

ordre garanti au sein d’une partition

consumer 2


Kafka topic

0 1 2 3 4 5 6 7 8 9

Nouveaux messages

Anciens messages

offset


Kafka topic

0 1 2 3 4 5 6 7 8 9

Nouveaux messages

Anciens messages

Consommateur groupe G1

Consommateur groupe G2


Reactive Manifesto et Kafka

Message driven

Elastic Resilient

Responsive


Provider B

Technos

Device Front WEB

Provider A

API

API

API


Elasticsearch


Reporting

Recherche full-text

Aggregations


Alerting

quantité

seuil

période de temps

filtres


Document

{ "device" : "device1234" "msg" : "some message" "timestamp" : "2015-04-08T13:30:00.000Z" }

Event

ESevents-2015


Elastique - Shards

Node 1INDEX

0

1

2


Elastique - Shards

Node 1INDEX

0

1'

2

Node 2INDEX

0'

1

2'


Elastique - Shards

Node 1INDEX

0

1'

2''

Node 2INDEX

0'

1''

2

Node 3INDEX

0''

1

2'


Node 3Node 2

Elastique - Noeuds

Node 1master

Node 3Node 2

Node 1data

Node 3Node 2

Node 1search


Résilient - Shards

Node 1INDEX

0

1'

2''

Node 2INDEX

0'

1''

2

Node 3INDEX

0''

1

2'


Résilient - Shards

Node 1INDEX

0

1'

2

Node 2INDEX

0'

1

2'


Résilient - Noeuds

Node 3Node 1master

Node 2Node 2master


Bounded QueuesNode

Queue (index)

Queue (bulk)

Queue (get)

Queue (refresh)

Queue (search)

…


Responsive - Timeout

Node 1

http://node1:9200/_search?timeout=10000

http://node1:9200/_search?timeout=10000


Recherche

Node 1TWITTER

0 1'

Node 2EVENT

0' 1

Node 3EVENT

0'' 1''

12

3’ 3’’

4


Reactive Manifesto et ES

Message driven

Elastic Resilient

Responsive


Provider B

Technos

Device Front WEB

Provider A

API

API

API


Couchbase


Couchbase

Gestion documents

Schemaless

Clé / valeur

Cache distribué


Couchbase

Fail over node

Cross data center replication


Reactive Manifesto et CB

Message driven

Elastic Resilient

Responsive


Provider B

Technos

Device Front WEB

Provider A

API

API

API


PLAY / REACT JS


PLAY

Formulaires, Json, validation

Intégration Scala et Akka

IO non bloquant

Sans état


REACT JS

Créé par Facebook et Instagram

Composants

Data flow unique

Performant


Reactive Manifesto et Play

Message driven

Elastic Resilient

Responsive


Provider B

Technos

Device Front WEB

Provider A

API

API

API


Testing

Gateway

Endpoint Supervision

WorkersRouter

Provider B

Device

Provider A


Gateway

Test unitaire

Endpoint Supervision

WorkersRouter

Provider B

Device

Provider A

testkit


Gateway

Test unitaire

Endpoint Probe

WorkersProbe

Probe testkit


Gateway

Test unitaire

Workerstestkit

Validation

Endpoint


Gateway

Test unitaire

Workerstestkit

Probe


Test unitairedescribe("A kafka source actor") { it("should be able to pump a given number of message from kafka") { val probe = TestProbe() val reader = system.actorOf(Props(classOf[KafkaSource], probe)) //send 11 messages on a topic probe.send(reader, 10) probe.receiveN(10, max = 3.seconds) shouldBe messages.take(10) probe.expectNoMsg(1.second) } }


Test unitairedescribe("A terminal session") { it("should have an idle timeout") { implicit val system = ActorSystem("test", ConfigFactory.parseString("session.timeout=\"500 milliseconds\"")) val probe = TestProbe() val session = system.actorOf(DeviceSession.props) probe.watch(session) probe.expectTerminated(session, 1.second) } }


Gateway

Workers Probe

Test multi-jvm

multi-jvm


Gateway Validation

Workers Probemulti-jvm

Test multi-jvm


"form a cluster" in { runOn(clusterNodes: _*) { SeedDiscovery.joinCluster(system) enterBarrier("deployed")

}

"support network partition" in { runOn(node1) { for { from <- group_1 to <- group_2 } { testConductor.blackhole(from, to, Direction.Both).await } }

Test multi-jvm


Test

Test intégration

docker run

Execute Test

docker rm


Versioning

NOT SUPPORTED YET


Versioning

JSON

Scala

Apache Avro

@YourTwitterHandle@YourTwitterHandle@njozwiak @xbucchiotty @vspiewak#3ReactApp

QUESTIONS ?


Provider B

Résumé

Device Front WEB

Provider A

Reporting

Alerting

API

API

API

GatewayCircuit

breaker


Agenda Contexte

Comment concevoir ?


Comment déployer ?

Comment monitorer ?


Thanks


Docker


DockerFROM ubuntuRUN apt-get install -y wget software-properties-commonRUN apt-add-repository ppa:ansible/ansibleRUN apt-get update && apt-get install -y ansibleRUN wget https://bootstrap.pypa.io/ez_setup.py -O - | pythonRUN easy_install pipRUN pip install botoENV ANSIBLE_HOST_KEY_CHECKING=False


Provider B

Technos

Device Front WEB

Provider A

API

API

API


Mesos / Marathon


Mesos


Mesos

Distribution des

ressources

Détection des

erreurs


Marathon

Execution d’applications

API Rest

Beaucoup d’options


{ "id": "provisioning", "instances": 1, "cpus": 2.0, "mem": 512, "ports":[9000], "container": { "type": "DOCKER", "docker": { "image": "project/web:0crec10a90724f791caaf95cbc62ea61abbd6376", "network": "BRIDGE", "portMappings": [ { "containerPort": 9000, "servicePort": 9000, "hostPort": 0, "protocol": "tcp" } ] } } }

Marathon Config


… "healthChecks": [ { "path":"/health", "portIndex":0, "protocol":"HTTP", "gracePeriodSeconds":3, "intervalSeconds":10, "timeoutSeconds":10, "maxConsecutiveFailures":3 } ], … "upgradeStrategy": { "minimumHealthCapacity": 0 }, …

Marathon Config


Marathon


Architecture

Mesos master

Gateway Reporting

Alerting

Mesos slave / Marathon

Gateway

Alerting Reporting

Web

Http Post

Mesos slave / Marathon


Découverte de services



seed-nodes 1 seed-nodes 1

seed-nodes 2

Nodes 1

Nodes 2


Découverte de services• Akka 2.4 snapshot

• Intégration avec Docker

remote { enabled-transports = ["akka.remote.netty.tcp"] netty.tcp { hostname = "127.0.0.1" port = 2551 } }

remote { enabled-transports = ["akka.remote.netty.tcp"] netty.tcp { hostname = "127.0.0.1" port = 2551 bind-hostname = "192.132.122.12" bind-port = 32001 } }




Node 1

Node 2


joinCluster

joinCluster


Bamboo


Problème IP dynamique

Port dynamique

Nombre d’instances

Sous domaines (web, monitoring, …)


Bamboo

Cluster Mesos

Cluster Marathon

Bamboo Zookeeper HAProxy

API /v2/eventSubscriptions


Bamboo: UI


Bamboo: UI


Bamboo

Cluster Mesos

Cluster Marathon

Bamboo

Bamboo HAProxy

WEB 1

Zookeeper

WEBChronos Inbound

WEB 2 WEB N

Docker Registry

web.app.io


Ansible


Problème Kafka

Couchbase

Marathon

Mesos master / slave

Elasticsearch master / search / data

GoCD server / agent

…


Introduction Infrastructure as code

Agent-less

Python / Boto


$ cat inventory [webservers] foo.example.com bar.example.com

[dbservers] one.example.com two.example.com

Inventaire


Modules Commands (command, shell, script)

Files (file, copy, unarchive, …)

System (service, hostname, cron, …)

Packaging (apt, yum, …)

Source Control (git, svn, …)

Notifications (mail, irc, slack, …)


$ cat tasks/main.yml - name: Create /mnt/data directory file: path=/mnt/data/elasticsearch state=directory

- name: Install Elasticsearch apt: name=elasticsearch state=latest force=yes notify: Restart Elasticsearch

Tasks


$ tree -a . ├── files │ └── template.json ├── handlers │ └── main.yml ├── tasks │ └── main.yml ├── templates │ └── elasticsearch.conf.j2 └── vars └── .gitkeep

Rôles


$ cat group_vars/elasticsearch

elasticsearch: version: 1.4 clustername: elasticsearch-cluster nodename: {{ hostvars[inventory_hostname]['ec2_id'] }} quorom: 1 replicas: 2 plugins: - head - paramedic

Variables


discovery.zen.ping.multicast.enabled: false discovery.zen.ping.unicast.hosts: [ {% for host in groups[group_name] %}

"{{ hostvars[host]['ansible_eth0'].ipv4.address }}"

{% if not loop.last %},{% endif %}

{% endfor %} ]

Templates


$ cat elasticsearch.yml - hosts: es_nodes user: ubuntu sudo: yes

roles: - all - java - elasticsearch

Playbooks


Résultats


Résultats Création instances EC2

Configuration DNS (Route 53)

Configuration instances

Ré-utilisation des rôles (all, java, zk, …)


Provider B

Technos

Device Front WEB

Provider A

API

API

API


VPC + CROSS AZ

VPCAZ1 AZ2

PUBLIC

PRIV

PUBLIC

PRIV

WEBWEB GWGW


GO Continuous Delivery


GO CD: Principes

GO Server

GO Agent GO Agent GO Agent

DEV PROD


GO CD: Principes

Update ES

Update Kafka

Create Infra

pipeline

stage

jobs

jobs…


GO CD: Principes

npm install Karma

Job

task task


GO CD: Principes

Create Infra Update Infra

Pipeline Group

Pipeline

Docker Images Deploy Containers

Pipeline Pipeline Pipeline


GO CD: UI


GO CD: UI


TEMPLATES


Déploiement continu

Build source + run tests

docker build img

docker push img

install img instanceHttp Post to Marathon

docker run img

slave masterHub


Http post to Marathon

publish

Build Marathon request with dynamic parameters


SBTcpu in Marathon := 2 memory in Marathon := 512 instances in Marathon := 1 portsMapping in Marathon := Seq(dynamicPort(9000, Protocol.TCP))

healthchecks in Marathon := Seq(httpHealthCheck("/health", 3, 10, 10, 3))


Kafka

TOPIC

0

1 Reporting

Reporting

2 partitions deploy 2 instances


Agenda Contexte

Comment concevoir ?


Comment déployer ?

Comment monitorer ?


KPI

Provider B

Device

Provider A

GatewayCircuit

breaker

UP TIME

LATENCE


KPI

Reporting

Alerting

DÉBIT


KPI

Front WEB

API

API

Reporting

Alerting

LATENCE

VOLUME


KPI

Front WEB

API

COHERENCE


Cloud

PET vs CATTLE


Rsyslog + ES + Kibana

rsyslog


Riemann ?


Sensu ?


Monitoring Zookeeper Akka Cluster

Kafka

Mesos


Bilan Charge variable

Haute dispo


Bilan Tolérance aux pannes

Déploiement service à chaud


Bilan A/B testing

Schemaless

Facile à exploiter

En cours de réflexion, développement


Améliorations

Minimum Vertical Slice

Event Sourcing


Provider B

Améliorations

Device

Provider A

API

APIGateway Front

WEB

Reporting

Alerting

API

stream

stream


Améliorations


Prise de recul

Déploiements

Mise en place de tests

Granularité des services

Culture du client


Bibliographie

http://www.se-radio.net/2014/10/episode-213-james-lewis-on-microservices/

Standing on the shoulders of giants

@YourTwitterHandle@YourTwitterHandle@njozwiak @xbucchiotty @vspiewak#3ReactApp

QUESTIONS ?

Software

3h à l'assaut d'une application réactive - Devoxx 2015