Node.js no Pagar.me

PEDROFRANCESCHI @pedroh96

[email protected] github.com/pedrofranceschi

Node.js no

mailto:[email protected]

Assuntos

• O problema

Assuntos

• O problema

• Por que Node.js?

Assuntos

• O problema


• Problemas de Node.js

Assuntos

• O problema



• Node.js “the right way”

Assuntos

• O problema




• Repensando a infraestrutura (+ Microservices)

Assuntos

• O problema





• Deployment (+ Continuous Integration)

Assuntos

• O problema





• Deployment (+ Continuous Integration)

• Conclusões…

Assuntos

O problema

“Montar um gateway de pagamentos amigável para desenvolvedores e

empreendedores”

“A forma mais simples de receber pagamentos online”

API RESTful

Dashboard Angular.js

RubyNode.js

Python Java

.NET

PHPC#

Premissas da API

• Simplicidade: RESTful + JSON

Premissas da API


• Ambiente de testes isolado e decente

Premissas da API



• Segurança sem comprometer simplicidade (PCI)

Premissas da API




• Uptime de 99,9%

Premissas da API




• Uptime de 99,9%

• Escalabilidade

Premissas da API

Por que Node.js?

Por que Node.js?

Request de transação

API RESTful

Sistema antifraude

fraude

legítimaAdquirente (Cielo, Rede, etc)

sucesso/erro

erro

Por que Node.js?

Request de transação

API RESTful

Sistema antifraude

fraude

legítimaAdquirente (Cielo, Rede, etc)

10.000 ms

3.000

ms

sucesso/erro

erro

Por que Node.js? (no nosso caso)


• Requests externos demorados (>1.000ms)



• I/O intenso em banco de dados




• Totalmente assíncrono, single thread e event-based





• Alta carga na aplicação





• Alta carga na aplicação

• Pouco processamento (sem blocking de CPU)


“Mas é só usar threads em qualquer linguagem!..”


“Mas é só usar threads em qualquer linguagem!..”

Não.


1.000 requests por segundo com conexão a uma API externa + I/O no DB = 1.000 threads por segundo



… se cada request leva em média 10 segundos …




Em 9 segundos, teremos 9.000 threads




Em 9 segundos, teremos 9.000 threads

Isso escala? :P :P :P


Agora, em Node.js…


1.000 requests por segundo com conexão a uma API externa + I/O no DB = 1 thread







Em 9 segundos, teremos 1 thread





Isso escala? Sim.





Isso escala? Sim.#eventloopFTW

I/O síncrona

Aplicação

Sistema operacional

I/O síncrona

Aplicação

Sistema operacional

I/O

I/O síncrona

Aplicação

Sistema operacional

I/O

I/O síncrona

Aplicação

Sistema operacional

I/O

I/O bloqueante (aplicação travada)

I/O síncrona

Aplicação

Sistema operacional

I/O


I/O síncrona

Aplicação

Sistema operacional

I/Oretorno


I/O síncrona

Aplicação

Sistema operacional

I/Oretorno


I/Oretorno


I/O síncrona

Aplicação

Sistema operacional

I/Oretorno


I/Oretorno


I/Oretorno


I/O “assíncrona” com threads

Aplicação

Sistema operacional


Aplicação

Sistema operacional

I/O


Aplicação

Sistema operacional

I/O


Aplicação

Sistema operacional

I/O

Thread


Aplicação

Sistema operacional

I/O

Thread


Aplicação

Sistema operacional

I/O

Thread

I/O bloqueante (thread travada)


Aplicação

Sistema operacional

I/O

Thread



Aplicação

Sistema operacional

I/O

Thread



Aplicação

Sistema operacional

I/O

Thread

callback



Aplicação

Sistema operacional

I/O

Thread

callback


I/O

Thread

callback



Aplicação

Sistema operacional

I/O

Thread

callback


I/O

Thread

callback


I/O

Thread

callback


O segredo do Node.js

JavaScript (event loop)

V8

libuv

Sistema operacional



V8

libuv

Sistema operacional

I/O



V8

libuv

Sistema operacional

I/O



V8

libuv

Sistema operacional

I/O



V8

libuv

Sistema operacional

I/O



V8

libuv

Sistema operacional……………………………………

I/O



V8

libuv


operações assíncronas em nível de OS

I/O



V8

libuv



I/O



V8

libuv



I/O



V8

libuv



I/O



V8

libuv



I/Ocallback



V8

libuv



I/Ocallback

I/O



V8

libuv



……………………………………

I/Ocallback

I/O



V8

libuv



……………………………………

I/Ocallback

I/OI/O



V8

libuv



…………………………………………………………………………

I/Ocallback

I/OI/O



V8

libuv



…………………………………………………………………………

I/Ocallback

I/OI/O

callback



V8

libuv



…………………………………………………………………………

I/Ocallback

I/OI/O

callbackcallback

Node.js escala em I/O bloqueante, não em utilização de CPU

(threads são boas em processamento paralelo)

Problemas de Node.js

Código assíncrono (race conditions, callback hell, testes assíncronos, etc)

db.query("SELECT a FROM users WHERE ...;", function (err, result1) { db.query("SELECT b FROM users WHERE ...;", function (err, result2) { db.query("SELECT c FROM users WHERE ...;", function (err, result3) { db.query("SELECT d FROM users WHERE ...;", function (err, result4) { db.query("SELECT e FROM users WHERE ...;", function (err, result5) { console.log("Finished."); }); }); }); }); });

Um ótimo exemplo do que não fazer: callback hell.


Problemas de Javascript: bizarrices e facilidade em não seguir padrões e orientação a objetos.

> 0.1+0.2 0.30000000000000004

> typeof NaN 'number'

> NaN === NaN false

Cortesia do wtfjs.com


http://wtfjs.com

Exceptions não tratadas matam o processo.var name = “Pedro Franceschi";

console.log("Tamanho do primeiro nome: " + name.split(" ")[0].length); console.log("Tamanho do segundo nome: " + name.split(" ")[1].length);


$ node test.js Tamanho do primeiro nome: 5 Tamanho do segundo nome: 10

Exceptions não tratadas matam o processo.var name = “Pedro";

console.log("Tamanho do primeiro nome: " + name.split(" ")[0].length); console.log("Tamanho do segundo nome: " + name.split(" ")[1].length);


$ node test.js Tamanho do primeiro nome: 5

/private/tmp/test.js:4 console.log("Tamanho do segundo nome: " + name.split(" ")[1].length); ^ TypeError: Cannot read property 'length' of undefined at Object.<anonymous> (/private/tmp/test.js:4:61) at Module._compile (module.js:456:26) at Object.Module._extensions..js (module.js:474:10) at Module.load (module.js:356:32) at Function.Module._load (module.js:312:12) at Function.Module.runMain (module.js:497:10) at startup (node.js:119:16) at node.js:901:3



• Single thread (escalar horizontalmente e verticalmente com múltiplas instâncias)



• Leaks de memória difíceis de detectar (back-end em C++, variáveis globalizadas, closures, etc)




• Programadores front-end mexendo em back-end (“é tudo Javascript!!”)




• Programadores front-end mexendo em back-end (“é tudo Javascript!!”)

• Existe a 6 anos, porém ainda é beta (v0.12.0) - e às vezes você precisa usar unstable em produção

Node.js “the right way”

Qualidade de vida vs. tempo usando Node


Node é muito legal!!!


Node é muito legal!!! Ops… Meu código está

ficando uma zona…



ficando uma zona…

Queria ter feito em Rails…



ficando uma zona…

Queria ter feito em Rails…

MVC de verdade + Promise + Bluebird <3

Modules


var PI = Math.PI;

exports.area = function (r) { return PI * r * r; };

exports.circumference = function (r) { return 2 * PI * r; };

circle.js

var circle = require('./circle.js');

console.log( 'The area of a circle of radius 4 is ' + circle.area(4));

main.js


describe('Array', function(){ describe('#indexOf()', function(){ it('should return -1 when the value is not present', function(){ [1,2,3].indexOf(5).should.equal(-1); }) })

describe(‘#indexOf() after one second', function(){ before(function(done){ setTimeout(function(){ done(); }, 1000); });

it('should return -1 when the value is not present', function(){ [1,2,3].indexOf(5).should.equal(-1); }) }) });

Testes (JavaScript quebra) (https://github.com/visionmedia/mocha e https://github.com/visionmedia/should.js/)

https://github.com/visionmedia/should.js/

Node.js “the right way”Models (Sequelize/Mongoose)

var Transaction = Sequelize.define('Transaction', { amount: Sequelize.INTEGER, cost: Sequelize.FLOAT, status: { type: Sequelize.ENUM, values: ['paid', 'refused', 'refunded'], defaultValue: 'processing' } }, { instanceMethods: { calculateCost: function(status){ status = status || this.status; if(status == 'paid') { return 50 + (this.amount * 0.015); } }, }, classMethods: { }, hooks: { beforeUpdate: function(transaction) { return transaction.calculateCost() .then(function(cost) { transaction.cost = cost; }); } }, });









Node.js “the right way”Promises (Bluebird)

fs.readFile("file.json", function(err, val) { if(err) { console.error("unable to read file"); } else { try { val = JSON.parse(val); console.log(val.success); } catch(e) { console.error("invalid json in file"); } } });


fs.readFile("file.json", function(err, val) { if(err) { console.error("unable to read file"); } else { try { val = JSON.parse(val); console.log(val.success); } catch(e) { console.error("invalid json in file"); } } });


fs.readFileAsync("file.json").then(JSON.parse).then(function(val) { console.log(val.success); }) .catch(SyntaxError, function(e) { console.error("invalid json in file"); }) .catch(function(e){ console.error("unable to read file") });

Assim é bem melhor :)

Node.js “the right way”Lodash

var lines = [ ['name', 'type', 'cost'], ['iPhone', 'cellphone', '2000'], ['MacBook', 'computer', '10000'], ['iPad', 'tablet', '1500'] ];

var joinedLines = [];

for(var i = 0; i < lines.length; i++) { joinedLines.push(lines[i].join(',')); }

var csvContent = joinedLines.join('\n');

name,type,cost iPhone,cellphone,2000 MacBook,computer,10000 iPad,tablet,1500

Output







Output







Output


Assim é bem melhor :)

Lodash

var _ = require('lodash');


var csvContent = _.map(lines, function(line){ return line.join(','); }).join('\n');


Output



• Seguir e manter um code style (dica: Google JavaScript Style Guide)



• Tratamento de erros consistente via Promise (evitar que processos morram)




• Manter consistência entre as bibliotecas de Promise (i.e. usar a mesma do wrapper do database)




• Manter consistência entre as bibliotecas de Promise (i.e. usar a mesma do wrapper do database)

• Sem for(var i = 0; i < object.length; i++) - #lodashFTW

Node.js “the right way” utils


• Express.js: lightweight HTTP framework



• Sequelize: ORM de MySQL, PostgreSQL, sqlite3, etc.




• Mongoose: ORM de MongoDB





• Commander: wrapper de command line





• Commander: wrapper de command line

• Vim: melhor editor de texto :P

Repensando a infraestrutura

Infraestrutura do Pagar.me

Router

api.pagar.me

Servidor da API (Node.js)

Ambiente de testes (sandbox dos clientes)

Ambiente de produção



Router

api.pagar.me


ElasticSearchElasticSearch





Router

api.pagar.me



MySQL (transações e dados relacionais)






Router

api.pagar.me








Redis +

Redis +


Router

api.pagar.me





MongoDB (dados de clientes e não relacionais)




Redis +

Redis +

Por que tantos bancos?

Por que tantos bancos?• Separar dados de teste (sandbox dos clientes) dos dados de

produção


produção

• MySQL: dados relacionais (transações, assinaturas, planos, cartões, etc.)


produção


• MongoDB: dados não-relacionais (informações do cliente, usuários de uma conta, etc.)


produção



• ElasticSearch: indexação/buscas ultra-rápidas (expondo uma engine de buscas poderosa para os clientes)


produção




• Redis: fila para notificações entre serviços


produção




• Redis: fila para notificações entre serviços

• Não há porque se prender a uma tecnologia quando cada uma delas resolve uma parte do seu problema


Router

api.pagar.me









Redis +

Redis +


Router

api.pagar.me









Redis +

Redis +

Microservices

Cliente

Cliente

node api.js -p 3000

node gateway.js -p 5000

Cliente

node api.js -p 3000


API RESTful (pagar.me/docs)

Cliente

node api.js -p 3000



API RESTful (serviço interno)

Cliente

node api.js -p 3000



XML, SOAP, ISO 8583, X25, sinal de fumaça… :P

API RESTful (serviço interno)

Cliente

node api.js -p 3000




~ 550 ms API RESTful (serviço interno)

Cliente

node api.js -p 3000


API RESTful (pagar.me/docs)~ 500ms



Cliente

node api.js -p 3000



XML, SOAP, ISO 8583, X25, sinal de fumaça… :P> 5000 ms


Cliente

node api.js -p 3000


node hookshot.js




Cliente

node api.js -p 3000


node hookshot.js


Redis (queue)



Cliente

node api.js -p 3000


node hookshot.js


Redis (queue)



Request HTTP para o servidor do cliente

Cliente

node api.js -p 3000


node hookshot.js


Redis (queue)



~ 100 msRequest HTTP para o servidor do cliente

Deployment

Nível 1

$ node server.js

n00bz… Processo não roda em background

Nível 2

$ git pull && npm install && node server.js &

Opa… Agora tem Git, update das dependências pelo NPM e o processo roda em background

Nível 3

$ git pull && npm install && nohup node server.js

Nohup roda o processo mesmo depois do logout do SSH

Nível 4

$ git pull && npm install && service node-server restart

Um serviço é responsável por rodar e reiniciar o processo e salvar os logs do processo

Nível 5

$ service node-server restart

Agora o servidor de CI lida com o Git e as dependências

Servidor de Continuous Integration (CI)

+

pm2 (https://github.com/Unitech/pm2)

https://github.com/Unitech/pm2


• Roda e gerencia os processos do Node.js (mantém processo rodando para sempre)




• Reload no código on-the-fly (zero downtime)





• Multi-thread e clusterização sem alterar uma linha de código






• Monitoramento e gerenciamento dos logs






• Monitoramento e gerenciamento dos logs

• API RESTful + interface web


Nível 6

$ pm2 reload all

Strider é o servidor de CI e o pm2 reinicia o processo on-the-fly, sem perder nenhum request

Strider (servidor de CI)

+

Nível 7 (ChatOps)

$ pm2 reload all

Janky é o servidor de CI, Heaven é o servidor de deployment e o pm2 reinicia o processo on-the-fly, sem perder nenhum request

Janky (Jenkins) + Heaven + Hubot

+

ChatOps

ChatOps

• Todos os commits são testados (via Janky + Jenkins)

ChatOps


• Todas as branches têm um estado (green/no-green)

ChatOps



• Todas as branches green podem ser deployadas (sem regressão)

ChatOps




• Tudo acontece integrado ao GitHub

ChatOps





• Deploy da branch X (via Heaven) para um servidor ou grupo de servidores

ChatOps





• Deploy da branch X (via Heaven) para um servidor ou grupo de servidores

• Tudo acontece numa sala de bate papo com todas as pessoas relacionadas ao projeto.

$ hubot ci build pagarme-api/boleto_upgrade


$ hubot deploy pagarme-api/boleto_upgrade to prod-test/api01


$ hubot deploy pagarme-api/boleto_upgrade to prod-test/api01

$ alias sharon=hubot

$ alias sharon=hubot

$ sharon deploy pagarme-api/boleto_upgrade to prod-test/api01

$ sharon ci build pagarme-api/boleto_upgrade

Conclusões…



Obrigado! :)




Node.js no


Technology

Node.js no Pagar.me