Upload
jakub-kulhan
View
479
Download
6
Embed Size (px)
Citation preview
ReactPHP + Symfony = PROFITaneb 1000req/s s minimálními nároky na server
1. sraz přátel Symfony v Praze (29.10.2015)
Skrz.cz hlídá každé uživatelovo prohlédnutí nabídky. Jsou to miliony pidirequestů denně. Použít PHP-FPM by znamenalo zbytečně další server(y). ReactPHP díky asynchronnímu IO dovoluje s minimálními nároky zpracovávat tisíce req/s. Nechtěli jsme se vzdát Symfony, a tak vznikl bridge mezi Symfony a asynchronním světem ReactPHP.
Slovníček
• klik = najedu myší na nabídku a zmáčknu tlačítko
• imprese = podíval jsem se na nabídku (alespoň polovina nabídky byla ve viewportu alespoň jednu sekundu)
• CTR (click-through rate) = kliky / imprese
Průměrné CTR display reklamy v ČR je 0.08% (viz http://www.richmediagallery.com/tools/benchmarks). Když máte 1 klik za sekundu, každou sekundu k němu přijde ještě přes 1000 impresí.
Takovýhle banner můžete vidět třeba na Novinky.cz. Jedná se právě o tu “display reklamu”. Tady Skrz měří tisíce impresí za sekundu.
Uvnitř Skrzu se opět měří každé zobrazení. Tam je analytika o to složitější, že se zobrazení musí správně napárovat na plochu, kde k němu došlo (boxík “Moje navštívené”, boxík “Nejprodávanější”, ostatní výpisy, s každou novou feature plochy vznikají a zanikají). Impresí už není tolik, zato obsahují více dat. Taky má Skrz řádově lepší CTR, a tudíž více prokliků.
ReactPHP(neplést s ReactJS!)
http://reactphp.org/
(https://github.com/jakubkulhan/hit-server-bench)
Impresí je tedy hodně. Ale i ty “velké” na Skrzu jsou pořád malinkaté requesty. Největší zátěz je na IO (čtení/zápis do databáze, resp. čtení/zápis do RabbitMQ).
Řešil jsem, co použít pro takového jednoduché “hitování” serveru. Performance výsledky k porovnání jsou v odkazovaném repozitáři “hit-server-bench”.
Jelikož PHP a ReactPHP zvládaly dostatečný počet req/s a datový model byl již udělán v PHP, vyplatilo se zainvestovat do ReactPHP - mohou se používat stejné objekty jako ve zbytku aplikace. Nechtělo se mi vzdát Symfony dependency injection containeru a routingu, a tak vznikl bridge mezi ReactPHP a Symfony.
ReactPHP: req, res → λ → void Symfony: req → λ → res
❓
Problém se vyskytl hned na začátku. Zatímco ReactPHP předá fci pro zpracování requestu 2 objekty - request a response a nic neočekává na výstupu; Symfony proteče request a na výstupu je očekávána response.
req → λ → promise[res]
❗
Řešení se ukázalo jednoduché. Symfony na výstupu vydá “promise” - objekt, který zastupuje výsledek výpočtu, který třeba ještě ani nemusel proběhnout. V ReactPHP se počká na výsledek promisu a ten se poté zapíše do response objektu.
github.com/jakubkulhan/reactphp-symfony
Pro kompletní příklad se podívejte na můj GitHub. Bude následovat několik slajdu s ukázkami kódu právě z tohodle repozitáře.
Boot$kernel = new AppKernel( $environment = $input->getOption("environment"), $environment !== "prod" ); $kernel->boot();
$loop = Factory::create();
/** @var Container $container */ $container = $kernel->getContainer(); $container->set("react.loop", $loop);
$socket = new Socket($loop); $http = new Server($socket);
$http->on("request", function ( Request $request, Response $response ) use ($kernel, $loop) { // ... });
$socket->listen( $port = $input->getOption("port"), $host = $input->getOption("host") );
echo "Listening to {$host}:{$port}\n";
$loop->run();
ReactPHP → Symfony$headers = $request->getHeaders(); $cookies = []; if (isset($headers["Cookie"])) { foreach ((array)$headers["Cookie"] as $cookieHeader) { foreach (explode(";", $cookieHeader) as $cookie) { list($name, $value) = explode("=", trim($cookie), 2); $cookies[$name] = urldecode($value); } } } $symfonyRequest = new SymfonyRequest( $request->getQuery(), [], // TODO: handle post data [], $cookies, [], [ "REQUEST_URI" => $request->getPath(), "SERVER_NAME" => explode(":", $headers["Host"])[0], "REMOTE_ADDR" => $request->remoteAddress, "QUERY_STRING" => http_build_query($request->getQuery()), ], null // TODO: handle post data ); $symfonyRequest->headers->replace($headers); $symfonyResponse = $kernel->handle($symfonyRequest); if ($kernel instanceof TerminableInterface) { $kernel->terminate($symfonyRequest, $symfonyResponse); }
Symfony → ReactPHPif ($symfonyResponse instanceof PromiseInterface) { $symfonyResponse->then(function (SymfonyResponse $symfonyResponse) use ($response) { $this->send($response, $symfonyResponse);
}, function ($error) use ($loop, $response) { echo "Exception: ", (string) $error, "\n";
$response->writeHead(500, ["Content-Type" => "text/plain"]); $response->end("500 Internal Server Error"); $loop->stop(); });
} elseif ($symfonyResponse instanceof SymfonyResponse) { $this->send($response, $symfonyResponse);
} else { echo "Unsupported response type: ", get_class($symfonyResponse), "\n";
$response->writeHead(500, ["Content-Type" => "text/plain"]); $response->end("500 Internal Server Error"); $loop->stop(); }
Symfony → ReactPHP (2)
private function send(Response $res, SymfonyResponse $symfonyResponse) { $headers = $symfonyResponse->headers->allPreserveCase(); $headers["X-Powered-By"] = "Love";
$cookies = $symfonyResponse->headers->getCookies(); if (count($cookies)) { $headers["Set-Cookie"] = []; foreach ($symfonyResponse->headers->getCookies() as $cookie) { $headers["Set-Cookie"][] = (string)$cookie; } }
$res->writeHead($symfonyResponse->getStatusCode(), $headers); $res->end($symfonyResponse->getContent()); }
Controller/** * @Controller */ class IndexController { /** * @var LoopInterface * * @Autowired */ public $loop;
public function indexAction(Request $request) { return Response::create("Hello, world!\n"); }
public function promiseAction(Request $request) { $secs = intval($request->attributes->get("secs")); $deferred = new Deferred(); $this->loop->addTimer($secs, function () use ($secs, $deferred) { $deferred->resolve(Response::create("{$secs} seconds later...\n")); }); return $deferred->promise(); } }
Knihovny• ReactPHP (např. HTTP klient, ZeroMQ)
https://github.com/reactphp
• MySQLhttps://github.com/kaja47/async-mysqlhttps://github.com/KhristenkoYura/react-mysqlhttps://github.com/bixuehujin/reactphp-mysql
• Redis https://github.com/nrk/predis-async
• RabbitMQ https://github.com/jakubkulhan/bunny
V ReactPHP je potřeba používat speciální knihovny, které využijí asynchronicity (použitím synchronní knihovny byste úplně znegovaly výhody, které ReactPHP má.)
Tučně jsou zvýrazněny ty, co má Skrz nasazeny v produkci.
Díky! Otázky?
Dobrá otázka byla: “Použil bys ReactPHP a Symfony znovu, kdybys stejnou aplikaci stavěl teď?”
Je důležité uvědomit si, že v době psaní aplikace (říjen/listopad 2014), byl stack ve Skrzu PHP-only. Jelikož ReactPHP splňoval výkonové požadavky, dávalo smysl neuhýbat od PHP. V situaci, co jsme byli, bych se opět rozhodl stejně.
Od té doby však ve Skrzu přibyl do stack ještě Golang. Dnes bych již tuhle aplikaci pro sledování impresí napsal v Golangu.