[FDD 2016] Kamil Dworak - Przetwarzanie danych pomiarowych w tle z wykorzystaniem Azure

Przetwarzanie danych pomiarowych w tle z wykorzystaniem Azure

Kamil Dworak

Kamil Dworak

Agenda

o projekcie

koncepcja WebJobs

kolejny krok Azure Functions

podsumowanie


Kamil Dworak

O projekcie


System Samodzielnego Wykrywania Awarii na Sieci Wodociągowej.

Kamil Dworak

Integracja z mapami


Kamil Dworak

Monitorowanie parametrów


Kamil Dworak

Samodzielne wykrywanie awarii


Kamil Dworak

Dane historyczne


Kamil Dworak

Pomiar wody


Strefahydrauliczna

Przetwarzanie w chmurze

Kamil Dworak

Parametry sieci wodociągowejParametr W liczbachDługość sieci wodociągowej 2 037 kmLiczba przyłączy 41 000Liczba zasuw 65 000Średnice rurociągów 80 - 1200 DNLiczba hydrantów 15 500Liczba wodomierzy głównych 47 000


Kamil Dworak

Architektura


Kamil Dworak

WebJobs praca w tle

wspólna maszyna wirtualna

niezależne od użytkownika

przetwarzanie równoległe

start na żądanie

harmonogram zadań


Kamil Dworak

Kalkulacje danych pomiarowych


Kamil Dworak

Kudu


Kamil Dworak

WebJob kalkulacjivar queueStorage = require('queueStorage');var flowmeterPeriodicParametersCalculator =

require('./flowmeterPeriodicParametersCalculator');

const QUEUE_NAME = process.env.APP_NAME + 'flowmeter-measure-queue';

const CHECK_QUEUE_TIMEOUT = 5000;

// ...

scheduleNewMessageHandling();


Funkcja obsługująca nową wiadomość

Moduły kolejki oraz kalkulacji parametrów

Kamil Dworak

WebJob kalkulacji


function scheduleNewMessageHandling() { setTimeout(() => { queueStorage.getMessages(QUEUE_NAME, {numOfMessages: 1, visibilityTimeout: 600}) .map(message => { // ... }).catch(err => console.error('Error during calculations: ' + err)) .then(scheduleNewMessageHandling); }, CHECK_QUEUE_TIMEOUT);}// ...

Obsługa błędu

Pobranie wiadomości z kolejki

Kamil Dworak

WebJob kalkulacji// ....map(message => { var parsedMessage = JSON.parse(message.messagetext); if (parsedMessage.periodic) { return flowmeterPeriodicParametersCalculator .calculatePeriodicParametersForFlowmeter(parsedMessage) .then(() => queueStorage .removeMessage(QUEUE_NAME, message)); }});

// ...


Przetwarzanie i kalkulacja parametrów

Kamil Dworak

WebJobs


dostępne w ramach

App Service Plan

działają bez interwencji

użytkownika

ściśle powiązane

z aplikacją

manualne skalowanie

problemy z logowaniem

maszyna wirtualna zawsze

musi być dostępna

możliwe obciążenie aplikacji

Kamil Dworak

Azure Functions


następca WebJobs

oparte na zdarzeniach

brak serwera

automatyczne skalowanie

Kamil Dworak

Architektura bezserwerowa


podział zasobów

odizolowanie od aplikacji

równoległość

Kamil Dworak

Narzędzia


Kamil Dworak

Azure Functions


automatyczne skalowanie

model bezserwerowy

nowe narzędzia

szablony funkcji

dodatkowe koszty

dodatkowa implementacja

wynikająca z odizolowania

od aplikacji

Kamil Dworak

Podsumowanie

napięty harmonogram zmusza nas do WebJobów

model bezserwerowy wymusza duplikację kodu

Azure Function pociąga za sobą dodatkowe opłaty

w przyszłości Azure Functions zostaną wdrożone


Kamil Dworak


[email protected]

Software

[FDD 2016] Kamil Dworak - Przetwarzanie danych pomiarowych w tle z wykorzystaniem Azure