16

Fenntarthatóság és Big Data Ahogyan a növekvő adathalmaz a problémahalmazt csökkentheti... Dr. Pach Ferenc Péter, Morzsa László Keszthely, 2017.05.19.

Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Download PDF Report

Upload
lamlien
View
238
Download
2

Embed Size (px)

Citation preview

Page 1: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Fenntarthatóság és Big Data

Ahogyan a növekvő adathalmaz a problémahalmazt csökkentheti...

Dr. Pach Ferenc Péter, Morzsa László

Keszthely, 2017.05.19.

Page 2: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

2

Zaj, hulladék, szag, … sokféle probléma, sok esetben, sok helyen

Page 3: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

3

És amiből nem baj, ha sok van: Big Data, 4V definíció

Volume Velocity

Variety Veracity

?

Page 4: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

4

Megoldás: az integrációadatforrások és technológiák

Page 5: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

5

A megvalósított rendszerrugalmasan bővíthető, skálázható

Page 6: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

6

Page 7: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

7

Page 8: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

8

Page 9: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

9

Page 10: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

10

Page 11: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

11

Page 12: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

12

Page 13: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

13

Page 14: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

14

Page 15: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

15

Page 16: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

16

Köszönjük szépen a figyelmet!

bigdata.morzsa.eu

https://bigdata.morzsa.eu/

Deploying MQ to the Cloud - mqtechconference.com MQ to the Cloud ... (Based on Apache Kafka) ... 365 Based on Kafka MQTT protocol Multi-platform (z/OS, IBM I, Unixes, Windowses)

Deploying MQ to the Cloud - mqtechconference.com MQ to the Cloud ... (Based on Apache Kafka) ... 365 Based on Kafka MQTT protocol Multi-platform (z/OS, IBM I, Unixes, Windowses)

Documents

MQTT and SensorThings API MQTT Extension

MQTT and SensorThings API MQTT Extension

Internet

AutoPilot Insight User’s Guide - Nastel · AutoPilot Insight User’s Guide CONFIDENTIALITY STATEMENT: ... technologies such as Kafka, STORM, Spark, MQTT, log files, Python, REST,

AutoPilot Insight User’s Guide - Nastel · AutoPilot Insight User’s Guide CONFIDENTIALITY STATEMENT: ... technologies such as Kafka, STORM, Spark, MQTT, log files, Python, REST,

Documents

SZAKDOLGOZAT · 2011. 5. 17. · Üzenet szerkesztése …………………………………………………... 31 2.6.3. Üzenet mentése ………………………………………………………..32

SZAKDOLGOZAT · 2011. 5. 17. · Üzenet szerkesztése …………………………………………………... 31 2.6.3. Üzenet mentése ………………………………………………………..32

Documents

Distributed Event-Based System — AMQP, MQTT, and Kafka

Distributed Event-Based System — AMQP, MQTT, and Kafka

Documents

Throughput High Concurrency & Using MQTT and Kafka

Throughput High Concurrency & Using MQTT and Kafka

Documents

Oracle Fusion Middleware · Oracle Fusion Middleware Developing Applications for Event Processing with Oracle Stream Analytics, 12c ... 4.17 MQTT Adapter ... 4.18 Kafka Adapter

Oracle Fusion Middleware · Oracle Fusion Middleware Developing Applications for Event Processing with Oracle Stream Analytics, 12c ... 4.17 MQTT Adapter ... 4.18 Kafka Adapter

Documents

Distributed Event-Based System — AMQP, MQTT, and Kafka ......B. Stopford, “Designing Event-Driven Systems: Concepts and Patterns for Streaming Services with Apache Kafka”, O’Reilly,

Distributed Event-Based System — AMQP, MQTT, and Kafka ......B. Stopford, “Designing Event-Driven Systems: Concepts and Patterns for Streaming Services with Apache Kafka”, O’Reilly,

Documents

ÿ ô ¢ @ £ 8 ú Û ¾ | Y a t / Z < i ? Flamingo · MQTT FTP HDFS Kafka MQTT FTP HTTP Kafka Realtime Distributed Message Broker Spark Streaming 1;17,Q 2 0

ÿ ô ¢ @ £ 8 ú Û ¾ | Y a t / Z < i ? Flamingo · MQTT FTP HDFS Kafka MQTT FTP HTTP Kafka Realtime Distributed Message Broker Spark Streaming 1;17,Q 2 0

Documents

ÜZENET - medit.lutheran.hu

ÜZENET - medit.lutheran.hu

Documents

Enhancing Imageability with Emotional Datamedia.voog.com/0000/0038/5628/files/Oct 5 1445 Thomas Bjornsten.pdf · Enhancing Imageability with Emotional Data ... MQTT application Kafka

Enhancing Imageability with Emotional Datamedia.voog.com/0000/0038/5628/files/Oct 5 1445 Thomas Bjornsten.pdf · Enhancing Imageability with Emotional Data ... MQTT application Kafka

Documents

以更低成本迎接 10GbE 網路世代 Container Station …ZH...Apache®, Apache Kafka, Kafka, and the ... →Kafka →RabbitMQ →MQTT →Freeboard →Node-RED →Redis →MongoDB

以更低成本迎接 10GbE 網路世代 Container Station …ZH...Apache®, Apache Kafka, Kafka, and the ... →Kafka →RabbitMQ →MQTT →Freeboard →Node-RED →Redis →MongoDB

Documents

MQTT User Guide MQTT - TECON · MQTT User Guide MQTT This guide walks through the MQTT usage. V 2 .00

MQTT User Guide MQTT - TECON · MQTT User Guide MQTT This guide walks through the MQTT usage. V 2 .00

Documents

MQTT Version 3.1 - OASISdocs.oasis-open.org/mqtt/mqtt/v3.1.1/mqtt-v3.1.1.pdf · [mqtt-v3.1.1-plus-errata01] MQTT Version 3.1.1 Plus Errata 01. Edited by Andrew Banks and Rahul Gupta

MQTT Version 3.1 - OASISdocs.oasis-open.org/mqtt/mqtt/v3.1.1/mqtt-v3.1.1.pdf · [mqtt-v3.1.1-plus-errata01] MQTT Version 3.1.1 Plus Errata 01. Edited by Andrew Banks and Rahul Gupta

Documents

LXC Two built-in 10GbE SFP+ network ports rights reserved. Apache®, Apache Kafka, Kafka, and the ... Kafka RabbitMQ MQTT Freeboard Node-RED Redis MongoDB Ponte Dashing. 1G S-31 >>>

LXC Two built-in 10GbE SFP+ network ports rights reserved. Apache®, Apache Kafka, Kafka, and the ... Kafka RabbitMQ MQTT Freeboard Node-RED Redis MongoDB Ponte Dashing. 1G S-31 >>>

Documents

Co-Creator Apache Kafka Co-founder/CTO at Confluent, Neha ... · Co-Creator Apache Kafka. Relational Database Management Systems Data Warehousing ... Detection MQTT MQTT MQTT MQTT

Co-Creator Apache Kafka Co-founder/CTO at Confluent, Neha ... · Co-Creator Apache Kafka. Relational Database Management Systems Data Warehousing ... Detection MQTT MQTT MQTT MQTT

Documents

EXEM Big Data - 엑셈 · MQTT HTTP TCP/IP JMS ... Kafka MQTT FTP HTTP Kafka Realtime Distributed Message Broker Spark Streaming 실시간

EXEM Big Data - 엑셈 · MQTT HTTP TCP/IP JMS ... Kafka MQTT FTP HTTP Kafka Realtime Distributed Message Broker Spark Streaming 실시간

Documents

Kafka Streams + Deep Learning - RainFocus Streams + Deep Learning ... MQTT IoT iPhone App Kafka Go Client C K O A N F N K E A C T H I V E ... Apache Kafka and Deep Learning –Kai

Kafka Streams + Deep Learning - RainFocus Streams + Deep Learning ... MQTT IoT iPhone App Kafka Go Client C K O A N F N K E A C T H I V E ... Apache Kafka and Deep Learning –Kai

Documents

KAR`CSONYI ÜZENET - OSZK

KAR`CSONYI ÜZENET - OSZK

Documents

Eclipse Hono and all things IoT messaging for arbitrary protocols (MQTT, ... Support different underlying messaging infrastructures AMQP 1.0 based JMS Apache Kafka

Eclipse Hono and all things IoT messaging for arbitrary protocols (MQTT, ... Support different underlying messaging infrastructures AMQP 1.0 based JMS Apache Kafka

Documents

Eclipse Kura MQTT Namespace Guidelines · 1!! Eclipse Kura MQTT Namespace Guidelines ! Overview MQTT Request/Response Conversations • MQTT Request/Response Example MQTT …

Eclipse Kura MQTT Namespace Guidelines · 1!! Eclipse Kura MQTT Namespace Guidelines ! Overview MQTT Request/Response Conversations • MQTT Request/Response Example MQTT …

Documents

EXEM Big Data - s3-ap-northeast-1.amazonaws.com · MQTT FTP HDFS Kafka MQTT FTP HTTP Kafka Realtime Distributed Message Broker Spark Streaming 실시간

EXEM Big Data - s3-ap-northeast-1.amazonaws.com · MQTT FTP HDFS Kafka MQTT FTP HTTP Kafka Realtime Distributed Message Broker Spark Streaming 실시간

Documents

MQTT & MQTT 5 Essentials - telpar.altervista.org

MQTT & MQTT 5 Essentials - telpar.altervista.org

Documents

Scaling out Eclipse Hono - eclipsecon.org out Eclipse Hono. Who we are ... MQTT Adapter Device Registration Telemetry ... Apache Kafka? ... Future In progress/TODO

Scaling out Eclipse Hono - eclipsecon.org out Eclipse Hono. Who we are ... MQTT Adapter Device Registration Telemetry ... Apache Kafka? ... Future In progress/TODO

Documents

Integrating MQ Protocols with WSO2 ESB 4.9.0 (RabbitMQ, MQTT, Kafka)

Integrating MQ Protocols with WSO2 ESB 4.9.0 (RabbitMQ, MQTT, Kafka)

Technology

Üzenet a múltból · Portóik és sherryk Üzenet a múltból Palackba zárt üzenet minden egyes portói és sherry. A portugál és a délspanyol desszert-borban az a közös,

Üzenet a múltból · Portóik és sherryk Üzenet a múltból Palackba zárt üzenet minden egyes portói és sherry. A portugál és a délspanyol desszert-borban az a közös,

Documents

Security, Privacy and IPR/Data Protection … Flink Apache Kafka and Apache Spark Integration Aspects Appendix D: Overview of Message Bus Technology MQTT Apache Kafka Apache Flume

Security, Privacy and IPR/Data Protection … Flink Apache Kafka and Apache Spark Integration Aspects Appendix D: Overview of Message Bus Technology MQTT Apache Kafka Apache Flume

Documents

Üzenet Szeressük egymást - Jászárokszállás

Üzenet Szeressük egymást - Jászárokszállás

Documents

Scaling MQTT With Apache Kafka

Scaling MQTT With Apache Kafka

Technology

MMA - Üzenet - Kerényi József

MMA - Üzenet - Kerényi József

Documents