IoTアプリケーションで利用するApache NiFi

IoTアプリケーションで利⽤するApache NiFi YutaImaiSolu,onsEngineer,Hortonworks

©HortonworksInc.2011–2015.AllRightsReserved

2 ©HortonworksInc.2011–2016.AllRightsReserved

Agenda Ã  HDPandHDFÃ WhatyoucandowithSparkÃ  SparkReferenceArchitectureÃ  Demo

HDPandHDF

Spark is certified as YARN Ready and is a part of HDP.

Hortonworks Data Platform 2.4

GOVERNANCE OPERATIONSBATCH,INTERACTIVE&REAL-TIMEDATAACCESS

YARN:DataOperaAngSystem(ClusterResourceManagement)

ApacheFalcon

ApacheSqoop

ApacheFlume

ApacheKaTa

Apache

1 • • • • • • • • • • •

• • • • • • • • • • • •

HDFS(HadoopDistributedFileSystem)

ApacheAmbari

ApacheZooKeeper

ApacheOozie

DeploymentChoiceLinux Windows On-premises Cloud

ApacheAtlas

Cloudbreak

SECURITY

ApacheRanger

ApacheKnox

ApacheAtlas

HDFSEncryp,on

Engine

HDFandHDP

Hadoop

HBase Hive SOLR

ServiceManagement/

Workflow

RawNetworkStream

NetworkMetadataStream

DataStores

Syslog

RawApplicaAonLogs

OtherStreamingTelemetry

IoTandNiFi

WhatwecandowithIoT:自動車

Ã  想定されるユーザー:運送会社やタクシー会社等の商用自動車ユーザー

Ã  フリートマネジメント–  資産としての車の利用率最適化 –  燃費最適化

Ã  個別の車のマネジメント–  故障予知–  部品マネジメント

Ã  個別のドライバのマネジメント–  運転の安全性についてのスコアリング

WhatwecandowithIoT:自動車

Ã  想定されるユーザー:運送会社やタクシー会社等の商用自動車ユーザー

Ã  フリートマネジメント–  資産としての車の利用率最適化 –  燃費最適化

Ã  個別の車のマネジメント–  故障予知–  部品マネジメント

Ã  個別のドライバのマネジメント–  運転の安全性についてのスコアリング

データソース•  ⾞から上がってくるセンサーデータ•  天候•  道路/交通情報•  ⾞の管理情報•  ドライバの管理情報

SueJimHDP Data Analyst HDP Developer

Jim and Sue Build Monitoring App Demo Here

違反や事故を予測車のU,liza,onを可視化

交通渋滞を予測

IoTデータでコネクテッドカーのデータをさらに豊富に⾃動⾞センサー

•  速度計•  気圧計 •  タイヤプレッシャ•  フロントガラスウォッシャー•  GPS

WiFi •  Beacon frames•  Request probes

気象情報•  気温•  降⽔量と⾵の速度

道路•  トラフィックカメラ•  制限速度

ソーシャル•  Twitter

Usage Based Insurance

•  彼らはSnapshotと呼ばれるデバイス経由でリアルタイムに⾃動⾞からアップロードされるデータと道路の混雑状況のデータ、そして過去の様々なデータを組み合わせることによりドライバーごとに価格最適化を⾏うことにより、総額にして約5億6千万ドルの保険料割引を実現したと発表しました。

•  右の写真のデモは、⾚い円筒が、過去のデータから得られた事故多発地帯や犯罪多発地帯を表しており、被保険者の⾞がこのエリアに侵⼊したことを⾃動的に検知する仕組みを可視化したものです。

WhatwecandowithIoT:農業

Ã  想定されるユーザー:農業事業者

Ã  状態の把握–  温度、湿度、日照時間等を記録しておいたものと、出来上がった農作物の出来を付きあわせてベストプラクティスやバッドプラクティスの数値化。

–  問題が起こるであろう状態の把握と通知。そして記録。

Ã  環境最適化–  自動散水–  ビニールハウス内の最適状態維持

• 温度や湿度、日照度など–  ドローンのコントロール

WhatwecandowithIoT:農業

Ã  想定されるユーザー:農業事業者

Ã  状態の把握–  温度、湿度、日照時間等を記録しておいたものと、出来上がった農作物の出来を付きあわせてベストプラクティスやバッドプラクティスの数値化。

–  問題が起こるであろう状態の把握と通知。そして記録。

Ã  環境最適化–  自動散水–  ビニールハウス内の最適状態維持

• 温度や湿度、日照度など–  ドローンのコントロール

データソース•  センサーデータ•  カメラによる画像/動画•  天候•  天候の予報•  市場データ

WhatwecandowithIoT:通信事業者

Ã  想定されるユーザー:通信事業者

Ã  セルタワーの管理と最適化–  利用率の監視と最適化–  フェムトセル管理

Ã  SelfOp,mizingNetwork–  顧客通信の帯域の最大化–  利用率の最大化–  DroppedCallの最小化

Ã  SelfOp,mizingNetwork–  顧客通信の帯域の最大化–  利用率の最大化–  DroppedCallの最小化データソース

•  実際の電話トランザクション•  CDR•  セルタワーのキャパシティ状態•  ソーシャルストリーム

Ã  SelfOp,mizingNetwork–  顧客通信の帯域の最大化–  利用率の最大化–  DroppedCallの最小化データソース

•  実際の電話トランザクション•  CDR•  セルタワーのキャパシティ状態•  ソーシャルストリームセルタワーからKafkaに対して1時間に160億以上の

レコードをNiFiでIngestしているという事例も

()()()()

IoTアプリケーションはデータソースが様々

Ã  データの種類

Ã  データの流速

Ã  データの宛先

Apache NiFiのようなデータフローを柔軟に管理できるソフトウェアが活きる

W I T H O U T H O R T O N W O R K S D A T A F L O W

W I T H H O R T O N W O R K S D A T A F L O W

Ingest

Scripts

Messaging

Scripts

HORTONWORKSDATAFLOW

Apache NiFiのようなデータフローを柔軟に管理できるソフトウェアが活きる

W I T H O U T H O R T O N W O R K S D A T A F L O W

W I T H H O R T O N W O R K S D A T A F L O W

Ingest

Scripts

Messaging

Scripts

HORTONWORKSDATAFLOW

複数のチーム（例えばアプリケーションとインフラ）をまたがった調整が必要になったりもする

利⽤者だけで変更が完了する

ビジネス的なイテレーションが早く回せる

New York Cityの地下鉄の情報をもとにIoT的なアプリケーションを作ってみる

•  GTFS-realtimeという仕様に則り、地下鉄の運⾏情報（どの駅にいるのか、という情報や遅延状況など）を1分に1回フィードしてくれる

•  リアルタイム情報以外にも、地下鉄の駅の地理的位置情報yや、出⼊り⼝の位置、エスカレーターの場所などの情報が提供されている

MTAFeed

MTAStops

SparkStreaming

HBase+

Phoenix

Spring

Hive/SparkSQL SparkML

BI Zeppelin

Twiher

•  Loca,ons•  Fleetmanagement

•  Sta,s,cs•  Regression(WIP)

IoT:MTASubwayIoTsampleapplicaAon

リアルタイムアプリケーション

リアルタイムフィード内の運行情報から

リアルタイムフィード内のアラート情報から

リアルタイムフィード内の運行情報から

MTAFeed

MTAStops

SparkStreaming

HBase+

Phoenix

Spring

BI Zeppelin

Twiher

リアルタイムアプリケーション

PMML(WIP)

リアルタイムフィード位置情報、アラート情報

バッチ取り込み駅の位置情報など

MTAFeed

MTAStops

SparkStreaming

HBase+

Phoenix

Spring

BI Zeppelin

Twiher

リアルタイムフィードも必ずストレージに保存しておくSourceoftruth

MTAFeed

MTAStops

SparkStreaming

HBase+

Phoenix

Spring

BI Zeppelin

Twiher

リアルタイムフィードも必ずストレージに保存しておくSourceoftruth

どこまでNiFiでカバーするかはケースバイケース

データが積み上がっていれば・・・

積み上げたデータでモデルのトレーニング

MTAFeed

MTAStops

SparkStreaming

HBase+

Phoenix

Spring

BI Zeppelin

Twiher

Sourceoftruthをもとにモデルトレーニング

トレーニングしたモデルはPMML等でリアルタイムアプリケーション側に読み込ませることでストリーム処理によるClassifica,onやClusteringに使う

リアルタイムアプリケーション+機械学習モデル

Delaypredicted!

路線ごとの遅延実績のチャート

のさらに右側を回帰分析で書き足したり

各電車のステータステーブルロジスティック回帰やクラスタリングで各電車の遅延を予測したり

MTAFeed

MTAStops

SparkStreaming

HBase+

Phoenix

Spring

BI Zeppelin

Twiher

SourceortruthももとにBI等での分析の実施

PMML(WIP)

BI的な分析

•  SparkならZeppelinでもある程度できる

•  Hiveserver2やSparkThrijServerを使えばJDBC経由でSparkSQLやHiveが使える

•  最近だとDruidも流行ってきてるっぽい。（HadoopSummitでもYahooとかNellixのアーキテクチャの絵に出てきた）

•  他にもHAWQやPrestoなどMPPデータベースとか

さらに・・・データソースの追加も(DataEnrichment)

MTAFeed

MTAStops

SparkStreaming

HBase+

Phoenix

Spring

BI Zeppelin

Twiher

データのEnrichment

PMML(WIP)

NiFiならデータソースの追加も簡単

CorporateDB

まとめ

Apache NiFiとIoT

Ã  IoTはデータソースの種類が多様になるケースがあるÃ  データソースを動的に⾜したいこともあるÃ  NiFiはこういうデータパイプラインに最適Ã  システムアーキテクチャ的にはデータソース層とデータ処理層の間に置くのが○

Apache NiFiとIoT

Hadoop

HBase Hive SOLR

ServiceManageme

nt/Workflow

RawNetworkStream

DataStores

Syslog

RawApplicaAonLogs

Apache NiFiとIoT

Hadoop

HBase Hive SOLR

ServiceManageme

nt/Workflow

RawNetworkStream

DataStores

Syslog

RawApplicaAonLogs

※Fluentd的にアプリケーション・サーバーからのログ回収エージェントとしても使えるけれども、これはまた別の話

IoTアプリケーションで利用するApache NiFi

Technology

Beyond Messaging Enterprise Dataflow powered by Apache NiFi

Apache nifi

What will be new in Apache NiFi 1.2.0

Apache NiFi and MiNiFi: Edge to Core Meetup

Integrating Apache Spark and NiFi for Data Lakes

Using Apache NiFi Registry - ClouderaApache NiFi Registry Introduction Introduction Apache NiFi Registry-a subproject of Apache NiFi-is a complementary application that provides a

Hadoop Summit Tokyo Apache NiFi Crash Course

Building Data Pipelines for Solr with Apache NiFi

Introduction to data flow management using apache nifi

Big Data Systems Infrastructure · * Implementing Apache Nifi Cluster * Simple Integration Project with Apache Nifi Intro to Python Programming * Ingesting Data into Hadoop * Implementing

Apache NiFi: Ingesting Enterprise Data At Scale

Apache NiFi Meetup - Princeton NJ 2016

Dataflow with Apache NiFi

Data ingestion and distribution with apache NiFi

Real-Time Data Flows with Apache NiFi

Integrating Apache NiFi and Apache Apex

Apache NiFi Toolkit Guide · 2020-06-27 · Additional Certificate Commands.....28 ZooKeeper Migrator ... ZooKeeper Migration Steps.....30. Apache NiFi Overview Overview The NiFi

Apache NiFi 1.0 in Nutshell

Dataflow with Apache NiFi - Apache NiFi Meetup - 2016 Hadoop Summit - San Jose

Mission to NARs with Apache NiFi