7
FUJITSU. 62, 3, p. 356-362 05, 2011356 あらまし 社会構造の複雑化やボーダレス化により富士通が取り組むICTのビジネス環境もここ 12年で様変わりしつつある。富士通では,人や様々なモノからの大量な情報(センシン グデータ)をトラステッドなクラウド環境の上で収集し分析・解析するICT基盤の開発に 取り組んでいる。従来とは桁違いのデータ量を場合によってはリアルタイムに処理する ために,富士通単独での実現にこだわらず,必要に応じパートナとの連携も視野に入れ てスピーディな環境提供に取り組んでいる。また技術的にも複合イベント処理(CEP)や Hadoopを使った並列分散処理などの新しい技術で高速処理の実現を目指している。 Abstract The environment of ICT business has been changing during the past few years in an increasingly complex and borderless society. Fujitsu has developed an ICT platform which collects and analyzes large amounts of sensing data from people and devices on the trusted cloud. In order to deliver an ICT environment for real-time processing of massive amounts of data in a timely manner, we intend to cooperate with business partners rather than attempting to achieve it by ourselves. From a technological aspect, we aim to achieve high-speed processing by using new technologies such as parallel distributed processing with complex event processing (CEP) or Hadoop. 小林午郎   藤田和彦 大量データ収集分析基盤 Convergence Service Platform

大量データ収集分析基盤 - Fujitsu · 2015-11-25 · 以下,センシング技術を例に挙げる。 (1) モノの動向把握や分析 技術や社会的インフラの充実により人やモノの

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 大量データ収集分析基盤 - Fujitsu · 2015-11-25 · 以下,センシング技術を例に挙げる。 (1) モノの動向把握や分析 技術や社会的インフラの充実により人やモノの

FUJITSU. 62, 3, p. 356-362 (05, 2011)356

あ ら ま し

社会構造の複雑化やボーダレス化により富士通が取り組むICTのビジネス環境もここ1,2年で様変わりしつつある。富士通では,人や様々なモノからの大量な情報(センシングデータ)をトラステッドなクラウド環境の上で収集し分析・解析するICT基盤の開発に取り組んでいる。従来とは桁違いのデータ量を場合によってはリアルタイムに処理する

ために,富士通単独での実現にこだわらず,必要に応じパートナとの連携も視野に入れ

てスピーディな環境提供に取り組んでいる。また技術的にも複合イベント処理(CEP)やHadoopを使った並列分散処理などの新しい技術で高速処理の実現を目指している。

Abstract

The environment of ICT business has been changing during the past few years in an increasingly complex and borderless society. Fujitsu has developed an ICT platform which collects and analyzes large amounts of sensing data from people and devices on the trusted cloud. In order to deliver an ICT environment for real-time processing of massive amounts of data in a timely manner, we intend to cooperate with business partners rather than attempting to achieve it by ourselves. From a technological aspect, we aim to achieve high-speed processing by using new technologies such as parallel distributed processing with complex event processing (CEP) or Hadoop.

● 小林午郎   ● 藤田和彦

大量データ収集分析基盤

Convergence Service Platform

Page 2: 大量データ収集分析基盤 - Fujitsu · 2015-11-25 · 以下,センシング技術を例に挙げる。 (1) モノの動向把握や分析 技術や社会的インフラの充実により人やモノの

FUJITSU. 62, 3 (05, 2011) 357

大量データ収集分析基盤

・モノの状態把握や故障予知これらは従来,富士通が手がけてきた企業システムの領域とは違い,お客様の製品やサービスを直接的に良くするものである。これらは業種別で完結していた経済活動が社会構造の複雑化によって複数の業種連携を生むものであり,新しいビジネス創造につながってきているととらえられる。以下,センシング技術を例に挙げる。(1) モノの動向把握や分析技術や社会的インフラの充実により人やモノの状態を把握することが可能になる。また,クルマや電気製品などのモノをセンサネットワークでデータセンターにつなげ,その状態(データ)の蓄積・分析により傾向や個人の趣向が分かり,その結果,従来では考えられなかったサービスや製品の登場を促している。(2) 省エネルギー,環境貢献化石燃料などの資源枯渇や温室効果ガスによる温暖化は世界規模の問題となり,日本においても環境に配慮した資源の有効活用の必要性が高まっている。我々の暮らしの中でもセンサ技術を活用して人の動きを感知した電気のOn/Offやエスカレータの稼働制御,冷暖房の温度調節など省エネルギー対応への追求が始まっている。以上,センシング技術について触れたが,ICTは我々の生活に溶け込み,今まで以上に豊かで快適な暮らしを支えるサービスを提供していくものと思われる。

目指すビジネスモデル

富士通は,前章での述べたようなパラダイムシフトを起こしている人々の暮らしや社会構造にどう貢献していくのか?お客様である各企業や個人に対し,どのようなICTを提供するのか?一つの手段としてデータの利活用による貢献が考えられる。データと言っても様々な種類が存在する。例えば,お客様の業務システムに集まってくる各種バックオフィス系のデータ,売上げ情報や販売実績,あるいはインターネット上に展開されるSNSやTwitterで繰り広げられる人々の関心事などが挙げられる。これらはデータの分析により,傾向や一定の法則が把握できれば人々の考え方や嗜

好,行動予測,

目指すビジネスモデル

ま え が き

コンピュータは従来,人の仕事を代行させるために活用されていた。単純なところでは手計算やそろばんを使っていた仕事を電卓で実現し,その発展系で計算ソフトや企業業務システムなどが開発され,利便性の向上につながった。コンピュータの発達は,ハードウェア(CPU能力など向上)と,ソフトウェア(アプリケーションの開発)に分けられる。さらに現在,ハードウェアは,仮想化技術を使用したクラウド・コンピューティングの登場によって様々な用途に活用できるようになり,ソフトウェアは,従来の人の仕事の代行ではなく,我々の暮らしを直接的にサポートするために使われるようになりつつある。富士通は「ヒューマンセントリック・インテリジェントソサエティの実現」を掲げ,人々の生活をより豊かで快適なものにすることを目指している。本稿では,その実現手段の一つとして富士通が提供するトラステッドなクラウド環境を活用したICT基盤である大量データ収集分析基盤を紹介する。(1) まず,人々の生活に役立つICTの事例を紹介し,つぎに富士通の目指すビジネスモデル,大量データ収集分析基盤,課題点の整理について述べる。

生活に役立つICT

まえがきで述べた我々の暮らしを直接的にサポートするICTとは何なのか?最近話題になっている事象などを整理しながら考えたい。目指す姿はICTが生活の中に自然と溶け込んで知らないうちに豊かで快適な,そして楽しい暮らしができることである。ここ1年くらい富士通に寄せられるお客様やパートナからの相談は,従来あまり意識しなかったような事柄が増えつつある。・低炭素な街づくり・豊かな暮らしを実現するための安全安心な環境・エコな生活実現手段・環境に配慮した製品やサービスの実現・資源有効活用・人の行動の見える化(行動分析からの行動予測や行動支援)

ま え が き

生活に役立つICT

Page 3: 大量データ収集分析基盤 - Fujitsu · 2015-11-25 · 以下,センシング技術を例に挙げる。 (1) モノの動向把握や分析 技術や社会的インフラの充実により人やモノの

FUJITSU. 62, 3 (05, 2011)358

大量データ収集分析基盤

策の検討を進めてきた。その結果,各種病気発症前に予防することこそが医療費抑制の最大ポイントであることと認識し,健康指導や生活習慣の改善を2010年度下期より従業員約2600名に対して健康医療機器や携帯電話を活用したデータ収集と分析により健康指導を進め,メタボ抑制から医療費低減の結果を導き出す試みを実施中である。現在,PHRデータを様々な角度で分析しており,男女差や地域差などの初期分析結果が出始めている。(2)

(2) タクシープローブ実証実験経済産業省の実証実験に端を発し,全国を走っているタクシーからセンシングデータ(位置情報,実車・空車情報など)を収集し,そのデータ集約結果を分析することにより,道路の渋滞情報予測を作成する。現在は一部タクシーのみのデータ収集であるが,これを公共交通機関であるバスや商業トラックまたは一般自家用車の世界に広げることにより渋滞情報のみならず,クルマの移動状況や人々の動きを把握することが可能になり,様々なサービスにつなげることを検討している。位置

支援などが可能になったり,モノの状態が分かれば故障予知やモノへの情報提供(ソフトウェアのアップグレードや端末への情報表示)が可能になったりする。そこで富士通は,クラウド環境を利用し,図-1に示すような様々な機器から収集した大量の情報(センシングデータ)を分析・解析するICT基盤の開発に取り組んでいる。この大量データ収集分析基盤は,お客様が所有されているデータをそのお客様の製品やサービスをより良くするために付加価値を持って還元することが可能であり,また第三者への情報提供により新しいビジネスドメインの創出も可能である。現在までに富士通が取り組んでいる各種の実証実験の事例をいくつか紹介する。(1) PHR(Personal Health Record)社内実証実験昨今の健康ブームや医療費の増大など医療への関心は日本のみならず世界的な広がりを見せている。富士通は,医療費の増大と病気になる前となった後での医療費の差に着目してPHRでの解決

車両・走行路面・映像気温・天候EV電池残量運転手の状態

自動車 携帯

通話・通信GPS・運動加速度

土壌成分水成分メタゲノム振動・磁場

各種センサ 医療機関スポーツジム

電子カルテ薬運動量

ナビゲーション安全運転支援 農業生産支援ダイエット

健康支援 感染情報

運送業者・タクシー 農業法人

電力量

スマートメータ

防 犯

防犯カメラ

リモートサービス新機能・新商品

健康保険組合 製薬会社 メーカ

ノウハウ・知識・ひらめき・社会問題

分析・融合

電力量使用状況体重・血圧

家電健康機器

ベンチャーエネルギーマネジメント

(HEMS,BEMS)

家庭

大容量データ収集基盤

図-1 大量データ収集分析基盤の概念Fig.1-Concept of convergence service platform.

Page 4: 大量データ収集分析基盤 - Fujitsu · 2015-11-25 · 以下,センシング技術を例に挙げる。 (1) モノの動向把握や分析 技術や社会的インフラの充実により人やモノの

FUJITSU. 62, 3 (05, 2011) 359

大量データ収集分析基盤

情報は移動する人やモノの動きをとらえ,そこからの知見を得ることは重要な要素である。富士通は単にクルマの移動状況を把握するだけでなく,位置情報とそのほかのセンシングデータの相関関係を把握し新たなサービスの創造を検討している。(3)

(3) エネルギーマネジメント実験スマートシティやスマートコミュニティというキーワードは既に一般的なものになっているが,環境に配慮した低炭素社会の実現は国家・地球規模で議論されている。富士通も従来の電力会社や製造業,流通業のお客様とビジネスを進める中で,省エネルギーで豊かな社会作りについて検討している。省エネルギーへの取組みは全産業界の共通重要課題として認識されているので,様々な角度から多種多様な取組みがなされている。エネルギーの見える化や無駄削減,そしてエコへ向かった行動支援は個人,家庭,コミュニティ,都市,国家の各レベルの環境,嗜好,文化などの総合的な取組みが必要であり,ビジネスモデルの構築とともに高度な知見,経験やICTを駆使して実現されるものである。富士通も国内外の取組みに参画しており,これらの取組みを支える基盤が大量データの収集分析基盤である。

大量データ収集分析基盤の機能と構成

ここでは様々なデータ利用を総合的にサポートするプラットフォームを大量データ収集分析基盤と呼び,その利用者をテナントと呼ぶことにする。● 機能何社ものテナントが,大量のデータを分析し,リアルタイムに利活用していくためには,以下のような機能が必要となる。(1) データや事象をリアルタイムに収集・検知する。(2) 大量データを蓄積する。(3) 大量データをある時間内に処理する。(4) 処理結果を可視化して分析・評価する。(5) 処理結果を様々なサービスとして利用する。(6) データ処理を容易かつ柔軟に設計・管理する。(7) テナント要求に応じたシステムを準備・管理する。

● 構成上記の機能を実現する基盤の全体構成を図-2に示す。本基盤は富士通のシステムリソースサービス(IaaS)上で最大12のサブシステムから構成される。①センサフロント様々な「人」が活動すると,それに伴って利用

大量データ収集分析基盤の機能と構成

システムリソースサービス(IaaS)

③データ蓄積・変換

⑧サービスマッシュアップ

大量データ収集分析基盤

⑨開発資産管理

①センサフロント

②複合イベント処理

④並列処理

⑤ジョブネットワーク

⑥データ分析・評価

⑦オンラインサービス

⑪サービス運用管理

⑫テナント運用管理

⑩稼働資産管理

図-2 大量データ収集分析基盤Fig.2-Convergence service platform.

Page 5: 大量データ収集分析基盤 - Fujitsu · 2015-11-25 · 以下,センシング技術を例に挙げる。 (1) モノの動向把握や分析 技術や社会的インフラの充実により人やモノの

FUJITSU. 62, 3 (05, 2011)360

大量データ収集分析基盤

に処理し,利用していくためには,従来のバッチ処理のように中間ファイルを作りながらデータフローを直列に処理するのではなく,処理を並列化していくことも考えなくてはならない。従来でも,地域や時間帯などでデータを分割し,並列化する工夫は行われていたが,データフロー,処理フローの設計にはノウハウと時間を要していた。それらを比較的簡単なフレームワークでアプリケーションとして記述し,実行できるシステムが必要である。これには,現在,開発が活発化し,様々な分野で実績を上げているオープンソースのApache Hadoopが注目されている。本基盤でもそれを採用することによって,最新の開発成果を取り込んだ,並列処理サブシステムを提供する。⑤ジョブネットワーク並列処理だけでなく,従来型の様々なジョブを組み合わせて,大量データ処理を容易に行える系として,ジョブネットワークサブシステムを提供する。⑥データ分析・評価データを様々な角度で分析・予測していくためのアルゴリズムの研究は日進月歩である。本基盤でもそれらのアルゴリズムを順次,取り入れていく。しかし,データの持つ意味を引き出し,そこから新しい知見を得ていくためには,データを分析・評価する人に,分析結果を適切に提示し,分析者の知識やノウハウを創造していけるようなデータの可視化と操作性が必要となる。それを実現するため,地図情報などの基礎情報と,分析結果を重ね合わせ,3次元化,時系列化,断面化など,自由な発想でデータを分析・評価できるサブシステムを提供する。⑦オンラインサービス分析結果を基に,エンドユーザに向けて,様々なサービスが開発されることになる。エンドユーザは,スマートフォン,Webブラウザ,アプライアンス機器など,様々な端末機器からアクセスしサービスを利用している。これらを支援するシステム基盤として,従来のWebベースのオンラインサービスサブシステムを提供する。⑧サービスマッシュアップインターネット上にある様々なクラウドサービス,オンプレミスのシステムなどを自由に組み合

される様々な「モノ」や,それに必要となる「カネ」といったリソースが同時に動く。それらの状況・状態は,様々なセンサ・端末や既存のシステムから収集することができる。そこから収集できる情報は様々な形式をしているので,それらを横断的に利用するためには形式を整えたり,データを補完したりといったことが必要となる。本基盤では,それらを確実に実施するためにセンサフロントサブシステムを提供する。②複合イベント処理データを事象(イベント)として監視し,ある状態になったときには,それを検知して,何らかのアクションを起こしていくことが必要となる。例えば,タクシーからの位置・運行情報をセンシングすることで,ある道路が渋滞していると判断した場合には,送迎ルートの変更や配車のためのルールを変える必要があるかもしれない。このように事象のパターンを検知し,アクションにつなげいく処理系を複合イベント処理(Complex Event Processing)サブシステムとして提供する。③データ蓄積・変換センサや既存のシステムからの事象は刻々と収集されるので,処理すべきデータ量は今までの業務システムとは比較にならないくらい大量になる(数百Tバイト~数十Pバイト)。また,決まった業務データを表現するのと異なり,新たなセンサの追加や変更に応じて,収集するデータの項目は,その都度,追加・変更される。さらに,利用の場面でも,常に固定的な形式が要求されるのではなく,必要に応じて様々な形式が要求される。従来のリレーショナル型のデータベースでは,同じ項目,同じ表構造を持つデータを大量に蓄積・利用するのには適しているが,このように,要求にその都度応じた蓄積・利用には不向きである。この分野には最近Webサービスの分野でも注目されているキー・バリュー型のデータストアが適している。また,データを様々な視点で利用するとなると,個人情報,セキュリティの観点からデータの秘匿化,匿名化などの技術も必要になる。本基盤では,これらの技術を駆使したデータ蓄積・変換サブシステムを提供する。④並列処理大量に蓄積されたデータを要求に応じて,迅速

Page 6: 大量データ収集分析基盤 - Fujitsu · 2015-11-25 · 以下,センシング技術を例に挙げる。 (1) モノの動向把握や分析 技術や社会的インフラの充実により人やモノの

FUJITSU. 62, 3 (05, 2011) 361

大量データ収集分析基盤

今後の取組みや課題

本当に使ってもらえる基盤サービスになるにはどのようなサービスを提供すればいいのか?またスピーディにサービスを実現するにはアプリケーションの作りやすさも大きな要素である。ここでは今後の課題を整理したい。● 柔軟性様々な利用に対応していく上で,既存の知識やアイディアだけでは開発が行き詰まる。使用いただいたお客様の声の収集,および新技術や高度な知識を保有されているベンチャー企業などと協業を進めていくというような,開発の枠を広げていく柔軟な体制が必要となる。(4)

● 開発(1) マルチテナント化多くの情報を収集するには様々なお客様の情報をセキュアに集約しながら分析する必要がある。(2) OSSやISVのサポート問題富士通のプロダクトだけでなくOSSやISVの活用も視野に入れているが,そのサポート体制の確立が必要である。(3) 運用監視方法の確立クラウド環境におけるサービスの運用監視は上記のマルチテナント化とともに技術的にも体制的にも検討が必要である。(4) セキュリティ確保(個人情報問題など)大事な情報をお預かりするにはしっかりとした管理が必要であり,セキュアなクラウド環境上で実現することが必要であり,個人情報も技術的に隠ぺいしながらサービスの提供を目指さなければならない。(5) API/SDK提供大量データを取り扱う各種のアプリケーションを開発する上で,API(Application Programming Interface)の提示やSDK(Software Development Kit)の充実がサービスの数や場の提供という観点から非常に重要である。● 契約,知財,特許契約についても例えば,預かるデータの二次利用許諾についての留意事項や共同検討や検証の方法,知財の確保を可能とするノウハウなどが考えられる。

今後の取組みや課題わせて,サービス化できるサービスマッシュアップサブシステムを提供する。⑨開発資産管理上述の①~⑧は,データの処理方式に合わせてアプリケーションを実行するサブシステムとなる。それらのサブシステムは,分析するデータ,分析手法,分析結果に基づくサービスなどの要件によって,その組合せが変化する。例えば,既存システムからデータをファイル転送で持ち込んで,並列処理をするだけであれば,③と④の機能があればよく,フロントにセンサを配置するのであれば,さらに①,②が必要になる。従来は,このようなシステム設計と,それに伴うサーバ,ストレージ,ネットワークなどのインフラストラクチャの構築に,多くの期間を費やしていた。本基盤では,開発資産管理サブシステムを利用することによって,データフローに基づくサブシステムの構成を定義することでそれを容易に実現する。⑩稼働資産管理実際に稼働しているアプリケーション,デー

タ,システム構成などを統一的に運用・管理できるビューを稼働資産管理サブシステムとして提供する。⑪サービス運用管理テナントごとの管理者が利用する機能として,エンドユーザの管理,課金,エンドユーザに提供されるサービス管理などを一元的に行うために,サービス運用管理サブシステムも提供する。⑫テナント運用管理本基盤では,上記のように,サブシステムを組み合わせたものをシステムと定義し,テナントごとに自由にそのシステムを構成し,利用できる。さらに,それだけでなく,このシステムを複数のテナントで利用することも想定している(マルチテナント機能)。そのために,本基盤を利用する各テナントを一元的に運用管理し,全体としてコントロールするためのサブシステムとしてテナント運用管理サブシステムを提供する。上記のように,処理方式によるサブシステム化とその組合せとしてのシステム,さらにシステムのマルチテナント化によって,多くのお客様に柔軟性のある大量データ処理基盤を提供していく予定である。

Page 7: 大量データ収集分析基盤 - Fujitsu · 2015-11-25 · 以下,センシング技術を例に挙げる。 (1) モノの動向把握や分析 技術や社会的インフラの充実により人やモノの

FUJITSU. 62, 3 (05, 2011)362

大量データ収集分析基盤

量データ収集分析基盤について述べた。この大量データ収集分析基盤は,研究所を含めた社内の非常に多くの協力者がOne Fujitsuの精神で鋭意開発を進めている。またこの基盤は国内のみならず将来はグローバルサービス基盤へと展開される。

参 考 文 献

(1) 平野敦士カールほか:プラットフォーム戦略.東洋経済新報社,2010.

(2) 梅川竜一ほか:PHRを活用したサービスへの取組み.FUJITSU.Vol.62,No.3,p.297-303(2011).

(3) 玉井恭平ほか:位置情報ベースサービス基盤.FUJITSU.Vol.62,No.3,p.304-310(2011).

(4) ドン・タプスコットほか:ウィキノミクス マスコラボレーションによる開発・生産の世紀へ.日経BP社,2007.

また新しい取組みの際は往々にして当事者は特許出願や特許になりうる可能性に気づきにくい場合があるのでそれをカバーするには様々な検討事項がある。扱う情報も個人情報が含まれるケースが想定され,政府でも個人情報保護法が平成17年に施行され議論が継続されている。● プロフェッショナル人材この基盤で集約された情報の分析や解析は,ツールだけではなく様々な領域の専門家の知恵や今まで気づかなかったデータの関連性を見つけ出すプロフェッショナルが必要である。BI(Business Intelligence),BA(Business Analytics)との組合せで初めてこの大量データ収集分析基盤の価値が発揮される。

む  す  び

本稿では,富士通が目指すヒューマンセントリックなインテリジェントソサエティを具現化する大

む  す  び

小林午郎(こばやし ごろう)

テレマティクスサービス本部サービスビジネス統括部 所属現在,コンバージェンスサービスの戦略企画に従事。

藤田和彦(ふじた かずひこ)

計画本部コンバージェンスサービスPF開発企画室 所属現在,大量データ収集分析基盤の開発に従事。

著 者 紹 介