深度学习平台介绍 DEEPLEARNING4J, ND4J, NS4J, CANOVA, ARBITER

Skymind 的合作伙伴：

Skymind 的深度学习平台生态系统简介 Skymind的深度学习平台是由4个系统组成：CANOVA, DL4J, ND4J 和 ARBITER

CANOVA - 处理非结构数据 - 将数据简单化 - 将数据转化为机器 学习工具使用矢量 格式

ARBITER - 深度学习程式检 测评估器 - 调整及优化机械 学习模型

DL4J: DEEP LEARNING FOR JAVA - 企业级，开源分布式的商用深度学习框架 - 包含所有的深度学习神经网络

ND4J: N-DIMENSIONAL ARRAYS FOR JAVA - 矩阵操作的科学计算引擎 - 同时也是DL4J主要的科学计算引擎

开源分布式深度学习平台 利用世界的力量打造完美平台，同时还可以充分保护用户的权利

Skymind的深度学习框架是开源的：

- 利用世界的力量打造完美平台 - 增快技术产出与技术更新 - 开源软件对用户的权利保护得更充分 - 开源软件让用户数据的隐私受保证

深度学习平台

超过2000位活跃的开发者 开发者来自超过26个世界不同的国家，超过8个不同的时区

开发者来自超过50家不同的企业、集团、公司

兼容于企业大数据系统

用户的数据隐私受保证 使用Skymind开源分布式深度学习平台，创立属于你自己的应用程序

一般的深度学习平台 Skymind 的深度学习平台

深度学习公司甲

公司甲 深度学习平台

公司丙

公司丙 数据

数据 分析结果

数据库 应用软件

深度学习平台

公司丙

数据库 应用软件

公司丙 数据

数据 分析结果

通过Skymind平台开发

公司丙

技术 支持

- 公司丙通过API将所数据导入公司甲的深入学习平 台，这些数据将在公司甲的平台上进行分析 - 公司甲把数据分析结果反馈给公司丙 - 数据分析过程可能会缓慢 - 公司丙的数据隐私将不受保证

- 公司丙通过Skymind深度学习平台创立属于自己的 深度学习应用程序 - 公司丙在自己的系统上运行数据分析并得出总结 - 建立在同个系统上，数据分析过程将可迅速完成 - 在公司丙自己的平台上运行，数据隐私将受保证

系统架构 系统架构

Skymind深度学习平台：我们的优势 首个使用JAVA和SCALA编写的商业级开源分布式深度学习平台

唯一一个使用Java, Scala 和 Clojure编程的平台

20X速度 运行时间

Skymind平台

一般平台（使用Python、C/C++编辑）

总体运行速度非常快 跨平台 完全兼容于所有企业的大数据系统

Skymind深度学习平台架构：HADOOP（供参考） 在HADOOP系统上使用Skymind深度学习平台

- 操作仪表盘 - 基础设施投资 - 客户记分卡 - 带宽分配 - 呼叫数据记录（CDR）分析 - 产品开发 - 主动维护

深度学习平台

EDW

MPP

数据库

分析

传统数据来源 新兴或非传统的数据来源

安全 系统

操作 系统

HDFS (HADOOP DISTRIBUTED FILE SYSTEM) HADOOP分布式文件系统

YARN：数据操作系统

Oth

ers

Scrip

t

SQL

NoS

QL

Stre

am

Sear

ch

Bat

ch

客户关系管理

订阅数据

企业资源计划

产品目录

帐单数据

网络数据

点击流

服务器日志

在线咨询

呼叫细节

传感器数据

商品清单

社会媒体

数据管理

数据 治理 整合

Skymind深度学习平台架构：模型训练（供参考） 使用Skymind深度学习平台构建与优化机械学习模型

CANOVA

DL4J

GPU CUDA

CPU MKL

ETL：数据抽取，清洗，转换和装载 从AMAZON S3, CASSANDRA, HDFS和任何NoSQL DB抽取数据并将数据转化为机器 学习工具使用矢量格式。

智能层 在多核的处理器上运行深层神经网络，对数据进行分类，聚类然后做出预测和评估。

分布式运行 数据分析（模型训练）编排系统：SPARK在集群服务器上的CUDA控制主机线程。在云分布式系统上进行数据并行化和参数平均化训练。

硬件加速 标准计算机的本机硬件子系统： CUBLAS ，自定义的CUDA内核。使用轮循方式将其中一个主机线程连接到特定的图形处理器（GPU）。对于CPU ，我们将对自定义的操作和MKL的链接使用SIMD（单指令多数据）指令；或对引用BLAS impl，OpenBlas的链接使用SIMD指令。

Skymind深度学习平台架构：实时审核（供参考） 使用Skymind深度学习平台运行机械学习模型

数据源 数据对接

Logs

IoT

RDBMS

DL4J: 训练出来的 机械学习模型

GPU CUDA

CPU MKL

机械学习

模型 机械学习

模型

DROPWIZARD

基于JVM的 应用程式层

Protocol Buffers

1

2

3

- 使用Protocol Buffers (Protobuf) 沟通

- kafka 与 DL4J 之间使用Flat Buffers

- 二进制格式 针对故障使用多种机械学习模型应对多种需求。每个模型将会在一台机上运算。无分布式运行（因此也没有平均化），因为之间的沟通是低效的。

把实时预测连接上图形用户界面（GUI）

企业版和社区版 世界首个企业级商用的深度学习平台：快速完成大数据分析与总结

- 开源平台: https://github.com/deeplearning4j - 包含所有的神经网络，如：Convolutional Nets,

Recurrent Nets, Recursive Nets, Deep Autoencoders, Deep-Belief Nets 等。参考 deeplearning4j.org

- 技术支持：通过GITTER开发者实时讨论区获得支持 - https://gitter.im/deeplearning4j

- 拥有社区版所有的功能与特征 - 支持CPU和GPU即时切换和并行 - 支持分布式系统（如：HADOOP大数据系统等），满

足企业对深度学习模型分布式训练的需求 - 支持手机应用、移动应用 - 全天候专业技术支持：电话，邮件，客户支持系统

社区版

企业版

联系方式

联系人 ：吴书卫（Goh Shu Wei） 邮件 ：gsw@skymind.io 手机 ：+60197259601 微信 ：gohshuwei20000 微博 ：weibo.com/dl4j 官网 ：skymind.io

微信：扫一扫