Upload
vanthuan
View
219
Download
0
Embed Size (px)
Citation preview
Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.
SAS VIYA: ¿¿¡¡ QUÉ ES ESTO ??!!
¿Qué nuevas funcionalidades y beneficios le brinda?¿Cómo trabaja la nueva plataforma SAS?
Sergio UassoufLíder de Práctica de
Gestión de Información e Infraestructura
AGENDA
Breve reseña de
modalidades de programación
Comentarios de inteligencia artificial
SAS Viya y su coexistencia
y transición con SAS 9.4
¡¡¡ Trivia !!!
Deme dos kilos
ANTES DEL COMIENZO PROPIAMENTE DICHO
REPASEMOS LAS MODALIDADES DE PROGRAMACION
EN SAS (Y EN CUALQUIER COSA)
Programación Grafica
SAS Enterprise Guide
SAS Enterprise Miner
SAS Forecast Studio
SAS Data Integration Studio
SAS Data Management Studio
Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.
INTELIGENCIA ARTIFICIAL+ Machine Learning
+ Deep Learning
Disquisiciones Filosóficas y Técnicas
Sergio UassoufLíder de Práctica de
Gestión de Información e Infraestructura
El origen etimológico del
concepto de inteligencia hace
referencia a quien sabe elegir: la
inteligencia posibilita la selección
de las alternativas más
convenientes para la resolución
de un problema.
Inteligencia - Definiciones
Capacidad de generar
información nueva combinando
la que recibimos del exterior con
aquella de la que disponemos en
nuestra memoria.
Descripción de tipos de
inteligencia múltiples (por temas).
Capacidad que tenemos los seres
humanos para adaptarnos con éxito a los cambios que van
apareciendo en nuestro entorno.
Habilidad para juzgar bien, para comprender bien y para razonar
bien.
Repertorio completo de
habilidades, conocimientos,
sistemas de aprendizaje
considerados de naturaleza
intelectual.
Construcción de sistemas
que puedan ejecutar
tareas propias de seres
humanos en forma inteligente.
Construcción de sistemas
que pueden pensar y actuar como humanos.
Inteligencia ArtificialDefinición… ¿¿¿Hmmmm???
Facultad de la mente
que permite aprender,
entender, razonar, tomar
decisiones y formarse
una idea determinada
de la realidad.
Inteligencia ArtificialDefinición… ¿¿¿Hmmmm???
Capacidad para
resolver problemas.
Desde los inicios de la informática un computador, ya sea personal o empresarial está compuesto de 3 componentesprincipales.
Disk
RAM
CPU CPU
Disk
RAM
CPU CPU
Disk
RAM
CPU CPU
Disk
RAM
CPU CPU
Disk
RAM
CPU CPU
Disk
RAM
CPU CPU
MEMORIA
UNIDADES DEALMACENAMIENTO
UNIDADES DEPROCESAMIENTO
Disk
RAM
CPU CPU
Disk
RAM
CPU CPU
Inteligencia Artificial: ¿Porqué renace ahora?Procesamiento Masivamente Paralelo (¿Big Data?)
Inteligencia Artificial: ¿Porqué renace ahora?Tecnicas Principales
REGRESIONESARBOLES DE
DECISION
REDES
NEURONALES
Inteligencia Artificial: ¿Porqué renace ahora?Deep Learning ≈ Redes Neuronales de Varias Capas Ocultas
CAS In-Memory EngineConjunto de Acciones
NOVIEMBRE 2017 Optimization Econometrics Visual Text Analytics Visual Forecasting Visual Image Processing Visual Pipeline
NOVIEMBRE 2017 Bayesian Network Classifier Association Rule Mining K-Nearest Neighbors Convolutional Neural Networks Recurrent Neural Networks
Company Confidential - For Internal Use Only
Copyright © 2012, SAS Insti tute Inc. Al l r ights reserved.
RECORDEMOS QUE HACEMOS
PROCESO INTEGRAL DE ANALITICA DE NEGOCIOSSAS
• Integración
• Calidad
PREPARACION DE DATOS
• Reglas
• Modelos
ANALITICA DE NEGOCIOS • Interpretación de
Resultados
• Diversas Modalidades
REPORTING
Company Confidential - For Internal Use Only
Copyright © 2012, SAS Insti tute Inc. Al l r ights reserved.
RECORDEMOS QUE HACEMOSSAS
HERRAMIENTAS
SOLUCIONES
SAS Base / Stat
SAS Data Integration
SAS VisualAnalytics/Statistics
SAS Anti-Money Laundering
SAS Marketing Automation
SAS Credit Scoring Banking
SAS Enterprise Miner
9.4 / 13.2
4.9
7.3
14.1
7.1
6.5
5.4
M1
M2
Company Confidential - For Internal Use Only
Copyright © 2012, SAS Insti tute Inc. Al l r ights reserved.
TODO BASADO EN LA PLATAFORMA SASSAS
HERRAMIENTAS
SOLUCIONES
SAS Base / Stat
SAS Data Integration
SAS VisualAnalytics/Statistics
SAS Anti-Money Laundering
SAS Marketing Automation
SAS Credit Scoring Banking
SAS Enterprise Miner
9.4 / 13.2
4.9
7.3
14.1
7.1
6.5
5.4
SASIntelligence
Platform
9.4 M4
Company Confidential - For Internal Use Only
Copyright © 2012, SAS Insti tute Inc. Al l r ights reserved.
ARQUITECTURA MULTI-VENDOR
REQUERIMIENTOS DEL MERCADOSAS 9
MVS Windows
AIXHP-UX
Solaris
SunOS Linux
Tru64
IRIXOS/2
Company Confidential - For Internal Use Only
Copyright © 2012, SAS Insti tute Inc. Al l r ights reserved.
ARQUITECTURA MULTI-VENDOR
¿COMO LO HICIMOS?SAS 9
Hadoop Cluster
Data Data
Threaded Kernel
(TK)
Embedded
Process
LASR
Server
Hadoop Cluster
Data Data
Threaded Kernel
(TK)
Embedded
Process
LASR
Server
Hadoop Cluster
Data Data
Threaded Kernel
(TK)
Embedded
Process
LASR
Server
Hadoop Cluster
Data Data
Threaded Kernel
(TK)
Embedded
Process
LASR
Server
SERVERSCLIENTES
MID-TIER
WEB APPLS
Company Confidential - For Internal Use Only
Copyright © 2012, SAS Insti tute Inc. Al l r ights reserved.
NUEVOS REQUERIMIENTOS DEL MERCADOSAS
On-premise, cloud privada, cloud pública. Dinámicamente extensible (y reducible).
Con monitoreo detallado de utilización de recursos (para poder
implementar su comercialización en modalidades cloud).
Auto-servicio de funcionalidad. Alta facilidad de instalación.
Motor analítico… In-memory (pero no sólo in-memory).
De muy alta disponibilidad.
Con algoritmos analíticos complejos,
De ejecución no distribuidada o masivamente paralela (Big Data).
Interfaz unificada para todas las herramientas y soluciones.
Funcionalidad utilizable desde lenguajes open-source.
Company Confidential - For Internal Use Only
Copyright © 2012, SAS Insti tute Inc. Al l r ights reserved.
ENTONCES... ¿QUÉ ES LO NUEVO?SAS
PLATAFORMA SAS
TOTALMENTE NUEVA
HERRAMIENTAS SAS
TOTALMENTE
RENOVADAS
SOLUCIONES SAS
TOTALMENTE
RENOVADAS
QUE TENDRÁ UNA COEXISTENCIA LARGA
Y FUERTEMENTE INTEGRADA CON SAS 9.4
CON LA QUE
DESARROLLAMOS
Company Confidential - For Internal Use Only
Copyright © 2012, SAS Insti tute Inc. Al l r ights reserved.
ENTONCES... ¿QUÉ ES LO NUEVO?SAS
SAS 10
Que es cool pronunciarlo sas vaiæ
Que no se pronuncia sas visha
Y lo diremos sas vaia
Que viene de sas via
SAS 9
REST APIs públicas
y documentadas
Soporte nativo de
Python/Java/Lua/R
Facilidad de
instalaciónAutoservicio de
funcionalidad
Algoritmos
innovadores
Interfaz única para
todas las aplicaciones
Impl. del ciclo
de vida analítico
Escalabilidad
simple y elástica
Arquitectura
muy flexible
Nueva Plataforma: Beneficios
Para
llel &
Ser
ial,
Pub
/ S
ub
, W
eb S
ervi
ces,
MQ
s
Source-basedEngines
Microservices
UAA
QueryGen
Folders
CAS Mgmt
Data Source Mgmt
AnalyticsGUIs
etc.…
BIGUIs
EnvMgr
ModelMgmt
Log
Audit
UAAUAA
Data Mgmt GUIs
In-Memory Engine
In-Cloud
In-Database
In-Hadoop
In-Stream
Solutions
APIs
Infrastructures
Platforms
Analytics
Data ManagementFraud and Security Intelligence
Business VisualizationRisk Management
!
Customer Intelligence
Cloud Analytics Services (CAS)
Nueva Plataforma¿Cómo está compuesta? ¿Cómo trabaja?
Para
llel &
Ser
ial,
Pub
/ S
ub
, W
eb S
ervi
ces,
MQ
s
Source-basedEngines
Microservices
UAA
QueryGen
Folders
CAS Mgmt
Data Source Mgmt
AnalyticsGUIs
etc.…
BIGUIs
EnvMgr
ModelMgmt
Log
Audit
UAAUAA
Data Mgmt GUIs
In-Memory Engine
In-Cloud
In-Database
In-Hadoop
In-Stream
Solutions
APIs
Infrastructures
Platforms
Analytics
Data ManagementFraud and Security Intelligence
Business VisualizationRisk Management
!
Customer Intelligence
Cloud Analytics Services (CAS)
Cloud Analytics Services (CAS): In-Memory Engine
Para
llel &
Ser
ial,
Pub
/ S
ub
, W
eb S
ervi
ces,
MQ
s
Source-basedEngines
Microservices
UAA
QueryGen
Folders
CAS Mgmt
Data Source Mgmt
AnalyticsGUIs
etc.…
BIGUIs
EnvMgr
ModelMgmt
Log
Audit
UAAUAA
Data Mgmt GUIs
In-Memory Engine
In-Cloud
In-Database
In-Hadoop
In-Stream
Solutions
APIs
Infrastructures
Platforms
Analytics
Data ManagementFraud and Security Intelligence
Business VisualizationRisk Management
!
Customer Intelligence
Cloud Analytics Services (CAS)
Cloud Analytics Services(CAS): Microservicios
200+ microservicios
Cada servicio ejecuta una única
función de infraestructura o de
aplicación.
Cada servicio ejecuta en su
propio contenedor ultraliviano
Cada servicio puede ser
actualizado sin afectar a los
demás servicios
Cada servicio escala en forma
independiente
Los servicios se comunican via
interfaz REST
Arquitectura de Microservicios
MONOLITICA MICROSERVICIOS
1 A3S Clusters microservice
2 A3S Projects microservice
3 Advanced Analtyics Properties
microservice
4 Advanced Analytics Components
microservice
5 Advanced Analytics Flows microservice
6 Annotations microservice
7 Application Registry microservice
8 Audit microservice
9 Authorization microservice
10 Backup microservice
11 CAS Access Management microservice
12 CAS Data Importer microservice
13 CAS Formats microservice
14 CAS License Service microservice
15 CAS Management microservice
16 CAS Row Sets microservice
17 CAS proxy microservice
18 Categorization microservice
19 Collections microservice
20 Comments microservice
21 Common Analytics Platform
microservice
22 Configuration microservice
23 Credentials microservice
24 Cross domain proxy microservice
25 Data Mining Models microservice
26 Data Mining Provider microservice
27 Data Mining Results microservice
28 Data Profile microservice
29 Data Quality Microservice microservice
30 Data Sources microservice
31 Data Tables microservice
32 Data preparation plans microservice
33 Data profiling job execution provider
microservice
34 Decision microservice
35 Device Management microservice
36 Directives microservice
37 Exploration microservice
38 Federation Data microservice
39 Files microservice
40 Flow Steps microservice
41 Folders microservice
42 Forecasting Data Definition
microservice microservice
43 Forecasting Filters microservice
44 Forecasting Gateway microservice
45 Forecasting Overrides microservice
46 Forecasts microservice microservice
47 Generation microservice
48 Grid microservice
49 Hive provider microservice
50 Home microservice
51 Html commons microservice
52 Identities microservice
53 Importvaspk microservice
54 Job Definitions microservice
55 Job Execution microservice
56 Job Flow Execution microservice
57 JobFlow Scheduling microservice
58 Launcher microservice
59 Links microservice
60 Logon microservice
61 Mail microservice
62 Maps microservice
63 Micro Analytic microservice
64 Model Management Execution
microservice
65 Model Management Jobs microservice
66 Model Management Monitoring
microservice
67 Model Management Publish
microservice
Arquitectura de MicroserviciosNómina a Julio de 2017
68 Model Management Reports
microservice
69 Model Manager microservice
70 Monitoring Service microservice
71 Parsing microservice
72 Planning microservice
73 Preferences microservice
74 Projects microservice
75 Quality Knowledge Base Management
microservice
76 REST execution provider microservice
77 Recipe microservice
78 Recipe execution provider microservice
79 Recommendations microservice
80 Reference Data microservice
microservice
81 Relationships microservice
82 Report Alerts Subscription and
Evaluation microservice
83 Report Data microservice
84 Report Distribution microservice
85 Report Images microservice
86 Report Mail microservice
87 Report Packages microservice
88 Report Renderer microservice
89 Report Tracking microservice
90 Report Transforms microservice
91 Reports microservice
92 Row Sets microservice
93 Rule Set microservice
94 SAS Compute microservice
95 Scheduling microservice
96 Score Execution microservice
97 Scoring Definitions microservice
98 Search microservice
99 Search Index microservice
100 Sentiment Analysis microservice
101 Table Score microservice
102 Tags microservice
103 Template microservice
104 Tenant microservice microservice
105 Themes microservice
106 Topics microservice
107 Transfer microservice
108 Transformation microservice
109 Types microservice
110 VI Alert microservice
111 VI Analyze and Index (AI) microservice
112 VI Core microservice
113 VI Datahub microservice
114 VI Entity microservice
115 VI Entity Resolution microservice
116 VI Feature microservice
117 VI Network Analytics microservice
118 VI Search and Discovery (SAND)
microservice
119 VI Transport microservice
120 VI Web App Microservice microservice
121 Web Data Access microservice
122 Workflow microservice
123 Workflow Definition microservice
124 Workflow History microservice
125 ml service microservice
126 Contact
Arquitectura de MicroserviciosNómina a Julio de 2017
Para
llel &
Ser
ial,
Pub
/ S
ub
, W
eb S
ervi
ces,
MQ
s
Source-basedEngines
Microservices
UAA
QueryGen
Folders
CAS Mgmt
Data Source Mgmt
AnalyticsGUIs
etc.…
BIGUIs
EnvMgr
ModelMgmt
Log
Audit
UAAUAA
Data Mgmt GUIs
In-Memory Engine
In-Cloud
In-Database
In-Hadoop
In-Stream
Solutions
APIs
Infrastructures
Platforms
Analytics
Data ManagementFraud and Security Intelligence
Business VisualizationRisk Management
!
Customer Intelligence
Cloud Analytics Services (CAS)
CAS In-Memory Engine + CAS Microservicios
Aprovechamiento Integralde las Facilidades del Cloud
MVS
Windows
AIXHP-UX
Solaris
SunOS Linux
Tru64
IRIXOS/2 GoogleCloudPlatform
Instalable con herramientas estándar (Automatizable).
Instalable en diferentes entornos de ejecución: BareOS, Máquinas Virtuales,
Docker, Cloud Foundry (Multicloud).
Escalable desde un servidor a cluster multinodo (Escalable sin interrupción).
Tracking de uso de recursos que posibilita nuevos modalidades comerciales.
Para
llel &
Ser
ial,
Pub
/ S
ub
, W
eb S
ervi
ces,
MQ
s
Source-basedEngines
Microservices
UAA
QueryGen
Folders
CAS Mgmt
Data Source Mgmt
AnalyticsGUIs
etc.…
BIGUIs
EnvMgr
ModelMgmt
Log
Audit
UAAUAA
Data Mgmt GUIs
In-Memory Engine
In-Cloud
In-Database
In-Hadoop
In-Stream
Solutions
APIs
Infrastructures
Platforms
Analytics
Data ManagementFraud and Security Intelligence
Business VisualizationRisk Management
!
Customer Intelligence
Cloud Analytics Services (CAS)
Modalidades de Desarrollo
Offering de Productos en SAS Viya 3.2
Interfaces
SAS Studio
SAS Visual Analytics
DesarrolloVisual
Programaciónpor Código
Asistida
SAS Visual Analytics 8.1
SAS Visual Statistics 8.1
SAS VisualData Mining and
Machine Learning 8.1
CAS actions, PROCS related to VA capabilities
Visual Analytics (VA) Interface
CAS actions, PROCS related to VS capabilities
Visual Statistics (VS) add-on to VA Interface
CAS actions, PROCS related to VDMML
capabilities
Visual Data Mining and Machine Learning
(VDMML) add-on to VA Interface
a. b. c.
SAS Studio: Interfaz por Código Asistido
SAS VIYA 3.3 NOVIEMBRE 2017 Optimization Econometrics Visual Text Analytics Visual Forecasting Visual Image Processing Visual Pipeline SAS VIYA 3.3 NOVIEMBRE 2017
Bayesian Network Classifier Association Rule Mining K-Nearest Neighbors Convolutional Neural Networks Recurrent Neural Networks
CAS In-Memory EngineConjunto de Acciones
NOVIEMBRE 2017 Optimization Econometrics Visual Text Analytics Visual Forecasting Visual Image Processing Visual Pipeline
NOVIEMBRE 2017 Bayesian Network Classifier Association Rule Mining K-Nearest Neighbors Convolutional Neural Networks Recurrent Neural Networks
In [1]: import swat In [2]: conn = swat.CAS(host, port, userid, password)In [3]: out = conn.serverstatus()
In [10]: conn.help(actionset='simple'); In [11]: tbl = conn.read_csv('https://raw.githubusercontent.com/‘
....: 'sassoftware/sas-viya-programming/master/data/cars.csv')
....: In [12]: out = conn.summary(table=tbl) In [14]: out = tbl.summary() In [16]: summ = out.SummaryIn [17]: summ = summ.set_index('Column') In [18]: summ.loc['Cylinders', 'Max']
SAS Wrapper for Analytics Transfer (SWAT)
Utilizando el format nativo de Python (o Java
o Lua)R en próximo release
Special SAS Python package
Mismo formato que dataframes
pandas.read_csv
Accediendo al Poder Analítico de SASdesde Programa Python en forma Nativa
APPEND – Append Data Sets
CONTENTS – Show Data Set Contents
COPY – Copy Data Sets
DATASETS – Copy, Delete, List and
Append Data Sets
DELETE – Delete Data Sets
EXPORT – Export Data Sets
FORMAT – Format Variables
HTTP – Issue HTTP Requests
IMPORT – Import Data Sets
JAVAINFO – JAVA Environment
Diagnostic Information
OPTIONS – List SAS System Options
PRINT – Print Data Sets
PRINTTO – Print Data Set to Location
PWENCODE – Encode Passwords
SORT – Sort Data Set
SQL – SQL Commands
STATISTICAL GRAPHICS
PROCEDURES – Group of Graphical
Procedures to Visualize Data
TRANSPOSE – Transpose Data Set
SAS Visual Analytics
ASSESS – Assess Supervised Models
BINNING – Variable Binning
CARDINALITY – Variable Cardinality
Analysis
GENSELECT – Generalized Linear
Models
KCLUS – K-means and K-modes
Clustering
LOGSELECT – Logistic Regression
Models
NLMOD – Nonlinear Regression Models
PARTITION – Sampling and Partitioning
PCA – Principal Component Analysis
REGSELECT – Ordinary Least Squares
Models
TREESPLIT – Decision Tree Models
VARIMPUTE – Missing Value
Imputation
VARREDUCE – Variable Selection
SAS Visual Statistics
FACTMAC – Factorization Machine
Models
FOREST – Random Forest Models
GRADBOOST – Gradient Boosting
Models
NNET – Neural Network Models
SVMACHINE – Support Vector Machine
Models
TEXTMINE – Text Mining
TMSCORE – Scoring ofText
Documents
SAS Visual Data Mining and Machine Learning
Cloud Analytics ServiceESP
Python/Java/Lua/R
SAS Studio
VA/VS/VDMML
CAS In-Memory Engine Único Servidor Analítico paraTodas las Herramientas y Soluciones
Coexistencia SAS Viya y SAS 9
SAS® 9
Desde SAS Viya accedemos a los datos de SAS 9 y viceversa
Desde SAS Viya publicamos modelos en SAS 9
Desde SAS Viya ejecutamos código en SAS 9 y viceversa
Setiembre 2017 SAS 9.4 M5: Ejecución transparente de SAS PROCs e interfases de programación gráfica en SAS Viya
Comunicando SAS Viya y SAS 9
Data Code DataModel ModelModelCodeData
SAS VIYA ES LANUEVA PLATAFORMA SAS
VISUAL ANALYTICS 8.1VISUAL STATISTICS 8.1
DMML 8.1VISUAL INVESTIGATOR 10.2
CON LA QUE DESARROLLAMOSNUEVAS Y FUTURASHERRAMIENTAS SAS
NUEVAS Y FUTURASSOLUCIONES SAS
Resumiendo...
SAS Genetics SAS IML SAS Marketing Automation SAS Marketing Optimization SAS Model Manager SAS OR SAS OpRisk VaR SAS QC SAS Real Time Decision Manager SAS Risk Dimensions SAS Risk Management for Banking SAS Text Miner SAS Visual Scenario Designer
SAS Business Rules Manager
SAS Credit Scoring for Banking SAS Cost and Profitability Management SAS Credit Risk Management for Banking SAS Customer Link Analytics SAS Data Integration
SAS Data Quality SAS Master Data Management SAS Data Governance SAS EGRC SAS Enterprise Case Management
SAS Event Stream Processing SAS Forecast Server
QUE TENDRÁ UNA LARGA COEXISTENCIACON LA PLATAFORMA ACTUAL SAS 9.4
SAS VIYA ES LANUEVA PLATAFORMA SAS
Resumiendo...AZUL INDICA DISPONIBILIDAD EN SAS VIYA 3.3 NOVIEMBRE 2017
SAS 9.4 M5 Ejecución transparente de programas SAS y de proyectos de SAS de
Enterprise Guide y SAS Enterprise Miner con SAS Viya.
SAS Viya 3.3 (Arquitectura) SAS Viya on Windows.
Failover de CAS Controller.
Acceso nativo a Hive desde VA / VS / VDMML.
SAS Viya 3.3 (Aplicaciones) SAS Visual Forecasting.
SAS Visual Optimization.
SAS Visual Image Processing.
SAS Visual Pipeline.
SAS 9.4 M5: Q3 2017 (Setiembre)SAS Viya 3.3: Q4 2017 (Noviembre)
SAS Business Rules Manager.
SAS Event Stream Processing.
SAS Data Preparation.
SAS Data Quality.
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS VIYA ES...
ANALÍTICA CREADA PARA SU IMPLEMENTACIÓN
EN EQUIPOS DEL CLIENTE O EN LA NUBE
ANALÍTICA ESCALABLE DESDE UN SERVIDOR A
MILES DE SERVIDORES EN LA MISMA PLATAFORMA
ANALÍTICA ACCESIBLE POR CUALQUIER TIPO DE USUARIO
DESDE CUALQUIER MODALIDAD DE DESARROLLO Y
LENGUAJE DE PROGRAMACIÓN
ANALÍTICA SOBRE DATOS ESTACIONADOS
O EN TIEMPO REAL