Upload
boaz-arad
View
688
Download
3
Embed Size (px)
Citation preview
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
9.4 HIGH-PERFORMANCE ANALYTICS
OVERVIEW
אייל גונן
מיה מחשבים
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
9.4 HIGH
PERFORMANCE ANALYTICS
תוכן עניינים
Big Dataבעיות •
•SAS In Memory
•SAS In Database
•SAS Grid Computing
SASהדור הבא של משתמשי •
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Big Data כאשר היקף -הוא יחסי ולא אבסולוטי
הנתונים וזמן הניתוח שלהם חורג מיכולות התשתית
הקיימת וגבולות הזמן הסביר
BIG DATA מה זה?
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® HIGH-
PERFORMANCE
ANALYTICS
BIG DATAלבעיות SASכלי
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® HIGH-
PERFORMANCE
ANALYTICS
SAS® IN-MEMORY ANALYTICS
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
WHAT? SAS® IN-MEMORY ANALYTICS
למה זה חשוב יכולת
ארכיטקטורה סקלבילית מאד לעיבוד וניתוח
נתונים
פתירת בעיות מורכבות בכמעט זמן אמת
פיתוח מודלים אנליטיים ואפליקציות , ויזואליזציה
In Memoryאנליטיות בזכרון
הבנה מהירה של הנתונים והשגת תוצאות
מדויקות להפליא
ו Hadoopשימוש בסביבות מבוזרות כגון
Appliances של בסיסי נתונים
תשתית אנליטית אמינה וסקלבילית
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS VISUAL ANALYTICS EXPLORER
• More on this later today
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS VISUAL ANALYTICS DESIGNER
• More on this later today
יעזרו SASשל High Performance -פתרונות ה
לכם להתמודד עם האתגר
Copyr i g ht © 2013, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS VISUAL
ANALYTICS LASR IN
MEMORY SERVER
?איך זה עובד
Controller
SAS® Visual
Analytics
Client
Teradata, Pivotal
Or Hadoop
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® HIGH-PERFORMANCE ANALYTICS
…
Teradata Greenplum Hadoop
All of
your
data
Model
extensively,
iteratively,
frequently
Better
decisions
all the time
Management Administration Security
Copyr i g ht © 2013, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® HIGH-
PERFORMANCE
ANALYTICS
?איך זה עובד
Controller
SAS® ANALYTICS
Client
Teradata, Pivotal
Or Hadoop
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® HIGH-
PERFORMANCE
ANALYTICS
ממשק קוד
high performance -על מנת לעבוד בסביבה מבוזרת יש להשתמש בפרוצדורות ה
במקרה זה מדובר על רגרסיה לוגיסטית. החדשות
option set=GRIDHOST=“green1.sas.com";
option set=GRIDINSTALLLOC="/opt/TKGrid";
libname GPLib greenplm server=gpdca user=XXX password=YYY
database=ZZZ;
proc hplogistic data=GPLib.MyTable;
class A B C D ;
model y = a b c b*d x1-x100;
output out=GPlib.logout pred=p;
run;
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® HIGH-
PERFORMANCE
ANALYTICS
ENTERPRISE MINERממשק
• Imputation
• Transformation
• Variable Selection
• Regression
• Neural Networks
• Random Forest
• Decision Trees
• Generalized Linear Models
• Principal Components
• Support Vector Machines
• Clustering
• Model Assessment
• Deployment to Production
New in 9.4M1
HPDM tab
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® HIGH-
PERFORMANCE
ANALYTICS
BENCHMARK
מודל הנטישה הבא נבנה מנתוני
26.4הקובץ כולל . חברת תקשורת
הקובץ . משתנים 435מיליון תצפיות ו
, billing, כולל מאפיינים דמוגרפיים
מאפייני , תוכנית חיוב, תמיכה טכנית
.'ציוד וכד, שיחות
השלמת , המודל כולל טרנספורמציה
בחירת משתנים , ערכים חסרים
רשת , רלבנטיים ורגרסיה לינארית
איטרציות ורשת 50ניורונים עם
.איטרציות 500ניורונים עם
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® HIGH-
PERFORMANCE
ANALYTICS
משפיעים על מחזור החיים האנליטי
מהנתונים 100%ניתוח •
יותר משתנים •
יותרמורכבים מודלים •
יותר איטרציות באלגוריתמים איטרטיביים•
יותר מודלים•
בעיות לבדיקה ופתרון/תסריטים/יותר שאלות•
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
HIGH-
PERFORMANCE
ANALYTICS
SAS® IN-DATABASE
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
ANALYTIC INFRASTRUCTURE
SAS®
Scoring
Accelerator
SAS®
Analytics
Accelerator
Analytic Tasks
Executed by
DB Process
ANALYTIC INFRASTRUCTURE
SAS® Scoring
Accelerator
SAS® Code
Accelerator
New in SAS 9.4
SAS® Data Quality
Accelerator
New in SAS 9.4
SAS®
HIGH-
PERFORMANCE
ANALYTICS
SAS® IN-DATABASE
KEY COMPONENTS
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
WHAT? SAS® IN-DATABASE
Capability Why it Matters
Workload Management Effectively manage jobs and users
High Availability Avoid user or service disruption
Distributed Processing Improved Performance
Use Commodity Hardware Reduce Costs
למה זה חשוב יכולת
ניהול נתונים טוב יותר בתוך בסיס הנתונים SASעיבוד פונקציות
קבלת תוצאות באופן מהיר יותר פישוט תהליך בניית והפצת מודלים
שיפור בניצול תשתיות מערכות מידע קיימות מינוף ארכיטקטורות בסיסי נתונים קיימים
כפי שהוא ללא תרגום לשפה SASהרצת קוד
אחרת
יעילות
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
SCORING
ACCELERATOR
ארכיטקטורה
-ב! חדש
גם 9.4
Hadoop
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
CUSTOMER CASE
STUDY
IN-DATABASE ENABLED
ANALYTICS PROCESS
Propensity to Pay
$1 to $2 Million / Month
MO
DE
L
DE
PLO
YM
EN
T
DA
TA
E
XP
LO
RA
TIO
N
MO
DE
L
DE
VE
LO
PM
EN
T
MO
DE
L
DE
PLO
YM
EN
T
Large Telco
300 step process
ELT to Flat File
Use only 350K customers
30 minutes to score 350K
Total Time: 3 hours
10 step process
No ETL to Flat File
Use all 40M customers
4 minutes to score 40M
Total Time: 12 minutes
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
CODE
ACCELERATOR
DS2
9.4ב ! חדש•
ישירות בתוך בסיס הנתונים Data Stepהרצת קוד •
ומינוף מקביליהמאפשרת הרצת קוד DS2שימוש בשפה החדשה •
היכולות המקביליות של בסיסי הנתונים
מאפשר לבצע ניהול והכנת נתונים בתוך בסיס הנתונים ללא צורך •
SASבהעברת הנתונים לשרת ה
בהרצאה של פליקס מילקין בהמשך DS2מידע נוסף לגבי שפת •
הכנס
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
DATA
QUALITY
ACCELERATOR
DQ
9.4ב ! חדש•
ישירות ( אנשי קשר)הרצת פונקציות של טיוב נתונים דמוגרפי •
בתוך בסיס הנתונים
:דוגמאות של פונקציות•
•Standardization
•Matching
•Parsing
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
HIGH-
PERFORMANCE
ANALYTICS
SAS® GRID COMPUTING
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
WHAT? SAS® GRID COMPUTING
למה זה חשוב יכולת
ניהול תהליכים ומשתמשים בצורה יעילה ניהול עומסים
מניעת הפרעה בעבודת המשתמשים ושירותים High Availabilityזמינות גבוהה
ברמת תהליך ולא ברמת )עיבוד מבוזר
(אלגוריתם
ביצועים משופרים
הפחתה בעלויות Commodityשימוש בחומרת
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS REFERENCE
ARCHITECTURE
SAS 9.4 CLUSTERED METADATA / WEB APP SERVERS, SAS
GRID, IN-DATABASE, IN-MEMORY ANALYTICS
Analytic Data
Warehouse / Marts
Relational Data Store
SAS Grid Compute Nodes
Clustered Web
Application Servers
Metadata Tier Web Tier Client Tier Server Tier Data Tier
SAS Web Reporting
Clients
SAS Analyst’s
Desktops
HTTP Server Clustered SAS
Metadata Servers
SAS® In-Memory Analytics
SAS Grid Manager
Server
Enterprise Data Warehouse with
SAS® In-Database, In-Memory
Analytics
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS & HADOOP SAS® WITHIN THE HADOOP ECOSYSTEM
SAS® משתמש
הדור הבא
User
Interface
Metadata
Data
Access
Data
Processing
File
System
SAS® משתמש
MPI Based
SAS® LASR™ Analytic
Server
HDFS
Base SAS & SAS/ACCESS® to Hadoop™
SAS Metadata
Pig
Map Reduce
In-Memory
Data Access
SAS® Display
Manager
SAS® Visual
Analytics
SAS®
Enterprise
Miner™
SAS® Data
Integration
SAS®
Enterprise
Guide®
Hive
SAS Embedded
Process
Accelerators
SAS® High-
Performance
Analytic Procedures
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
NEXT GENERATION
ARCHITECTURE ואנליטיקה BIG DATAמינוף
Big Dataניתוח ויזואלי של •
הורדה דרמטית בזמן עיבוד הנתונים•
אלגוריתמים מקביליים –ביצועים מהירים •
SASאבולוציה של הפרוצדורות האנליטיות של •
מינוף תשתיות מבוזרות על מנת לבזר מידע ועיבודים•
הזדמנות להסתכל על העסק בצורה אחרת•
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d . www.SAS.com
תודה