Sas 9.4 high performance analytics eyal gonen

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

9.4 HIGH-PERFORMANCE ANALYTICS

OVERVIEW

אייל גונן

מיה מחשבים

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

9.4 HIGH

PERFORMANCE ANALYTICS

תוכן עניינים

Big Dataבעיות •

•SAS In Memory

•SAS In Database

•SAS Grid Computing

SASהדור הבא של משתמשי •

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

Big Data כאשר היקף -הוא יחסי ולא אבסולוטי

הנתונים וזמן הניתוח שלהם חורג מיכולות התשתית

הקיימת וגבולות הזמן הסביר

BIG DATA מה זה?

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® HIGH-

PERFORMANCE

ANALYTICS

BIG DATAלבעיות SASכלי

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® HIGH-

PERFORMANCE

ANALYTICS

SAS® IN-MEMORY ANALYTICS

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

WHAT? SAS® IN-MEMORY ANALYTICS

למה זה חשוב יכולת

ארכיטקטורה סקלבילית מאד לעיבוד וניתוח

נתונים

פתירת בעיות מורכבות בכמעט זמן אמת

פיתוח מודלים אנליטיים ואפליקציות , ויזואליזציה

In Memoryאנליטיות בזכרון

הבנה מהירה של הנתונים והשגת תוצאות

מדויקות להפליא

ו Hadoopשימוש בסביבות מבוזרות כגון

Appliances של בסיסי נתונים

תשתית אנליטית אמינה וסקלבילית

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS VISUAL ANALYTICS EXPLORER

• More on this later today

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS VISUAL ANALYTICS DESIGNER

• More on this later today

יעזרו SASשל High Performance -פתרונות ה

לכם להתמודד עם האתגר

Copyr i g ht © 2013, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS VISUAL

ANALYTICS LASR IN

MEMORY SERVER

?איך זה עובד

Controller

SAS® Visual

Analytics

Client

Teradata, Pivotal

Or Hadoop

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® HIGH-PERFORMANCE ANALYTICS

…

Teradata Greenplum Hadoop

All of

your

data

Model

extensively,

iteratively,

frequently

Better

decisions

all the time

Management Administration Security

Copyr i g ht © 2013, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® HIGH-

PERFORMANCE

ANALYTICS

?איך זה עובד

Controller

SAS® ANALYTICS

Client

Teradata, Pivotal

Or Hadoop

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® HIGH-

PERFORMANCE

ANALYTICS

ממשק קוד

high performance -על מנת לעבוד בסביבה מבוזרת יש להשתמש בפרוצדורות ה

במקרה זה מדובר על רגרסיה לוגיסטית. החדשות

option set=GRIDHOST=“green1.sas.com";

option set=GRIDINSTALLLOC="/opt/TKGrid";

libname GPLib greenplm server=gpdca user=XXX password=YYY

database=ZZZ;

proc hplogistic data=GPLib.MyTable;

class A B C D ;

model y = a b c b*d x1-x100;

output out=GPlib.logout pred=p;

run;

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® HIGH-

PERFORMANCE

ANALYTICS

ENTERPRISE MINERממשק

• Imputation

• Transformation

• Variable Selection

• Regression

• Neural Networks

• Random Forest

• Decision Trees

• Generalized Linear Models

• Principal Components

• Support Vector Machines

• Clustering

• Model Assessment

• Deployment to Production

New in 9.4M1

HPDM tab

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® HIGH-

PERFORMANCE

ANALYTICS

BENCHMARK

מודל הנטישה הבא נבנה מנתוני

26.4הקובץ כולל . חברת תקשורת

הקובץ . משתנים 435מיליון תצפיות ו

, billing, כולל מאפיינים דמוגרפיים

מאפייני , תוכנית חיוב, תמיכה טכנית

.'ציוד וכד, שיחות

השלמת , המודל כולל טרנספורמציה

בחירת משתנים , ערכים חסרים

רשת , רלבנטיים ורגרסיה לינארית

איטרציות ורשת 50ניורונים עם

.איטרציות 500ניורונים עם

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® HIGH-

PERFORMANCE

ANALYTICS

משפיעים על מחזור החיים האנליטי

מהנתונים 100%ניתוח •

יותר משתנים •

יותרמורכבים מודלים •

יותר איטרציות באלגוריתמים איטרטיביים•

יותר מודלים•

בעיות לבדיקה ופתרון/תסריטים/יותר שאלות•

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

HIGH-

PERFORMANCE

ANALYTICS

SAS® IN-DATABASE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

ANALYTIC INFRASTRUCTURE

SAS®

Scoring

Accelerator

SAS®

Analytics

Accelerator

Analytic Tasks

Executed by

DB Process

ANALYTIC INFRASTRUCTURE

SAS® Scoring

Accelerator

SAS® Code

Accelerator

New in SAS 9.4

SAS® Data Quality

Accelerator

New in SAS 9.4

SAS®

HIGH-

PERFORMANCE

ANALYTICS

SAS® IN-DATABASE

KEY COMPONENTS

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

WHAT? SAS® IN-DATABASE

Capability Why it Matters

Workload Management Effectively manage jobs and users

High Availability Avoid user or service disruption

Distributed Processing Improved Performance

Use Commodity Hardware Reduce Costs

למה זה חשוב יכולת

ניהול נתונים טוב יותר בתוך בסיס הנתונים SASעיבוד פונקציות

קבלת תוצאות באופן מהיר יותר פישוט תהליך בניית והפצת מודלים

שיפור בניצול תשתיות מערכות מידע קיימות מינוף ארכיטקטורות בסיסי נתונים קיימים

כפי שהוא ללא תרגום לשפה SASהרצת קוד

אחרת

יעילות

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

SCORING

ACCELERATOR

ארכיטקטורה

-ב! חדש

גם 9.4

Hadoop

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

CUSTOMER CASE

STUDY

IN-DATABASE ENABLED

ANALYTICS PROCESS

Propensity to Pay

$1 to $2 Million / Month

MO

DE

L

DE

PLO

YM

EN

T

DA

TA

E

XP

LO

RA

TIO

N

MO

DE

L

DE

VE

LO

PM

EN

T

MO

DE

L

DE

PLO

YM

EN

T

Large Telco

300 step process

ELT to Flat File

Use only 350K customers

30 minutes to score 350K

Total Time: 3 hours

10 step process

No ETL to Flat File

Use all 40M customers

4 minutes to score 40M

Total Time: 12 minutes

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

CODE

ACCELERATOR

DS2

9.4ב ! חדש•

ישירות בתוך בסיס הנתונים Data Stepהרצת קוד •

ומינוף מקביליהמאפשרת הרצת קוד DS2שימוש בשפה החדשה •

היכולות המקביליות של בסיסי הנתונים

מאפשר לבצע ניהול והכנת נתונים בתוך בסיס הנתונים ללא צורך •

SASבהעברת הנתונים לשרת ה

בהרצאה של פליקס מילקין בהמשך DS2מידע נוסף לגבי שפת •

הכנס

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

DATA

QUALITY

ACCELERATOR

DQ

9.4ב ! חדש•

ישירות ( אנשי קשר)הרצת פונקציות של טיוב נתונים דמוגרפי •

בתוך בסיס הנתונים

:דוגמאות של פונקציות•

•Standardization

•Matching

•Parsing

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

HIGH-

PERFORMANCE

ANALYTICS

SAS® GRID COMPUTING

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

WHAT? SAS® GRID COMPUTING

למה זה חשוב יכולת

ניהול תהליכים ומשתמשים בצורה יעילה ניהול עומסים

מניעת הפרעה בעבודת המשתמשים ושירותים High Availabilityזמינות גבוהה

ברמת תהליך ולא ברמת )עיבוד מבוזר

(אלגוריתם

ביצועים משופרים

הפחתה בעלויות Commodityשימוש בחומרת

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS REFERENCE

ARCHITECTURE

SAS 9.4 CLUSTERED METADATA / WEB APP SERVERS, SAS

GRID, IN-DATABASE, IN-MEMORY ANALYTICS

Analytic Data

Warehouse / Marts

Relational Data Store

SAS Grid Compute Nodes

Clustered Web

Application Servers

Metadata Tier Web Tier Client Tier Server Tier Data Tier

SAS Web Reporting

Clients

SAS Analyst’s

Desktops

HTTP Server Clustered SAS

Metadata Servers

SAS® In-Memory Analytics

SAS Grid Manager

Server

Enterprise Data Warehouse with

SAS® In-Database, In-Memory

Analytics

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS & HADOOP SAS® WITHIN THE HADOOP ECOSYSTEM

SAS® משתמש

הדור הבא

User

Interface

Metadata

Data

Access

Data

Processing

File

System

SAS® משתמש

MPI Based

SAS® LASR™ Analytic

Server

HDFS

Base SAS & SAS/ACCESS® to Hadoop™

SAS Metadata

Pig

Map Reduce

In-Memory

Data Access

SAS® Display

Manager

SAS® Visual

Analytics

SAS®

Enterprise

Miner™

SAS® Data

Integration

SAS®

Enterprise

Guide®

Hive

SAS Embedded

Process

Accelerators

SAS® High-

Performance

Analytic Procedures

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

NEXT GENERATION

ARCHITECTURE ואנליטיקה BIG DATAמינוף

Big Dataניתוח ויזואלי של •

הורדה דרמטית בזמן עיבוד הנתונים•

אלגוריתמים מקביליים –ביצועים מהירים •

SASאבולוציה של הפרוצדורות האנליטיות של •

מינוף תשתיות מבוזרות על מנת לבזר מידע ועיבודים•

הזדמנות להסתכל על העסק בצורה אחרת•

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d . www.SAS.com

תודה