5/20/2012

1

داد مای سوی ػلیضاد

مطالب مورد بحث در کلاس

تؼاسیف هفاین •اثاس داد ا•(پیص پشداصش داد ا) آهاد ساصی داد ا •

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

2

مطالب مورد بحث در کلاس

خض تذی •دست تذی•قایي اجوی•سشیای صهای•ب مای •هتي مای •

پیذمای تحلیل ضثن ای اجتواػی•

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

مطالب مورد بحث در کلاس

هتذلطی اجشای پشط ای داد مای•ماستشدای داد مای دس تاصاسیاتی•ماستشدای داد مای دس هذیشیت استثاط تا هطتشی•

اهیت دس داد مای•

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

3

تاریخچه و تعاریف و مفاهیمویژگیهای انباره داده ها

ساختار انباره داده ها

مبانی انباره داده ها

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

تاریخچه و تعاریف و مفاهیمویژگیهای انباره داده ها

ساختار انباره داده ها

مبانی انباره داده ها

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

4

تاریخچه

اص قثل . یافت ظس ا داد اثاس پذیذ هیلادی 90 د دس• ، رخیش جت ماهپیتشی ای سیستن ا داد ساصی اثاس

ضذ طشاحی ا داد ای تیت تصحیح تغییش ،‌ آسی جوغ هیشاثی یا ػولیاتی ای سیستن ت الی ای سیستن ایي .تدذ

. ستذ هسم

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

ا‌اثاس داد

هطتشیاى

تاهیي مذ غیش

سفاسش

ا‌اثاس داد

پایگاه داده هایضرکت

تشامطا

کپیدهی‌سازمانخلاصه

مای‌داد

:داد مااىتحلیل امتطافی: اص قثل وی داذ•اص قثل هی داذ•

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

5

اثاس داد یل ضشست ماهل تشای داد مای هؤثش.هی تاضذ

هی آهاد تی ای گ ت تحلیل تشای سا خام ای داد ، ا داد اثاس• . تاضذ هی سدهذ هختلف ضنلای ت ساصی آهاد ایي . ساصذ

قشاس گام ا داد ینپاسچگی ، ا داد اثاس جدی ای هایت اص ینی• تناس تسیاسی دقت م است هؼی تذیي ایي . است داد اثاس دس گیشی ساصهای ػام اذاف دسك دس پیستگی یناختی تا ضد هی گشفت . آیذ تجد

تسیاس صهاى تایستی ما داد ، تاضذ ذاضت جد ا داد اثاس اگش • داد ساصی ینپاسچ مشدى تویض ، پامساصی ، آسی جوغ تشای سا صیادی

ماس تتاى تا مشد صشف تایذ تسیاسی قت تشتیة تذیي . مذ سپشی ا. ود آغاص سا ا داد تحلیل

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

اثاس داد یل ضشست ماهل تشای داد مای هؤثش.هی تاضذ

خاطش ت مای داد هفقیت تشای تاى هی م ػلتی دهیي• داد ، ا داد اثاس دس م است ایي مشد رمش ا داد اثاس جد. ضذ هی ساصهاذی آسی جوغ تاسیخی ای

م ساتطی الگا یافتي تشای تاسیخی ای داد جد • . است ضشست یل مای داد تشای ، آاست تذثال ساصهاى

داد ، تاضذ ذاضت جد تاسیخی ای داد ایي چاچ اگش•. تاضذ آا آسی جوغ تذثال تایستی ما

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

6

اثاس داد یل ضشست ماهل تشای داد مای هؤثش.هی تاضذ

است ایي هؤثش، مای داد تشای ا داد اثاس اویت سم ػلت• دس ملی، ای داد جضئی ای داد ضاهل ا داد اثاس م

. تاضذ هی ینذیگش ماس یاصهذ تحلیل تشای جضئی اطلاػات ت ما داد ، تشدیذ تذى•

. آیذ هی تناس یض ضذ خلاص ای داد اها است، جد ضذ خلاص ای داد ااع اص ای و م گاهی•

چ م مذ تشسسی سشػت ت تاذ هی ما داد ، تاضذ داضت تاػث ایي یست چیضی یا ، ست ا داد اثاس دس چیضی. ضد هی ما داد تسط ا تحلیل تنشاس ماص

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

تاریخچه و تعاریف و مفاهیمویژگیهای انباره داده ها

ساختار انباره داده ها

مبانی انباره داده ها

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

7

ویژگیهای انباره داده ها

(Subject Oriented)هضع هحسی •(Integrated)جاهؼیت •(Time Variant)هن تدى ػاهل صهاى •

(NON Volatile)غیش فشاس دایوی تدى •

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

موضوع محوری

ػاى ت هیطذ، ساصهاذی خاصی هضع یل طثق ا داد• ای داد یا هحصلات ، هطتشیاى ت هشتط ای داد هثال

دس اها .هیطذ گشفت ظش دس جذاگا مذام ش فشش تا هشتثط پشداصش ػولیات اساع تش ا داد هؼولی، ای داد پایگا پشداصش مل تا هشتثط آا هضع هیگشدذ ایجاد سصا ای

.هیثاضذ

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

8

ها‌خلاصه کردن داده

تاریخ

هرض

جوغ

جوغتلیضیى

یذئسادی

1فصل 2فصل 3فصل 4فصل

یضد

تثشیض

تشاى

جوغ

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

جامعیت

ساخت ا داد دیگش تجوغ اص ای داد ای اثاس ای داد• ای داد پایگا ت هشتط است هوني ا داد ایي .هیطذ

تا هشتثط سمسدای یا ساختاس تذى ای فایل ای، ساتط.تاضذ Online ای پشداصش

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

9

ا‌هجتوغ مشدى داد

بازاریابی

مالی

فروش

داد‌اي‌تليذ

داد‌اي‌حمل‌ي‌وقل

داد‌اي‌پيماوکاران

داد‌اي‌کارکىان

داد‌اي‌مشتريان

اوبار‌داد‌ا

داد‌کايي

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

عامل زمان

تا هشتثط ای اصداد هوتش تسیاس ا داد اثاس تشای صهای افق• ػاهلی ا داد اثاس ساختاس دس .هیثاضذ ػولیاتی سیستوای

هیتاذ صهای ػاهل ایي .هیطد گشفت ظش دس صهاى ام ت دس اها .گشدد تیاى ضح ت یا ضوی ػاهل یل تصست

.یست ملیذی ػاهلی صهاى ػاهل ػولیاتی سیستوای

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

10

ها‌خلاصه کردن داده

تاریخ

هرض

جوغ

جوغتلیضیى

یذئسادی

1فصل 2فصل 3فصل 4فصل

یضد

تثشیض

تشاى

جوغ

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

غیر فرار بودن

ماس آا تا سصا م است ایی داد ضاهل ا داد پایگا• دس هیگشدد، حزف آى اص یا اضاف آى ت تخطایی هیطد .ذاسد سا یظگی ایي داد اثاس هقاتل

اثاس دس ا داد ضذى سص ت م است اضح اهش ویي ت تج تا اص پشداصضایی ت یاصی ا داد اثاس ویثاضذ هقذس ا داد متشل هنایضهای تاصیافت ای، داد تشامطای : قثیل

هیپزیشد صست ا داد اثاس دس م اػوالی تا .ذاسد وضهاى دستشسی ا داد الی ( دی هقذاس ) گزاسی تاس :اص ػثاستذ

.ا داد ت

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

11

منافع اصلی انباره داده ها

: هافغ اصلی اص قاتلیت ای اثاس داد ػثاستذ اص •ت سشػت قاتل دستشسی ستذ ، صیشا اص لحاظ فیضینی دس یل هناى –

. قشاس داسذ

.تسیل ماستش ایی ت ساحتی قاتل حصل ستذ –

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

تاریخچه و تعاریف و مفاهیمویژگیهای انباره داده ها

ساختار و معماری انباره داده ها

مبانی انباره داده ها

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

12

معماری انباره داده

چذ ساختاس یل ا داد اثاس تا ماس تی جت• داد طاى تؼذ ضنل دس م داسد جد ای لای,Extract اصلی ػول چاس تا اتتذا دس .است ضذ

Transform,Load,Refresh داد پایگا اص ا داد Data) هؼولی ای Source) ای پشداصش اص م

ضذ آسی جوغ اذ، ضذ ایجاد سیستوا ػولیاتی.هیطد فشستاد داد اثاس ت

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

معماری انباره داده

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

13

تؼاسیف

سیستوا دیگش تا هستقیوا ا داد اثاس دس هجد ای داد• داد اص تخاذ ػولیاتی سیستن یل اگش یستذ استثاط دس

Data اص مذ استفاد داد اثاس ای Mart طس ت م ا سیستن ع آى تا هشتثط م سا ا داد اص تخطی ضاهل هقت.هینذ استفاد هیثاضذ، خاظ

ا هتاداد . ستذ ا داد ت هشتط ای داد ، ا هتاداد• مذ هی تصیف سا ا داد هختلف ای ضؼیت

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

Data)تعریف Mart)

اتؼاد دس ضذ هحذد مجل داد اثاس•Mini-warehouses, limited in scope

Data یل– Mart اص هحذد مچل هجوػ صیش یل تشای هضػات اص ای هجوػ داسای م تاضذ هی DWیل .است ماستشاى اص تخص یل

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

14

پردازضها در انباره داده ها

ای، داد تشامطای : قثیل اص پشداصضایی ت یاصی ا داد اثاس• اثاس دس م اػوالی تا .ذاسد وضهاى متشل هنایضهای تاصیافت

داد الی ( دی هقذاس ) گزاسی تاس :اص ػثاستذ هیپزیشد صست ا داد .ا داد ت دستشسی ا

OLAP هیگیشد اجام ا داد اثاس ای داد سی تش م پشداصضی• م است ایی پشداصش م OLTP هقاتل دس OLAP) هیطد اهیذ

تؼذ جذل .( است آهذ هیگیشد اجام ا داد پایگا ای داد سی تشOLAP OLTPمشد هقایس هن پاساهتشای تشخی ت تج تا سا

:است

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

ای هؼولی‌مای تا داد‌هقایس پشداصضا دس داد

OLAP OLTPييژگيا‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌

کارشىاسان‌خبر‌کاربران‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌اپراترا‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌

تظميم‌گيريکارکرد‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌کاراي‌ريزمر‌‌‌‌‌‌

بر‌مبىاي‌مضعطراحي‌پايگا‌داد‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌بر‌مبىاي‌کاربرد‌‌‌‌‌‌‌‌تاريخي،‌چىذ‌بعذي،ريز‌‌‌‌‌‌‌­داد‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌جاري،‌ريزب

ي‌با‌جسييات‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌مجتمع‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌در‌مارد‌خاص‌کاربرد‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌تکراري‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌

کايش‌ي‌کشف‌‌‌‌‌‌وح‌دسترسي‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌خاوذن‌يوشته‌‌‌‌‌‌‌‌‌‌

جستجاي‌پيچيذ‌ياحذ‌کاري‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌پردازش‌ساد‌‌‌‌‌‌‌‌‌‌‌‌‌

دا‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌ميليوا‌‌تعذاد‌رکرد‌ا‌‌‌‌‌‌‌‌‌‌طذا‌‌‌‌‌‌‌‌‌‌‌‌‌‌تعذاد‌کاربران‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌ساران‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌

100MB_GB 100TB_GBاوذاز‌پايگا‌داد‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌

پردازش‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌جستج‌ي‌پاسخ‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌شاخض‌

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

15

ایجاد و نگهذاری یك انباره داده ها

سا ریل ظایف تا داسذ یاص اتضاس چذیي ت داد ایاثاس:دذ قشاس پطتیثای هسد یا مشد خدماس

ا داد استخشاج Data extraction))هتفات داد هاتغ اص خاسجی

ا داد پالایص ( Data cleaning): حل مشدى پیذا هثغ ای داد اص اساصگاسیا

هختلف صتاای فشهتا تیي : ا داد تثذیل ینپاسچگی

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

ا داد تاسگیشی(Data loading ) : ا داد تاسگیشی ا داد اثاس دس

ا داد تنشاس ( Data replication ): داد پایگا اص ا داد اثاس ت هثغ

ا داد مشدى تاص(Data refreshment) ا داد آسضی( Data archiving )ا داد میفیت مشدى چل

ا داد هتا تحلیل(metadata)

ایجاد و نگهذاری یك انباره داده ها

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

16

مذلسازی مفهومی انباره داده ها

:سه ضمای مفهومی پایه عبارتنذ از (Star schema) ضمای ستاره •( Snowflake schema) ضمای دانه برفی•( Fact constellations) ضمای فلکی •

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

ضمای ستاره

در مرکس به تعذادی از fact tableیك :ضمای ستاره•متصل می ( dimension tables) فهرستهای ابعادی

.ضود

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

17

روز ماه سال

تاريخ

Idمشترينام مشتري

شهر مشتريكشىر مشتري

مشتري

فروش Fact Table

تاريخ

محصىل

مغازه

مشتري

واحد فروش

dollar_sales

schilling_sales

شاخصها

نام محصىلشماره محصىل

دسته

محصىل

Id مغازهشهركشىر ناحيه

مغازه

مثالي از شماي ستاره

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

شماي دانه برف

یك پالایطی از ضمای ستاره است که سلسله مراتب ابعاد : ضمای دانه برف dimension tables)) بصورت صریح با نرمال کردن فهرستهای ابعادی

.نمایص داده می ضود

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

5/20/2012

18

ضمای دانه برفهثالی اص

time_key

day

day_of_the_week

month

quarter

year

time

location_key

street

city_key

location

Sales Fact Table

time_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_sales

Measures

item_key

item_name

brand

type

supplier_key

item

branch_key

branch_name

branch_type

branch

supplier_key

supplier_type

supplier

city_key

city

province_or_street

country

city

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی

هثالی اص ضوای صست فلنی

time_key

day

day_of_the_week

month

quarter

year

time

location_key

street

city

province_or_street

country

location

Sales Fact Table

time_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_sales

Measures

item_key

item_name

brand

type

supplier_type

item

branch_key

branch_name

branch_type

branch

Shipping Fact Table

time_key

item_key

shipper_key

from_location

to_location

dollars_cost

units_shipped

shipper_key

shipper_name

location_key

shipper_type

shipper

سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی