Upload
khalooei
View
1.585
Download
2
Embed Size (px)
Citation preview
ن دادهتحلیل با رویکرد یادگیري ژرف بر بستر کالدانشگاه صنعتی شریف، تهران
2الن دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کخالوئی محمد
dataset@: تلگرام [email protected]: ایـمـیـل
محمد خالوئی1395آذر 17
دیدکلی از ارائه
کلیات مبانی بحث کالن داده•
آماده سازي ذهنی درخصوص بحث تحلیل•
کلیات مبانی بحث یادگیري ژرف•
TensorFlowچالش هاي استفاده از رویکرد یادگیري ژرف در بسترهاي کالن داده بخصوص در •
3 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
خالوئی محمد
یکرد جلسه اول ارائه علمی تحلیل با رویادگیري ژرف بر بستر کالن داده
4
کمی دقیق تر
به زندگیاطرفـمان
...بنـگریم
http://www.tekshow.com/posts/820
مقیاس تولید داده
1992 :100GB در روز
1997 :100GB در ساعت
2002 :100GB در ثانیه
2018 :50000GB در ثانیه
5 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
http://www.gereports.com/post/110073426843/big-data-infographic/
تعریف مختصر از کالن داده
6 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
.داده هاي تولیدي جهان، براي دوسال اخیر هست% 90•
)30به توان 10= کوئینتیلیون 2.5( 2.500000000000000000تولید حدود •
)Blue-ray(ري -میلیون دیسک بلو 10چیزي معادل پرکردن •
تقریبا معادل ارتفاع چهار عدد از برج ایفل•
http://www.vcloudnews.com/wp-content/uploads/2015/04/big-data-infographic1.png
تعریف مختصر از کالن داده
7الن دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کخالوئی محمد
کالن داده
تنوعVariety
تنوعVariety
سرعتVelocity
سرعتVelocity
حجمVolume
حجمVolume
کالن داده
تنوعvariety
تنوعvariety
سرعتvelocity
سرعتvelocity
حجمVolume
حجمVolume
صحتveracity
صحتveracity
چرا بحث کالن داده مطرح شده
تغییر و تحول هستهمه چیز دائما در حال •
را نخواهیم لیتوانایی مدیریت و توان محاسبات تحلیطبق تعاریف؛ بدین نتیجه رسیدیم که •داشت
ملیون شعب در نقاط دنیا20همانند مدیریت یک مغازه ساده و اکنون مدیریت یک مغازه ساده با بیش از •
!خیلی فرق میکند •
هستندبدون ساختارداده هاي تولید شده % 90• که شامل داده هاي توئیت، عکس، فیلم، الگ، تاریخچه کاري و فعالیت و...
راهکارهاي جدید= چالش هاي جدید
8 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
!!!تجزیه و تحلیل براي چی
9 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
منابع داده اي
فعالیت ها•
گفتگوها•کلمات•صوت•شبکه اجتماعی•الگ•تصاویر•ویدیو•سنسور•
...و•
حجمحجم
صحتصحت
تنوعتنوع
سرعتسرعت
تحلیل کالن داده
متن کاويتحلیل معناییتحلیل ویدیوتشخیص چهرهتحلیل صوتتحلیل حرکات و رفتارو...
نمونه اي از ثبت تراکنش ها
10 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
اپراتورها در تهرانپوشش دهی نمونه
11 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
https://opensignal.com
محدوده فضاي اطراف دانشگاهاپراتورها در پوشش دهی
12 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
https://opensignal.com
...در همه ابعادمثال
مخابرات•
حمل و نقل•
کنترل ترافیک•
وضعیت آب و هوا•
کشف تقلب •
بانک و موسسات مالی•اعتبارسنجی مشتریان
شبکه اجتماعی•
•...
13 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
Twitterنمونه اي از تحلیل داده هاي
14 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
Twitterبرخی از فعالیت هاي مربوط به داده هاي
توئیت براي مختصات هاي مربوط به ایران ثبت شده 7000تقریبا 1396آذر 15در • چیز دیگري استآمار واقعی اما!
مجموعه اي از داده هاست ترکیبایده جالب تر بحث •
آن را میتوان با رویکرد یادگیري ژرف صورت پذیرفتداده هاي متنی تحلیل •
خالصه اي از نمونه تحلیل هاي بصري• www.mapd.com/demos/tweetmaphttps://
oSan Francisco, California USA
15 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
گذر کوچکی بر پشت پرده این پردازش ها
16 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
)1391سال (چشم انداز کالن داده
17 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
)نسخه سوم -1395سال (چشم انداز کالن داده
18 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
فناوري هاي کالن داده
کالسترهاي پردازش و ذخیره سازي داده•رایانش ابريابر خصوصی
پردازش و ذخیره سازي توزیع شده•HDFSMapRduceSpark
بانک هاي اطالعاتی •NoSqlNewSqlgraph DB…
19 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
امنیت داده در عین حفظ کارایی•CryptDB
بازبینی و تمیز کردن داده ها•Wrangler
تجمیع داده ها؛ نگرشی جدید•
سامانه هاي تحلیل اطالعات•الگوریم هاي سریع
فشرده سازي اطالعات
ابزارهاي یادگیري ماشین
خالصه سازها
کلیات نقشه راهکار در فضاي کالن داده
20 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
ابزارهاي پرمخاطب کالن داده
21 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
https://flink.apache.org/http://hadoop.apache.org/ http://spark.apache.org/
:به کمک ابزارهایی همچون• Tableau
Qlik
kibana
ChartJs
Raw
Dygraphs
…
بصري سازي داده ها
22 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
خالوئی محمد
یکرد جلسه اول ارائه علمی تحلیل با رویادگیري ژرف بر بستر کالن داده
23
یادگیري ژرفDeep Learning
http://www.euclidean.com/deep-learning-and-value-investing
تعریف مختصر از یادگیري ژرف
نام هاي مشابه• ساختار یادگیري ژرف)Deep Structure learning(
یادگیري سلسله مراتبی)Hierarchical learning(
یادگیري ماشینیکی از شاخه هاي •
روي مجموعه اي از الگوریتم ها که • انتزاع سطح باال از دادهمیخواهند یک
چندین الیه پردازشیبوسیله
ساختار پیچیده یا ترکیب تبدیالت غیرخطیبا
24 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
تعریف مختصر از یادگیري ژرف
درواقع یادگیري عمیق• روش هاي یادگیري ماشیناز یک خانواده گسترده ي
بازنمایی ویژگیبر مبناي
تنوع نوع مشاهدات ما محسوب میشود: بازنمایی ویژگی منظور از • در مثال عکس:
o شدت روشناییکه شامل وکتوریه بازنمایی میتواند ویژگی ها را در قالب یک
o مجموعه اي از لبه هایا بصورت خیلی انتزاع سطح باالتر به شکل
o ناحیه اي که شامل یک شیءیا بصورت خیلی کلی تر به صورت
25 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
تعریف مختصر از یادگیري ژرف
:یکی از نوید ها و وعده هاي یادگیري ژرف•جایگزین کردن روشی براي انتخاب ویژگی، به جاي روش هاي دستی
با الگوریتم هاي موثر و کارا یادگیري ویژگی بدون نظارت و نیمه نظارت
و استخراج ویژگی سلسله مراتبی
26 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
Hand-crafted feature
http://www.kiv.zcu.cz/studies/predmety/uir/NS/Neocognitron/en/hierarch-det.html
انواع مختلف شبکه هاي ژرف
تنوع• شبکه هاي عصبی ژرف)Deep Neural Networks( شبکه هاي عصبی کانولوشن ژرف)Convolutional Deep Neural Network( شبکه هاي باور ژرف)Deep Belief Networks( شبکه هاي عصبی بازگشتی)Recurrent Neural Networks(
براي حوزه هاي مختلف•بینایی ماشینتشخیص گفتار هوشمندپردازش زبان طبیعیتشخیص صدابایوانفورماتیک
27 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
نمونه یک شبکه عصبی ژرف
28 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
ابزارهاي پرمخاطب حوزه یادگیري ژرف
29الن دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کخالوئی محمد
http:// tensorflow.org http://torch.ch http://caffe.berkeleyvision.org
http://deeplearning.net/software/theano http://scikit-learn.org
!کدام ابزار بهتر هست؟
نرخ رشد پیشرفت براي یادگیري ژرف•
30 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
https://twitter.com/fchollet/status/776455778274250752
TensorFlow
31 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
توسعه داده شده Google Brain در گروه •
یادگیري ماشین گوگل کتابخانه•
در پروژه هاي بزرگ شرکت گوگل از جمله• سرویسSpeech Recognition
سرویسGmail
سرویسGoogle photo
منتشر کرد متن بازبصورت 2015در نوامبر سال •
TensorFlowمقدمات کار با
•Node که عملیات یاopr یاoperation نامبرده میشود هر عملیات شامل صفر یا بیشترTensor که در آن یک سري محاسبات انجام می پذیرد
•Tensorیک آرایه چندبعدي
•Graph بصورت گراف محاسباتی(درواقع یک توصیف از محاسبات(
•Session عملیات گراف را درDevice هایی همچونCPU وGPU براي پردازش قرار و شرایط اجرا را فراهم میکند.
32 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
https://www.tensorflow.org
TensorFlowگوشه اي از اجرا در
import tensorflow as tf
matrix1 = tf.constant([[3.0,3.0]])
matrix2 = tf.constant([[2.0,2.0]])
product = tf.matmul(matrix1,matrix2)
sess = tf.Session()
result = sess.run(product)
print(result)
sess.close()
33 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
matrix1 matrix2
product
خالوئی محمد
یکرد جلسه اول ارائه علمی تحلیل با رویادگیري ژرف بر بستر کالن داده
34
یمتحلیل عظ
رورویکرد هاي تحلیل در کالن داده و چالش هاي پیش
35 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد
:به قضیه می توان نگاه کردچند جنبه تقریبا از • چالش مدیریت کردن پردازش
چالش نوع شیوه الگوریتم بررسی و محاسبات
شبکهچالش بحث تنظیم وزن هاي پارامترهاي
...
10X reduction in training time34% lower error rate
https://databricks.com/blog/2016/01/25/deep-learning-with-apache-spark-and-tensorflow.html
ن دادهتحلیل با رویکرد یادگیري ژرف بر بستر کالتهرانشریف، صنعتی دانشگاه
36الن دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کخالوئی محمد
dataset@: تلگرام [email protected]: ایـمـیـل
محمد خالوئی1395آذر
باتشکر از توجهتان
»سوره انشراح) 6(إن� مع العسر يسرا ) 5(فإن� مع العسر يسرا «| اگر سنگی پیشرو نباشد هیچگاه صدای دلنشین آب را نخواهی شنید