Upload
anna-yen
View
1.099
Download
2
Embed Size (px)
Citation preview
What is Data Engineer?炬識科技股份有限公司
資料科學人才種類
資料來源:經理人月刊 137 期
2Data Engineer
資料科學領域
3
Data Engineer
2015年資科工作者約 4萬人
4
資料來源: 104 人力網 /iThome
2018年資料工程師需求 4.5萬人
5
資料來源: 104 人力網 /iThome
為何需要這麼多資料工程師?
6
資料來源:政府該做的是動手改革高教體系培養資料科學家 /TechOrange
資料工程師應具備的知識領域
7
資料來源: Data Scientist vs Data Engineer / Data Science 101
新手資料工程師應具備的技能• Hadoop-based technologies (e.g. MapReduce, Hive and Pig)• SQL-based technologies (e.g. PostgreSQL and MySQL)• NoSQL technologies (e.g. Cassandra and MongoDB)• Python, Java• Data warehousing solutions• Linux
8http://www.mastersindatascience.org/careers/data-engineer/
資深資料工程師應具備的技能• Statistical analysis and modeling• Database architectures• Hadoop-based technologies (e.g. MapReduce, Hive and Pig)• SQL-based technologies (e.g. PostgreSQL and MySQL)• NoSQL technologies (e.g. Cassandra and MongoDB)• Data modeling tools (e.g. ERWin, Enterprise Architect and Visio)• Python, C/C++ Java, Perl• MatLab, SAS, R• Data warehousing solutions• Predictive modeling, NLP and text analysis• Machine learning• Data mining• UNIX, Linux, Solaris and MS Windows
9http://www.mastersindatascience.org/careers/data-engineer/