Big Data: Concepts, techniques et démonstration de Apache Hadoop

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO

Big Data: Concepts, techniques et démonstration deApache Hadoop

Jalel Eddine [email protected]

TB3C-ISSATSO

12 Décembre 2015

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 1 / 38

[email protected]


Plan

Plan

1 Motivation et Concepts

2 Techniques

3 Démonstration de Hadoop

4 Conclusion



Motivations et Concepts

Plan

1 Motivation et Concepts• Motivations de Big Data• Concepts de Big Data

2 Techniques• Le système Hadoop• Principes et fonctionnement

3 Démonstration de Hadoop4 Conclusion




Motivations Big Data

Plan








La vision d’un entrepreneur





La 3ème Révolution Numérique : Vision d’expertise etde Consulting





3ème Révolution Numérique





Technologie de pointes [Gartner et Atos]





Les nouveaux métiers de l’économie numérique : BigData, big jobs ?

Altaide : Explosion du nombre d’offres d’emploi en 2015





Le TOP 10 des nouveaux métiers du digital

1- Data Scientist2- Chef de projet Web mobile3- Chef de projet e-CRM4- Responsable de la stratégie mobile5- Directeur marketing digital6- Chargé de communication Web et digital7- Consultant Web analytique8- Community manager interne et externe9- Consultant e-réputation10- Chef de projet technique Web





Les métier Big Data [Altaide]





Big Data: Buzz ou Sujet de fond?




Concepts de Big Data

Plan








Définition du Big Data





Les 5 V du Big Data [Atos]

Volume - Vélocité - Variété - Véracité - Valeur





Divers sources de données





Zoom sur la variété de données





Le Big Data : une notion contextuelle

La notion de Big Data présente un contexte offrant un potentield’évolution des aspects techniques et métiers (Opérationnel et BI).



Techniques

Plan






Techniques

Évolutions Technologiques (NoSQL et NewSQL

2004: Google et Amazon font face à une croissanceexponentielle des données: Création de BigTable, GFS etMapReduce (Besoin de performance et de scalabilité-ApprocheNOSQL)

2008: Publication des codes par Google

2008-2011: Adoption par les secteurs du WEB d’un clone OpenSource nommé HADOOP à la suite de la concurrence par Google.

2011: Adaptation des offres éditeurs de solution pour lesEntreprises à HADOOP.

2012: Prise de conscience par la communauté SQL des besoinsde performance et de scalabilité (NewSQL: refonte del’architecture des bases relationnelles)



Techniques

Hadoop et son système de fichiers distribués

Des infrastructures de serveurs pour distribuer les traitements surdes dizaines, centaines, voire milliers de noeuds.C’est ce qu’on appelle le traitement massivement parallèle. LeFramework Hadoop est constitué d’un ensemble de modulesdéveloppés pour répondre à des besoins précis :

Stockage des données : HDFS (système de fichier distribué -Hadoop Cluster)

Couche traitement de données : MapReduce (distribution destraitements), Apache Spark

Modules complémentaires : Hbase, Hive, Solr, Pig, Oozie,Impala, Mahout, Sqoop, Langage R,



Techniques

Le système Hadoop

Plan






Techniques

Le système Hadoop

Histoire de Hadoop et de son créateur



Techniques

Le système Hadoop

L’incontournable Hadoop: Caractéristiques



Techniques

Le système Hadoop

Le framework Hadoop: Ecosystème et Distributions



Techniques

Principes et fonctionnement

Plan






Techniques


Utilisation d’un système Hadoop : les différentesétapes

1 et 2: Recopier les données/algorithmes vers HDFS

3: Démarrer le système Hadoop

4: Récupérer le résultat au disque local de l’user



Techniques


Détail de l’étape Exécution



Techniques


Détail de l’étape Exécution des calculs



Techniques


Découpage des données d’un problème dedénombrement



Techniques


Résultats obtenus avec l’algorithme Reduce pour ledénombrement



Démonstration de Hadoop

Plan







Architecture applicative Hadoop (1)




Architecture applicative Hadoop (2)




Exemple MapReduce



Conclusion

Plan






Conclusion

Exemple MapReduce



Conclusion


Engineering

Big Data: Concepts, techniques et démonstration de Apache Hadoop