Hadoop Hortonworks : administration avec Ambari

1 - Introduction

• Les fonctionnalités du framework Hadoop
• Les différentes versions
• Distributions : Apache, Cloudera, Hortonworks, EMR, MapR, DSE
• Spécificités de chaque distribution
• Architecture et principe de fonctionnement
• Terminologie : NameNode, DataNode, ResourceManager, NodeManager
• Rôle des différents composants
• Le projet et les modules : Hadoop Common, HDFS, YARN, Spark, MapReduce
• Oozie, Pig, Hive, HBase, …

2 - Les outils Hadoop

• Infrastructure/Mise en oeuvre : Avro, Ambari, Zookeeper, Pig, Tez, Oozie, Falcon, Pentaho
• Vue d’ensemble
• Gestion des données
• Exemple de sqoop
• Restitution : webhdfs, hive, Hawq, Mahout,ElasticSearch ..
• Outils complémentaires : Spark, SparkQL, SparkMLib, Storm, BigTop, Zebra
• Outils complémentaires de développement : Cascading, Scalding, Flink/Pachyderm
• Outils complémentaires d’analyse : RHadoop, Hama, Chukwa, kafka

3 - Installation et configuration

• Trois modes d’installation : local, pseudo-distribué, distribué
• Première installation
• Mise en œuvre avec un seul nœud Hadoop
• Configuration de l’environnement,étude des fichiers de configuration : core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml et capacity-scheduler.xml
• Création des users pour les daemons hdfs et yarn,droits d’accès sur les exécutables et répertoires
• Lancement des services
• Démarrage des composants : hdfs, hadoop-daemon, yarn-daemon, etc.
• Gestion de la grappe, différentes méthodes : ligne de commandes, API Rest, serveur http intégré, APIS natives
• Exemples en ligne de commandes avec hdfs, yarn, mapred
• Présentation des fonctions offertes par le serveur http
• Travaux pratiques : Organisation et configuration d’une grappe hadoop

4 - Administration Hadoop

• Outils complémentaires à yarn et hdfs : jConsole, jconsole yarn
• Exemples sur le suivi de charges, l’analyse des journaux
• Principe de gestion des noeuds, accès JMX
• Travaux pratiques : mise en oeuvre d’un client JMX
• Administration HDFS : présentation des outils de stockage des fichiers, fsck, dfsadmin
• Mise en oeuvre sur des exemples simples de récupération de fichiers
• Gestion centralisée de caches avec Cacheadmin

5 - Sécurité

• Mécanismes de sécurité et mise en oeuvre pratique : Activation de la sécurité avec Kerberos dans core-site.xml, et dans hdfs-site.xml pour les NameNode et DataNode
• Sécurisation de yarn avec la mise en oeuvre d’un proxy et d’un Linux Container Executor

6 - Exploitation

• Installation d’une grappe Hadoop avec Ambari
• Tableau de bord
• Lancement des services
• Principe de la supervision des éléments par le NodeManager
• Monitoring grapĥique avec Ambari
• Présentation de Ganglia,Kibana
• Travaux pratiques : Visualisation des alertes en cas d’indisponibilité d’un nœud. Configuration des logs avec log4j